과학자들의 문제: 한 심리학자가 과학에 있어서 인간적 편향들을 다루고 있는 방식
The Trouble With Scientisits: How one psychologist is tackling human biases in science
때때로 과학이 도대체 작동한다는 것이 놀라운 듯 보인다. 2005년에 의학계는 "왜 대부분의 출판된 연구 결과는 거짓인가"라는 도발적인 제목의 한 논문에 의해 동요되었다. 스탠퍼드 대학교의 의대 교수 존 이오안니디스(John Ioannidis)에 의해 작성된 그 논문은 사실상 어느 특수한 결과가 틀렸다는 것을 보여주지 않았다. 그 대신에 그것은 보고된 긍정적인 발견 결과들의 통계가 얼마나 자주 그것들을 발견할 것이라고 예상해야 하는지와 정합적이지 않다는 점을 보여주었다. 더 최근에 이오안니디스가 결론을 내렸듯이, "많은 출판된 연구 결과가 거짓이거나 과장된 것이고, 연구 자원의 85%가 낭비되는 것으로 추정된다."
일부 연구자들은 자신의 작업이 출판되도록 하기 위해 의식적으로 데이터를 선별하고 있는 듯 보인다. 그리고 그런 문제들의 일부는 확실히 저널 출판 정책과 관련이 있다. 그러나 허위 발견 결과의 문제들은 흔히 무의식적으로 스스로를 기만하는 연구자들에서 비롯되는데, 그들은 인지적 편향들, 즉 틀렸지만 편리하거나 매력적인 결론들로 유혹하는 일반적인 사유 양태들의 먹이가 된다. "심리학과 다른 경험 과학에서 재현 가능성 비율을 살펴 보면, 무언가가 그것이 그래야만 하는 방식으로 작동하고 있지 않다고 안전하게 말할 수 있다"고 독일 본 소재 집단적 재화에 관한 막스 플랑크 연구소의 행동경제학자 수잔 피들러(Susann Fiedler)가 말한다.
버지니아 대학교의 심리학자 브라이언 노젝(Brian Nosek)은 과학에서 가장 흔하고 문제가 되는 편향은 "고무된 추리(motivated reasoning)"라고 말하는데, 우리는 특수한 관념에 들어맞도록 관측 결과를 해석한다. 지금까지 심리학자들은 "우리의 추리 대부분이 사실상 합리화이다"라는 점을 보여주었다고 노젝이 말한다. 다시 말해서, 우리는 이미 무엇을 할 것인지 또는 무엇을 생각할 것인지에 관한 결정을 내렸으며, 그리고 우리의 추리에 대한 우리의 "설명"은 사실상 우리가 아무튼 하고 싶은, 또는 믿고 싶은 것을 행하는 것에 대한 정당화이다. 물론 과학은 일상적 사유보다 더 객관적이고 회의주의적인 것이어야 하지만, 그런데 실제로 얼마나 많이 그러한가?
철학자 칼 포퍼(Karl Popper)에 의해 옹호된 과학적 방법의 반증 가능성 모형은 과학자는 자신의 이론을 시험하고 반증할―"나는 어떻게 틀렸는가?"라고 물을―방법들을 찾는다고 상정하는 반면에, 노젝은 그 대신에 과학자들은 일반적으로 "내가 어떻게 옳은가?"라고 묻는다(또는 마찬가지로 "당신은 어떻게 틀렸는가?"라고 묻는다)고 말한다. 사실상 우리가 결국 옳지 않을지도 모른다고 시사하는 사실들이 나타날 때, 우리는 그것들을, 사실상 잘못된 것은 아닐지라도, 무관한 것으로 일축하는 경향이 있다. 지금은 악명이 자자한, 1980년대 말에 전기화학자 마틴 플레이시먼(Martin Fleishmann)과 스탠리 폰스(Stanley Pons)에 의해 선동된 "저온 핵융합" 일화는 그런 임시방편적인 무시들로 가득차 있었다. 예를 들면, 플레이시먼과 폰스에게 그들이 주장한 핵융합 반응에서 비롯된 감마선 에너지 스펙트럼이 틀린 에너지에서 스파이크를 나타낸다고 지적되었을 때 그들은 그저 그것을 옮겼으며, 눈금 매기기와 관련하여 애매한 것이 있었다고 투덜거렸다.
숫자의 강도를 통해서 통계는 편향의 일시적 중단을 제시하는 듯 보일 것이지만, 편향들은 마찬가지로 가득차 있다. 네덜란드의 틸버그 대학교의 크리스 하르트게링크(Chris Hartgerink)는 통계의 수집에 있어서 "인간 인자들"의 영향에 관해 연구한다. 그는 연구자들은 흔히 우연적인 통계에 허위의 확실성을 귀속시킨다고 지적한다. "일반 사람들과 마찬가지로 연구자들은 확률에 관해 생각하는 데 서툴다"고 그가 말한다. 어떤 결과들은 확실히 허위의 부정적인 것들―즉, 올바르지 않게도 무언가를 배제한 듯 보이는 결과들―이지만, 하르트게링크는 자체의 발견 결과에 관해 그렇게 결론을 내리는 논문을 결코 읽어본 적이 없다고 말한다. 그의 최근 연구는 사소한 결과를 보고하는 심리학 논문들 가운데 3분의 2에 해당하는 논문들이 허위의 부정적인 것들을 간과하고 있을 것이라는 점을 보여준다.
과학이 엄청나게 다양한 인지적 편향들을 밝혀왔다는 점을 감안하면, 과학 자체의 내부에서 그것들의 결과를 상대적으로 무시하는 것은 특이한 일이다. 하르트게링크는 이렇게 말한다. "나는 인간들 전체에서 편향들을 인식하지만, 내가 그것들이 과학자들에게도 적용된다는 것을 처음 '알게 되었을" 때 나는 그렇게 명백하지는 않았지만 약간 놀랐다."
이런 상황에 대한 일반적인 반응은, 개별 과학자들은 스스로를 속일지라도, 다른 과학자들은 그들의 관념이나 결과를 비판하는 데 아무 망설임도 없고, 그래서 모든 것이 좋은 결과로 귀결된다고 주장하는 것이다. 공동체적 활동으로서의 과학은 자기교정적이다. 때때로 이것은 참이지만, 그런 일이 반드시 우리가 믿고 싶어하는 것만큼 빠르게 또는 매끈하게 일어나는 것은 아니다.
노젝은 동료 평가가 때때로 과학적 주장들에 대한 명료하고 재빠른 시험을 적극적으로 방해할 수도 있다고 생각한다. 그는, 2011년에 이탈리아에서 일단의 이탈리아 물리학자들이 분명히 빛보다 더 빠르게 움직이는 뉴트리노에 대한 증거(아인슈타인의 특수 상대성 이론에 위배되는)를 보고했을 때, 고에너지 물리학자들의 오픈 액세스 저장소를 통한 출판 전 논문들의 효율적인 배포 체계 덕분에 매우 빠르게 이 놀라운 주장이 제시되었고, 검토되었으며, 반박되었다는 점을 지적한다. 그런 시험이 일반적인 동료 평가 방식들에 의존했었더라면, 그것은 수 년이 걸릴 수 있었을 것이다.
마찬가지로 2010년에 <<사이언스>>에서 연구자들이 어떤 미생물의 DNA에서 비소가 인을 대체할 수 있을 것―생명의 근본적인 화학적 원리들을 다시 적었어야 했을 주장―이라고 제안했을 때, 그 발견 결과를 재현하고자 후속 연구를 실행한 연구자들 가운데 한 사람이 오픈 소스 블로그에 자신의 진행 중인 결과를 기록하는 것이 중요하다고 느꼈다. 이것은 원래의 연구 팀과 대조를 이루었는데, 그들은 논란을 불러 일으킨 자신들의 주장을 뒷받침하는 어떤 후속 증거도 보고하지 못한 점에 대해 비판을 받았다.
최근에 대두되고 있는 "재현 가능성의 위기"가 증언하듯이, 동료 평가는 흔히 추산되는 것보다 더 틀리기 쉬운 장치―특히 의학과 심리학 같은 분야들에서―인 듯 보인다. <<리트랙션 와치(Retraction Watch)>>를 운영하는 의학 기자 이반 오랜스키(Ivan Oransky)와 과학 편집자 애덤 마커스(Adam Markus)는 이런 식으로 서술한다. "과학이 설계된 대로 작동한다면, 후속 발견들은 이전 연구를 확대하거나 변경하거나 또는 전적으로 훼손한다 ... 문제는, 과학―또는 더 정확히 과학 출판―에서 이 과정이 정향된 대로 거의 작동하지 않는다는 점이다 ... 대부분은 아닐지라도, 오늘날 과학 저널에서 출판되는 것들의 많은 것이 다른 한 실험실이 그 실험을 다시 시도하면 유지될 가능성이 약간만 있을 뿐이고, 실제 확률은 그조차 되지 않을 것이다."
과학 문헌이 왜곡되는 이유들 가운데 하나는 저널들이 부정적인 결과보다 긍정적인 결과를 출판할 가능성이 훨씬 더 높다는 점인데, 무언가가 틀렸다고 말하는 것보다 무언가가 참이라고 말하는 것이 더 쉽다. 저널 심사자들은 부정적인 결과를 너무 지루한 것으로 거부하는 경향이 있을 것이고, 현재 연구자들은 그런 발견 결과를 통해서 연구비 지원기관이나 학과로부터 영예나 지위를 거의 얻지 못할 것이다. "실험을 20회 수행하면 그것들 가운데 하나는 출판할 만한 결과를 얻을 가능성이 있다"고 오랜스키와 마커스는 적는다. "그런데 그 결과를 출판하는 것만으로 발견 결과가 타당하게 되지는 않는다. 사실상 상황은 정반대이다."
오랜스키는, 과학의 모든 인센티브가 확증 편향들을 강화하지만, 출판에 필요한 요건이 가장 문제가 많다"고 믿고 있다. "종신 재직권, 연구비 그리고 명성을 얻기 위해 과학자들은 주요 저널들에 자주 출판할 필요가 있다"고 그는 말한다. "그것은 긍정적이고 '획기적인' 발견 결과를 고무하는데, 왜냐하면 후자는 인용 횟수와 영향 지수를 높이는 것이기 때문이다. 그래서 과학자들이 자신의 실험적 발견 결과들 가운데 완벽한 획기적인 결과들을 알아보도록 스스로를 기만하는 것은 대단히 놀랍지 않다."
노젝은 동의하면서 가장 왜곡적인 영향들 가운데 하나는 포상, 종신 재직권 그리고 연구비를 수여하는 보상 체계라고 말한다. "내 경력을 진전시키기 위해 나는 가능한 한 가장 저명한 출판물에 가능한 한 자주 발표할 필요가 있다. 그것은 내가 출판될 가능성이 더 높은 논문들을 생산해야 한다는 것을 의미한다." 이것들은 긍정적인 결과("나는 ... 반증했다"가 아니라, "나는 ... 발견했다"), 독창적인 결과("우리는 ... 이전의 발견 결과를 확증한다"라고 결코 하지 않는다) 그리고 분명한 결과("이 결과를 어떻게 해석해야 할지 분명하지 않다"가 아니라, "우리는 ... 보여준다")를 보고하는 논문들이라고 그는 말한다. 그런데 "실험실에서 일어나는 것들의 대부분은 그런 것 같지 않다"고 노젝은 말하는데, 오히려 상황은 분명하지 않다. "나는 어떻게 분명하지 않은 상황에서 아름다운 결과를 얻게 되는가?"라고 그는 묻는다. "나는 인내할 수 있거나, 또는 운이 좋을 수 있다. 아니면 나는 가장 쉬운 길을 택할 수 있을 것인데, 분명한 이야기가 출현하도록 내가 선택하는 데이터와 내가 그것들을 분석하는 방법에 관해 흔히 무의식적인 결정을 내린다. 그런데 이 경우에 나는 확실히 내 추리에 있어서 치우치게 된다."
저질의 데이터와 그릇된 관념들이 생존할 수 있을 뿐 아니라, 좋은 관념들도 고무된 추리와 경력 압력을 통해서 억압당할 수 있다. 1940년대와 1950년대에 유전학자 바버라 매클린톡(Barbara McClintock)가 어떤 DNA 서열들은 염색체를 가로질러 "도약"할 수 있다고 제안한 점과 1980년대에 생화학자 스탠리 프루시너(Stanley Prusiner)가 프리온이라 불리는 단백질이 완전히 틀린 모양으로 접힐 수 있고, 그래서 잘못된 접힘이 한 단백질에서 다른 한 단백질로 전달될 수 있다고 제안한 점은 당시에 지배적인 정통에 대해 대단히 많이 어긋나서 두 연구자 모두 가차없이 조롱당했는데, 그들은 나중에 올바른 것으로 판명되어 노벨 상을 수상했다. 대담한 주장들에 관한 회의주의는 항상 보장되지만, 뒤돌아보면 우리는 때때로 그것이 증거의 질에 관한 진정한 의심에서 비롯되기보다는 지배적인 세계상의 편견들을 벗어나지 못하는 무능력에서 비롯된다는 것을 알 수 있다. 매클린톡과 프루시너의 사례들은, 증거의 무게가 요청할 때 과학은 자체 교정한다는 점을 예시하지만, "우리는 비슷한 통찰이 이루어졌지만 철저히 일축당하여 결코 추구되지 않은 사례들에 관해 알지 못한다"고 노젝은 말한다.
과학자들은 이것에 관해 얼마간 깨닫고 있다. 많은 사람들이, 과학은 전 분야에서 지배적인 지혜의 기반이 약화되고 전적으로 새로운 세계상이 출현하게 되는 급격한 패러다임 전환을 겪는다는 철학자 토머스 쿤(Thomas Kuhn)의 이론에 공감한다. 그런 전환들 사이에서 일반적인 합의에 일치하는 "정상 과학"을 보게될 뿐인데, 변칙 사례들의 축적이 벽을 깨뜨리고 새로운 패러다임으로 진입하기에 충분한 압력을 만들어낼 때까지 말이다. 고전적인 사례는 20세기 초 양자 물리학의 출현이었는데, 화학에서 18세기의 플로지스톤이라는 관념―라보아지에의 산소 이론에 의해 뒤집힌 "연소의 원리"로 상정된 것―도 그 모형에 들어맞는다. 막스 플랑크(Max Planck)에 귀속되는 유명한 인용문은 과학에 있어서 그런 선입견들이 극복되는 다른 한 수단을 시사한다. "과학은 장례식이 치러질 때마다 진보한다." 새로운 관념들은 보수파가 죽을 때에만 드러나게 된다.
과학에 있어서 편향의 역할은 심리학과 대학원 시절의 노젝에게 명백해졌다. "많은 대학원생들과 마찬가지로, 과학이 작동하는 방식에 관한 나의 이상주의는 연구 방법론 강좌를 택했을 때 산산조각이 났다"고 그는 말한다. "그 수업에서는 당시에도 오래된 많은 논문들―1950년대에서 1970년대에 걸쳐 발표된 논문들―을 읽었는데, 출판 편향, 힘들이지 않은 연구 설계, 재현의 결여, 출판된 논문들의 방법론에 관한 축소된 보고, 원래 데이터에 대한 접근의 부족 그리고 두드러지지 않은 결과에 대한 편견과 관련된 논문들을 읽었다."
그 이후로 노젝은 과학을 더 잘 작동하게 만드는 데 헌신했다. 그는 이런 편향들을 밝힘―이것은 연구를 방법, 가정 그리고 해석들에 있어서 더 투명하게 만드는 것을 의미한다―으로써 과학의 과정과 진보가 매끈해질 것이라고 확신했다. "이런 쟁점들과 싸우는 것은 쉽지 않은데, 왜냐하면 그것들은 문화적 난제이기 때문이며, 그리고 아무도 문화를 바꿀 수 없기 때문이다"라고 그는 말한다. "그래서 나는 내가 제어할 수 있는 쟁점, 즉 내 연구 설계의 힘에서 시작했다."
놀랍게도 노젝은 인지적 편향에 대한 가장 효과적인 해결책들 가운데 하나가 최근에 오류를 저지르기 쉬운 경향과 자기기만적 방식에 대해 가장 심한 비판을 겪은 분과학문, 즉 약학에서 비롯될 수 있을 것이라고 생각한다. 그것은 이런 문제들이 제약 산업에서 매우 자명하여, 노젝이 보기에, 그것들을 다루는 데 있어서 이 공동체가 과학의 나머지 부분보다 앞서 있다는 바로 그 이유 때문이다. 예를 들면, 시험의 긍정적인 결과는 보도하고 부정적인 결과는 억제하려고 하는 제약회사와 공동 연구자들의 잘 알려진 경향 때문에 아메리카 합중국에서 모든 임상 시험은 개시 전에 등록되어야 하는 것이 법적으로 요구되는 사항이다. 이것 때문에 연구자들은 결과가 무엇을 말하든 간에 그것을 보고할 의무가 있다.
노젝은 오픈 사이언스 프레임워크(Open Science Framework, OSF)로 불리는 유사한 연구 사전 등록 체계를 조직했다. 그는 여러 해 동안 그것을 계획했지만, 그것은 2009-2010년에 전직 소프트웨어 개발자 제프 스파이스(Jeff Spies)가 그의 실험실에 합류했을 때 실제로 착수되었다. "많은 사람들이 관여하게 되어 그것은 꽤 빨리 훨씬 더 큰 일이 되었다"고 노젝은 말한다. "우리는 OSF를 위한 웹사이트를 개시했고, 그래서 그것을 둘러싸고 어떤 공동체―그리고 자금 제공자들―가 구성되었다." 2013년에 노젝과 스파이스는 오픈 사이언스 센터(Center for Open Science)를 샬롯츠빌(Charlottesville)에 공동으로 설립하였는데, 현재 그것은 OSF를 관리하며 자체 서비스를 무상으로 제공할 수 있다.
그 착상은 연구자들이 "그들의 연구가 무엇을 위한 것인지 그리고 무슨 일이 일어날 것이라고 생각하는지 미리 적어 둔다"는 것이라고 노젝은 말한다. 그 다음에 그들이 실험을 행할 때, 그들은 엄격히 원래 계획의 한정된 범위 내에서 결과를 분석해야 한다는 점에 동의한다. 우리가 어린이들에게 과학을 수행하는 방법에 관해 가르치는 그런 종류의 일과 마찬가지로 그것은 전적으로 기본적인 언급인 듯 들린다. 그리고 사실상 그렇지만, 그것은 드물게 일어나는 것이다. 그 대신에, 피들러가 증언하듯이, 분석은 무엇이 나타날 것인지 아니면 나타나지 않을 것인지에 관한 모든 종류의 진술되지 않은 그리고 일반적으로 무의식적인 가정들에 의거하여 이루어지게 된다. 노젝은 지금까지 OSF를 이용한 연구자들은 흔히, 그들이 자신들의 결과를 보게 될 시점에, 연구 과제가 그들이 진술한 본래의 목표에서 벗어난 방식에 대해 놀랐다고 말한다.
피들러는 그 서비스를 활용했으며, 그것이 연구를 정직하게 유지할 뿐 아니라 더 매끈하게 진행되게 만든다고 말한다. "OSF에 사전 등록함으로써 나는 모든 세부 사항을 미리 생각할 수밖에 없고, 그래서 글쓰기의 일부뿐 아니라 연구 계획도 내가 데이터를 수집하기 시작하기도 전에 이미 행해진다"고 피들러는 말한다. "이렇게 자각하는 것은 내가 신뢰하는 결과와 내가 덜 신뢰하는 결과를 분리하는 데 도움이 된다." 그리고 피들러만이 아니다. 전체 과정을 투명하게 만드는 것은 "모든 다른 연구자에게 이 결과가 자신의 소중한 연구 시간을 바칠 가치가 있는 판단한 기회를 제공한다."
또한 연구 목표를 진술하는 것은 그것에 대해 알고 있는 것을 검토하는 좋은 방법이라고 OSF를 사용하는 하르트게링크가 말한다. "일단 이것을 할 것이라고 결정했을 때, 우리는 가설들을 해명하는 것이 그것 자체로 어렵다는 점을 인식했"는데, 이것은 그것들이 사실상 충분히 명료하게 표명되지 않았었다는 점을 가리킨다. "가설들을 시험하기를 원한다면 사전 등록은 기술적으로 반드시 해야 하는 일이다"라고 하르트게링크는 결론짓는다. 피들러는 지난 해 동안 자신과 자신의 모든 박사과정 학생들이 OSF 체계를 사용했다고 말한다. "그렇게 함으로써 나는 매우 많은 것을 알게 되어서 우리의 연구 집단에 속하는 모든 사람에게 권고할 수밖에 없다"고 피들러는 단언한다.
OSF와 일상적인 연구 작업 사이의 구별은 상당하다고 하르트게링크는 말한다. 대부분의 연구자들은 연구를 수행한 이후에야 초고를 작성하기 때문에 가설들은 사전에 작성되지 않는다. "이것은 일단 결과를 알게 되는 가설에 대해 더 선호적인 표현을 낳게 된다." 아이오와 대학교의 심리학자 어니스트 오보일(Ernest O'Boyle)과 그의 공동 연구자들은 결과의 회고적 제시를 더 아름답게 만드는 이런 편향을 "크리살리스(Chrysalis) 효과"라고 불렀다. 그것으로 인한 한 가지 결과는 예상하지 않은 결과를 예상한 것으로 제시하는 것이 흔하다는 점이라고 하르트게링크는 말한다. "그렇게 하는 것이 괜찮은 일인지 일반 대중의 아무에게나 물어보면, 그렇지 않다고 말할 것이다. 그런데 이것은 오랫동안 과학에서 행해진 일상적인 일이었다."
흔히 가설과 목표에 있어서의 이런 변화는 아무 의도도 없이 그리고 심지어 아무 인식도 없이 그냥 일어난다. "실험을 설계하고, 데이터를 수집하고 분석하며 그리고 과학 동료들에게 결과를 발표하는 때때로 긴 과정 내에서 문제를 바라보는 우리의 방식과 해당 결과가 진화한다"고 피들러는 말한다. "도중에 우리는 실패한 본래의 시험들을 망각할 것이고, 그래서 우리의 새로운 통찰을 동일한 데이터에 의거하여 상이한 의문들에 대답하는 것으로 제시한다." 과학에 대한 이런 접근 방식은 큰 가치가 있다고 피들러는 말하는데, 예견하지 못한 연결 관계들을 찾아내는 것은 중요하다. 그러나 이것은 연구의 목표 지점을 이동시킬 뿐 아니라, 연구자들로 하여금 "아마도 가짜 효과를 너무 많이 신뢰하게"도 만들 수 있다.
그런데 실험을 행하기도 전에 협소한 일단의 목적들에 한정하기로 선택한다면, 예견할 수 없었던 잠재적으로 비옥한 길을 차단하게 되지 않겠는가? 그럴지도 모르지만, "데이터로부터 알게 되는 것"은 믿음직한 결론에 이르는 길이 아니라고 노젝은 말한다. "현재 우리는 설명적 연구와 확증적 연구를 뒤섞는다"고 노젝은 말한다. "항상 망각되고 있는 한 가지 기본적인 사실은 동일한 데이터로 가설들을 생성하는 동시에 그것들을 시험할 수 없다는 점이다." 흥미로운 새로운 길을 찾아내게 되면, 아무튼 이것이 실험이 처음부터 관여한 것이었다고 말할 것이 아니라, 그것을 별도로 추적해야 한다.
주요한 걸림돌은 교육이라고 하르트게링크는 생각하는데, 연구자들은 이런 식으로 연구 작업을 수행하도록 결코 충고받지 않는다. 그런데 그랬더라면 더 좋았을 것이다. "젊은 연구자들이 지금 이런 기법들을 적용하기 시작하지 않는다면, 그들은 10년 안에 뒷자리로 물러나게 될 것인데, 왜냐하면 재현 가능하고 투명하며 열린 방식으로 연구를 수행하는 것이 규범이 되고 있기 때문이다"라고 하트게링크는 말한다.
궁극적으로 노젝은 "과학적 유토피아"를 주시하고 있는데, 여기서 과학은 훨씬 더 효율적인 지식 축적 수단이 된다. 그렇지만 OSF가 우리를 그곳에 데려다 주는 만병통치약이 될 것이라고 주장하는 사람은 아무도 없다. 오랜스키가 말하듯이, "더 큰 쟁점들 가운데 하나는 과학자들로 하여금 스스로를 기만하는 것을 멈추게 하는 것이다. 이것은 고무된 추리와 확증 편향의 제거를 필요로 하는데, 나는 그것에 대한 어떤 좋은 해결책도 본 적이 없다." 그래서 노젝은 OSF와 더불어 필요한 재구성은 오픈 액세스 출판과 끊임없는 개방적인 동료 심사를 포함한다고 믿고 있다. 우리는 우리의 편향들을 제거할 수는 없을 것이지만, 그것들의 유혹은 완화시킬 수 있다. 노젝과 그의 동료―이스라엘 벤구리온 대학교의 심리학자 요아프 바르아난(Yoav Bar-Anan)―가 말했듯이, "변화에 대한 결정적인 장벽들은 기술적인 것이거나 재정적인 것이 아닌데, 그것들은 사회적인 것이다. 과학자들이 현 상태를 수호하더라도, 그들은 그것을 바꿀 수 있는 힘도 갖추고 있다."