과학은 어떻게 잘못되고 있는가?
How science goes wrong
과학 연구는 세계를 바꾸어 버렸다. 이제 과학 자체가 바뀔 필요가 있다.
―― <<이코노미스트(The Economist)>>
한 가지 단순한 관념이 과학을 떠받친다. "신뢰하라, 그러나 확인하라". 결과들은 항상 실험으로부터 도전을 받아야 한다. 그런 단순하지만 강력한 관념이 방대한 지식체를 생성했다. 17세기에 탄생한 이래로 근대 과학은 세계를 알아보지 못하게, 게다가 압도적으로 더 나은 쪽으로 바꾸어 버렸다.
그런데 성공은 자만을 낳을 수 있다. 현재 과학자들은 과학 전체, 그리고 인류 전체에 손해를 끼칠 정도로 너무 많이 신뢰하고 있고 충분하지 않게 확인하고 있다.
학술 세계를 채우는 발견 결과들 가운데 너무 많은 것들이 조잡한 실험들이거나 빈약한 분석의 결과다(이 기사를 보라). 생명공학 벤처자본가들 사이의 한 가지 경험 법칙은 발표된 연구 가운데 절반은 재현될 수 없다는 것이다. 그것조차도 낙관주의적일지도 모른다. 작년에 생명공학 기업 암젠(Amgen)의 연구자들은 암 연구에서 53가지 "획기적인" 연구들 가운데 겨우 6가지 연구만 재현될 수 있다는 점을 알아내었다. 더 이전에, 제약회사 바이어(Bayer)의 한 연구진은 67편의 비슷하게 중요한 논문들 가운데 4분의 1만 재현해내었다. 한 선도적인 컴퓨터과학자는 자기 분야의 논문들 가운데 4분의 3이 저질이지 않을까 하고 전전긍긍한다. 2000에서 2010년까지 대략 80,000명의 환자들이 실수나 부적절한 행위들 때문에 나중에 철회된 연구에 의거한 임상 시험들에 참여했다.
대단히 많은 쓰레기
결함이 있는 연구가 사람들의 생명을 위험에 처하게 하지 않을 때―그리고 그것이 대부분 상품화와는 너무 떨어져 있어서 그럴 수 없을 때―에도, 그것은 돈과 세계 최고의 정신들 가운데 일부의 노력을 낭비한다. 방해받은 진보의 기회비용은 계량화하기 어렵지만 엄청날 확률이 높다. 게다가 그 비용은 증가하고 있을 것이다.
한 가지 이유는 과학의 격심한 경쟁 상황이다. 이차세계대전 동안의 성공 후에 현대의 학술적 연구 형태가 갖추어진 1950년대에 과학은 여전히 일반 사회로부터 동떨어진 여가 활동이었다. 과학자들의 전체 인원수는 수십만 명이었다. 과학자들의 수―최근의 추정에 따르면 6-7백만 명의 연구자들이 활동하고 있다―가 팽창함에 따라 과학자들은 자체 통제와 질 관리에 대한 그들의 취향을 상실해 버렸다. "출판하든지 아니면 도태되든지"라는 문구에 대한 구속이 학문 생활을 지배하게 되었다. 자리 경쟁이 치열하다. 2012년에 미합중국의 정교수들은 평균 135,000달러를 벌었는데, 그 평균 소득은 판사들보다 더 높다. 매해 여섯 명의 새롭게 배출된 박사들이 강단의 자리 하나를 놓고 경합한다. 오늘날 검증(다른 사람들의 결과들의 재현)은 연구자의 경력을 진전시키는 데 거의 도움이 되지 않는다. 그래서 확인되지 않은 채로 의심스러운 발견 결과들이 계속 살아남아서 오도하게 된다.
또한 출세 제일주의는 결과들을 과장하고 취사선택하도록 고무한다. 자체의 배타성을 보호하기 위해 선도적인 저널들은 높은 게재 거부율―투고된 논문들의 90% 이상―을 시행했다. 가장 인상적인 발견 결과들이 게재될 확률이 가장 높다. 연구자들 가운데 3분의 1이 얻어진 결과에서 "육감에 의거하여" 불편한 데이터를 배제함으로써 논문에 활력을 불어넣은 동료에 관해 알고 있다는 점은 거의 놀랄 일이 아니다. 게다가 전 세계에서 더 많은 연구팀들이 같은 문제에 관해 연구함에 따라 최소한 한 팀이 진정한 발견의 달콤한 신호와 통계적 잡음의 이상 신호를 진짜 혼동하게 될 확률이 감소한다. 그런 가짜 상관관계들이 놀랄만한 논문들을 간절히 원하는 저널들에 흔히 게재된다. 그 논문들이 포도주 마시기, 노망 들기 또는 아이들이 비디오 게임들을 하도록 내버려두기에 관해 다루다면, 그것들은 신문의 앞면에도 실릴 수 있다.
반면에, 어떤 가설을 입증하지 못한 결과들은 게재되기는 커녕 출판을 위해 투고되는 경우도 드물다. "부정적인 결과들"은 1990년에 출판된 논문의 30%에서 감소되어 현재는 14%만 차지하고 있다. 그런데 무엇이 거짓인지 아는 것은 무엇이 참인지 아는 것만큼이나 과학에 중요하다. 실패 결과들을 보고하지 못한다는 점은 연구자들이 다른 과학자들이 이미 조사했던 막다른 골목들을 탐구하는 데 돈과 노력을 낭비한다는 것을 의미한다.
신성시되는 동료평가 과정도 평판만큼은 아니다. 저명한 의학 저널이 그 분야의 다른 전문가들을 거친 연구를 게재했을 때, 그 심사자들 대부분이 시험받고 있다고 통보받은 후에도 그 저널이 논문들에 고의로 삽입했었던 오류들을 간파하지 못한다는 점이 발견되었다.
고장이 났다면 고쳐라
이 모든 것은 세계에 관한 진리를 발견하는 데 헌신하는 기획에 대한 허약한 토대를 구성한다. 토대를 강화하기 위해 무엇을 할 수 있을까? 우선해야 하는 한 가지 일은 모든 분과학문들이 기준을 엄하게 하기 위해 가장 많은 일을 행한 분과학문들의 예를 좇는 것이어야 한다. 출발은, 특히 패턴들을 찾아서 엄청나게 많은 데이터를 조사하는, 수가 점점 늘어나고 있는 분야들에서, 통계에 대처하는 일일 것이다. 유전학자들은 이것을 실행해왔고, 그래서 초기에 봇물처럼 쏟아진, 유전체 염기서열 분석에서 도출된 허울 좋은 결과들을 소량의 정말로 유의미한 결과들로 전환시켰다.
이상적으로, 연구 규약은 미리 기재되어 가상적 비망록에서 검토되어야 한다. 이것은 결과들을 실제보다 더 실체적인 듯 보이게 하기 위해 실험자의 설계 도중에 조작하고 싶은 유혹을 억제할 것이다. (이것은 이미 약품의 임상 시험에서 일어나고 있는 것으로 여겨지만, 불완전하게 준수되고 있다.) 가능하다면, 시험 데이터도 다른 연구자들이 검사하고 시험할 수 있도록 공개되어야 한다.
가장 계몽적인 저널들은 이미 단조로운 논문들을 덜 싫어하게 되었다. 매년 300억 달러의 연구비를 분배하는 미합중국의 국립보건원을 비롯한 몇몇 정부 연구비 지원 기관들은 재현을 고무하는 최선의 방법을 고안하고 있다. 게다가 통계를 이해하는 과학자들, 특히 젊은 과학자들의 수는 점점 늘어나고 있다. 그런데 이런 추세는 더 많이 심화될 필요가 있다. 저널들은 "흥미롭지 않은" 연구를 위한 공간을 할당해야 하고, 연구비 지원 기관은 그것을 위해 지불할 자금을 확보해 놓아야 한다. 동료 평가는 엄격해져야 한다. 또는 첨부되는 논평 형식으로 행해지는 발표 이후의 평가를 지지하여 동료 평가를 전적으로 폐기할 수도 있을 것이다. 최근에 물리학과 수학에서 그런 체계가 잘 작동해왔다. 마지막으로, 정책입안자들은 공적 자금을 사용하는 기관들도 그 규칙들을 존중한다는 점을 보증해야 한다.
과학은 여전히 엄청난 존중―때때로 어리벙벙하지만―을 받고 있다. 과학의 특권적 지위는 대체로 옳으며 상황이 잘못되었을 때 자체 오류를 바로잡을 수 있는 능력에 근거를 두고 있다. 그리고 우주는 여러 세대의 과학자들을 계속 열심히 연구하게 하는 진정한 불가사의한 점들이 부족한 것처럼 보이지 않는다. 조잡한 연구에 의해 새겨진 그릇된 길은 이해에 대한 용서할 수 없는 장벽이다.