(읽기 2분 30초)
108개 데이터 세트를 전 세계 70개 연구팀에 보내 테스트 수행.
모든 팀은 다양한 가설에 대한 결과, 중간결과 및 분석 접근방식에 대한 자세한 정보를 제공했다.
중간 결과는 비슷하지만 결론은 달라:9개의 가설 중 5개에서 상당한 의견차이 보여.
“이러한 자기 반추와 고유한 방법의 지속적인 개선과정이 과학을 뛰어나게 만든다”

과학 연구결과의 신뢰성은 얼마쯤 될까?
동일한 데이터를 평가할 때 다른 연구팀은 얼마나 동의하는지 실험했다.

테스트에서 얻은 과학적인 결론: 
70개 연구팀이 동일한 데이터 세트를 평가하면 어떻게 될까?
그들은 분석에서 같은 결론을 도출할까?
한 연구팀이 뇌 스캔 데이터 세트를 사용하여 이를 확인했다.
매우 유사한 중간 결과에도 불구하고 결론에는 분명한 차이가 있었다. 이것은 투명성과 재현성의 중요성을 강조한다. 연구원들이 "Nature"저널에 보고한 내용이다.

▲ 기능적 자기공명영상(fMRI)을 사용한 뇌 활동의 이미지. 이러한 복잡한 데이터로부터 신경 심리학적 결론을 도출하는 것은 쉽지 않다. © akesak / iStock

과학은 비판적인 자제력으로 산다.
이것은 무엇보다도 전문가 저널의 동료검토(peer review) 감정 시스템뿐만 아니라 방법과 데이터의 공개에 의해 보장된다. 동시에, 발견 및 가설은 새로운 데이터에 대해 지속적으로 점검되며 확대 또는 수정된다.

이 점진적인 인지 과정은 현재의 코로나 유행병에서도 잘 관찰될 수 있다.
Covid-19는 처음에 폐 질환으로 간주됐지만 이제는 바이러스가 거의 모든 장기를 공격하는 것으로 알려져 있다. 또한 아이들은 처음에 크게 둔감한 것으로 여겨졌는데 지금은 드문 합병증의 증거가 있다. 그리고 SARS-CoV-2의 기원이나 전염병의 추가 과정을 포함한 많은 다른 질문들이 여전히 열려 있다.

뇌 스캔 108개, 분석팀 70개

과학자들이 동일한 데이터를 기반으로 결론을 도출해야 한다면 어떻게 동의할까?
텔 아비브 대학교(University of Tel Aviv)의 톰 숀버그(Tom Schonberg)가 이끄는 과학자들은 이런 류 실험 중에서는 가장 큰 실험을 수행했다. 이를 위해 신경 심리학 연구에 참여한 108명의 피험자 중에서 뇌 스캔자료를 선택했다. 기능적 자기공명영상(fMRI)으로 촬영한 이들 이미지는 특정 결정에서 시험 대상의 뇌 활동을 보여 주었다.

Schonberg와 그의 팀은 이 108개 데이터 세트를 전 세계 70개 연구팀에 보냈다.
그들은 각각의 표준 방법을 사용해 데이터를 분석하고 그 결과에 기초하여 9개의 사전 정의 된 가설을 점검했다. 최종 결과로서, 예 또는 아니오로 가설에 답해야 한다.
분석팀이 데이터를 평가하는 데 3개월이 걸렸다.

그 후, Schonberg와 그의 동료들의 모든 팀은 다양한 가설에 대한 결과, 중간 결과 및 분석 접근 방식에 대한 자세한 정보를 제공했다.

중간 결과는 비슷하지만 결론은 아니다.

비교 결과, 팀은 여전히 ​​중간 결과와 처리된 데이터에 대해 상당히 잘 동의한 것으로 나타났다. 메타 분석에서 알 수 있듯이 분석에서 생성된 뇌 활성화 맵은 여전히 ​​거의 비슷했다.
그러나 과학자들이 그들의 평가에서 도출한 결론은 그렇지 않았다.
9개의 가설 중 5개에 상당한 의견 차이가 있었다.

연구원들은 가능한 결과 중 하나가 복잡한 결과를 단순한 예 아니오 결정으로 축소해야 했다고 생각합니다. "이 분석의 특정 문제는 매우 복잡한 데이터가 사용되는 모든 영역에 영향을 미치며, 결과는 거의 예-아니오 결과로 줄여야한다."라고 공동 연구자 율리히(Jülich) 연구소의 시몬 어이크호푸(Simon Eickhoff)는 설명한다.

"투명성과 협력이 필수적이다"

따라서 이 연구는 복잡한 데이터의 분석이 이런 데이터를 누가, 어떤 형태로 평가하느냐에 달려 있음을 증명한다. 동일한 시작 데이터와 정의된 질문에도 불구하고 특히 데이터를 해석할 때 상당한 편차가 있을 수 있다.

연구원들에 따르면, 이것은 원시 데이터와 방법을 공개하는 이미 일반적인 관행을 확인한 것이다. 다른 팀이 절차를 이해하는 유일한 방법이다.
Eickhoff는 “점점 더 많은 데이터 기반의 전문 과학에서 협력과 투명성이 필수적이다”고 말했다. 거의 200명의 과학자가 이 실험에 수백 시간을 기꺼이 투자했다는 사실도 의지가 얼마나 강한지를 보여 준다.

“이러한 자기 반추와 고유한 방법의 지속적인 개선과정이 과학을 독특하고 뛰어나게 한다”고"인스브루크 대학교(University of Innsbruck)의 미샤엘 키르슬러(Michael Kirchler)와 위르겐 후버(Jürgen Huber)는 강조한다.

(Nature, 2020; doi : 10.1038 / s41586-020-2314-9)
출처 : Forschungszentrum Jülich(독일), Universität Innsbruck, Universität Wien

[더사이언스플러스=문광주]

[저작권자ⓒ the SCIENCE plus. 무단전재-재배포 금지]