3'30" 읽기
AI 시스템은 의대생과 신규 레지던트를 대상으로 한 이번 3부 테스트에서 52~75%의 정답 달성

ChatGPT는 미국 의료 시험도 통과
AI 시스템은 세 부분으로 구성된 미국 의료 테스트에서 놀랍도록 좋은 값을 달성했다.

의사로서의 AI:
한 연구에 따르면 ChatGPT는 악명 높은 미국 의료 시험도 통과할 수 있다. AI 시스템은 의대생과 신규 레지던트를 대상으로 한 이번 3부 테스트에서 52~75%의 정답을 관리했다. 대부분의 실행에서 ChatGPT는 이 테스트를 통과한 것으로 간주되는 임계값인 60% 이상이었다. 이는 객관식 질문과 자유롭게 구성된 답변 텍스트 모두에 적용된다. 연구원에 따르면 이것은 인상적이고 놀랍다. 

▲ AI 시스템 ChatGPT는 미국의 공식 의료 시험도 통과했다.

ChatGPT는 이 적응형 AI 시스템이 전례 없는 품질의 답변과 텍스트를 생성하기 때문에 전 세계적으로 큰 파장을 일으키고 있다. 이를 위해 설계된 전문가와 알고리즘조차도 그의 텍스트와 인공 텍스트를 거의 구별하지 못한다. ChatGPT 뒤에는 인터넷 및 기타 소스에서 수백만 개의 텍스트로 훈련된 신경망이 있다. 통계적 확률을 기반으로 적응형 언어 모델은 다음에 나올 가능성이 가장 높은 단어를 결정한다.

따라서 AI 시스템은 콘텐츠에 대해 아무것도 "알지" 않고 언어 패턴만 매핑하지만 놀랍도록 정확하고 논리적인 텍스트를 생성한다. ChatGPT는 설득력 있는 과학적 초록을 만들고 편집할 수도 있다.

건강 검진에서 ChatGPT

Boston에 있는 Massachusetts General Hospital의 Tiffany Kung과 그녀의 동료들은 이제 ChatGPT가 의료 전문성에 얼마나 좋은지 조사했다. 연구를 위해 그들은 미국 의대생이 2학년, 4학년 및 졸업 후에 치러야 하는 세 부분으로 구성된 의료 시험인 USMLE(US Medical Licensing Exam)를 봇에게 보도록 했다. ChatGPT는 2022년 6월부터 376개의 질문을 받았다. AI 시스템은 인터넷에 접속할 수 없고 2022년 1월에 마지막 훈련 텍스트를 받았기 때문에 이러한 질문을 알 수 없었다.

의료 테스트와 유사하게 ChatGPT는 세 가지 형식으로 작업을 받았다.
첫 번째 변형은 예를 들어 질문에 설명된 임상 사진에 대한 진단 또는 질병에 대한 올바른 치료법 이후 열린 답변이 있는 질문으로 구성됐다. 두 번째 형식은 5개의 답이 있는 객관식 시험이고 세 번째 형식은 이 답을 선택하고 다른 답을 거부한 이유를 설명하기 위해 자유 텍스트도 사용해야 하는 객관식 시험이었다. 대부분의 경우 답이 약 60% 맞으면 시험에 합격한다.

AI는 대부분 통과할 것

ChatGPT에 대한 결과:
AI 시스템이 인간이라면 실제 의료 테스트를 통과할 가능성이 있다. 정답률이 52~75%였기 때문이다. "이것은 이 임계값에 도달한 최초의 AI 실험이며, 이는 놀랍고 인상적인 결과다"고 Kung과 그녀의 동료들은 썼다. "전담 교육이나 사람의 도움 없이 이 악명 높은 테스트를 잘 수행하는 것은 임상 AI 시스템의 성숙도에서 이정표를 세웠다.“

언어 모델은 개방형 질문에서 특히 잘 수행되어 68~75%를 달성했다. 단순 객관식 테스트에서 그의 적중률은 55-61%로 가장 낮았다. 그러나 흥미로운 점은 자격을 갖춘 의사를 대상으로 하는 테스트의 세 번째 부분이 가장 어렵지만 ChatGPT는 작업의 변형에 따라 평균 61~68.8%를 관리했다. 그에 따라 테스트를 통과했을 것이다.

특수 의료 AI보다 낫다.

맹검 전문가가 판단한 바와 같이 ChatGPT 자체에서 공식화한 답변의 약 95%는 일관되고 의학적으로도 정확했다. 응답의 거의 90%는 또한 명확하지 않고 임상적으로 관련이 있는 중요한 결과 또는 결론을 하나 이상 포함했다. "역설적이게도 ChatGPT의 결과는 생의학 문헌으로만 훈련된 매우 유사한 신경 구조를 가진 언어 모델인 PubMedGPT를 능가한다"고 연구원들은 보고했다.

Kung과 그녀의 동료들에 따르면 ChatGPT와 같은 AI 시스템은 이제 의학에서 확실히 유용할 수 있는 성능 수준에 도달했다. 최초의 적응형 알고리즘은 이미 의료 이미지 평가 및 진단을 지원하는 데 사용되고 있다. 의대생들은 미래에 ChatGPT와 같은 시스템을 사용하여 학습을 도울 수도 있다.

실용화 준비

"우리는 ChatGPT와 같은 언어 모델이 곧 의학 전반에 영향을 미치고 개인화되고 온정적이며 확장 가능한 의료를 촉진할 수 있는 성숙도에 도달했다고 믿는다"고 Kung과 그녀의 팀은 말했다. 그녀의 클리닉은 이미 ChatGPT가 일반인들이 환자의 편지를 더 이해하기 쉽게 편집하도록 하는 실험을 하고 있다.
(PLOS 디지털 헬스, 2023; doi:10.1371/journal.pdig.0000198)
출처: PLOS

[더사이언스플러스=문광주 기자]

[저작권자ⓒ the SCIENCE plus. 무단전재-재배포 금지]