4분 읽기
- 인공지능은 결과를 예측하는 임무를 맡은 일반인과 비슷한 수준의 정확도 보여
- 인공지능 모델은 일반적으로 효과를 과대평가하는 경향 있어
- AI가 윤리적인 이유로 실제 사람 대상 실험이 제한되면, 허위 정보 연구에도 활용 가능성..
- 대규모 언어 모델이 인간 표본을 대체하는 것이 아니라 보완하는 도구로서의 역할

인공지능이 사회과학 실험 결과를 예측한다.

사회과학 실험 결과는 어떻게 될까요? 인공지능은 이제 일반인만큼이나 정확한 예측을 제공한다. 한 연구에 따르면, 미국에서 진행된 설문조사 실험에서 GPT-4가 예측한 결과는 실제 결과와 높은 상관관계를 보였다. 인공지능 모델은 일반적으로 효과를 과대평가하는 경향이 있지만, 연구 설계에 있어 매우 유용한 도구가 될 수 있다. 

▲ 인공지능은 연구 도구로서 사회과학을 풍요롭게 할 잠재력을 지니고 있다. 그러나 인공지능이 실제 사람들을 대상으로 한 연구를 대체할 수는 없다.

인공지능은 이미 다양한 분야에서 연구 도구로 활용되고 있다. 방대한 데이터셋에서 패턴을 찾아내고, 단백질 구조를 예측하며, 새로운 소재를 설계할 수 있다. 사회과학 분야에서의 인공지능 활용 가능성 또한 논의되고 있다. 기존 연구에서는 대규모 언어 모델(LLM)이 다양한 인구 집단의 설문조사 응답이나 태도를 그럴듯하게 시뮬레이션할 수 있음을 보여주었다. 그러나 이러한 모델이 사회과학 실험 결과, 즉 특정 개입이나 정보가 응답 행동에 미치는 영향을 예측할 수 있는지는 지금까지 명확하지 않았다.

예측 결과 비교

이 질문에 답하기 위해 하버드 대학교의 아슈위니 아쇼쿠마르(Ashwini Ashokkumar) 교수가 이끄는 연구팀은 오픈아이언(OpenAI)이 개발한 GPT-4 언어 모델이 미국에서 진행된 70개의 대표적인 설문조사 실험 결과를 얼마나 정확하게 예측할 수 있는지 검증했다. 데이터 세트는 469개의 실험적 처치 효과와 119,330명의 참가자 데이터로 구성되었다. 예를 들어, 정보성 텍스트가 참가자들의 코로나19 백신 접종이나 기후 보호에 대한 태도에 어떤 영향을 미치는지, 또는 운동량을 늘리거나 차기 선거에서 투표하도록 동기를 부여하는 방식 등을 조사한 연구들이 포함되었다.

GPT-4에는 각 연구의 설계, 개입 방식, 응답 척도에 대한 정보가 제공되었다. 이 정보를 바탕으로 GPT-4는 연령, 교육 수준, 인종, 성별, 정치적 성향, 세계관 등 다양한 참가자 프로필에 대한 응답을 예측하도록 설정되었다. 이를 통해 연구팀은 예상 효과를 계산했다.

결과적으로, 연구팀은 "GPT-4가 도출한 예측 결과가 실제 처치 효과와 매우 높은 상관관계를 보였다"고 밝혔다. 인공지능은 결과를 예측하는 임무를 맡은 일반인과 비슷한 수준의 정확도를 보였다. 가장 정확한 결과는 인간과 기계의 예측을 결합했을 때 얻어졌다. 이는 인공지능의 훈련 데이터셋에 포함되지 않은 연구에서도 마찬가지였다. 연구팀은 "이는 대규모 언어 모델이 이전에 알려지지 않은 실험 결과를 예측하는 데 상당한 부가가치를 제공한다는 것을 시사한다"고 결론지었다.

계획 및 파일럿 연구의 잠재력

그러나 인공지능은 효과 크기를 체계적으로 과대평가하는 경향이 있었다. 실제 결과와 비교했을 때, GPT-4는 약 두 배 더 큰 효과를 예측했다. 또한, 개입이 순수 텍스트 기반이 아니라 현장 실험을 포함한 대규모 연구일수록 실제 결과와의 상관관계가 낮았다. 아쇼크쿠마르 연구팀은 "인간의 평가에서도 동일한 결과가 나타났는데, 이는 일부 실험 효과를 예측하기가 더 어려울 수 있음을 시사한다"고 밝혔다.

또한 인공지능은 효과 크기를 체계적으로 과대평가하는 경향도 보였다. 연구자들의 관점에서 이러한 결과는 인공지능이 사회과학을 다양한 방식으로 풍요롭게 할 수 있음을 시사한다. "대규모 언어 모델은 실험에 앞서 파일럿 연구에서 아이디어를 효율적으로 검증할 수 있는 비용 효율적인 도구를 제공한다"고 연구진은 설명했다. 이는 인간 행동에 대한 이론 개발을 가속화하고, 가장 유망한 이론을 실제 시나리오에서 검증하는 데 도움이 될 수 있다.

표본 크기가 부족해 통계적으로 유의미하지 않은 실험 결과가 나오더라도, AI 모델은 더 큰 표본을 사용한 재현 연구가 필요한지에 대한 단서를 제공할 수 있다. 또한, AI는 윤리적인 이유로 실제 사람을 대상으로 한 실험이 제한되는 경우, 예를 들어 허위 정보 연구에서도 활용될 수 있다.

인간 실험을 대체할 수는 없음

"모든 응용 분야에서 가장 큰 이점은 대규모 언어 모델 예측을 기존 접근 방식과 결합할 때 나타나며, 이는 대규모 언어 모델이 인간 표본을 대체하는 것이 아니라 보완하는 도구로서의 역할을 한다는 것을 강조한다"고 연구진은 밝혔다. 이번 연구에 참여하지 않은 콘스탄츠 대학교의 데이비드 가르시아(David Garcia) 교수도 이에 동의한다. "이번 연구 결과는 사회 과학 연구, 예를 들어 영향 분석이나 개입 설계 등에 유용한 응용 프로그램의 기반이 될 것이다"고 그는 말했다.

가르시아에 따르면, 이번 연구는 AI 언어 모델을 활용한 인간 행동 모델링 연구를 위한 토대를 마련했다. 그는 사회행동과학 분야 연구자들이 AI를 실제 실험과 설문조사를 위한 도구로만 활용하지 않고 과도하게 사용하는 것이 가장 큰 위험이라고 지적했다. "비판적인 목소리도 충분히 있을 거라고 생각한다"고 그는 말했다. "그들은 이러한 질문을 다룰 때 실제 사람들을 고려하는 것이 얼마나 중요한지 일깨워 줄 것이다."
출처: Ashwini Ashokkumar (Harvard University, Cambridge, Massachusetts, USA) et al., Nature, doi: 10.1038/s41586-026-10742-x

[더사이언스플러스=문광주 기자]

[저작권자ⓒ the SCIENCE plus. 무단전재-재배포 금지]