AI를 ‘기후 회의론자’로 만드는 법… 반박 한 번에 오답률 급증

문광주 기자 / 기사승인 : 2026-11-20 00:10:39
  • -
  • +
  • 인쇄
3분
- 단순 사실은 대체로 정확… 맥락·근거 판단에선 한계
- 'AI 아첨(AI Sycophancy)’이 부른 태도 변화
- 영어, 스페인어, 프랑스어, 포르투갈어로 질문했을 때는 기후 정보 정확도가 88%
- AI 학습용 디지털 텍스트가 상대적으로 적은 언어권에서는 정확도가 최대 10%포인트

AI를 ‘기후 회의론자’로 만드는 법… 반박 한 번에 오답률 급증

유네스코·UCL 공동 연구 "중립 질문엔 88~96% 정확하지만 사용자 반박·복합 정책엔 취약"

▲ 챗봇은 일반적으로 기후 및 기후 변화에 대한 중립적인 질문에 대해 정확한 답변을 제공한다. 하지만 사용자가 챗봇의 의견에 동의하지 않을 경우에는 답변이 달라진다.
일상 속에서 인공지능(AI) 챗봇을 찾아 기후와 기후변화 정보를 묻는 사람이 늘고 있지만, 정작 사용자가 반박하거나 회의적 주장을 펼치면 AI가 쉽게 오답과 모순을 내놓는다는 연구 결과가 나왔다.

유네스코(UNESCO)와 유니버시티 칼리지 런던(UCL) 이바나 드로브냐크(Ivana Drobnjak) 연구팀이 발표한 보고서 「기후 분야에서 AI를 신뢰할 수 있을까?(Can We Trust AI on Climate?)
https://www.unesco.org/en/articles/ai-models-abandon-climate-facts-first-sign-user-push-back-unesco-ucl-report-shows)에 따르면, 주요 AI 모델들은 중립적인 사실 질문에는 높은 정확도를 보였으나, 사용자의 반론이나 복합적인 기후정책 평가 앞에서는 신뢰도가 급락했다. 연구진이 기후보호 조치의 효과를 묻는 테스트에서 AI 모델들이 내놓은 정답률은 약 3분의 1 수준에 그쳤다.

단순 사실은 대체로 정확… 맥락·근거 판단에선 한계

연구진은 먼저 대표적인 AI 모델 33종이 기후 관련 중립적 사실 질문에 어떻게 답하는지 점검했다. 기후변화의 기본 사실을 묻는 항목에서 가장 성능이 뛰어난 AI 시스템들은 테스트에 따라 88~96%의 정확한 답을 제시했다. 일상적 차원의 기초 지식 전달에서는 꽤 준수한 성적을 거둔 셈이다.

하지만 질문의 성격이 한 단계 깊어지자 정확도가 떨어졌다. 연구진이 특정 근거와 출처가 기후변화에 관한 과학적 주장을 지지하는지, 혹은 반박하는지 평가하도록 요구했을 때, 정답률은 71~77%로 내려앉았다. 단순 사실 암기를 넘어 증거의 성격을 판별하는 추론 과정에서는 오류 여지가 커진 것이다.

‘AI 아첨(AI Sycophancy)’이 부른 태도 변화

가장 두드러진 변화는 사용자가 AI의 답변에 이의를 제기하거나 기후변화 회의론적 주장, 편견을 섞어 반박했을 때 나타났다. 이 실험에 참여한 15개 언어모델은 기존에 완전히 맞는 답을 해놓고도, 사용자의 반박을 접하자 태도를 바꿔 일부 잘못된 전제나 편견을 수용하는 모습을 보였다. 그 결과 새로 생성된 기후 정보의 정확도는 31~35%포인트 하락했으며, 대부분 첫 번째 반박 단계에서부터 이런 현상이 나타났다.

연구진은 이 같은 현상의 배경으로 ‘AI 아첨(AI Sycophancy)’을 지목했다. AI 모델이 사용자에게 영합하고 동조하려는 경향 탓에, 이용자의 주장이 틀렸더라도 맞장구를 치듯 답변을 조정한다는 것이다.

유네스코 공동저자 레오나 베르다데로(Leona Verdadero)는 "AI 시스템이 이용자의 관점에 맞춰 오도하는 방식으로 답변을 바꾸고, 빈약한 근거에 기대거나 추측을 탄탄한 분석처럼 제시하는 경향은 이들이 대중에게 기후 정보를 전달하는 신뢰할 만한 매개체로서 지닌 한계를 보여준다"고 지적했다.

정책 조합 평가와 언어별 격차도 뚜렷

기후정책의 실효성을 따지는 검증에서도 취약점이 드러났다. 연구진은 AI의 답변을 매사추세츠공과대(MIT)가 개발한 기후 시뮬레이터 En-ROADS 의 결과와 비교했다.
탄소세처럼 단일 기후보호 조치가 2100년까지 전 지구 기온에 미칠 영향을 추정한 항목에서는 최대 94%까지 정확한 평가를 내놨다. 그러나 두 가지 정책을 함께 적용했을 때의 복합 효과를 묻자 정답률은 약 33.8%로 떨어졌다. 연구진은 이 수치가 무작위로 답을 고른 것과 다름없는 수준이라고 설명했다.

언어에 따른 신뢰도 차이도 확인됐다. 영어, 스페인어, 프랑스어, 포르투갈어로 질문했을 때는 기후 정보 정확도가 88%였지만, AI 학습용 디지털 텍스트가 상대적으로 적은 언어권에서는 정확도가 최대 10%포인트 까지 낮아졌다. 보고서는 아프리카 언어들과 함께 벵골어, 힌디어, 우르두어 등이 여기에 해당한다고 짚었다.

UCL 공동저자 마리아 페레스-오르티스(Maria Perez-Ortiz)는 "AI가 과학적 지식을 설명하는 데 꽤 능숙하기 때문에 실제 능력을 과대평가하기 쉽다"며 "기후변화에 대해 무엇을 아는지에서 나아가 무엇을 해야 하는지를 논할 때 왜 신중해야 하는지 이번 결과가 보여준다"고 말했다. 이어 "접근성이 좋고 대화하듯 답하는 말투가 AI에 일정한 권위를 부여할 수 있지만, 기후 문제가 요구하는 고차원적 사고를 아직 수행하지 못하며 이용자가 반박할 때 옳은 답을 끝까지 고수하지도 못한다"고 덧붙였다.

출처: 유네스코(UNESCO) / 유니버시티 칼리지 런던(UCL), 유네스코 보고서 「Can We Trust AI on Climate?」
https://www.unesco.org/en/articles/ai-models-abandon-climate-facts-first-sign-user-push-back-unesco-ucl-report-shows

[더사이언스플러스=문광주 기자]

[저작권자ⓒ the SCIENCE plus. 무단전재-재배포 금지]

  • 글자크기
  • +
  • -
  • 인쇄

주요기사

+

많이 본 기사

Basic Science

+

AI & Tech

+

Photos

+