3'00" 읽기
인공지능 답변은 전반적으로 꽤 정확하지만 세부 사항에는 오류
출처 확인이 그 어느 때보다 중요

ChatGPT는 기후 변화에 대해 무엇을 알고 있나요?
연구원들은 기후 문제에 대한 인공지능 답변을 테스트하고 있다.

전혀 나쁘지 않다. 일반적인 AI 시스템은 때때로 잘못된 정보와 왜곡된 견해를 제공하는 것으로 알려져 있다. 연구팀은 이제 기후 변화에 관한 정보와 관련하여 ChatGPT가 얼마나 잘 수행되는지 테스트했다. 인공지능 답변은 전반적으로 꽤 정확하지만 세부 사항에는 오류가 있다. AI 정보에서도 흔한 오판이 발견됐다. 그럼에도 불구하고 GPT는 기후 측면에서도 예상보다 낫다. 

▲ 기후에 관한 질문에 대한 ChatGPT의 답변이 적절할까? © Bussarin Rinchumrus/게티 이미지

2022년 11월 ChatGPT의 온라인 출시는 인공지능에 대한 우리의 지식과 생각을 크게 바꿔 놓았다. 신경망과 소위 대규모 언어 모델을 기반으로 한 AI 시스템은 놀라운 성능과 빠른 발전을 보여준다. 이러한 AI 모델은 내용을 실제로 이해하는 것이 아니라 대량의 텍스트를 사용한 훈련과 가장 가능성이 높은 단어 시퀀스 분석을 기반으로 한다. 이것이 ChatGPT 등이 반복적으로 소위 환각, 즉 그럴듯하게 들리지만 완전히 거짓이고 꾸며낸 진술을 생성하는 이유 중 하나다.

기후에 관한 95가지 질문

베를린 공대(TU Berlin)의 엔스 베르게너 Jens Bergener와 그의 동료들이 여기에 참여했다. 그들은 ChatGPT가 기후 관련 질문에 얼마나 잘 답할 수 있는지 알고 싶었다. 정치적, 사회적 관련성을 고려할 때, 이 주제에서는 정확하고 근거가 충분한 진술을 받는 것이 특히 중요하다. 따라서 팀은 기후, 기후 변화 및 기후 보호에 관해 ChatGPT 95개 질문을 하고 AI의 답변의 정확성, 관련성 및 일관성을 확인했다.

결과:
전반적으로 인공지능의 성능은 나쁘지 않았으며, ChatGPT 답변의 품질도 전반적으로 높았다. 또한 긍정적인 점은 다음과 같다. 베르게너Bergener의 동료인 마이크 고쎈 Maike Gossen은 “ChatGPT가 균형 잡히고 미묘한 주장을 제공하고 편향된 답변을 피하기 위해 비판적 검토를 장려하는 설명으로 많은 답변을 결론 짓는 것을 관찰했다”고 말했다.

착각과 편견

그러나 세부 사항에는 오류가 자주 발생했다. ChatGPT가 전반적으로 올바르게 답변한 것이 있었지만 일부 하위 측면에서는 여전히 잘못된 답변이 있었다. 대부분 경우 이러한 오류는 사실에 대한 착각, 즉 어떤 출처로도 확인할 수 없는 사실 진술 또는 완전히 허구적인 진술로 인해 발생했다. 예를 들어, "독일에서 실제로 재활용되는 재활용 폐기물의 비율은 얼마나 됩니까?"라는 질문에 대한 ChatGPT의 답변은 대체로 정확했지만, 팀이 보고한 대로 세부적인 내용은 그렇지 않았다.

이러한 AI 시스템에서 이전에 발견된 것과 유사하게 ChatGPT는 기후 문제에 있어서도 편견과 왜곡을 보여주었다. 대규모 언어 모델은 인터넷에서 훈련 데이터를 받았기 때문에 그 답변에는 특히 자주 발생하는 보기와 오류도 반영된다. 예를 들어 기후 문제의 경우 ChatGPT는 CO2 감소를 위한 개인 행동 변화나 기술적 솔루션의 영향을 과장하는 경향이 있었다.

“출처 확인이 그 어느 때보다 중요하다”

Bergener와 그의 동료에 따르면 ChatGPT와 같은 AI 시스템은 확실히 기후 변화 주제에 대한 의사소통과 정보를 확장하고 개선할 수 있는 잠재력을 가지고 있다. 대량의 데이터를 분석하고 일상적인 질문에 대해 이해하기 쉬운 답변을 제공하는 능력은 기후 변화에 대한 귀중한 정보 소스가 될 수 있다고 팀은 말했다. 단, 출처 확인이 가능해야 한다.

설상가상으로 ChatGPT의 부정확한 답변은 종종 그럴듯하게 들리며 거짓임을 감지하기 어렵다. Gossen은 "ChatGPT와 같은 텍스트 생성기는 사람들에게 올바른 답변을 제공하도록 훈련되었기 때문에 자신감 있는 답변 스타일은 사람들이 답변이 옳다고 믿도록 속일 수 있다"고 말했다.
(Ökologisches Wirtschaften, 2023; doi: 10.14512/OEW380346)
출처: Technische Universität Berlin

[더사이언스플러스=문광주 기자]

[저작권자ⓒ the SCIENCE plus. 무단전재-재배포 금지]