5분 읽기
인공지능은 우리 세계와 그 암시적 규칙을 올바르게 반영하지 못한다. 결과적으로 건설 현장이나 우회로에서 경로를 계획할 때 AI 시스템은 실패한다.

AI가 뉴욕 거리에서 길을 잃었다. 실패 사례 연구
내비게이션 테스트와 논리 게임을 통해 인공지능의 실패 사례 모델 공개

계획 없는 AI?
AI 모델이 겉보기에 자신있게 우리에게 길을 보여주거나 작업을 해결할 수 있다고 하더라도 중요한 요소가 빠져 있다. 즉, 현재 테스트에서 밝혀지듯이 인공지능은 우리 세계와 그 암시적 규칙을 올바르게 반영하지 못한다. 결과적으로 건설 현장이나 우회로에서 경로를 계획할 때 AI 시스템은 실패한다. 이러한 약점은 논리 테스트나 전략 게임에서도 나타난다. 이는 GPT, Claude, Llama 등을 사용할 때 위험을 초래한다. 

▲ 인공지능이 경로를 계획할 수 있지만 그 뒤에 있는 도로망에 대한 정확한 이미지가 없는 경우가 많다. pixabay

인공지능의 발전은 빠르다. 생성적 AI 모델은 이제 거의 완벽한 비디오와 이미지를 생성하고 연구 작업을 해결하거나 NotebookLM처럼 모든 문서에서 믿을 수 없을 만큼 실제적인 팟캐스트를 생성할 수 있다. 그들은 튜링 테스트를 통과했으며 이미 많은 작업에서 우리보다 뛰어난다. 목표가 달성된다면 AI 시스템은 의도적으로 거짓말을 할 수도 있다. 놀라운 점은 GPT, Llama, Claude, Sora 등이 훈련 데이터의 확률을 평가해 이러한 모든 기술을 개발한다는 것이다.

이것이 AI의 "사고방식"에 대해 무엇을 의미할까? AI의 훈련은 세계와 그 규칙에 대한 일관된 관점을 형성할까? MIT(Massachusetts Institute of Technology)의 수석 저자 Ashesh Rambachan은 "예를 들어 과학에서 이러한 기술을 사용하려는 경우 LLM(대형 언어 모델)이 이러한 세계 모델을 형성하는지에 대한 질문이 매우 중요하다"고 설명했다. 생명이 의존할 수 있는 AI 작업에서도 LLM은 명시적으로 가르치지 않더라도 암묵적인 규칙과 규칙성을 이해하는 것이 필수적이다.

▲ 내비게이션 시스템으로서의 AI: 인공지능도 올바른 "멘탈 맵"을 개발할까? © MIT/ iStock

테스트 사례: 뉴욕을 통과하는 경로

Rambachan과 그의 팀은 이제 일반적인 AI 시스템이 그러한 세계관을 개발하는지를 테스트했다. 이를 위해 그들은 소위 결정론적 유한 오토마타(finite automaton/automata) 클래스에서 작업을 선택했다. 예를 들어 경로 계획, "4연속"과 같은 게임 또는 특정 논리 퍼즐이 여기에 포함된다. 일반적인 것은 해결책을 얻기 위해 일련의 연속적인 상태를 거쳐야 한다는 것이다. 예를 들어 탐색할 때 교차로에서 우회전하는 것이다.
*오토마타(automata)는 추상적인 계산기로, 정해진 규칙에 따라 입력을 읽으면서 내부의 상태를 바꾸고 결과를 출력하는 기계의 수학적 모델이다. 오토마타 이론은 이런 오토마타를 바탕으로 문제의 계산가능성, 효율성 등을 다루는 학문이며 오토마타와 밀접한 연관이 있는 형식문법, 언어까지도 다룬다. 오토마타 이론은 컴퓨터과학의 근간이 되는 분야라고 할 수 있으며 계산이론, 인공지능, 컴퓨터 구조 설계, 컴파일러 설계, 파싱, 정형검증 등의 분야에서 중요한 역할을 담당한다.

첫 번째 테스트에서 두 가지 버전의 GPT는 뉴욕을 통과하는 택시 탑승 경로 데이터(기본적으로 내비게이션 시스템이 이러한 탑승에 대해 제공하는 지침)로 교육되었다. 그런 다음 AI는 경로 플래너 자체의 역할을 수행하고 맨해튼의 다양한 목적지로 방향을 제시해야 한다. 예상대로 인공지능의 성능은 매우 뛰어났다. “트랜스포머 모델은 거의 100% 교차로에서 정확한 지시를 내렸고 심지어 현재 위치까지 아는 것 같았다”고 연구진은 말했다.

불가능한 도로망

그러나 팀이 건설 현장, 도로 막힘 및 기타 변경 사항을 통합하면서 상황이 바뀌었다. “우회를 추가하자마자 성능이 얼마나 빨리 떨어졌는지에 놀랐다”라고 하버드 대학교의 제1저자 Keyon Vafa가 말했다. "거리의 1%만 차단하면 정확한 경로 안내 비율이 거의 100%에서 단 67%로 떨어졌다." 뉴욕 거리에서 인공지능이 '길을 잃었다'.

그 이유는 연구원들이 훈련과 작업 중에 AI가 생성한 '멘탈 맵'을 살펴보면 분명해졌다. “결과 맵은 맨해튼의 실제 거리와 거의 유사하지 않다. 방향이 불가능한 거리와 까마귀가 날아다니는 것처럼 연결이 존재하지 않는 거리가 포함되어 있다”고 팀은 보고했다. "이는 이 인공지능의 기본 세계 모델이 일관성이 없다는 것을 보여준다.“

▲ 맨해튼 거리망(왼쪽)과 AI 모델의 '멘탈 맵'. © Vafa 외./arXiv, CC-by 4.0

암묵적 법칙으로 인한 실패

이러한 AI의 누락되거나 잘못된 세계관은 내비게이션에만 문제가 되는 것이 아니다. "Reversi" 및 "Four in a Row"와 같은 전략 게임과 논리 퍼즐을 사용한 테스트도 뒤에 있는 원리에 대한 통찰력이 부족함을 보여준다. 실제 움직임을 기반으로 훈련된 AI 모델 GPT-4와 라마가 게임에서 승리할 수 있었다. 그러나 그들은 예를 들어 두 라운드에서 동일한 게임 조건을 받았는지 또는 다른 오프닝이 궁극적으로 동일한 결과로 이어질 수 있는지를 인식하지 못했다.

논리 테스트도 유사했는데, 세 사람이 벤치에 앉는 순서를 결정하기 위해 언어 작업을 사용했다. 작업이 약간 다르게 표현되면 인공지능은 그것이 본질적으로 동일한 작업이라는 것을 더 인식하지 못한다. Vafa와 그의 동료들은 “40% 이상을 달성하는 AI 모델은 없다”고 말했다. 여기서도 AI 시스템에는 전체적인 이해, 일관된 세계관이 부족했다.

▲ AI 모델의 논리 퍼즐 및 성능: 대부분 정답에도 불구하고 약간 다른 프롬프트가 제공되면 유사점이나 차이점을 거의 인식하지 못한다. 이것은 일관된 세계 모델에 반대되는 것이다. © Vafa 외./arXiv, CC-by 4.0

AI 모델의 약점 – 여전하다

연구원들에 따르면 이는 인공지능의 중요한 약점을 확인시켜 준다. 놀라운 성능을 달성하고 복잡한 작업을 자신있게 마스터하더라도 훈련 데이터에서 세계와 법칙에 대한 올바른 이미지를 항상 생성하고 분석하기에는 기술이 여전히 충분하지 않다. 경험을 명시적으로 가르치지 않으면 예상치 못한 곳에서 실패하게 될 수 있다.

Rambachan은 "우리는 이러한 AI 모델이 인상적인 일을 하는 것을 보고 있으므로 그 뒤에 숨은 원리를 이해했다고 틀림없이 생각한다"고 말했다. 그러나 지금까지 항상 그런 것은 아니었다. 필수 작업에 사용되는 인공지능이 한 상황에서는 완벽하게 작동하지만 예기치 않게 실패하는 경우 이는 위험해질 수 있다. “따라서 기본 논리를 독립적으로 포착할 수 있는 생성 AI 모델을 개발한다면 이는 엄청난 가치가 있을 것이다”고 연구원은 말했다.
(Preprint arXiv, 2024; doi: 10.48550/arXiv.2406.03689)
출처: Massachusetts Institute of Technology (MIT)

[더사이언스플러스=문광주 기자]

[저작권자ⓒ the SCIENCE plus. 무단전재-재배포 금지]