왜 인공 intelligence(AI) 모델은 정확히 똑같이 반응하지 않을까: 프랙탈이 원인이다.

인공지능은 동일한 학습 과정을 거치고 똑같은 프롬프트를 입력받더라도 완전히 재현 가능하고 신뢰할 수 있는 결과를 결코 만들어내지 못한다. 그 이유는 바로 프랙탈에 있다. AI의 학습 과정 뒤에 숨겨진 수학적 원리에 따르면, 그 원인은 바로 '뚱뚱한(fat) 프랙탈'이다. AI의 발전 과정은 끝없이 확대해 보아도 모든 지점이 서로 뗄 수 없이 섞여 있어 명확한 경계가 존재하지 않는 프랙탈 풍경과 유사하다. 이로 인해 학습 결과를 정밀하게 제어하거나 예측하는 것이 불가능해진다. 

▲ 인공지능 시스템은 동일한 훈련을 받더라도 완벽하게 재현 가능하고 신뢰할 수 있는 결과를 내놓지 못한다. 그 이유는 바로 프랙탈 구조 때문이다.

물리학자들에 따르면, 딥러닝 과정에서 신경망 내부에서 일어나는 일을 설명하는 수학적 방정식은 프랙탈 풍경으로 비유할 수 있다. 지도 위의 각 지점은 학습 과정의 시작점을 의미하며, 점의 색상은 나중에 달성된 결과를 나타낸다.

기존의 통념에 따르면 이 학습 환경은 수학적으로 명확하게 구분되는 '홀쭉한(lean) 프랙탈'로 여겨졌다. 이러한 시스템에서는 불확실성을 충분히 줄이면 결과를 예측할 수 있다. 

▲ 프랙탈 학습 지형: 각 색깔 점은 AI 모델의 초기 구성을 나타낸다. 파란색은 하나의 학습 결과를, 주황색은 다른 학습 결과를 보여준다. — © Pulin Gong/시드니 대학교

그러나 새로운 분석에 따르면 일반적인 AI 시스템의 학습 환경은 '뚱뚱한 프랙탈'과 닮아 있다. 매개변수 공간에서 학습 결과를 결정하는 영역들이 서로 맞물려 있어, 초기화 설정이 미세하게만 달라도 전혀 다른 결과로 이어질 수 있다.

이 프랙탈 풍경을 아무리 확대해 보아도 부드러운 면이나 경계선은 나타나지 않으며, 모든 규모에서 다른 색상의 점들이 계속 섞여 있다. 즉, 원자보다도 작은 미세한 차이조차도 AI 모델을 완전히 다른 상태로 빠지게 만들 수 있어 예측이 극도로 어려워진다.

모든 AI 형태와 매개변수 규모에서 나타나는 현상

연구진이 약 5만 개의 신경망을 학습시켜 분석한 결과, 이러한 프랙탈 구조는 다양한 네트워크 구조, 데이터셋, 학습 방법 전반에 걸쳐 공통적으로 나타났다. 수십억 개의 매개변수를 가진 대형 모델이든, 단 두 개의 층을 가진 소형 모델이든 상관없이 나타나는 규모 독립적인 특성이다. 

▲ 아무리 확대해 보더라도 "뚱뚱한" 프랙탈에는 깨끗한 가장자리나 표면이 없다. 항상 이질적인 색깔의 점들이 흩어져 있다. — © Ly and Pulin/ Nature Machine Intelligence, CC-by 4.03

이러한 불확실성을 줄이는 한 가지 방법은 AI 학습 시 학습률(Learning Rate)을 낮추는 것이다. 학습률을 낮추면 매개변수 공간과 함수가 더 재현 가능해지지만, 반대로 AI가 학습하는 효율과 속도가 떨어지게 된다는 단점이 있다. 즉, 효율적인 학습을 가능하게 하는 설정이 오히려 결과의 예측 불가능성을 높이는 딜레마가 존재한다.

참고:

Andrew Ly und Pulin Gong (University of Sydney), Nature Machine Intelligence, 2026; doi: 10.1038/s42256-026-01336-3

[더사이언스플러스=문광주 기자]

[저작권자ⓒ the SCIENCE plus. 무단전재-재배포 금지]