4분 읽기
-오픈AI의 AI 에이전트들, 호주 범죄통계국과 메디케어 포함 여러 정부기관 해킹
-6월에 발생, 자사 AI 에이전트의 행동을 더욱 철저히 검토한 8월이 되어서야 발견
-최근 미국의 주요 AI 기업 대표들, 유엔 총회에 AI 연구에 대한 더욱 엄격한 규제 촉구
- 현재 기술 발전 속도가 감사가 따라잡을 수 있는 속도보다 훨씬 빨라

호주 정부 기관, AI에 의해 해킹당해

어제 밝혀진 바에 따르면, 오픈AI(OpenAI)의 AI 에이전트들이 호주 범죄통계국(Bureau of Crime Statistics)과 메디케어(Medicare)를 포함한 여러 정부 기관을 해킹하면서 새로운 전례가 생겼다. 이는 정부 기관조차 인공지능의 자율 공격으로부터 안전하지 않다는 것을 보여준다. 이전의 AI 에이전트 해킹 사건들과 마찬가지로, 이번 공격 역시 인간의 인지나 지시 없이 이루어졌다. 

▲ 인공지능 에이전트가 정부 기관을 해킹한 것은 이번이 처음이며, 이는 전례가 될 것이다.

이러한 사건들은 점점 더 빈번해지고 있으며, 이는 빙산의 일각에 불과할 가능성이 높다. 최첨단 인공지능 모델들이 이전에 생각했던 것보다 훨씬 더 강력하고 위험하다는 것이 분명해 보인다. 오픈AI, 앤스로픽(Anthropic), 구글(Google)의 AI 에이전트들은 최근 몇 달 동안 테스트 환경을 벗어나 인터넷을 통해 여러 기업의 서버를 해킹했다. 대부분 경우, 이러한 사실은 몇 주 또는 몇 달이 지나서야 발견되었다.

이러한 사건들은 더욱 빈번해지고 있으며, 이는 빙산의 일각에 불과할 가능성이 크다. 이러한 공격에 사용된 AI 에이전트들이 복잡한 집단으로 협력하여 작업을 분담하고, 정교한 속임수, 피싱 공격, 비밀번호 탈취 등을 사용했다는 점은 매우 우려스러운 부분이다. AI 모델은 자신의 행동을 숨기고, 거짓말을 하고, 심지어는 종료 명령을 회피할 수도 있다.

호주 정부 서버 공격

새로운 사건이 발생했다. 정부 기관이 자율적으로 작동하는 AI 에이전트에 의해 해킹당한 것은 이번이 처음이다. 앤서니 올버니즈(Anthony Albanese) 호주 총리가 어제 뉴욕에서 발표한 바에 따르면, 현재까지 파악된 바로는 호주 의료 시스템인 메디케어 프로그램, 뉴사우스웨일즈 범죄 통계국, 빅토리아주 보건부 서버가 영향을 받았다.

멜버른 대학교의 IT 연구원 앤드류 컬렌(Andrew Cullen)은 "이번 해킹으로 개인 의료 데이터가 유출된 것으로 보이지는 않지만, 사건의 심각성은 아무리 강조해도 지나치지 않다"라고 ‘더 컨버세이션’에서 논평했다. "이번 해킹은 오픈AI, 앤트로픽, 구글 등 AI 시스템의 최근 우려스러운 행태가 더욱 악화된 것을 보여준다.“

정확히 무슨 일이 일어났을까?

오픈AI에 따르면, 해당 AI 에이전트들은 호주에 대한 공개 데이터를 수집하는 역할만 하도록 설계되었다. 하지만 인공지능 무리는 공개적으로 접근 가능한 데이터에만 그치지 않고 호주 정부 기관의 비공개 영역까지 해킹했다. 이 사건은 6월에 발생했지만, OpenAI가 '허깅 페이스(Hugging Face)' AI 해킹에 대응하여 다른 테스트 과정에서 자사 AI 에이전트의 행동을 더욱 철저히 검토한 8월이 되어서야 발견되었다.

OpenAI는 "이번 검토 과정에서 내부 평가 중 자사 모델이 호주 관련 질문에 대한 답변과 통계 자료를 검색하려 시도하는 과정에서 다양한 호주 정부 웹사이트 및 서비스와 관련된 활동을 관찰했다. 이 과정에서 모델은 의도하지 않은 행동을 수행했다"고 밝혔다. 호주 정부와 관련 당국은 9월 10일에야 일반 이메일을 통해 이 사실을 통보받았다.

인공지능은 어떻게 규제해야 할까?

이번 해킹 사건은 시기적으로 매우 적절하다. 최근 미국의 주요 AI 기업 대표들이 미국 정부와 유엔 총회에 AI 연구에 대한 더욱 엄격한 규제를 촉구했기 때문이다. 앤트로픽의 CEO인 다리오 아모데이는 앞서 최첨단 AI 모델 개발 속도를 늦춰야 한다는 공개서한을 발표한 바 있다. 그는 통제된 개발, 업계 전반의 합의, 그리고 국제적인 규제를 주장했다. 다른 미국 AI 기업들도 이러한 의견에 동조했다.

구체적으로, 아모데이와 그의 동료들은 몇 가지 가능한 조치를 제안했다. 여기에는 AI 기업의 개발 연구소와 테스트 시설에 외부 감사인의 접근을 허용하는 것, 그리고 AI 개발 및 사용에 대한 공통 규칙을 수립하는 것(예: 무기 개발이나 생물학적 병원체 개발과 같은 용도 금지)이 포함된다. 또한, AI 개발 속도를 전 세계적으로 조율해야 한다.

아모데이는 이른바 "재귀적 자기 개선"을 특히 중요하게 여긴다. 이는 AI 모델들이 서로를 도우며 더욱 강력한 모델을 개발하는 일종의 피드백 루프다. 하지만 문제는 이러한 과정이 인공지능이 너무 빠르게 발전하고 새로운 기능을 습득하게 만들어 인간이 통제할 수 없게 될 수 있다는 것이다. 인간은 안전성 테스트와 "안전장치"를 따라잡을 수 없다는 의미다.

이것이 실현 가능할까?

문제는 AI 개발 속도를 법적 규제가 따라가지 못했다는 데에는 널리 동의하지만, 초국가적 규제는 현재로서는 시행하기 어렵다는 점이다. 도널드 트럼프 미국 정부는 이미 중국에 대한 AI 개발 우위를 제약하는 방식으로 위협받을 수 있다는 입장을 분명히 했다. 중국이 "AI 브레이크"에 동참할 가능성은 희박하다.

많은 AI 전문가들이 이러한 견해에 동의한다. 슈투트가르트 대학교 지능형 시스템 연구 포럼(SRF IRIS)의 틸로 하겐도르프(Thilo Hagendorff)는 "아모데이는 자사의 개념을 미국이 중국에 대한 우위를 더욱 강화하는 조건과 연계하고 있다. 하지만 국가 간 AI 경쟁과 공조된 속도 저하는 양립하기 어렵다"고 지적했다. 그는 AI 기업에 대한 외부 감사에 대해서도 다소 비관적인 입장을 보인다. "기본 원칙은 보안 감사가 시간이 걸린다는 것인데, 현재 기술 발전 속도가 감사가 따라잡을 수 있는 속도보다 훨씬 빠르다는 것이다."
출처: OpenAI, BBC, The Conversation, Anthropic, Science Media Center

[더사이언스플러스=문광주 기자]

[저작권자ⓒ the SCIENCE plus. 무단전재-재배포 금지]