3'30" 읽기
인공 지능은 정책 위반을 조사할 때 관대함을 보이지 않는다.

AI는 우리 인간보다 더 엄격하게 판단한다.
인공 지능은 정책 위반을 조사할 때 관대함을 보이지 않는다.

비례감 부족:
연구 결과에 따르면 인공 지능은 우리 인간보다 더 엄격하게 규칙 위반을 평가한다. 그 이유는 AI 시스템이 인간이 분류한 데이터로 훈련되기 때문이다. 사람들은 규범적인 판단을 하도록 요청받을 때보다 그러한 기술적인 분류에 관해서는 더 엄격하다. 이것은 훈련 데이터를 왜곡하고 소셜 미디어 게시물, 신뢰 확인 또는 법적 문제에 대한 AI 지원 검토에 영향을 미친다. 

▲ 우리는 규범적 조건에서 수집된 규칙 위반 판단 레이블과 서술적 조건에서 수집된 사실적 특징 레이블을 사용하여 구성된 레이블을 대조했다. (A) 우리는 4가지 설정에 대한 설명 레이블(즉, 사실적 특징 평가 포함) 및 규범 위반 판단 레이블을 수집합니다. 및 의견(온라인 토론 포럼의 의견 정책). (B) 대조적인 데이터 수집은 규칙 위반을 규범적으로 직접 평가하는 대신(B) 설명적 판단을 내리도록 라벨러에게 요청한다(A). 그림에 표시된 예제 이미지 및 텍스트 개체는 공개적으로 사용 가능한 오픈 소스 데이터 세트에서 가져온 것이다. (출처:관련논문 Judging facts, judging norms: Training machine learning models to judge humans requires a modified approach to labeling data / Science Advances)

ChatGPT와 같은 적응형 AI 시스템은 믿을 수 없을 정도로 실제적인 방식으로 인간의 의사소통을 모방하고, 컴퓨터 코드를 프로그래밍하고, 연구에 유용하게 사용할 수 있다. 적응형 알고리즘은 이미 소셜 미디어에서 윤리적 지침이나 법률을 위반하는 게시물을 식별하고 차단하는 데 사용되고 있다. 일부 AI 시스템은 예를 들어 용의자의 재범 가능성을 평가하기 위해 이미 법정에서 사용되고 있다.

학습 기계를 심사위원으로?

캠브리지에 있는 MIT의 Aparna Balagopalan와 동료들은 "이러한 시스템이 인간의 규칙과 규범을 정확하게 구현하도록 설계되면 관련 없는 사실을 무시하고 보다 중립적인 결정을 내릴 수 있기 때문에 더 빠르고 저렴하며 공정한 판단을 내릴 수 있기를 바란다"고 말했다.

그러나 AI 시스템의 잘못된 결정은 극단적인 경우, 생계를 파괴하고 사람들에게 큰 피해를 줄 수 있기 때문에 큰 위험을 수반한다. 이것은 무엇보다도 사람들의 신뢰도를 결정하고 인사 결정에 자문을 구하며 경우에 따라 이미 형사 사법 시스템에서 활동하는 인공 지능에 적용된다. Balagopalan과 그녀의 팀은 "전 세계 정부는 공공 및 민간 부문 모두에서 자동화된 의사 결정 사용을 규제하기 시작했다"고 썼다.

설명 또는 규칙 위반?

그러나 기계의 결정은 인간이 내리는 결정과 어느 정도 일치할까? Balagopalan과 그녀의 팀은 이제 이것을 조사했다. 이를 위해 그들은 먼저 온라인 실험에서 지원자들에게 형식적 특성에 따라 2천 개의 이미지와 텍스트를 분류하도록 했다.

예를 들어, 피실험자들은 의상이 맨살을 많이 드러내는지, 개가 공격적으로 보이는지, 식사가 당분 함량이 높은지, 텍스트에 외설적인 언어가 포함되어 있는지를 말하도록 요청받았다.

대신, 다른 실험 대상 그룹은 연구원들에게 동일한 이미지와 텍스트를 사용하여 규칙을 위반한 정도를 평가하도록 요청했다. 예를 들어, 피부 노출을 많이 금지하는 복장 규정, 너무 단 음식을 배제하는 식단 계획, 공격적인 개를 허용하지 않는 가정 규칙 또는 외설적인 언어를 금지하는 커뮤니티 가이드라인 등이 있다.

설명보다 판단이 온화함

그 결과:
순전히 기술적인 질문에서 실험 대상자들은 많은 음식에 설탕 함량이 높고, 개가 공격적이며, 보여지는 의상이 매우 자유롭다고 증언한 반면, 규범적 집단의 사람들은 더 내성적이었다. 그들은 관련 지침을 위반한다는 결론에 도달했다.

연구팀은 "사람들은 사실에 입각한 질문을 하느냐 규범적인 질문을 하느냐에 따라 물체에 라벨을 다르게 붙인다"고 설명했다. "이것이 왜 그런지 명시적으로 테스트하지는 않았지만 한 가지 가설은 사람들이 규칙 위반에 대해, 설명 데이터에 대해 생각하는 것과 다르게 생각할 수 있다는 것이다. 일반적으로 규범적인 결정은 더 관대하다”고 Balagopalan은 말했다. 분명히 우리 인간은 규칙 위반을 평가할 때 "피고인"에게 유리한 결정을 내리는 경향이 있다.

문제로서의 데이터 기반

그러나 인공 지능과 관련하여 문제가 발생한다. 일반적으로 순전히 설명적인 맥락에서 인간이 분류한 데이터로 훈련된다. Balagopalan의 동료인 Marzyeh Ghassemi는 "그들이 학습한 데이터에는 중대한 오류가 있다"고 말했다. “사람들은 이미지와 텍스트의 특징이 판단에 사용된다는 것을 안다면 다르게 분류할 것이다. 이것은 인간 프로세스의 기계 학습 시스템에 엄청난 영향을 미친다.”

▲ 관찰된 규범적 판단은 규범적 조건과 서술적 조건이 동일할 경우 우리가 기대하는 것과 다르다. 위의 플롯은 (A) 의류, (B) 식사, (C) 애완 동물 및 (D) 댓글 데이터 세트에 대한 각 설명 레이블 값(반올림)에 대한 표준 레이블 분포를 보여준다. 흩어져 있는 점은 각각의 고유한 설명 위반 레이블 추정치에 대해 얻은 규범 레이블을 보여준다. 우리는 규범적 판단이 두 조건이 동일한지 확인할 것으로 예상되는 45° 선에서 자주 벗어나는 것을 관찰한다. 회색 선과 회색 음영 영역은 설명 레이블 포인트 추정치 주변의 95% Clopper-Pearson 간격을 나타내며 각 경우의 색상 곡선은 규범 레이블의 중앙값과 95% 신뢰 구간을 연결한다. 여러 점이 회색 음영 영역 외부에 있음을 알 수 있으며, 규범적 레이블은 설명 레이블 및 관련 분산이 주어진 경우 예상 범위를 벗어나는 경우가 많다. 일반적으로 이 편차는 아래쪽이다. 규범적 판단에 대한 관찰된 중앙값은 식사, 애완 동물 및 댓글 데이터 세트에 대한 해당 설명 판단보다 낮은 경우가 많다. (출처:관련논문 Judging facts, judging norms: Training machine learning models to judge humans requires a modified approach to labeling data /Science Advances)

실제로 Balagopalan과 그녀의 팀이 설명 데이터로 인공 지능 시스템 alBERT 및 BERT를 훈련시켰을 때 그들은 인간 테스트 대상보다 훨씬 더 자주 규칙 위반을 보고했다. 반면에 인간 분류기가 규범적 판단이 관련되어 있음을 알고 있는 훈련에 데이터가 사용된 경우 AI도 더 "인간적인" 결정을 내렸다.

교육 데이터에 대한 투명성

Balagopalan은 "따라서 규칙 위반을 감지하기 위해 모델을 교육할 때 교육 컨텍스트를 운영 컨텍스트와 일치시키는 것이 중요하다"고 말했다. 그러나 지금까지 AI를 개발하는 회사는 일반적으로 시스템이 훈련된 데이터를 공개하지 않았다. 이는 ChatGPT 또는 Google AI에도 적용된다. 그러나 이 정보는 각 AI가 적합한 목적을 추정할 수 있도록 하기 위해 매우 관련이 있다.

"인간의 판단을 재현하려면 해당 환경에서 수집된 데이터만 사용할 수 있다는 점을 분명히 해야 한다"고 Ghassemi는 말한다. "그렇지 않으면 우리는 인간보다 훨씬 더 어려운 극도로 어려운 판단을 내리는 시스템으로 끝날 것이다. 인간은 뉘앙스를 식별하거나 다른 구별을 할 수 있지만 이러한 모델은 그렇지 않다.”

설명 데이터를 기반으로 하는 시스템의 경우 소량의 규범 데이터로 미세 조정하는 데 도움이 될 수 있다. Balagopalan과 그녀의 팀은 향후 연구 작업에서 이러한 가능성을 다루고자 한다. (Science Advances, 2023, doi: 10.1126/sciadv.abq0701)
출처: Massachusetts Institute of Technology

[더사이언스플러스=문광주 기자]

[저작권자ⓒ the SCIENCE plus. 무단전재-재배포 금지]