4분 읽기 + 4분 40초 영상
- AI 기반 로봇은 물건을 찾을 확률이 가장 높은 위치가 어딘지를 파악
- 능동적인 지도 업데이트, 깊이 정보를 포함하는 픽셀을 가진 2차원 이미지를 제공
- 인공지능 언어 모델(Large Language Model)과 연결. 이 인공지능은 음성 명령을 이해
- 기존 탐색 전략과 비교; 이 로봇이 물체를 14% 더 빠르고 거의 30% 더 효율적으로 탐색

이 탐색 로봇은 스스로 생각한다.
AI 기반 로봇은 물건을 찾을 확률이 가장 높은 위치가 어딘지를 파악한다.

집 열쇠, 돋보기, 지갑 등 무엇이든 간에, 이 혁신적인 탐색 로봇은 기존 시스템보다 훨씬 효율적으로 아파트나 다른 환경에서 잃어버린 물건을 찾아낼 수 있다. 상호 연결된 AI 시스템 덕분에 이 로봇은 물건의 생김새와 물건이 있을 가능성이 가장 높은 위치, 그리고 있을 가능성이 낮은 위치를 파악한다. 그런 다음 로봇은 가장 가능성이 높은 위치부터 먼저 탐색한다. 연구진에 따르면 이러한 방식 덕분에 로봇은 특히 빠르고 효율적으로 물건을 찾을 수 있다. 

▲ 인공지능 기반 탐색 로봇은 기존 방식보다 더 효율적이고 빠르게 잃어버린 물건을 찾아낼 수 있다. © Learning Systems and Robotics Lab/ TU München

자율 로봇이 아파트, 공장, 또는 탁 트인 공간을 이동할 때, 먼저 주변 환경을 지도화해야 한다. 이는 로봇이 방향을 잡는 데 도움이 된다. 하지만 많은 주변 환경은 정적이지 않다. 의자가 옮겨지고, 접시는 식탁 위, 부엌 위, 심지어 야외에서도 위치가 바뀔 수 있다. 따라서 로봇은 환경에 대한 멘탈 지도(Mental Map)를 끊임없이 업데이트해야 한다. 로봇이 끊임없이 변화하는 환경에서 물체를 찾으려면 더 많은 능력이 필요하다. 즉, 요청된 물체를 인식하고 가능한 한 빨리 목표물에 도달하는 탐색 전략을 개발할 수 있어야 한다.

▲ 시제품 탐색 로봇은 바퀴 달린 빗자루처럼 생겼다. © Learning Systems and Robotics Lab/ TU München

로봇이 미지의 공간이나 부분적으로만 알려진 공간에서 물체를 찾아야 하는 객체 목표 탐색은 의미론적 이해와 공간 추론의 긴밀한 통합을 요구한다. 이러한 문제를 해결하기 위해 과거에는 위치 추정, 지도 작성, 계획 수립 및 제어를 휴리스틱 탐색 전략과 결합한 모듈형 접근 방식과 학습 중심 방법이 제안되었다. 최근에는 의미론적 이해와 추론을 파이프라인에 더욱 원활하게 통합해 탐색 효율성을 향상시키는 하이브리드 방법이 등장했다.

그러나 대부분 연구는 여전히 정적인 장면을 대상으로 하며, 동적 변화는 이상치(異常置)로 처리되거나 연속 프레임에서만 추적된다. 실제 환경에서는 가구나 전자 기기의 위치 변경과 같이 동적인 변화가 많이 발생하며, 이러한 변화는 직접 관찰되지 않는다. 이러한 시나리오에서 일관된 시공간적 환경 표현을 유지하는 것은 장기적인 자율성과 효율적인 후속 작업 수행에 필수적이지만, 객체 목표 탐색 작업에서 이러한 기능은 아직 충분히 연구되지 않았다.

▲ 객체가 이동, 제거 또는 재도입될 수 있는 반정적 환경에서 제안하는 개방형 어휘 기반 의미 탐색 접근 방식을 보여주는 그림. 이러한 변화를 고려하기 위해 시스템은 각 객체 인스턴스에 대한 정지성 점수를 명시적으로 유지하고, 오래되었을 가능성이 있는 지도 영역을 적극적으로 재방문한다. 이를 통해 최신 메트릭-의미 지도를 구축할 수 있으며, 이 지도를 사용해 반정적 장면에서 (미지의) 객체-목표 탐색 중에 맥락적으로 관련성이 높은 영역의 우선순위를 지정한다. 실제 실험을 포함한 연구 개요는 웹사이트(https://utiasdsl.github.io/semi-static-semantic-exploration/)와 동영상(http://tiny.cc/sem-explor-semi-static)에서 확인할 수 있다. (출처:Where Did I Leave My Glasses? Open-Vocabulary Semantic Exploration in Real-World Semi-Static Environments / IEEE Robotics and Automation )

목표 행동으로 업데이트되는 멘탈 지도

뮌헨 공과대학교의 벤자민 보겐베르거(Benjamin Bogenberger)와 그의 동료들이 개발한 새로운 로봇은 이러한 능력을 갖추고 있다. 이 로봇은 바퀴 달린 빗자루처럼 보이지만, 이 단순한 외형 뒤에는 인공지능이라는 정교한 기술이 숨겨져 있다. 이 기술 덕분에 로봇은 명령에 따라 특정 물체를 찾을 수 있으며, 물체가 있을 가능성 확률이 가장 높은 위치를 탐색한다.

연구팀은 "이러한 기능을 가능하게 하는 두 가지 작동 모드가 있다. 첫 번째는 능동적인 지도 업데이트다"고 설명했다. 로봇은 테이블이나 조리대 표면처럼 변화 가능성이 높은 주변 환경을 능동적으로 스캔한다. 비교적 정적인 영역은 상대적으로 적게 확인한다. 로봇의 카메라는 깊이 정보를 포함하는 픽셀을 가진 2차원 이미지를 제공한다. 이를 통해 현재 상황을 센티미터 단위까지 정확하게 반영하는 공간 이미지를 생성한다.

안경은 어디에서 찾을 확률이 가장 높을까?

탐색 로봇의 두 번째 구성 요소는 인공지능 언어 모델(Large Language Model)과의 연결이다. 이 인공지능은 음성 명령을 이해하고 로봇 카메라 이미지에서 찾고자 하는 물체를 식별할 수 있다. 또한, 이 AI 시스템은 해당 물체가 어떤 맥락에서 어떻게 사용되는지, 따라서 어디에서 찾을 확률이 가장 높은지에 관한 정보를 로봇에게 제공한다.

이러한 방식으로 로봇은 안경이 가스레인지나 싱크대보다는 테이블이나 창턱에 있을 가능성이 더 높다는 것을 학습한다. 로봇이 안경을 찾기 시작하면, 로봇의 머릿속 지도는 안경을 찾을 확률이 가장 높은 위치를 바로 보여준다. 지도에는 각 위치에서 안경을 찾을 확률을 나타내는 두 자리 숫자가 표시된다. 뮌헨 공과대학교의 수석 저자인 안젤라 쇨리히(Angela Schoellig)는 "우리는 로봇이 주변 환경을 이해하도록 가르쳤다"고 설명했다.

<© Learning Systems and Robotics Lab/ TU München>

접시, 책 등을 사용한 실제 테스트:

여러 실제 테스트를 통해 연구팀은 탐색 로봇이 물체를 얼마나 잘 파악하고 찾아내는지 검증했다. 이러한 실험 중 하나에서 로봇은 의자, 컵이 놓인 커피 테이블, 책상이 있는 방에서 접시를 찾는 임무를 맡았다. 연구진은 "탐색 우선순위 지도는 접시가 있을 가능성이 높은 위치로 컵 근처를 정확하게 식별했다"고 보고했다.

추가 실험에서는 로봇이 방을 처음 탐색한 후 의자나 선반에 새로 놓인 책, 칼, 책상 위의 키보드, 테이블 위의 그릇을 찾는 임무를 수행했다. 결과는 기존 탐색 전략과 비교했을 때 로봇이 물체를 14% 더 빠르게 찾고 거의 30% 더 효율적으로 탐색했음을 보여주었다.

더욱 효율적인 탐색 도우미

보겐베르거(Bogenberger)와 그의 동료들에 따르면, 그들의 접근 방식은 공장, 가정 또는 기타 환경에서 로봇을 더욱 효율적이고 지능적인 탐색 도우미로 만들 가능성을 열어준다. 쇨리히는 새롭게 개발된 공간과 물체에 대한 기본적인 이해는 "끊임없이 변화하는 공간에서 움직이는 모든 로봇에게 중요하다"고 말했다.

다음 단계에서 연구진은 숨겨진 물건, 예를 들어 서랍이나 문 뒤에 있는 물건까지 찾아낼 수 있도록 탐색 로봇을 더욱 발전시킬 계획이다. 그러기 위해서는 먼저 로봇이 문이나 서랍을 열 수 있도록 팔과 손을 달아줘야 한다.

출처:
Benjamin Bogenberger (Technische Universität München) et al., IEEE Robotics and Automation Letters, doi: 10.1109/LRA.2026.3656790

[저작권자ⓒ the SCIENCE plus. 무단전재-재배포 금지]