3'00" 읽기 +2'57"영상
- 로봇 손가락의 햅틱(haptic) 인식 크게 개선하고 피부 촉각 감각에 훨씬 더 접근
- 하나 이상의 물체가 센서 쉘에 닿으면 센서 내부의 색상 패턴이 변경
- 인공 엄지에 작용하는 힘의 3차원 이미지기 포스 맵(force map) 유도

로봇을 위한 손가락 끝 감각 센서
막스 플랑크 지능형 시스템 연구소

막스 플랑크 지능 시스템 연구소(Max Planck Institute for Intelligent Systems)의 과학자들은 로봇의 촉각을 향상시키기 위해 엄지손가락을 닮고 내부에 카메라가 있는 센서를 개발하고 있다. 연구팀은 센서가 카메라 이미지에서 터치된 위치와 강도에 대한 정보를 도출하기 위해 심층 신경망을 훈련한다. 센서의 유연한 외부 껍질의 필름된 변형에서 신경망은 인공 엄지에 작용하는 힘의 3차원 이미지를 생성한다. 이 발명은 로봇 손가락의 햅틱(haptic) 인식을 크게 개선하고 피부의 촉각 감각에 훨씬 더 가까이 다가간다. 

네이처 머신 인텔리전스(Nature Machine Intelligence) 저널의 간행물에서 막스 플랑크 지능 시스템 연구소(MPI-IS)의 과학자팀은 "Insight"라는 견고하고 부드러운 촉각 센서를 소개했다. 센서는 컴퓨터 비전과 심층 신경망의 도움으로 물체가 접촉하는 위치와 작용력이 얼마나 큰지를 정확히 추정할 수 있다. 연구 프로젝트는 인간과 동물처럼 주변 환경을 느낄 수 있는 로봇을 향한 중요한 단계다. 자연적인 센서와 마찬가지로 센서는 매우 민감하고 견고하며 정확하다.

엄지 스타일의 센서는 가볍고 단단한 골격을 둘러싸는 부드러운 껍질로 구성돼 있다.
이 골격은 뼈가 손가락의 연조직을 안정시키는 것과 같이 구조를 유지한다. 케이스는 어둡지만 반사되는 알루미늄 플레이크가 혼합된 엘라스토머로 만들어졌다. 이렇게 하면 껍질이 회색빛을 띠고 불투명해져서 외부 빛이 투과할 수 없다. 이 손가락 크기의 캡슐 안에는 작은 160도 어안(魚眼) 카메라가 있다. LED 링에서 생성된 다채로운 조명 패턴을 포착한다.

하나 이상의 물체가 센서 쉘에 닿으면 센서 내부의 색상 패턴이 변경된다.
카메라는 초당 여러 번 사진을 찍고 이 데이터를 심층 신경망에 제공한다. 알고리즘에서 벗어날 수 있는 것은 없다. 가장 작은 빛의 변화도 모든 픽셀에서 인식된다. 훈련된 모델은 1초 내에 물체가 "손가락"에 닿는 위치, 힘이 얼마나 강한지, 어떤 방향으로 작용하는지 정확히 알아낼 수 있다. 이로부터 모델은 과학자들이 포스 맵(force map)이라고 부르는 것을 유도한다. 이것은 인공 엄지에 작용하는 힘의 3차원 이미지다.

”데이터 수집과 최신 딥 러닝 방법 덕분이다"고 MPI-IS의 연구 그룹 리더 게오르그 마티우스(Georg Martius)가 말했다. 그는 자율 학습 그룹을 이끌고 있다. 그의 박사 과정 학생 Huanbo Sun(후안보 순)은 다음과 같이 덧붙였다. “우리 카메라는 단일 이미지로 표면의 가장 작은 변형도 감지할 수 있다.” 실제로 연구원들이 센서를 테스트했을 때 중력에 대한 자체 방향을 감지할 만큼 민감하다는 것을 발견했다.

▲ a, 하이브리드 기계 구조 및 내부 이미징 시스템을 갖춘 센서의 전체 구조. 비교를 위해 해당 카메라 뷰 옆에 사람의 손에 센서가 표시된다. b, 순수 엘라스토머(왼쪽), 뻣뻣한 중공 골격(가운데) 및 둘 다 함께 오버몰딩됨(오른쪽). ci, 반투명 쉘을 사용한 내부 조명: 조리개가 있는 LED 링은 평평한 수평면에 투영하여 시각화된 라이트 원뿔을 만든다. cii, 변형되지 않은 불투명 쉘에서 카메라로 본 내부의 빛 투영 패턴. d, 데이터 처리 파이프라인. 기계 학습 모델은 자동 테스트 베드에서 수집한 데이터에 대해 학습된다. T 및 R은 각각 병진 및 회전 테스트 베드 이동을 나타낸다. 각 데이터 포인트는 카메라의 이미지 하나를 압자의 접촉 위치 및 방향, 접촉력 벡터 및 직경과 결합하여 일관된 접촉력 하에서 근사 모델에서 실제 하중 분포 맵을 계산하는 데 사용된다. (출처: 관련논문 A soft thumb-sized vision-based sensor with accurate all-round force perception / nature machine intelligence)

팀의 세 번째 구성원은 MPI-IS의 햅틱 지능 부서장인 Katherine J.kuchenbecker이다.
그녀는 새로운 센서가 유용할 것이라고 확인했다. “이전의 소프트 햅틱 센서는 사물을 감지할 수 있는 영역이 작았다. 그것들은 섬세하고 제조하기 어려웠고 종종 피부와 평행하게 움직이는 힘을 감지할 수 없었다. 이것은 로봇이 물 한 컵을 들고 테이블 위에서 동전을 옮기는 데 필수적이다.”

센서는 무엇을 만지는지 어떻게 알 수 있을까?  

Huanbo Sun은 훈련 데이터를 수집하기 위한 실험 설정을 설계했다.
머신 러닝 프로세스는 이미지 픽셀의 변화와 적용된 힘 간의 상관관계를 이해하기 위해 이 데이터가 필요하다. 막대가 센서 표면 전체를 살짝 밀면 컴퓨터가 센서 내부의 카메라 이미지와 함께 힘을 기록한다. 이러한 방식으로 연구원들은 약 20만 개의 측정값을 생성했다. 데이터를 수집하는 데 거 의 3주가 걸렸고 딥 러닝 알고리즘을 훈련하는 데 하루가 더 걸렸다. 엄지손가락은 다양한 힘으로 이 긴 실험에서 살아남았다. 이는 Insight의 기계 설계가 견고하다는 증거다.

엄지손가락 모양 센서의 또 다른 특징은 손톱을 본뜬 더욱 얇은 엘라스토머층 영역이 있다는 점이다. 이 딤플은 가장 작은 힘과 다양한 물체 모양도 감지하도록 설계됐다. 이 매우 민감한 영역을 위해 과학자들은 손가락 센서에 사용했던 4mm 대신 1.2mm의 엘라스토머 두께를 선택했다.

 

<로봇에게 촉각을 부여하는 인공 엄지손가락 크기의 센서.© 막스 플랑크 지능형 시스템 연구소>

“저희 작업에서 제시하는 하드웨어 및 소프트웨어 설계는 다양한 형태와 정밀도 요구 사항을 가진 다양한 사용 사례로 변환된다. 딥 러닝 알고리즘의 프로그래밍, 데이터 수집, 교육 및 시스템에서 파생되는 내용은 일반적이며 다른 많은 센서를 개발하는 데 도움이 될 수 있다"고 Huanbo Sun은 결론지었다.
(Nature Machine Intelligence, 2022; doi: 10.1038/s42256-021-00439-3)
출처: 막스 플랑크 지능형 시스템 연구소

[더사이언스플러스=문광주 기자]

[저작권자ⓒ the SCIENCE plus. 무단전재-재배포 금지]