사람이 보기에 적절한 파지 상태를 로봇에 전달하는 학습 체계

그리퍼 힘 제어와 촉각 피드백은 변형 가능 물체의 조작 안정화에 널리 쓰였다[9,6,8]. 하지만 주로 미끄러짐 방지나 과도한 힘 감소 같은 물리적 안전성을 다뤄 주관적인 기준을 충분히 포착하지 못한다. 미끄러지지 않더라도 시각적 변형이나 외관 손실이 사람의 허용 범위를 넘으면 부적절한 파지로 느낄 수 있다. 판단은 재질·강성 같은 물체 특성에 의존하며 사람의 지도 없이 센서값만으로 바로 추론할 수 없다[10]. 제안 체계는 사람의 주관적 파지 상태와 해당 촉각·파지력 측정을 연관 짓는다. 미끄러짐 기반 제어가 물리적 안정성을 유지한다면 본 체계는 사람이 허용하는 변형 정도를 추정해 힘을 조절한다는 점에서 서로 보완적이다.

Cui 등은 시각·촉각을 입력받아 미끄러짐·적절·과도의 세 상태로 분류하는 3차원 합성곱 기반 시각–촉각 융합 심층 신경망 C3D-VTFN을 제안했다[2]. 각각의 3D CNN이 시각 및 촉각 시계열을 처리한 뒤 완전연결층에서 시공간 특징을 합친다. 3축 촉각 분포를 이미지처럼 취급하므로 촉각 데이터에도 영상과 유사한 시계열 처리가 가능하다. 입력 프레임의 비율로 이미지 센서와 촉각 센서의 표본화 속도 차이를 흡수하여 비동기 이종 데이터에서 효과적인 융합 특징을 학습한다. 연구진은 16종 물체의 2만 표본으로 GSA 데이터셋을 구성해 99.98%의 분류 정확도를 보고했다.

그러나 심층 신경망 기반 방법은 대규모 사전 데이터 수집을 전제로 하며 모델 학습에도 상당한 시간이 필요하다. 새로운 물체가 끊임없이 등장하는 실제 환경에서 즉각적인 온라인 적응은 여전히 어렵다.

이를 해결하기 위해 학습 과정에서 인간의 주관적 평가를 촉각 및 그리퍼 힘과 연관 짓는다. 경량 모델이 이 기계적 데이터만으로 추론하도록 하여 데이터 요구량을 줄이고 새로운 물체에 빠르게 적응한다.

딥러닝 접근의 데이터 수집 병목을 해결하기 위해 반자동 지도 데이터 생성에 주목한다. VLM은 이미지·영상 이해 성능이 높아 최근 지도 데이터 생성에 활용되고 있다[18,12]. 언어 지시를 바탕으로 맥락과 상황을 고려해 모호한 사건을 평가할 수 있고, 시각 입력을 근거로 판단의 설명과 추론도 생성할 수 있다.

하지만 VLM은 근거 없는 환각이나 모호한 상황에서 흔들리는 판단을 보이기도 한다[11]. 복잡한 물리 개념의 제로샷 추론도 인간의 기대에 맞지 않는 경우가 많다[3]. Silva-Rodríguez 등은 사전 학습한 텍스트 지식을 기준점으로 삼아 저비용 소수 예시 적응 과정에서 클래스 표현이 사전지식에서 크게 벗어나지 않도록 하는 반지도 접근을 제안했다[12]. Xu 등은 자동 처리 과정의 라벨 신뢰성을 위해 응답을 미리 정한 범주에 강제로 대응시키는 등 출력 형식을 구조화하는 중요성을 강조했다[18].

제안 체계는 구조화한 출력과 인간의 주관적 기준점을 결합해 지도 데이터를 생성한다. 최소한의 수동 개입으로 새 물체에 대해 안정적이며 인간 판단에 맞는 학습 데이터를 만들도록 한다.

로봇은 시각·촉각·파지력 정보로 파지 상태를 측정한다. 그림 2의 로봇 시스템 및 전처리 부분처럼 카메라, 촉각 센서와 그리퍼 힘의 데이터 및 주석 상태를 SG와 GSP에 적합한 구조로 만든다. 데이터셋은 손에 장착한 카메라의 RGB 이미지, 좌우 촉각 센서에서 누르는 방향을 나타내는 z축 변위, 실제 파지력으로 구성된다. RGB 이미지는 영상으로 묶는다.

정답(GT) 라벨을 만들기 위해 사람이 RGB 영상을 보고 파지 완료 시점 t_grasp와 변형 시작 시점 t_deform을 수동으로 지정한다. 두 시점의 정의는 다음과 같다.

• •

  t_grasp: 그리퍼가 물체를 안정적으로 잡은 상태로, 그리퍼와 물체 사이에 틈이 없다고 시각적으로 판단할 수 있는 순간이다.

• •

  t_deform: 힘이 증가하면서 물체 윤곽이나 표면의 눌림 같은 시각적 변형이 나타나기 시작해 원래 외관이 손실됐다고 판단할 수 있는 순간이다.

그림 3처럼 이 시점들은 Cui 등[2]의 세 가지 이산 상태에 대응하며 다음과 같이 표현된다.

• •

  미끄러짐: t < t_grasp

• •

  적절: t_grasp ≤ t < t_deform

• •

  과도: t ≥ t_deform

수집한 다중모달 데이터에서 두 가지 학습 형식을 만든다. 첫째는 SG가 시공간 상태 전이를 포착하도록 하는 영상이다. 그림 4처럼 손 카메라 RGB 이미지와 각 촉각 소자(taxel)의 z축 변위 열지도를 가로로 붙여 하나의 영상 스트림으로 만든다. 촉각 강도의 변화가 직관적으로 보이도록 cmthermal 색상표[1]를 사용한다.

둘째는 GSP가 기계적 상태 전이를 포착하는 시계열 표현이다. 좌우 촉각 센서 각각에 다음 데이터 정제 절차를 적용한다.

• •

  음수 값을 0으로 제한한다.

• •

  16개 촉각 소자 전체의 z축 변위 평균을 계산한다.

• •

  값을 [0,1] 범위로 정규화한다.

각 시간 단계에 정제한 좌우 촉각값과 파지력을 이어 붙여 3차원 특징 벡터를 만든다. 그림 2의 센서 벡터 u_t이며 식 (1)과 같다.

파지 중 힘은 0.1N에서 1.4N까지 0.1N씩 증가하므로 14개의 이산 시간 단계가 생긴다. 특징 벡터를 시간 순으로 쌓아 파지 중 기계적 상호작용의 변화를 나타내는 3×14 시계열 행렬을 얻는다.

새 물체에 필요한 수동 주석의 과도한 비용을 줄이기 위해 소수 예시로 주관적 판단을 기준화하는 SG를 제안한다. VLM은 물체가 정확히 언제 변형되기 시작하는지와 같은 연속적인 물리 변화 분석에서 환각과 불안정한 경계 판단을 보이기 쉽다. 과도 상태의 인식은 본질적으로 주관적이며 물체에 따라 다르므로 일반적인 언어 지시만으로는 로봇 제어에 필요한 고정밀 라벨링을 보장하기 어렵다.

이를 해결하기 위해 최소한의 인간 주석 시행을 맥락적 기준점으로 사용한다. VLM에는 텍스트 프롬프트와 라벨을 붙일 대상 영상, 사람이 지정한 시점 라벨을 가진 참조 영상 묶음을 소수 예시로 함께 제공한다. 이 영상–라벨 쌍을 명시적 기준으로 삼아 모델의 내부 판단을 인간 기준에 맞춘다. 같은 물체 범주의 남은 미주석 시행으로 주관적 기대를 전파할 수 있다.

SG와 GSP를 자연스럽게 연결하기 위해 출력은 미리 정의한 JSON 형식으로 제한한다. 시점과 추론 문자열을 자동으로 해석할 수 있어 안정적인 데이터 처리 과정을 구성한다.

결과적으로 SG는 최소한의 인간 개입을 물체별 학습 데이터셋으로 바꾸는 연결고리다. 소수 예시 기준점으로 VLM의 평가를 구체적인 인간 기준에 맞추어 수동 작업을 크게 줄이면서 인간 중심 제어를 학습하게 한다.

GSP는 그림 2 오른쪽 아래처럼 한 단계 뒤(t+1)의 파지 상태를 순차 추론하는 경량 모듈이다. 주관적 상태 라벨을 재질별 기계적 신호 특성과 연결함으로써 정성적인 인간 시각 기준을 정량적인 로봇 실행으로 전달한다.

시간 t마다 좌우 촉각값과 그리퍼 힘으로 구성된 센서 벡터 u_t를 받아 다음 상태 전이를 예상한다. 실시간 예측을 위해 입력층·고차원 리저버층·선형 출력층으로 구성된 에코 상태 네트워크(ESN)[7]를 사용한다. 리저버는 물리적 상호작용 신호의 복잡한 동역학과 이력을 포착하는 비선형 시간 필터다. 내부 가중치는 고정되므로 시간 패턴을 선형 분리 가능한 공간으로 옮기는 고차원 커널로 작용한다. 효율적인 닫힌형 해를 갖는 릿지 회귀로 최종 출력층만 최적화하여 계산 비용을 크게 줄인다. 모든 물체에 보편적인 단일 매개변수를 쓰는 대신, 새 물체 범주별로 출력 가중치 행렬을 개별 보관한다. 행렬을 바꾸는 것만으로 고유한 변형 특성에 즉시 적응한다.

III-A절의 준비 절차에 따라 실험 데이터셋을 구성했다. 그림 2처럼 Toyota Human Support Robot[19]의 그리퍼로 데이터를 수집했다. 그리퍼 위의 TierIV C1 이미지 센서[14]는 RGB 영상을 기록하고, 양쪽 손가락 끝의 XELA uSkin 촉각 센서[16]는 누르는 방향인 z축 변위를 측정한다. 실제 파지력도 동기화해 기록했다.

그림 5의 대상은 주먹밥·샌드위치·종이컵이다. World Robot Summit Future Convenience Store Challenge 공식 규칙[17]을 참고해 가정·편의점 같은 비정형 환경에서 흔히 접하는 대표적인 변형 가능 물체를 선택했다.

물체마다 독립적인 파지 시행 4회를 수행해 총 12개 데이터 시퀀스를 얻었다. 각 시행에서 힘을 0.1N에서 1.4N까지 점진적으로 올리며 다중모달 센서 데이터를 수집했다. 절대적인 정답 기준을 만들기 위해 사람이 방법론의 시각적 변형 기준에 따라 12개 시퀀스 전체에 세 상태 라벨을 부여했다. 완전히 주석된 이 데이터셋은 IV-B절의 SG 추론 정확도와 IV-C절의 GSP 적응성·예측성을 평가하는 기준이다.

미주석 데이터의 시점 지정 정확도를 평가하기 위해 Google Gemini 3 Pro API[4]를 핵심 VLM으로 사용했다. 소수 예시의 전파에 의존하므로 인간이 제공하는 맥락의 양이 정확도에 주는 영향을 살폈다. 물체 범주별로 주석 예시 영상을 0개·1개·2개 제공하는 프롬프트를 비교했다. 예시 수가 늘면 남은 평가 대상 미주석 시퀀스는 원래 12개에서 9개, 6개로 줄어든다. 예시 선택 편향을 피하기 위해 시행을 4개 부분으로 나누고 번갈아 평가하며 나머지에서 설정에 맞는 예시를 제공하는 4겹 교차검증을 사용했다. 초기 지도의 양에 따라 인간 주관적 기준이 새 시행에 얼마나 효과적으로 전달되는지 비교한다.

표 1은 세 프롬프트 설정의 정량적 분류 성능이다. 주석 예시가 없을 때 모든 물체에서 정확도와 F1이 가장 낮아, 인간의 안내 없이 VLM이 적절한 기준을 스스로 세우기 어렵다는 점을 보여준다. 예시 하나는 전반적인 점수를 크게 높였지만, 미끄러짐–적절 또는 적절–과도 경계의 인접 프레임을 종종 혼동했다. 예시 두 개는 경계의 모호성을 효과적으로 해소했다. 주먹밥과 샌드위치의 정확도·F1이 더 높아졌고, 종이컵은 정확도 0.97, F1 0.94의 높은 성능을 유지했다.

이 결과는 인간이 주석을 단 시행 두 개만으로도 충분한 맥락적 기준을 제공해 주관적 시각 기준을 미주석 데이터로 신뢰성 있게 전파할 수 있음을 나타낸다. 개선된 분류 성능은 뒤따르는 예측 모듈용 학습 데이터 생성의 신뢰성을 뒷받침한다.

GSP는 적응성(IV-C1), 예측성(IV-C2), 안정성(IV-C3), 인간의 주관적 평가와 일치(IV-C4)의 네 측면에서 평가했다. SG가 만드는 시점 추정 오류와 분리해 GSP 자체의 예측 능력을 평가한다. 따라서 보고된 점수는 사람이 주석을 단 라벨 아래에서의 예측 모듈 성능 상한이며, SG에서 GSP까지 이어진 전체 처리 과정의 성능은 아니다.

Optuna로 하이퍼파라미터를 최적화하고 시험 데이터 파형 추적의 평균제곱근오차(RMSE)를 최소화하는 조합을 선택했다. 조정 편향을 없애고 공정하게 비교하려고 네 GSP 실험 전체에서 같은 설정을 고정했다. 표 2는 ESN과 릿지 회귀의 매개변수다.