RGB-D 기반 객체 방향성 추정을 통한 6자유도 파지 자세 생성 알고리즘

이 프로젝트는 협동 로봇이 복잡한 환경에서 비정형 객체인 컵의 손잡이를 정밀하게 인식하고 안정적으로 파지하는 6자유도 파지 자세 생성 알고리즘입니다. 무겁고 연산량이 많은 기존 딥러닝 기반 방식의 한계를 극복하기 위해, 딥러닝을 최소화하고 RGB-D 카메라를 활용하여 작업 공간을 캡처 및 3D로 재구성함으로써 쉽고 빠르게 손잡이를 파지하는 시스템을 구축하였습니다.

1. 계층적 객체 분할 (Hierarchical Object Segmentation)

복잡한 환경에서도 컵의 주요 부위를 정확히 인식하기 위해 계층적 분할 방식을 적용했습니다. YOLOv11을 이용해 전체 객체(ROI)를 신속하게 검출한 후, Detectron2(Mask R-CNN)를 활용해 컵의 몸통과 손잡이를 픽셀 단위로 정밀하게 분할합니다.

2. 능동적 시점 변경 (Active Viewpoint Change)

고정된 시점에서 발생하는 폐색(Occlusion) 한계를 극복하기 위해, 2D 투영 기반 기하학적 분석으로 초기 진입 방향을 산출합니다. 이를 바탕으로 로봇 팔이 손잡이를 정면으로 관측할 수 있는 최적의 위치로 스스로 이동하여 고품질의 3D 포인트 클라우드를 확보합니다.

3. 3D 포인트 클라우드 분석 및 파지점 선정

RGB-D 카메라로 재구성된 3D 포인트 클라우드에 복셀 그리드 다운샘플링과 DBSCAN을 적용하여 노이즈를 제거합니다. 이후 구조적으로 안정적인 손잡이 상단 중앙부를 최적의 파지점으로 선정하기 위해 높이와 근접성 가중치 기반 평가 함수를 적용합니다. 바닥면이나 장애물과의 충돌 위험을 최소화하기 위해 높은 위치(H_norm)에 0.7의 가중치를 주고, 구조적으로 불안정한 가장자리를 피하기 위해 무게중심 근접성(1 - D_norm)에 0.3의 가중치를 부여하여 (Score = 0.7 * H_norm + 0.3 * (1 - D_norm)) 가장 점수가 높은 점을 최종 파지점으로 결정합니다.

4. 6자유도 파지 경로 산출 및 구동

선정된 파지점의 국소 평면 법선 벡터(Local Plane Normal Vector)를 분석하여 그리퍼가 수직으로 진입할 수 있는 충돌 없는 최종 6자유도 파지 좌표계를 정의합니다. 실제 두산 A0509 협동 로봇과 RealSense D435 카메라를 이용한 Pick-and-place 실험에서 미학습 객체를 포함하여 98.0%의 높은 성공률을 입증했습니다.