협동로봇 AI 비전 결합, 사람 옆에서 어떤 공정까지 맡길 수 있을까
스마트팩토리아 · 로봇 자동화
협동로봇 AI 비전 결합, 사람 옆에서 어떤 공정까지 맡길 수 있을까
빈피킹·검사·조립 공정별 적합도와 안전 설계 기준
카메라를 달았을 뿐인데, 왜 맡길 수 있는 공정이 달라질까요
협동로봇을 검토하는 현장에서 가장 자주 나오는 질문은 "그래서 우리 공정 중 무엇을 맡길 수 있느냐"입니다. 펜스 없이 사람 곁에서 일할 수 있다는 장점은 분명하지만, 정해진 좌표만 반복하는 로봇이라면 부품이 조금만 틀어져 들어와도 멈춰 섭니다.
여기에 AI 비전이 붙으면 이야기가 달라집니다. 로봇이 작업물을 "보고" 위치와 자세를 스스로 계산하고, 불량 여부를 판단하며, 사람이 다가오는 것까지 알아차릴 수 있기 때문입니다. 지그와 정렬 장치로 모든 변수를 없애야 했던 공정 일부가, 변수가 남아 있는 상태 그대로 자동화 후보에 오릅니다.
다만 "보는 눈"이 생겼다고 모든 공정이 바로 열리지는 않습니다. 이 글은 결합으로 가능해지는 공정을 유형별로 나누고, 현재 기술 수준을 보여 주는 공개 수치, 로봇 안전 표준이 요구하는 평가 관점, 놓치기 쉬운 비용, 연구에서 드러난 실패 유형과 사람·로봇 분담 방식, 그리고 시작 순서까지 차례로 살펴봅니다.
1. 협동로봇과 AI 비전, 각각 무엇을 바꾸는가
두 기술은 해결하는 문제가 다릅니다. 협동로봇은 "어디서 일하느냐"의 제약을 줄이고, AI 비전은 "무엇을 상대로 일하느냐"의 제약을 줄입니다. 둘을 나란히 놓고 봐야 결합 효과를 정확히 설명할 수 있습니다.
규칙 기반 비전과 딥러닝 비전의 차이
기존 머신비전은 사람이 정한 규칙으로 이미지를 판단합니다. 경계선 검출, 템플릿 매칭, 색상 분석처럼 기준이 명확한 작업에는 지금도 강하지만, 제품 변형이 많거나 예측하기 어려운 결함 앞에서는 규칙을 끝없이 늘려야 합니다.
- 규칙 기반 비전: 치수 측정, 정렬된 부품의 위치 확인처럼 변동이 적은 작업에 적합합니다.
- 딥러닝 비전: 이미지에서 특징을 스스로 학습해, 형태가 다양한 제품이나 정형화하기 어려운 결함에 대응합니다.
- 공통 전제: 카메라 좌표와 로봇 좌표를 맞추는 보정 작업이 있어야 비전 결과를 로봇 동작으로 옮길 수 있습니다.
카메라를 어디에 다느냐에 따른 두 가지 구성
비전 장치는 고정 스탠드에 두거나 로봇 손끝에 붙입니다. 손끝에 붙이면 로봇이 검사 대상 주위로 경로를 바꿔 가며 좁은 공간이나 불규칙한 형상을 따라 촬영할 수 있어, 위치·치수 변동이 큰 검사에서 유연성이 높아집니다.
- 고정형: 촬영하는 동안에도 로봇이 다음 동작을 준비할 수 있고, 조명 조건을 일정하게 유지하기 쉽습니다.
- 손끝 장착형: 카메라 한 대로 여러 각도를 볼 수 있지만, 로봇이 움직이는 동안 촬영 조건이 계속 바뀝니다.
| 구분 | 규칙 기반 비전 + 산업용 로봇 | AI 비전 + 협동로봇 |
|---|---|---|
| 작업물 조건 | 위치·형상이 정렬되어 있어야 함 | 놓인 위치·자세가 달라도 인식 후 대응 |
| 판단 방식 | 사람이 정한 규칙과 임계값 | 학습 데이터에서 익힌 특징 |
| 작업 공간 | 방호 펜스로 사람과 분리 | 위험성 평가를 거쳐 사람 곁에서 운영 가능 |
| 예외 처리 | 라인 정지 후 사람이 셀 안으로 진입 | 곁의 작업자가 바로 개입하는 구성 가능 |
| 주요 준비물 | 지그·정렬 장치, 판정 규칙 | 학습용 이미지, 라벨링, 재학습 체계 |
핵심 차이
협동로봇이 사람과 공간을 나누게 해 준다면, AI 비전은 작업물의 흐트러짐을 받아들이게 해 줍니다. 결합의 가치는 "정렬 장치 없이"와 "사람 곁에서"라는 두 조건이 동시에 필요한 공정에서 가장 크게 나타납니다.
2. 결합으로 열리는 공정 다섯 가지
협동로봇과 AI 비전의 조합이 의미를 갖는 공정은 대체로 다섯 갈래로 나뉩니다. 공통점은 작업물이나 환경에 변동이 있고, 그 변동을 처리하던 일이 사람 손에 남아 있었다는 점입니다.
빈피킹: 상자 속에 뒤섞인 부품 꺼내기
상자에 무작위로 담긴 부품을 하나씩 집어 다음 공정에 공급하는 작업입니다. 3D 비전으로 상자 안을 스캔해 부품을 인식하고 자세를 계산한 뒤, 상자 벽과 부딪히지 않는 경로로 집어 올립니다.
- 대체 대상: 부품 공급기(피더)나 사람이 직접 꺼내던 작업입니다.
- 효과가 큰 경우: 무거운 부품을 반복해서 들어야 하거나, 피더를 둘 공간이 부족한 라인입니다.
- 난이도 요인: 품목이 섞인 상자, 서로 얽히는 형상, 표면 반사가 심한 부품입니다.
외관 검사와 불량 선별
딥러닝 비전을 적용한 연구가 활발한 영역입니다. 협동로봇이 카메라를 들고 제품 주위를 돌며 촬영하거나, 컨베이어 위 제품을 검사한 뒤 불량품을 골라냅니다.
- 대상 예: 기어 치형의 균열·마모, 판금 표면 긁힘, 조립 상태 확인, 식품 선별 등이 있습니다.
- 장점: 검사 위치를 프로그램으로 바꿀 수 있어 다품종 라인에 대응하기 쉽습니다.
조립 확인과 체결 검증
사람이 조립하고 로봇이 확인하는 분담입니다. 작업자가 부품을 끼우면 곁의 협동로봇이 누락이나 체결 상태를 촬영해 판정하므로, 수작업의 유연성과 자동 검사의 일관성을 함께 얻을 수 있습니다.
비정형 품목 분류와 머신텐딩 위치 보정
모양과 색이 제각각인 품목을 종류별로 나누는 작업, 그리고 공작기계에 소재를 넣고 빼는 머신텐딩에서 소재 위치를 비전으로 보정하는 작업도 대표적인 적용처입니다. 머신텐딩은 상대적으로 변동이 적어 첫 적용 공정 후보로 검토하기 좋습니다.
| 공정 | 비전이 하는 일 | 사람과의 분담 | 먼저 확인할 조건 |
|---|---|---|---|
| 빈피킹 | 3D 스캔, 부품 인식·자세 추정 | 인식 실패·얽힘은 작업자가 처리 | 부품 표면 반사, 상자 형상 |
| 외관 검사·선별 | 결함 검출·분류 | 판정이 애매한 건은 사람이 재확인 | 불량 이미지 확보량, 조명 일관성 |
| 조립 확인 | 누락·체결 상태 판정 | 조립은 사람, 확인은 로봇 | 판정 기준의 명확성 |
| 비정형 분류 | 품목 식별 | 신규 품목 등록은 사람 | 품목 수와 변경 빈도 |
| 머신텐딩 보정 | 소재 위치·자세 보정 | 공구 교체·이상 대응은 사람 | 설비 개구부 크기, 접근 경로 |
공개 연구에서 확인된 적용 사례
- 엔진 부품 결함 검사에 협동로봇과 딥러닝 비전을 결합한 시스템이 현장에 전면 적용되었고, 넉 달 운영 뒤 99.9% 정확도가 보고되었습니다.
- 식품 선별·품질 검사 공정에서 협동로봇과 신경망 비전을 결합해 600개가 넘는 품목을 98% 정확도로 검출·분류한 사례가 있습니다.
- 3D 비전과 협동로봇으로 구성한 빈피킹 셀에서, 반사가 심한 육각 너트를 대상으로 사람·로봇 분담이 실패 처리에 효과적이라는 실험 결과가 나왔습니다.

3. 숫자로 본 현재 수준: 보급은 늘었지만 현장 확산은 아직
국제로봇연맹이 2026년 9월 공개한 세계 로봇 통계에 따르면, 2025년 새로 설치된 협동로봇은 66,000대로 전체 산업용 로봇 신규 설치의 11%를 차지했습니다. 같은 해 산업용 로봇 전체 설치는 603,000대로 처음 60만 대를 넘었습니다.
눈여겨볼 대목은 성장 속도입니다. 협동로봇 설치 증가율은 7%로, 산업용 로봇 시장 전체 증가율 11%보다 낮았습니다. 협동로봇 통계를 집계한 이후 처음 있는 일입니다. "새롭다"는 이유만으로 선택되던 시기가 지나고, 어떤 공정에서 실제 쓸모를 증명하느냐가 중요해졌다는 신호로 해석할 수도 있습니다.
AI 비전 쪽은 어떨까요. 2026년 학술지 Sensors에 실린 문헌 검토는 로봇 기반 비전 검사 연구 51건을 분석했습니다. 결함 검출·분류 정확도가 95%를 넘는 경우가 많았고, 일부는 통제된 환경에서 98~100%를 기록했습니다. 그러나 일반 제조 분야 연구 가운데 77%는 시제품이나 시범 단계에 머물렀고, 현장 전면 적용까지 간 연구는 23%였습니다.
수치를 해석할 때 주의할 점
높은 정확도는 조명이 일정하고 제품이 같은 방식으로 놓이는 조건에서 주로 나왔습니다. 같은 검토에서 실시간 센서 데이터에 의존한 리벳 검사는 86%에 그쳤다가 사후 이미지 분석으로 97%까지 올라갔는데, 시간 제약이 있는 협업 환경에서는 성능이 떨어질 수 있음을 보여 줍니다. 공급사가 제시하는 정확도는 "어떤 조건에서 측정한 값인지"부터 확인해야 합니다.

4. 안전과 규격: 로봇이 아니라 응용 전체를 평가합니다
협동로봇을 펜스 없이 운영하려면 "협동로봇이니까 안전하다"는 생각부터 내려놓아야 합니다. 산업용 로봇 안전 국제표준인 ISO 10218도 로봇 자체에 대한 요구사항과, 로봇을 실제 작업에 통합한 응용에 대한 요구사항을 나눠 다룹니다.
이 구분이 현장에서 중요한 이유는 사고가 로봇 팔 하나가 아니라 그리퍼, 작업물, 작업자 동선, 주변 설비가 맞물리는 지점에서 생기기 때문입니다. 같은 협동로봇이라도 어떤 그리퍼로 무엇을 집고, 작업자가 어디에 서서 무엇을 하느냐에 따라 위험성 평가 결과는 크게 달라집니다. 안전성은 로봇 단품의 사양이 아니라 응용 전체를 기준으로 판단해야 합니다.
AI 비전을 붙일 때 안전에서 달라지는 점
비전이 더해지면 로봇이 할 수 있는 일이 늘어나는 만큼, 평가해야 할 대상도 함께 늘어납니다. 특히 아래 네 가지는 비전 셀에서 자주 놓치는 부분입니다.
- 사람 감지와 안전 기능은 별개입니다. 비전으로 작업자 위치를 파악해 속도를 줄이는 기능은 유용하지만, 이것이 검증된 안전 기능을 대신한다고 가정해서는 안 됩니다.
- 그리퍼도 위험원입니다. 맞춤 제작한 핑거의 모서리나 집힌 부품 자체가 접촉 위험을 만들 수 있어 평가 범위에 넣어야 합니다.
- 운영 모드를 구분해야 합니다. 한 빈피킹 연구에 쓰인 협동로봇은 작업자와 함께 일하는 모드에서 공구 끝 속도를 250mm/s 미만으로 제한했고, 펜스 안 단독 모드에서는 최대 800mm/s까지 냈습니다.
- 네트워크 연결도 점검 대상입니다. 비전 PC, 로봇 제어기, 생산관리 시스템이 연결되면 원격 접속과 설정 변경 경로가 늘어나므로 접근 권한을 관리해야 합니다.
안전 설계의 출발점
위험성 평가는 로봇을 고른 다음이 아니라 공정과 그리퍼를 정하는 단계에서 함께 시작해야 합니다. 속도·분리 감시, 힘·출력 제한, 손으로 끌어 가르치는 직접 교시 등 어떤 협업 방식을 택하느냐에 따라 필요한 센서와 사이클 타임이 달라지기 때문입니다.
5. 비용 구조: 로봇 가격보다 주변 비용을 먼저 보세요
협동로봇과 AI 비전 셀의 견적을 비교할 때 로봇 본체 가격만 보면 판단을 그르치기 쉽습니다. 실제 비용은 로봇, 비전, 그리퍼, 데이터, 안전 검증·연동, 운영 유지라는 여섯 덩어리로 나뉘고, 공정 난이도에 따라 로봇 외 항목의 규모가 크게 달라집니다.
| 비용 항목 | 무엇이 들어가는가 | 비용을 키우는 조건 |
|---|---|---|
| 로봇 본체·제어기 | 협동로봇, 티칭 장치, 기본 소프트웨어 | 가반하중·작업 반경 상향 |
| 비전 하드웨어 | 2D·3D 카메라, 조명, 연산 장치 | 3D 스캔 필요, 반사·투명 부품 |
| 그리퍼·말단장치 | 그리퍼, 맞춤 핑거, 힘 센서 | 품목이 많아 공구 교환이 필요한 경우 |
| 데이터·학습 | 이미지 수집, 라벨링, 모델 학습 | 불량 샘플이 드문 공정 |
| 안전 검증·연동 | 위험성 평가, 접촉 조건 검증, 설비·시스템 연결 | 사람과 접촉 가능성이 있는 협업 방식 |
| 운영·유지 | 재학습, 조명·카메라 재보정 | 신제품 투입, 계절별 조명 변화 |
연구에서 확인된 비용 절감 단서
앞의 빈피킹 연구는 부품 인식에 쓰는 비전 장치 하나로 작업자 감지까지 처리해 추가 하드웨어와 제어기 연결을 최소화했습니다. 작업자 손목에 도형 무늬 팔찌를 채워 위치를 잡는 방식이라 비용이 거의 들지 않았습니다.
다만 한계도 분명했습니다. 3D 스캔이 진행되는 약 2초 동안은 사람을 감지하지 못했고, 연구진은 별도 카메라를 쓰면 비용은 늘지만 손과 몸 전체를 인식하는 더 정교한 방식이 가능하다고 덧붙였습니다. 비용을 줄이는 선택에는 그만큼의 운영 제약이 따른다는 뜻입니다.
놓치기 쉬운 비용
라벨링과 재학습은 한 번으로 끝나지 않습니다. 앞서 본 문헌 검토는 학습 데이터 부족을 AI 비전 검사가 시범 단계에 머무는 주된 이유로 꼽았습니다. 신제품이 들어올 때마다 이미지를 다시 모으고 판정 기준을 맞추는 인력과 시간을 처음부터 운영비에 넣어 두어야 합니다.
6. 시행착오에서 배우는 점검 포인트
AI 비전 셀이 현장에서 멈추는 이유는 대부분 예측할 수 있습니다. 빈피킹 연구는 실패를 네 가지로 분류했는데, 이 가운데 인식 실패는 조명과 표면 반사에 좌우된다는 점에서 검사·분류 공정에도 참고할 만합니다.
빈피킹에서 반복되는 실패 유형
- 인식 실패: 반짝이거나 투명한 부품, 조명 변화가 있으면 비전이 부품을 찾지 못합니다.
- 자세 추정 오류: 부품은 찾았지만 계산한 자세가 틀려 집기에 실패합니다. 센서 보정 오차나 추정 알고리즘이 원인입니다.
- 동작 제약: 상자 모서리에 붙은 부품처럼, 그리퍼가 상자 벽과 부딪히지 않고는 닿을 수 없는 경우입니다.
- 파지 실패: 표면이 거칠거나 마찰이 부족하거나, 부품끼리 얽혀 함께 딸려 올라오는 경우입니다.
사람과 로봇이 분리된 셀에서는 이런 실패가 생길 때마다 라인을 멈추고 작업자가 펜스 안으로 들어가 문제를 치운 뒤 재가동해야 합니다. 실패가 잦을수록 평균 사이클 타임이 늘어나고, 그만큼 빈피킹 자동화의 가치가 깎입니다.
시험 단계에서 꼭 재현해 볼 조건
공급사 시연은 보통 잘 되는 조건에서 이뤄집니다. 계약 전 시험에서는 일부러 어려운 조건을 만들어 봐야 위 실패 유형이 얼마나 자주 나오는지 미리 알 수 있습니다.
- 실제 조명: 오전과 오후, 계절에 따라 들어오는 빛이 다르면 인식률이 흔들립니다.
- 가장 까다로운 작업물: 반사가 가장 심하거나 가장 잘 얽히는 품목으로 시험합니다.
- 상자 모서리 쪽 부품: 그리퍼가 벽에 걸리는 동작 제약 실패가 이 위치에서 생깁니다.
7. 사람과 나눠 맡는 혼합 운영
실패를 0으로 만들려는 대신, 실패가 났을 때 빨리 복구하는 구조를 설계할 수도 있습니다. 앞의 빈피킹 연구가 택한 길이 바로 이것입니다. 작업자가 협동로봇 곁에서 다른 일을 하다가, 로봇이 도움을 요청하면 곧바로 개입하는 방식입니다.
- 로봇은 집을 수 없는 부품을 인식하면 시도하지 않고, 그리퍼 조명을 빨간색으로 바꿔 도움을 요청합니다.
- 인식 실패 때는 작업자가 로봇을 손으로 밀어 집을 위치로 옮겨 주고, 로봇이 이어서 집습니다.
- 작업자가 로봇 몸체를 가볍게 터치하면 로봇이 접촉을 감지해 작업을 재개합니다. 버튼을 누르는 것보다 빨랐습니다.
- 작업자가 상자를 채우거나 얽힌 부품을 미리 풀 때는 로봇이 비켜서거나 속도를 낮추도록 설계할 수 있습니다.
이 연구에서 3D 스캔은 약 2초, 물체 인식은 650밀리초 안팎, 사람 감지는 914밀리초 안팎이 걸렸습니다. 사람 감지에 1초 가까이 걸렸지만, 협업 모드의 속도 제한 덕분에 시험 중 충돌은 없었습니다.
혼합 운영 정리
단순한 형상의 무거운 부품은 로봇이, 얽히기 쉽고 복잡한 부품은 사람이 맡는 식으로 품목별 분담도 가능합니다. 하드웨어를 바꾸지 않고 다양한 부품을 다룰 수 있다는 점이 혼합 운영의 가장 큰 장점입니다.

8. 단계적 실행 순서
결합 기술일수록 한 번에 큰 셀을 만들기보다, 변동이 적은 공정에서 출발해 데이터와 운영 경험을 쌓으며 넓히는 편이 안전합니다. 아래 순서는 그 흐름을 여섯 단계로 정리한 것입니다.
- 공정 고르기: 매트릭스에서 "로봇 단독 운영에 가까운 영역"이나 "사람이 작업하고 로봇이 확인" 영역에 있는 공정을 첫 후보로 둡니다.
- 현재 상태 기록: 사이클 타임, 불량 유형, 작업자가 손대는 예외 상황의 빈도를 몇 주간 남겨 둡니다.
- 이미지 먼저 모으기: 로봇을 들이기 전에 카메라만 설치해 실제 조명·작업물 이미지를 확보하고, 불량 샘플이 충분한지 확인합니다.
- 위험성 평가와 협업 방식 결정: 그리퍼·작업물·동선을 포함해 평가하고, 협업 방식에 맞는 안전 장치와 속도 조건을 정합니다.
- 시범 운영과 실패 기록: 실패 유형별 횟수와 복구 시간을 기록해 사람·로봇 분담 규칙과 재학습 주기를 정합니다.
- 확장: 같은 비전·그리퍼 구성을 그대로 옮길 수 있는 인접 공정부터 넓혀 갑니다.
AI 비전은 "무엇을 자동화할지"를 고르는 기준을 바꿉니다
협동로봇과 AI 비전이 만나면 정렬 장치 없이 흐트러진 부품을 집고, 사람 곁에서 검사하고, 실패를 사람과 나눠 처리하는 공정이 가능해집니다. 하지만 공개 수치가 보여 주듯 2025년 협동로봇 설치 증가율은 시장 평균보다 낮았고, AI 비전 로봇 검사는 대부분 시범 단계에 머물러 있습니다.
결국 성패는 기술 자체보다 공정 선택과 운영 설계에서 갈립니다. 변동이 적은 공정에서 출발하고, 실패를 사람이 빨리 복구하는 구조를 만들며, 안전은 응용 전체를 기준으로 평가하는 것. 이 세 가지가 결합 효과를 현장 성과로 바꾸는 조건입니다.
지금 바로 할 수 있는 첫걸음
후보 공정 하나를 정해, 작업자가 손으로 처리하는 예외 상황(부품 얽힘, 위치 틀어짐, 판정이 애매한 건)이 하루에 몇 번 생기는지 2주간 기록해 보십시오. 동시에 그 공정에서 가장 까다로운 부품, 특히 반사가 심하거나 잘 얽히는 품목을 실제 조명 아래에서 촬영해 두면, 공급사 시연을 요청할 때 "우리 조건"을 그대로 시험해 볼 수 있습니다.
참고문헌
- International Federation of Robotics. "President’s Report by Jane Heffner." IFR Press Room. 2026.9.24. https://ifr.org/ifr-press-releases/news/presidents-report-by-jane-heffner-3-2026
- Boschetti, G., Sinico, T., Trevisani, A. "Improving Robotic Bin-Picking Performances through Human–Robot Collaboration." Applied Sciences 13(9), 5429. MDPI. 2023.4.26. https://doi.org/10.3390/app13095429
- Patrashko, D. Y., Gurau, V. "Machine Learning-Powered Vision for Robotic Inspection in Manufacturing: A Review." Sensors 26(3), 788. MDPI. 2026.1.24. https://doi.org/10.3390/s26030788
본 게시물은 AI 어시스턴트를 활용하여 초안을 작성하고 편집자의 검수를 거쳤습니다. 타 기업명 및 영업 기밀 보호를 위해 본문 중 일부 고유명사는 익명화(A/B) 처리되었습니다.