VLM과 기존 머신비전 비교: 제조 품질검사 적용 범위와 한계
말로 설명하는 검사 AI, 어디까지 맡길 수 있을까
품질 담당자에게 기존 비전 검사기는 결과만 알려 주는 장비였습니다. 불량인지 아닌지는 판정하지만, 왜 그렇게 봤는지는 이미지를 따로 열어 확인해야 했습니다.
최근 등장한 VLM 기반 AI는 이미지를 보고 어느 부위에 어떤 형태의 결함이 보이는지 문장으로 답합니다. 신규 품목이 들어와도 학습 데이터를 대량으로 모으지 않고 말로 검사 대상을 지정할 수 있다는 점에서 관심이 커지고 있습니다.
다만 설명을 잘하는 것과 생산 라인에서 정확하게 판정하는 것은 다른 문제입니다. 이 글에서는 두 기술의 차이, 비용이 생기는 지점, 공개 연구에서 확인된 한계, 그리고 현실적인 조합 방식을 차례로 살펴봅니다.
VLM은 무엇이 다른가: 보는 모델에 언어를 붙인 구조
"VLM(Vision Language Model)"은 이미지를 수치로 바꾸는 비전 인코더와 문장을 이해·생성하는 언어 모델을 하나로 연결한 AI입니다. 대규모 이미지·텍스트 쌍으로 미리 학습되어 있어, 처음 보는 대상도 이름이나 설명으로 지정하면 찾아내려고 시도합니다.
기존 머신비전의 판정 방식
기존 딥러닝 머신비전은 제품별로 정상·불량 이미지를 학습한 전용 모델입니다. 정해진 조명과 카메라 조건에서 정해진 불량을 빠르고 일관되게 걸러내는 데 최적화되어 있습니다.
- 판정 결과가 점수와 합격·불합격 형태로 나온다.
- 품목이나 불량 유형이 바뀌면 데이터 수집과 재학습이 필요하다.
- 같은 이미지를 넣으면 항상 같은 결과를 낸다.
VLM의 판정 방식
VLM은 "표면 긁힘을 찾아줘"처럼 언어로 과제를 받고, 결과를 문장이나 위치 표시로 돌려줍니다. 품목별 전용 학습 없이도 여러 제품 범주에 적용을 시도할 수 있다는 점이 가장 큰 차이입니다.
- 결함의 위치·형태를 자연어로 설명하고, 작업자의 추가 질문에 답할 수 있다.
- 도면이나 작업 기준서 같은 문서 정보를 함께 입력해 비교를 요청할 수 있다.
- 모델 규모가 커서 이미지 한 장당 처리 시간이 길고, 지시 문구나 모델 버전에 따라 응답이 달라질 수 있다.
같은 VLM이라도 쓰임새는 두 갈래
현장에서 VLM이라고 부르는 기술은 크게 두 형태로 나뉩니다. 하나는 이미지를 보고 질문에 문장으로 답하는 대화형 멀티모달 모델이고, 다른 하나는 "밸브", "긁힘"처럼 단어로 대상을 지정하면 이미지 속 위치를 상자로 표시해 주는 검출형 모델입니다.
대화형은 원인 설명과 보고서 작성에, 검출형은 위치 표시와 라벨링 자동화에 가깝습니다. 도입 상담에서 두 형태를 구분하지 않으면 기대하는 결과물과 평가 방법이 엇갈리기 쉽습니다. 뒤에서 소개할 공개 연구는 검출형 VLM을 활용한 사례입니다.
한눈에 보는 비교: 강점이 갈리는 지점
| 구분 | 기존 딥러닝 머신비전 | VLM 기반 검사 |
|---|---|---|
| 과제 지정 방식 | 품목·불량별 학습 데이터 | 자연어 지시, 소량 예시 |
| 출력 형태 | 점수, 합격·불합격 | 문장 설명, 위치 표시, 분류 |
| 신규 품목 대응 | 데이터 수집·재학습 필요 | 별도 학습 없이 시도 가능 |
| 처리 속도 | 라인 속도에 맞춘 실시간 처리에 유리 | 상대적으로 느려 고속 라인 단독 적용은 부담 |
| 판정 일관성 | 높음 | 지시 문구·모델 버전에 따라 달라질 수 있음 |
| 잘 맞는 작업 | 정형화된 고속 전수검사, 정밀 치수 판정 | 불량 원인 설명, 다품종 초기 검사, 라벨링 보조 |
정리하면 기존 머신비전은 "정해진 것을 빠르고 똑같이" 보는 데 강하고, VLM은 "처음 보는 것을 설명하는" 데 강합니다. 도입을 검토할 때 자주 생기는 오해는 VLM의 유연성이 판정 정확도까지 보장한다고 받아들이는 것입니다.
벤치마크 점수와 현장 성능 사이의 간극
2026년 8월 개정된 산업 이상탐지 분야 리뷰(동료심사 전 프리프린트)는 2024~2026년 연구 흐름을 정리하면서, 제품마다 검출기를 따로 학습하던 방식을 벗어나려는 기반 모델 연구에서 방법론적 진전이 있었다고 평가했습니다. 그러면서도 보고된 성과는 정제된 벤치마크에서 가장 크고, 실제 배치 조건을 반영한 평가에서는 크게 약해진다고 결론지었습니다. 연구 성과를 그대로 현장 기대치로 옮기면 안 되는 이유입니다.
그럴듯하지만 틀린 설명
같은 리뷰는 멀티모달 언어 모델이 문장으로는 자연스럽지만 실제 이미지 근거와 맞지 않는 답을 내는 문제를 짚었습니다. 대표 평가 벤치마크는 설명 항목을 문장 유사도로 채점해, 픽셀 단위로 정확해야 하는 검사에서는 틀린 답도 점수를 받을 수 있다는 지적입니다.
현장에서 이 문제는 "설명이 자연스러우니 맞겠지"라는 과신으로 이어지기 쉽습니다. 근거 이미지와 위치 표시 없이 문장만 기록되는 구조라면, 나중에 오류를 추적하기도 어렵습니다.
추론형 답변과 판정 정확도는 따로 확인해야 한다
리뷰에 정리된 한 실험에서는 같은 모델이라도 결론만 답하게 했을 때보다 단계별 추론을 거쳐 답하게 했을 때 정상·불량 판별 정확도가 **71.39%**에서 **61.90%**로 낮아졌고, 이후 추가 학습 단계에서도 65% 안팎에 머물렀습니다. 리뷰는 추론 능력을 더하면서 기존 판정 정확도를 유지하는 방법이 아직 입증되지 않았다고 정리합니다. 설명 능력과 판정 정확도는 따로 검증해야 한다는 뜻입니다.
리뷰는 검토한 멀티모달 언어 모델 가운데, 생산 라인이 감당할 수 있는 낮은 오탐 조건에서 성능을 보고한 사례가 아직 없어, 기존 전용 이상탐지 모델을 대체할 수 있다는 근거가 부족하다고 정리했습니다. 오탐은 라인 정지와 재검사 비용으로 직결됩니다. 따라서 도입 평가는 평균 정확도보다 "오탐을 얼마나 낮게 유지하면서 불량을 잡는가"를 기준으로 삼아야 합니다.
평가에 쓰는 이미지도 공개 데이터가 아니라 자사 라인의 조명, 촬영 각도, 실제 불량 비율을 반영해야 합니다. 정상품이 대부분인 현장에서는 소수의 불량을 놓치지 않는지와 정상품을 불량으로 잘못 잡지 않는지를 따로 확인해야 실제 효과를 판단할 수 있습니다.
비용은 어디서 발생하는가
VLM 도입 비용은 장비 가격보다 운영 방식에 따라 크게 달라집니다. 외부 클라우드 API를 쓰면 초기 투자는 작지만 호출량에 비례해 비용이 늘고, 사내 서버에 모델을 올리면 GPU 서버와 관리 인력이 고정비가 됩니다.
어느 쪽이 유리한지는 검사량과 데이터 반출 제약이 함께 결정합니다. 하루 검사 건수가 적고 품목이 자주 바뀌는 다품종 현장이라면 호출형 과금이 부담이 덜하고, 대량 반복 검사이거나 도면 반출이 제한된 현장이라면 사내 구축의 고정비가 오히려 비용 예측 가능성을 높입니다.
- 호출 비용: 이미지 해상도, 검사 빈도, 응답 길이가 늘수록 커진다. 전수검사에 단독으로 적용할 때 부담이 가장 크다.
- 촬영 환경: 카메라 해상도와 조명 균일도는 기존 머신비전과 마찬가지로 결과를 좌우한다. VLM을 쓴다고 이 비용이 사라지지는 않는다.
- 숨은 비용: 현장 평가용 이미지 세트 구축, 지시 문구 표준화, 모델 버전이 바뀔 때마다 하는 재검증, 오탐 재검사 인력이 지속적으로 든다.
반대로 줄어드는 비용도 있습니다. 대표적인 항목이 학습 데이터 라벨링입니다. 사람이 이미지마다 위치를 표시하던 작업 일부를 VLM이 만든 초안으로 대체하면 신규 품목 준비 기간을 줄일 수 있습니다. 결국 투자 판단은 "검사 자체를 VLM에 맡길 것인가, 검사 준비와 설명 업무를 맡길 것인가"에서 갈립니다.
안전·보안 기준: VLM에 맡기면 안 되는 판단
VLM의 출력은 확률적 추론 결과이므로 사람의 신체 보호와 직결된 안전 기능을 대신할 수 없습니다. 설비 정지나 방호 구역 진입 차단처럼 사고를 막는 기능은 기계 안전 관련 국제표준(ISO 13849, IEC 62061 등)이 요구하는 수준으로 고장 확률과 진단 체계가 검증된 안전 제어기·센서가 담당해야 합니다. VLM은 그 바깥에서 상황을 기록하고 관리자에게 알리는 보조 역할에 머무는 것이 원칙입니다.
데이터 보안도 별도로 점검해야 합니다.
- 외부 API로 도면·공정 영상을 보낼 때는 전송 데이터가 서비스 제공사의 모델 학습에 쓰이는지, 얼마 동안 보관되는지 계약 조건을 확인한다.
- 작업자가 찍히는 CCTV 영상을 분석한다면 개인정보 보호 법령의 영상정보 처리 기준과 근로자 고지 절차를 함께 검토한다.
- 고객사 도면처럼 반출이 제한된 자료는 사내 서버에서 처리하는 구성을 우선 검토한다.
현실적인 선택지: 머신비전과 VLM을 함께 쓰는 하이브리드 운영
두 기술의 강점이 다르기 때문에, 한쪽을 다른 쪽으로 교체하기보다 역할을 나누는 방식이 현실적입니다. 앞서 소개한 리뷰에서도 검증된 전용 검출기의 결과를 멀티모달 언어 모델에 넘겨 판단을 보강하는 구조가 연구 방향 중 하나로 정리되어 있습니다.
- 1차 판정은 전용 머신비전: 라인 속도에 맞춰 전수 판정하고, 명확한 합격품은 그대로 통과시킨다.
- 불합격·경계 이미지만 VLM으로: 결함 유형 분류와 설명, 작업 일지용 요약을 만들어 검토 시간을 줄인다.
- 최종 판단은 사람: VLM 설명은 근거 이미지와 함께 기록하고, 처분 결정은 품질 담당자가 내린다.
이 구조의 장점은 VLM 호출량을 불합격·경계 이미지로 제한해 처리 속도와 비용 부담을 동시에 줄인다는 데 있습니다. 대신 1차 판정에서 합격으로 통과한 불량은 VLM이 볼 기회가 없으므로, 미검출 관리는 여전히 전용 머신비전의 성능과 정기적인 샘플 재검사에 달려 있습니다.
공개 연구로 본 'VLM 자동 라벨링 + 전용 모델' 조합
2026년 4월 학술지 Sensors에 실린 연구는 산업 현장 이미지에서 밸브와 펌프를 찾는 과제로 이 조합을 시험했습니다. 언어로 대상을 지정하는 비전 언어 모델이 라벨 없는 이미지에 위치를 자동으로 표시하고, 그 결과로 경량 전용 검출 모델(YOLOv8)을 학습시키는 방식입니다.
가장 좋은 조합의 F1 점수(1에 가까울수록 정확)는 밸브 0.89, 펌프 0.764였습니다. 사람이 직접 라벨링해 학습한 전용 모델은 밸브 0.975, 펌프 0.90이었습니다. 연구진은 사람 라벨 모델에 근접한 수준으로 평가했지만, 펌프에서는 차이가 더 컸습니다. 논문은 VLM이 만든 라벨의 오류가 학습에 그대로 섞여 들어갈 수 있다는 한계도 밝혔고, 정성 비교 이미지에서는 멀리 있는 작은 밸브를 사람 라벨 모델과 미세조정 모델만 찾아냈습니다. 평가 대상이 두 종류 설비에 한정되었다는 점도 감안해야 합니다.
이 결과를 현장에 옮긴다면, VLM 라벨을 "초안"으로 쓰고 사람이 검수한 뒤 전용 모델을 학습시키는 방식이 데이터 준비 부담을 줄이는 출발점이 될 수 있습니다.
VLM은 검사기를 대체하기보다 검사 체계를 넓히는 도구
VLM은 결함을 말로 설명하고 처음 보는 품목에도 적용을 시도할 수 있는 유연성을 갖췄습니다. 반면 판정 일관성과 처리 속도는 전용 머신비전이 앞서 있고, 낮은 오탐 조건에서의 성능은 아직 입증되지 않았으며, 그럴듯한 오답과 데이터 보안은 도입 전에 따로 관리해야 할 위험입니다.
첫걸음은 현재 검사 라인에서 "판정은 되지만 원인 분석과 기록에 시간이 많이 드는 구간"을 찾는 것입니다. 그 구간의 불량 이미지를 모아 VLM 설명의 정확도를 오탐 기준으로 먼저 평가하고, 결과가 확인된 범위 안에서만 역할을 넓혀 가는 방식을 권합니다.
참고문헌
- Jiang, X., Hu, B., Cao, Y., Wang, J., Zheng, F. "A Survey of Recent Advances in Industrial Anomaly Detection: From Normal-Only Training to Foundation-Model Priors." Preprints.org. 2026-08-28. https://www.preprints.org/manuscript/202606.0719/v2 (CC BY 4.0)
- Kamali, M., Atazadeh, B., Rajabifard, A., Chen, Y., Javaherian Pour, E. "A Vision Language-Based Framework for Detecting Industrial Mechanical, Electrical, and Plumbing Assets Using Unlabelled Data." Sensors (MDPI). 2026-04-12. https://doi.org/10.3390/s26082379 (CC BY)
본 게시물은 AI 어시스턴트를 활용하여 초안을 작성하고 편집자의 검수를 거쳤습니다. 타 기업명 및 영업 기밀 보호를 위해 본문 중 일부 고유명사는 익명화(A/B) 처리되었습니다.