멀티모달 LLM을 활용한 현장 안전수칙 점검 PoC

핵심 요약 멀티모달 LLM은 현장 사진에서 위험요소 후보를 빠르게 요약하는 보조 도구로 유용합니다. 다만 최종 안전 판단은 검증 가능한 기준과 사람의 확인 절차 안에서 운영되어야 합니다.

현장 사진과 안전 규정 프롬프트를 활용한 산업안전 점검 가능성 검증

산업안전 점검은 여전히 많은 부분이 사람의 경험과 수작업에 의존합니다. 현장 사진을 확인하고, 보호구 착용 여부와 위험요소를 판단하고, 그 결과를 다시 보고서로 정리해야 합니다.

최근 멀티모달 LLM은 이미지와 텍스트를 함께 이해할 수 있게 되었습니다. 이 글에서는 현장 사진과 안전 규정 프롬프트를 함께 입력했을 때, 안전수칙 점검과 리포트 작성 보조가 가능한지 검토한 PoC 내용을 정리합니다.

PoC 목표

이번 PoC의 목표는 특정 현장이나 특정 장비를 판정하는 것이 아니라, 멀티모달 LLM을 산업안전 점검 보조 도구로 활용할 수 있는지 확인하는 것이었습니다.

• 현장 사진 기반 안전수칙 점검 가능 여부 검증
• 별도 모델 학습 없이 규정 프롬프트만으로 점검 가능한지 확인
• 위험요소 요약과 점검 리포트 자동 생성 가능성 검토
• 향후 영상 기반 점검으로 확장할 수 있는지 검토

접근 방식

입력은 단순하게 구성했습니다. 현장 사진을 넣고, 점검해야 할 안전 규정과 출력 형식을 프롬프트로 제공했습니다. 모델은 사진에서 보이는 작업자, 보호구, 주변 위험요소를 확인한 뒤 구조화된 점검 결과를 반환하도록 했습니다.

이 방식의 장점은 별도 학습 데이터셋이나 전용 비전 모델을 먼저 준비하지 않아도 된다는 점입니다. 규정을 프롬프트로 바꾸면 점검 기준을 비교적 빠르게 바꿔 볼 수 있고, 결과 형식도 리포트나 체크리스트 형태로 조정할 수 있습니다.

확인한 점

PoC에서 확인한 가능성은 다음과 같습니다.

• 안전모 착용 여부를 식별할 수 있었습니다.
• 안전조끼 착용 여부를 식별할 수 있었습니다.
• 사진 안의 작업자 수를 대략 파악할 수 있었습니다.
• 눈에 보이는 위험요소를 요약할 수 있었습니다.
• 점검 결과를 리포트 형태로 정리할 수 있었습니다.

다만 한계도 분명했습니다. 저해상도 이미지에서는 정확도가 떨어졌고, 원거리 작업자는 누락될 수 있었습니다. 안전대 체결 여부처럼 작은 디테일이나 가려진 상태를 판단해야 하는 항목은 신뢰도가 낮았습니다.

인사이트

이번 검증에서 멀티모달 LLM은 최종 판정자보다는 점검 보조 도구에 더 적합했습니다. 사람이 놓칠 수 있는 위험요소를 1차로 요약하고, 점검자가 확인해야 할 항목을 빠르게 정리하는 역할에서 가능성이 컸습니다.

특히 보고서 초안 생성은 실무 부담을 줄일 수 있는 영역입니다. 사람이 사진을 보고 판단한 뒤 문장을 다시 쓰는 시간을 줄이고, 점검자는 최종 확인과 보완에 집중할 수 있습니다.

향후 확장 방향

다음 단계에서는 정지 이미지뿐 아니라 CCTV, 드론, 모바일 촬영 영상에서 스냅샷을 추출해 주기적인 안전 점검 흐름으로 확장하는 방안을 검토할 수 있습니다.

중요한 것은 AI가 모든 판단을 대신한다는 접근이 아닙니다. 현장 안전은 책임과 맥락이 필요한 영역입니다. AI는 반복 점검을 보조하고, 위험 후보를 빠르게 정리하며, 사람이 더 중요한 판단에 집중할 수 있도록 돕는 역할부터 시작하는 것이 현실적입니다.

마치며

멀티모달 LLM은 현장 사진을 이해하고 안전 규정과 연결해 해석할 수 있는 가능성을 보여주었습니다. 아직 모든 상황을 정확하게 판단하기에는 한계가 있지만, 안전 점검 보조와 리포트 자동화 영역에서는 충분히 실험해 볼 가치가 있습니다.

산업안전 영역에서 AI의 역할은 사람을 대체하는 것이 아니라, 더 빠르게 보고 더 일관되게 기록하도록 돕는 방향에서 시작될 수 있습니다.

참고 자료

• NIST AI Risk Management Framework
• OWASP Top 10 for Large Language Model Applications