"비전AI" 태그로 연결된 2개 게시물개의 게시물이 있습니다.

핵심 요약 멀티모달 LLM은 현장 사진에서 위험요소 후보를 빠르게 요약하는 보조 도구로 유용합니다. 다만 최종 안전 판단은 검증 가능한 기준과 사람의 확인 절차 안에서 운영되어야 합니다.

현장 사진과 안전 규정 프롬프트를 활용한 산업안전 점검 가능성 검증​

산업안전 점검은 여전히 많은 부분이 사람의 경험과 수작업에 의존합니다. 현장 사진을 확인하고, 보호구 착용 여부와 위험요소를 판단하고, 그 결과를 다시 보고서로 정리해야 합니다.

최근 멀티모달 LLM은 이미지와 텍스트를 함께 이해할 수 있게 되었습니다. 이 글에서는 현장 사진과 안전 규정 프롬프트를 함께 입력했을 때, 안전수칙 점검과 리포트 작성 보조가 가능한지 검토한 PoC 내용을 정리합니다.

PoC 목표​

이번 PoC의 목표는 특정 현장이나 특정 장비를 판정하는 것이 아니라, 멀티모달 LLM을 산업안전 점검 보조 도구로 활용할 수 있는지 확인하는 것이었습니다.

• 현장 사진 기반 안전수칙 점검 가능 여부 검증
• 별도 모델 학습 없이 규정 프롬프트만으로 점검 가능한지 확인
• 위험요소 요약과 점검 리포트 자동 생성 가능성 검토
• 향후 영상 기반 점검으로 확장할 수 있는지 검토

접근 방식​

입력은 단순하게 구성했습니다. 현장 사진을 넣고, 점검해야 할 안전 규정과 출력 형식을 프롬프트로 제공했습니다. 모델은 사진에서 보이는 작업자, 보호구, 주변 위험요소를 확인한 뒤 구조화된 점검 결과를 반환하도록 했습니다.

이 방식의 장점은 별도 학습 데이터셋이나 전용 비전 모델을 먼저 준비하지 않아도 된다는 점입니다. 규정을 프롬프트로 바꾸면 점검 기준을 비교적 빠르게 바꿔 볼 수 있고, 결과 형식도 리포트나 체크리스트 형태로 조정할 수 있습니다.

확인한 점​

PoC에서 확인한 가능성은 다음과 같습니다.

• 안전모 착용 여부를 식별할 수 있었습니다.
• 안전조끼 착용 여부를 식별할 수 있었습니다.
• 사진 안의 작업자 수를 대략 파악할 수 있었습니다.
• 눈에 보이는 위험요소를 요약할 수 있었습니다.
• 점검 결과를 리포트 형태로 정리할 수 있었습니다.

다만 한계도 분명했습니다. 저해상도 이미지에서는 정확도가 떨어졌고, 원거리 작업자는 누락될 수 있었습니다. 안전대 체결 여부처럼 작은 디테일이나 가려진 상태를 판단해야 하는 항목은 신뢰도가 낮았습니다.

인사이트​

이번 검증에서 멀티모달 LLM은 최종 판정자보다는 점검 보조 도구에 더 적합했습니다. 사람이 놓칠 수 있는 위험요소를 1차로 요약하고, 점검자가 확인해야 할 항목을 빠르게 정리하는 역할에서 가능성이 컸습니다.

특히 보고서 초안 생성은 실무 부담을 줄일 수 있는 영역입니다. 사람이 사진을 보고 판단한 뒤 문장을 다시 쓰는 시간을 줄이고, 점검자는 최종 확인과 보완에 집중할 수 있습니다.

향후 확장 방향​

다음 단계에서는 정지 이미지뿐 아니라 CCTV, 드론, 모바일 촬영 영상에서 스냅샷을 추출해 주기적인 안전 점검 흐름으로 확장하는 방안을 검토할 수 있습니다.

중요한 것은 AI가 모든 판단을 대신한다는 접근이 아닙니다. 현장 안전은 책임과 맥락이 필요한 영역입니다. AI는 반복 점검을 보조하고, 위험 후보를 빠르게 정리하며, 사람이 더 중요한 판단에 집중할 수 있도록 돕는 역할부터 시작하는 것이 현실적입니다.

마치며​

멀티모달 LLM은 현장 사진을 이해하고 안전 규정과 연결해 해석할 수 있는 가능성을 보여주었습니다. 아직 모든 상황을 정확하게 판단하기에는 한계가 있지만, 안전 점검 보조와 리포트 자동화 영역에서는 충분히 실험해 볼 가치가 있습니다.

산업안전 영역에서 AI의 역할은 사람을 대체하는 것이 아니라, 더 빠르게 보고 더 일관되게 기록하도록 돕는 방향에서 시작될 수 있습니다.

참고 자료​

• NIST AI Risk Management Framework
• OWASP Top 10 for Large Language Model Applications

핵심 요약 패션 이미지 검색은 사용자가 정확한 상품명을 몰라도 사진 한 장으로 유사 상품을 찾게 해주는 검색 방식입니다. 제품 이미지를 임베딩 벡터로 바꾸고, 업로드 이미지와 가까운 상품을 비교하는 구조가 핵심입니다.

패션 상품을 찾을 때 사용자는 꼭 정확한 상품명을 알고 있지 않습니다. 길에서 본 신발, 착용샷 속 아우터, 비슷한 디자인의 가방처럼 이미지는 있는데 키워드는 애매한 상황이 더 많습니다.

이번 PoC는 이런 상황을 전제로 만들었습니다. 사진 한 장을 업로드하면 이미지에서 특징을 추출하고, 상품 카탈로그에 저장된 이미지 벡터와 비교해 비슷한 상품을 추천하는 구조입니다.

왜 이미지 검색인가​

텍스트 검색은 상품명, 브랜드명, 카테고리, 색상 같은 메타데이터가 잘 정리되어 있을 때 강합니다. 하지만 패션 상품은 같은 상품도 사용자가 다르게 표현합니다. 누군가는 "흰색 운동화"라고 검색하고, 누군가는 "두꺼운 밑창 스니커즈"라고 검색합니다.

이미지 검색은 이 간극을 줄입니다. 사용자가 가진 사진을 기준으로 형태, 색감, 실루엣, 패턴 같은 시각 특징을 비교하면 텍스트가 부족해도 유사 상품을 찾을 수 있습니다.

검색 흐름​

핵심은 상품 이미지를 단순 파일로 두지 않고, 검색 가능한 벡터로 바꾸는 것입니다.

1. 상품 이미지를 수집하고 카테고리와 함께 정리합니다.
2. 이미지 임베딩 모델로 각 상품의 특징 벡터를 생성합니다.
3. 벡터 DB에 상품 ID, 카테고리, 이미지 경로, 임베딩을 저장합니다.
4. 사용자가 업로드한 검색 이미지도 같은 방식으로 벡터화합니다.
5. 벡터 유사도 기준으로 가까운 상품을 정렬해 보여줍니다.

이 구조에서는 검색어가 정확하지 않아도 됩니다. 검색의 기준이 텍스트가 아니라 이미지 자체이기 때문입니다.

상품 검색 화면​

사용자는 이미지를 올리거나 상품명을 입력해 검색할 수 있습니다. 카테고리 필터를 함께 두면 전체 상품 중에서 원하는 범위를 좁힐 수 있습니다.

검색 결과는 유사도와 함께 노출됩니다. 운영자는 추천 결과가 실제로 기대한 상품군에 가까운지 확인하면서 카테고리, 이미지 품질, 임베딩 생성 상태를 점검할 수 있습니다.

착용샷으로 검색하기​

실제 사용자는 정면 상품 이미지보다 착용샷이나 현장 사진을 가지고 있을 가능성이 높습니다. 그래서 테스트 화면은 업로드 이미지에서 관심 객체를 기준으로 비슷한 상품을 찾는 흐름을 확인하도록 구성했습니다.

검색 결과가 좋아지려면 단순히 모델만 바꾸는 것으로는 부족합니다. 상품 이미지의 배경, 각도, 해상도, 카테고리 품질이 함께 맞아야 합니다. PoC 단계에서는 이 품질 기준을 빠르게 확인하는 것이 중요합니다.

상품 관리와 임베딩 재생성​

이미지 검색 서비스에서 관리 화면은 검색 화면만큼 중요합니다. 상품 이미지가 바뀌었는데 임베딩이 갱신되지 않으면 검색 결과는 오래된 정보를 기준으로 움직입니다.

그래서 상품 관리 화면에는 이미지 수, 임베딩 상태, 검수 상태를 함께 보여주는 구성이 필요합니다. 신규 상품을 등록하거나 이미지를 수정한 뒤에는 임베딩을 재생성해 검색 결과에 반영합니다.

PoC에서 확인한 것​

이번 PoC의 목적은 완성형 쇼핑몰을 만드는 것이 아니라, 이미지 검색이 상품 탐색 업무에 실제로 쓸 수 있는지 확인하는 것이었습니다.

확인할 지점은 명확했습니다. 사용자가 이미지를 업로드했을 때 유사 상품이 충분히 빠르게 나오는가, 카테고리 필터가 결과 품질을 높이는가, 상품 관리자가 이미지와 임베딩 상태를 이해할 수 있는가, 신규 상품을 넣었을 때 검색 결과에 반영되는가입니다.

마치며​

이미지 검색은 "상품명을 입력하는 검색"을 대체한다기보다, 사용자가 말로 설명하기 어려운 순간을 보완하는 검색 방식입니다.

패션처럼 시각 정보가 중요한 영역에서는 상품 이미지, 카탈로그 데이터, 벡터 검색, 관리 화면이 함께 맞물려야 합니다. 검색 결과 화면만 만드는 것이 아니라, 이미지를 계속 관리하고 갱신할 수 있는 운영 흐름까지 같이 설계해야 실제 서비스로 이어질 수 있습니다.