RAG가 한 걸음 더 — Graph RAG와 OCR로 복잡한 문서를 풀어내는 법
핵심 요약 OCR은 이미지·스캔 문서 안의 글자를 검색 가능한 텍스트로 바꾸고, Graph RAG는 문서와 개체 사이의 관계를 함께 활용합니다. 복잡한 보고서, 계약, 사고 기록처럼 단순 키워드 검색만으로 맥락을 잡기 어려운 문서에서 효과적입니다.
지난 글에서 RAG를 도서관 사서로 비유했습니다. 사용자가 묻는 질문에 맞춰 사서가 자료를 찾아 LLM에게 건네주는 그림이었죠. 그런데 도서관에 들어온 책이 글자 한 줄 없이 그림과 표만 가득한 보고서라면 어떻게 될까요? 또 자료끼리 서로 연결돼 있는 복잡한 사건이라면요?
이번 글은 RAG가 마주치는 그 다음 벽 두 가지와, 그걸 푸는 OCR · Graph RAG 이야기입니다.
Graph RAG와 OCR은 어떻게 연결될까
OCR은 문서에서 텍스트와 표 구조를 꺼내고, Graph RAG는 추출된 정보 사이의 관계를 연결합니다. 그 위에서 벡터 검색과 답변 생성이 이어집니다.
텍스트만 잘 찾는 RAG의 한계
이전 글에서 본 RAG는 문서를 작은 조각으로 자르고, 그걸 의미가 비슷한 숫자(벡터)로 바꿔 저장했습니다. 사용자가 질문하면 비슷한 의미의 조각을 찾아 LLM에게 함께 건넵니다.
문제는 두 가지 상황에서 막힙니다.
1. 글자가 그림 안에 있을 때
스캔본 PDF, 사진으로 찍힌 계약서, 표만 들어 있는 분기 보고서. 텍스트 추출이 안 되니 자를 조각이 없습니다. 사서가 "이 책은 사진뿐이라 못 읽어요" 하는 상황이죠.
2. 자료들이 서로 연결돼 있을 때
"작년에 사고 났던 그 현장에서, 비슷한 공정 또 한다는데 어떤 안전 수칙이 적용될까?" 같은 질문. 사고 사례 · 공정 표준 · 법 규제 — 세 자료가 따로 떨어져 있으면 답이 안 나옵니다. 사서가 책 한 권씩 찾아 줄 순 있지만, 책들 사이 관계를 엮어 주진 못합니다.
OCR — 그림 속 글자도 읽는 사서
첫 번째 벽을 푸는 게 OCR입니다. Optical Character Recognition, 광학 문자 인식. 이미지 안의 글자를 텍스트로 추출합니다.
단순히 글자만 뽑는 게 아니라, 표의 구조, 문단의 위치, 제목과 본문의 계층 까지 인식하는 게 요즘 OCR의 핵심입니다. 금융권 여신 심사 문서, 건설 시방서, 의료 영상 판독지처럼 표가 빽빽한 문서가 많은 분야에서 특히 큰 차이를 만듭니다.
OCR로 글자를 뽑아내면, 그 다음은 일반 RAG 흐름으로 들어갑니다. 의미 단위로 자르고 → 벡터로 바꿔 저장 → 질문 들어오면 검색.
Graph RAG — 자료들의 관계까지 보는 사서
두 번째 벽은 Graph RAG입니다. 이름 그대로 그래프 데이터베이스를 RAG에 결합한 방식입니다.
일반 RAG가 "비슷한 의미의 조각" 을 찾는다면, Graph RAG는 자료와 자료 사이의 관계 까지 함께 저장합니다.
예를 들어 "2024년 ○○ 공동구 사고" 사건이 있다고 합시다. 이 사건은 다음과 연결됩니다.
- 작업 공정: "고소 작업"
- 적용 법규: "산업안전보건법 제42조"
- 안전 수칙: "추락 방지 안전대 결속 의무"
- 유사 과거 사고: "2021년 △△ 현장 사고"
이 관계가 그래프로 묶여 있으면, "오늘 공동구 고소 작업 시 점검 사항"이라는 질문 하나에 사서가 위 네 자료를 함께 가져다 줍니다. LLM은 그걸 보고 "이런 법규에 따라 이런 점검을 하셔야 하고, 비슷한 과거 사고가 ○○에서 있었습니다" 라고 한 번에 답하죠.
자료를 따로따로 찾아 사용자가 머릿속에서 엮는 게 아니라, 시스템이 미리 관계를 알고 있어서 함께 묶어주는 게 Graph RAG의 가치입니다.
어디서 쓰이나
OCR과 Graph RAG가 함께 빛나는 분야는 정해져 있습니다. 자료가 그림·표 위주이고, 자료들이 서로 강하게 얽힌 영역입니다.
금융 — 여신 심사·시장 분석 수십 페이지짜리 사업계획서, 결산 보고서, 시장 동향 자료. OCR로 표·차트를 끌어올리고, Graph RAG로 회사 · 산업 · 규제 관계를 묶으면, 담당자가 한 줄 질문으로 핵심을 받습니다.
산업 안전 — 현장 가이드 정부 안전 지침, 사내 시방서, 과거 사고 사례집. 현장 관리자가 "오늘 진행할 공동구 고소 작업 점검 사항"을 물으면, 시스템이 법규 · 수칙 · 유사 사례를 함께 묶어 즉시 가이드합니다.
마치며
RAG는 한 번에 완성되는 기술이 아닙니다. 텍스트만 잘 찾던 단계에서, 이미지 속 자료를 보고, 자료들 사이 관계까지 엮어 답하는 방향으로 한 걸음씩 나아갑니다.
미니소프트는 이 단계별 RAG를 금융과 산업 안전 분야에서 직접 운영하며, 사서를 더 똑똑하게 만드는 방법을 매일 실험하고 있습니다.
좋아요와 댓글
GitHub 계정으로 로그인하면 댓글을 작성하고 반응(좋아요)을 남길 수 있습니다. 댓글과 GitHub 계정명은 공개되며, 수정·삭제와 신고는 GitHub Discussions에서 처리됩니다.