AI가 우리 회사 업무를 바꾼 방법 — LLM 도입 실전기

핵심 요약 LLM 도입은 모델을 하나 고르는 일이 아니라, 업무 데이터와 연결하고 위험을 관리하는 운영 체계를 만드는 일입니다. 실제 업무에 쓰려면 RAG, 권한, 검증 절차, 보안 기준을 함께 설계해야 합니다.

"AI가 일자리를 빼앗는다"는 말, 한 번쯤 들어보셨을 거예요. 그런데 막상 회사 안에서 AI를 어떻게 쓰는지는 잘 안 보입니다. 미니소프트가 지난 1년 동안 LLM(대규모 언어 모델)을 사내에 들이며 겪은 진짜 이야기를 풀어보겠습니다.

업무 요청이 결과물로 바뀌는 흐름

업무 요청은 LLM만으로 끝나지 않습니다. 사내 데이터 검색, 사람의 검토, 최종 산출물 확인까지 이어져야 실제 업무에 사용할 수 있습니다.

LLM, 도대체 뭐가 다른가요

기존 챗봇은 "정해진 질문에 정해진 답"을 했습니다. 사용자가 조금만 다르게 물어도 "죄송합니다, 이해하지 못했습니다"가 돌아왔죠.

LLM은 다릅니다. 사람이 쓴 문장을 그대로 이해하고, 문맥을 파악해 답을 만들어냅니다. 마치 신입 직원에게 매뉴얼을 통째로 외우게 한 뒤 자유롭게 답하게 하는 것과 비슷합니다.

우리가 처음 시도한 것 — 그리고 실패

처음에는 단순했습니다. 공개 LLM API를 붙여 사내 문의 응대 봇을 만들었죠. 결과는 처참했습니다.

문제 1: 회사 정보를 모른다

"우리 회사 휴가 정책이 어떻게 돼?"라고 물으면 일반론만 답했습니다. 미니소프트의 실제 규정은 공개 LLM이 알 리 없으니까요.

문제 2: 그럴듯하게 거짓말한다

가끔은 존재하지 않는 사내 제도를 만들어내 답하기도 했습니다. 이른바 할루시네이션(hallucination) 이죠. 직원이 잘못된 답을 그대로 믿으면 큰일입니다.

RAG로 다시 시작하다

해법은 RAG(검색 증강 생성) 였습니다. 사내 문서를 미리 검색하고, 그 내용을 LLM에게 "이 자료를 참고해서 답해주세요"라고 함께 전달하는 방식입니다.

도서관 사서를 떠올리면 됩니다. "이 주제 좀 알려주세요"라고 하면, 사서가 책장에서 관련 책을 먼저 꺼내고, 그 책을 보면서 답해주는 거죠. 책에 없는 내용은 "이 자료에는 없습니다"라고 솔직하게 답합니다.

진짜 바뀐 것들

신입 교육 시간이 줄었다

신입 직원이 사내 위키를 뒤지는 대신 챗봇에 바로 물어봅니다. "출장비 정산은 어떻게 하나요?", "VPN 접속이 안 돼요"처럼요. 인사·총무팀의 반복 문의가 약 40% 줄었습니다.

회의록 정리가 자동화됐다

2시간짜리 회의 녹음 파일을 올리면 5분 안에 요약·액션 아이템·담당자가 정리됩니다. 회의 후 30분씩 쓰던 정리 시간이 사라졌습니다.

코드 리뷰의 1차 점검을 AI가

개발팀에서는 PR이 올라오면 LLM이 먼저 검토합니다. 명백한 실수, 보안 취약점, 컨벤션 위반을 잡아주죠. 사람 리뷰어는 더 중요한 설계 논의에 집중할 수 있게 됐습니다.

우리가 배운 것

1. AI는 도구일 뿐, 만능은 아니다 무엇을 맡길지, 무엇은 사람이 해야 할지 구분이 핵심입니다.

2. 데이터 정리가 절반이다 LLM이 잘 답하려면 사내 문서가 잘 정리돼 있어야 합니다. AI 도입 전에 문서 정비부터 했어요.

3. 작게 시작해서 키운다 한 번에 모든 업무를 자동화하려 하지 않았습니다. 한 팀에서 한 가지 문제부터 풀었고, 효과가 입증되면 확장했습니다.

마치며

LLM은 마법이 아닙니다. 하지만 잘 쓰면 반복적이고 지루한 일을 줄여, 사람이 더 중요한 일에 집중하게 해줍니다. 다음 글에서는 RAG 구축 과정을 좀 더 기술적으로 풀어보겠습니다.

참고 자료

• NIST AI Risk Management Framework
• OWASP Top 10 for Large Language Model Applications