🤖 AI 에이전트가 문서를 못 읽는다고? 데이터브릭스가 밝힌 충격적인 진실

요즘 AI 에이전트 도입, 다들 해보셨나요?

2026년 들어서 AI 에이전트 도입 이야기가 정말 많아졌습니다. 딜로이트 보고서에 따르면 2026년에는 기업의 75%가 에이전트형 AI에 투자할 예정이라고 하는데요. 국내도 예외가 아닙니다. 보험사 32곳이 이미 AI를 업무에 활용 중이거나 활용 예정이라는 집계가 있을 정도입니다.

그런데 실제로 도입해 보신 분들은 아마 이런 경험 하셨을 거예요. 대화는 매끄럽고, 복잡한 로직도 척척 짜주는데, 정작 실무 문서 앞에 두면 성능이 뚝 떨어지는 느낌. 저도 처음에는 모델 문제인가 싶었는데, 알고 보니 원인이 전혀 다른 곳에 있었습니다.

데이터브릭스가 밝힌 충격적인 수치

2026년 4월, 데이터브릭스 AI 리서치팀이 OfficeQA라는 벤치마크 결과를 발표했습니다. 실제 기업 문서 업무를 기반으로 한 테스트인데요. 결과가 충격적이었습니다.

최고 수준의 프론티어 AI 에이전트들조차 정확도 50% 미만을 기록했습니다. 반이 틀렸다는 뜻이에요. 모델의 추론 능력이 부족해서가 아니었습니다. 문서를 제대로 읽어내지 못하는 것이 근본 원인이었죠.

데이터브릭스의 리서치 디렉터는 이렇게 짚었습니다. "에이전트가 데이터를 추론하지 못해서가 아니다. 애초에 올바른 데이터를 못 받는 것이 문제다." 이 한 문장이 핵심을 꿰뚫습니다.

기업 문서가 AI한테 왜 이렇게 어려울까

생각해보면 당연한 이야기인데요. 실제 기업 현장에서 다루는 문서들을 떠올려 보세요.

스캔한 PDF라 화질이 들쭉날쭉하고, 표 안에 표가 중첩되고, 중간에 손 글씨 메모가 낀 계약서, 공급업체마다 양식이 제각각인 인보이스. 이런 문서들은 깔끔하게 타이핑된 텍스트가 아닙니다. 현실 세계의 지저분한 데이터입니다.

데이터브릭스가 든 사례가 인상적이었어요. 보험 청구 처리 워크플로우를 생각해보면, 청구서 수신 후 세부 정보 추출, 이상값 감지, 라우팅 단계로 흘러가는 구조입니다. 추론 단계는 AI가 완벽하게 잘 합니다. 그런데 청구서의 금액 "1000만 원"을 "300만 원"으로 잘못 읽으면 어떻게 될까요?

에이전트는 잘못됐다는 것을 모릅니다. 합리적인 판단을 내리지만, 그 판단의 기반이 틀린 숫자입니다. 이게 단순 실수가 아니라 비즈니스 크리티컬한 오류가 되는 이유입니다.

"가비지 인, 가비지 아웃"은 AI 시대에도 살아있다

맥킨지가 2026년 발표한 보고서에서도 비슷한 맥락이 나옵니다. 에이전틱 AI를 실험 중인 기업 중 규모 있는 확장에 성공한 곳이 10% 미만이라는 것인데요. 기업의 80%가 가장 큰 걸림돌로 데이터 품질과 아키텍처 문제를 꼽았습니다.

많은 기업들이 "AI 모델만 좋으면 된다"고 생각하죠. 하지만 실제로는 그 모델이 읽어들이는 데이터, 즉 문서의 품질이 성과의 천장을 결정합니다. 데이터브릭스가 강조한 핵심 메시지가 바로 이겁니다. 문서 처리 품질이 에이전트의 모든 워크플로우에서 정확도의 천장이 된다는 것이요.

넥스트유니콘 리서치팀의 분석도 같은 방향을 가리킵니다. 2026년에는 "AI 도입했습니다"가 아니라 시간이 얼마나 줄었는지, 오류가 얼마나 줄었는지, 처리량이 얼마나 늘었는지가 기본 언어가 된다고 합니다. 정확도 없는 자동화는 자동화가 아니라 자동 오류 양산이니까요.

보험·헬스케어가 특히 주목해야 하는 이유

이 문제가 가장 첨예하게 드러나는 분야가 보험과 헬스케어입니다.

보험저널이 2025년 말에 정리한 국내 GA AI 현황 리포트를 보면 흥미로운 대목이 있습니다. AI OCR 기술이 문서 처리 분야에서 비교적 빠르게 자리 잡고 있다는 건데요. 고객에게 받은 각종 서류를 촬영하거나 업로드하면 이름, 계약 정보 등이 자동으로 데이터화되는 수준까지는 도달했습니다.

그런데 여기서 한계가 드러납니다. GA 업계에서는 보험사별로 정책 차이가 있고, 양식 표준화가 전제되지 않으면 고도화된 AI 영업 지원으로 확장하기 어렵다는 지적이 나옵니다. 설계사가 제출하는 청약서, 고객이 제출하는 증빙 서류, GA가 처리하는 각종 양식들이 채널마다, 보험사마다 제각각이기 때문입니다.

헬스케어 쪽은 더 복잡합니다. 전자의무기록 외에도 각 병원, 클리닉마다 서식이 다르고, 의사 필기체가 들어간 메모, 처방전, 검사 결과지까지 다양한 형태의 비정형 문서가 존재합니다. AI OCR 기술로 딥러닝 엔진이 공통 서식과 주요 텍스트 패턴을 학습해 인식률을 90% 이상까지 끌어올린 사례도 있지만, 필기체가 지나치게 난해하면 재확인 작업이 여전히 필요합니다.

데이터브릭스가 제시한 해법, Document Intelligence

데이터브릭스는 이 문제를 해결하기 위해 Document Intelligence를 공개했습니다. 핵심은 세 가지입니다.

첫째, 문서 처리 전용으로 연구 설계된 AI 함수들을 제공한다는 겁니다. ai_parse_document, ai_classify, ai_extract를 체이닝하는 방식인데요. 특히 ai_parse_document를 전처리에 적용했더니 OfficeQA 기준으로 에이전트 정확도가 평균 16% 향상됐습니다. 추론 엔진은 그대로인데 문서 데이터 레이어만 바꿨더니 성능이 올라간 것입니다.

둘째, 비용 효율입니다. 기업 인보이스, 계약서, 의료 기록, 금융 보고서에서 핵심 정보를 추출하는 테스트에서 유사한 파이프라인 대비 5~7배 낮은 비용으로 최고 수준의 정확도를 달성했다고 합니다. Loopback Analytics라는 기업은 기존 대비 약 90% 낮은 비용으로 동일한 품질의 데이터 추출을 달성했다고 밝혔고요.

셋째, 통합 워크플로우입니다. 기존에는 OCR 서비스, 추출 API, 분류 모델을 각각 붙여가며 사이에 커스텀 코드로 땜질하는 구조였는데요. Document Intelligence는 데이터 수집부터 오케스트레이션, 거버넌스까지 한 파이프라인으로 처리합니다.

AI 에이전트 도입 전에 반드시 먼저 물어야 할 질문

Gartner는 2026년에 기업 앱의 40%가 AI 에이전트를 통합하는 시대가 올 것으로 예측했습니다. 글로벌 보험 AI 시장은 2031년까지 연평균 34%씩 성장해 약 1천145억 달러 규모에 이를 것이라는 전망도 있습니다. 시장이 커진다는 건 경쟁도 그만큼 치열해진다는 뜻이죠.

그런데 이 경쟁에서 살아남는 기업은 어떤 기업일까요? 저는 추론 능력보다 문서 읽기 정확도에 먼저 투자한 기업일 가능성이 높다고 봅니다.

AI 에이전트 도입을 고민하고 있다면 "어떤 모델을 쓸까"보다 이 질문을 먼저 해보세요.

"우리 에이전트가 처리할 문서를 제대로 읽을 수 있는가?"

이 질문에 자신 있게 "예스"라고 답할 수 없다면, 화려한 추론 능력은 반쪽짜리입니다. 아무리 뛰어난 추론 엔진도 잘못된 입력값 위에서는 정확한 판단을 내릴 수 없으니까요.

사람들이 가장 많이 놓치는 부분

실제 AI 에이전트 파일럿 프로젝트가 운영 단계에서 실패하는 이유가 여기 있습니다. 추론 모델이 좋고, 오케스트레이션 프레임워크가 훌륭해도, 기반이 되는 문서 처리 레이어가 부실하면 실제 비즈니스 성과는 나오지 않습니다.

에이전트는 자신이 잘못 읽었다는 걸 모릅니다. "합리적이지만 틀린 결론"을 내립니다. 틀렸다는 걸 인지하지 못하는 시스템이 비즈니스 프로세스에 박혀 있다면, 그건 자동화가 아니라 자동화된 위험입니다.

보험사가 AI OCR로 보험금 지급 심사를 자동화했을 때 CS 문의량이 30% 이상 감소했다는 사례는 반대로 보면, 문서 처리가 정확했을 때 비로소 나오는 효과라는 뜻이기도 합니다.

마무리

AI 에이전트의 진짜 실력은 말을 얼마나 잘하느냐가 아닙니다. 실제 기업에서 사용하는 지저분하고 복잡한 문서들을 얼마나 정확하게 읽어내느냐에 달려 있습니다.

2026년, AI 에이전트 도입을 결정하기 전에 딱 하나만 먼저 확인해 보세요. 우리 에이전트가 지금 읽고 있는 문서가 제대로 인식되고 있는지요. 그 한 가지가 모든 워크플로우의 성패를 가릅니다. 문서 처리 레이어에 대한 투자는 선택이 아니라 에이전틱 AI 시대의 필수 인프라입니다.