AI 보조금 시대의 종말, 이제 기업 AI는 워크플로우 ROI로 말한다

"AI 도입했는데 CFO한테 ROI 설명 못 하겠어요"

요즘 기업 현장에서 이런 말이 정말 자주 들립니다. 챗봇도 깔고, 코파일럿도 도입했고, 심지어 에이전틱 AI 워크플로우까지 구축했는데 CFO가 "그래서 얼마나 이득이에요?"라고 물으면 갑자기 할 말이 없어지는 상황이죠.

이게 우리나라만의 문제가 아닙니다. 글로벌 엔터프라이즈 AI 업계 전체가 지금 같은 고민을 하고 있어요. 그리고 그 흐름의 방향은 아주 명확합니다. 기업 AI는 이제 '페이즈 2'로 넘어왔다는 겁니다.

오늘은 왜 워크플로우 단위 ROI가 2026년의 핵심 키워드가 되었는지, 그리고 한국 기업들은 지금 어디쯤 있는지를 정리해 드릴게요.

---

페이즈 1이 뭐였는지 먼저 알아야 해요

2022년부터 2025년 초까지, 기업들이 AI를 이렇게 과감하게 실험할 수 있었던 데는 사실 숨겨진 배경이 있었습니다. 바로 'AI 보조금 효과'입니다.

오픈AI, 앤트로픽, 구글 같은 프론티어 AI 기업들은 시장 점유율을 빠르게 확보하기 위해 API 비용을 실제 원가보다 훨씬 낮게 책정했어요. 기업들 입장에서는 "일단 써보자"가 합리적인 선택이었던 거죠. 토큰을 아무리 써도 청구서가 크지 않으니까요.

그 결과 이상한 문화가 생겨났습니다. 일명 '토큰 리더보드'입니다. 직원들이 AI 토큰을 얼마나 많이 소비했는지 순위를 매기는 방식인데, 아마존 같은 대기업도 이 방식을 운영하다가 결국 폐기했어요. 토큰을 많이 썼다고 해서 실제 업무 성과가 높아지는 게 아니었으니까요.

AI 토큰 소비량은 노력을 측정하는 것이지, 성과를 측정하는 게 아닙니다. 이 단순한 사실을 많은 기업이 비싼 수업료를 내고 깨달았습니다.

---

페이즈 2의 시작, 이제 진짜 청구서가 왔다

상황이 바뀌기 시작했습니다. AI 기업들이 더 이상 보조금을 유지하기 어려워지면서 API 비용이 현실화되기 시작했거든요.

미국의 우버(Uber) COO가 "AI 비용을 정당화하기가 점점 어려워지고 있다"고 공개적으로 언급한 게 상징적인 사건이었습니다. 특히 에이전틱 AI 워크플로우에서 토큰 소비가 일반 챗봇 대비 최대 1,000배까지 폭증하면서 종량제 비용이 예상 밖으로 급등한 게 큰 문제였죠.

골드만삭스 분석에 따르면 향후 수년 내 토큰 소비량은 약 24배 성장할 것으로 전망됩니다. 수요 자체가 사라지는 게 아니에요. 다만 이제는 그 지출에 훨씬 엄격한 잣대가 적용된다는 거죠.

최근 MIT 미디어랩 보고서에서도 충격적인 수치가 나왔는데요. 글로벌 기업들이 생성형 AI에 수십 조 원을 투입했음에도 불구하고, 생성형 AI 파일럿 프로젝트의 95%가 측정 가능한 손익 효과를 창출하지 못하고 있다는 결과였습니다. 투자는 엄청나게 쏟아붓고 있는데, 실제로 재무 지표가 개선됐다고 체감하는 기업은 39%에 불과한 상황입니다.

---

토큰 리더보드는 왜 실패했나, 개발자 줄 수 세기의 데자뷔

소프트웨어 업계에는 오래된 교훈이 있습니다. 개발자를 코드 줄 수로 평가하면 개발자는 불필요하게 긴 코드를 짠다는 거요. 시간 기록으로 평가하면 일을 느리게 합니다.

AI 토큰 리더보드도 같은 함정에 빠졌어요. 직원들은 실제 성과 대신 토큰 소비 순위를 높이기 위한 창의적인 방법을 찾아냈습니다. 무의미한 작업에 AI를 반복 사용하거나, 복잡한 프롬프트로 쓸데없이 많은 응답을 유도하는 방식으로요.

측정하는 것이 곧 얻는 것입니다. 지금까지 많은 기업이 잘못된 것을 측정해왔다는 게 페이즈 2로 넘어오면서 명확해졌어요. 그래서 지금 가장 앞서 나가는 기업들은 '워크플로우당 ROI'로 지표 자체를 바꾸고 있습니다.

박스(Box) CEO 에런 레비가 흥미로운 말을 했는데요. CEO들이 AI에 대해 환상을 품기 쉬운 이유가, 직접 현장에서 AI를 쓰는 게 아니라 데모에서 잘 된 결과물만 보기 때문이라고요. 실제로 AI가 멈추거나 실수하는 장면을 직접 경험한 CEO는 훨씬 냉정한 판단을 내린다는 거죠.

---

페이즈 2 승자들이 공통으로 선택한 세 가지 전략

그렇다면 이 전환기에서 어떤 기업이 앞서나가고 있을까요? 패턴을 정리하면 세 가지로 요약됩니다.

첫 번째는 지능적인 워크로드 라우팅입니다. 모든 업무에 비싼 프론티어 모델을 쓰는 게 아니라, 업무 성격에 따라 모델을 선택하는 거예요. 단순 문서 요약은 저렴한 오픈소스 모델로 처리하고, 고객 응대나 법률 검토처럼 실수가 치명적인 영역에만 고성능 모델을 투입하는 방식이죠.

두 번째는 오픈소스 모델 전략 강화입니다. 전체 업무의 80%는 굳이 최고 성능 모델이 필요하지 않아요. 라마(LLaMA), 미스트랄(Mistral) 같은 오픈웨이트 모델을 내부 데이터로 파인튜닝해 쓰는 방식이 빠르게 확산되고 있습니다.

세 번째가 가장 중요한데요. 독점 데이터 플라이휠 구축입니다. AI 모델의 경쟁력은 이제 모델 자체가 아니라, 그 모델을 학습시킨 독점 데이터에 달려 있습니다. 법률 AI 기업 하비(Harvey)가 대형 로펌들과 쌓아온 법률 문서 데이터베이스가 대표적인 사례예요.

PwC의 최근 1,217개 기업 분석 결과도 이를 뒷받침합니다. AI 리더로 분류된 기업은 동종 기업 대비 AI로 인한 성과에서 약 7.2배 앞섰고, 영업이익률도 4%포인트 더 높았습니다. 그 리더들의 우위는 모델이 아니라 데이터, 거버넌스, 재사용 가능한 워크플로우 컴포넌트에서 나왔다는 게 핵심이었어요.

---

한국 기업들은 지금 어디쯤 있을까

국내 상황도 살펴볼게요. 메가존클라우드와 파운드리가 국내 기업 AI·IT 담당자 749명을 조사한 결과, 국내 기업의 55.7%가 이미 생성형 AI를 전사적으로 또는 일부 부서에서 활용 중인 것으로 나타났습니다.

예산도 계속 늘고 있어요. 2026년 생성형 AI 예산은 기업의 79.3%가 증가할 것으로 예상했고, 이미 투자를 크게 늘린 기업은 2026년에도 50% 이상 증액할 것이라는 응답이 37.2%였습니다.

흥미로운 데이터가 하나 있는데요. AI를 이미 전사적으로 활용 중인 기업에서 ROI 불확실성 우려가 13.1%에 불과했던 반면, 1~2년 내 도입을 계획 중인 기업에서는 34.9%가 ROI를 걱정했습니다. 직접 써본 기업은 확신이 생기고, 아직 시작 전인 기업은 반신반의한다는 거죠.

다만 글로벌 맥락에서 보면 한국 기업들도 워크플로우별 ROI를 측정하는 단계로 본격 진입한 곳은 아직 소수입니다. PwC가 강조한 것처럼 AI 가치 창출의 핵심은 기술이 20%이고 워크플로우 재설계가 80%인데, 이 부분이 아직 충분히 이루어지지 않고 있다는 게 국내 기업들의 현실이에요.

---

보험업계에서 바라본 워크플로우 ROI 설계 사례

예를 들어 보험업계에서 AI를 도입한다고 가정해볼게요. 설계사 상담 보조 AI를 도입했다면, 측정 지표는 이렇게 잡아야 합니다.

상담 건당 평균 처리 시간이 얼마나 줄었는지, 상담 품질 즉 계약 전환율은 높아졌는지, 설계사 1인당 월 처리 고객 수는 증가했는지. 이 세 가지에 명확한 수치가 없다면 그 AI 도입은 아직 페이즈 1 논리에 머물러 있는 겁니다.

AI 스타트업 시에라(Sierra)는 이 방향을 일찍 파악하고 성과 기반 요금제를 도입했어요. 토큰을 얼마나 쓰는지가 아니라, AI가 실제로 해결한 고객 문제의 수에 따라 과금하는 방식이죠. 이게 바로 페이즈 2의 비즈니스 모델입니다.

컨설팅 업계도 마찬가지예요. AI가 수십 분 만에 분석, 진단, 보고서 작성을 끝내버리는 상황에서 고객들은 더 이상 시간 단위 컨설팅 요금을 내려 하지 않습니다. 성과에 따른 비용을 요구하기 시작한 거죠.

---

앞으로 어떻게 바뀔까, 3가지 변화 예측

2026년 하반기부터 2027년까지 세 가지 변화가 두드러질 것으로 보입니다.

첫째, 하이브리드 모델 아키텍처가 기본값이 됩니다. 프론티어 모델과 오픈소스 모델을 혼합해 쓰는 방식이 표준이 되고, 데이터 민감도와 비용에 따라 자동으로 라우팅하는 미들레이어 솔루션 시장이 크게 성장할 거예요.

둘째, 독점 데이터 보유가 진짜 경쟁 해자가 됩니다. 대부분의 AI는 같은 인터넷 데이터로 학습되어 있어요. 차별화는 내부 데이터를 얼마나 잘 구축하고 학습시키느냐에서 갈립니다. 보험사의 청약 데이터, 병원의 진료 기록, 법률 사무소의 판례 데이터베이스가 그 자체로 강력한 경쟁 자산이 되는 거죠.

셋째, 성과 기반 AI 서비스 계약이 확산됩니다. 포레스터(Forrester)는 2026년을 "AI가 티아라를 벗고 하드햇을 쓰는 해"라고 명명했는데요. 실용적 가치 증명이 AI 투자의 유일한 평가 기준으로 정착할 것이라는 예측입니다. SaaS 계약 방식도 사용자 수 기반에서 성과 기반으로 전환될 가능성이 높습니다.

---

마무리

AI 보조금 시대는 끝났습니다. 기업들이 이제 AI 투자의 성과를 구체적인 워크플로우 단위로 측정하고 증명해야 하는 시대가 온 거예요.

토큰을 많이 쓰는 기업이 아니라, 적절한 AI를 정확한 곳에 배치해 실질적인 시간 절감과 매출 성장을 이끄는 기업이 이 시대의 승자가 됩니다. 한국 기업들도 AI 예산은 빠르게 늘고 있지만, 이제 남은 질문은 하나입니다. 그 예산이 실험비로 쓰이고 있는지, 성과 투자로 쓰이고 있는지. 여러분의 팀에서 쓰이는 AI는 지금 어떤 워크플로우에서 어떤 숫자를 만들고 있나요?