🚀 2025년, AI 리더들이 말하는 팀 스케일링의 8가지 진실

 

1. AI 프로젝트의 성패는 결국 데이터 품질이다

요즘 기업들이 AI 도입하면서 가장 많이 하는 착각이 뭔지 아세요? 바로 "우리 데이터 충분해, 바로 시작하자!"예요. 근데 실상은 완전히 달라요.

스택오버플로우가 2025년 한 해 동안 구글, 클라우드플레어, JP모건체이스 같은 글로벌 기업의 엔지니어링 리더들과 나눈 대화를 보면, 한 가지 공통점이 명확하게 드러나요. 바로 '데이터 품질'이 모든 AI 프로젝트의 성패를 가른다는 거죠.

인터시스템즈의 돈 우드락 헬스케어 솔루션 책임자는 이걸 기타에 비유했어요. 아무리 실력 좋은 기타리스트라도 조율이 안 된 기타로는 좋은 연주를 할 수 없듯이, 아무리 최신 AI 모델을 쓴다 해도 데이터가 엉망이면 결과물도 엉망이 될 수밖에 없다는 거예요.

실제로 가트너의 2025년 조사에 따르면, AI 프로젝트 실패 원인의 약 85%가 데이터 품질 문제에서 비롯됐다고 해요. 많은 기업들이 데이터가 여기저기 흩어져 있고, 형식도 제각각이고, 관리 체계도 없는 상태에서 AI를 도입하려다가 실패하더라구요. 결국 개발자들의 신뢰도 못 얻고, 비즈니스 가치도 증명 못 하는 악순환에 빠지는 거죠.

2. 대부분의 기업은 자신의 데이터 준비 상태를 과대평가한다

JP모건체이스의 플랫폼 엔지니어링 부사장 람 라이가 했던 말이 정말 인상적이었어요. "데이터를 가지고 있다는 것과 AI가 쓸 수 있는 데이터를 가지고 있다는 건 완전히 다른 얘기"라고요.

맥킨지의 최근 보고서를 보면, 기업의 약 70%가 자사의 데이터 인프라가 AI 도입 준비가 됐다고 생각하지만, 실제로는 30% 미만만이 제대로 준비된 상태라고 해요. 많은 기업들이 AI 파일럿 프로젝트를 시작한 뒤에야 깨닫는다고 해요. 중앙화된 지식 베이스가 없으면 AI가 제대로 작동하지 않는다는 걸요.

특히 금융권 같은 규제가 심한 산업에서는 더 신중해야 한다고 강조하더라구요. 람 라이는 "우리는 AI의 생산성 혜택을 무시할 수 없지만, 확률론적 AI를 완전히 믿을 수는 없는 핵심 인프라를 다루기 때문에 외과 수술처럼 정밀해야 한다"고 말했어요. 그만큼 신중하게 접근해야 한다는 뜻이죠.

3. 내부 지식이 AI 환각 현상의 해독제다

AI가 왜 이상한 소리를 할까요? 바로 맥락이 없어서예요. 특히 회사 내부의 맥락 말이죠.

람 라이가 설명한 걸 들어보면, AI는 여러분 회사의 IDP 설정도 모르고, 토큰 수명도 모르고, 인증 패턴이나 로드 밸런스 설정도 몰라요. 그러니까 학습 데이터가 이런 고유한 지식에 대해서는 너무 얇은 거죠.

스탠퍼드 대학의 연구에 따르면, 기업 내부 지식을 학습한 AI 모델은 일반 모델 대비 환각 현상이 약 40% 감소한다고 해요. 이게 바로 AI 도구가 그럴듯하게 들리지만 근본적으로 틀린 제안을 하는 이유예요. 검증된 내부 문서에 AI를 단단히 연결시키면 정확도와 신뢰성이 훨씬 좋아진다고 해요.

실제로 스택오버플로우의 구조화된 Q&A 데이터가 차세대 AI 모델의 이상적인 파인튜닝 자료가 되는 이유도 여기 있어요. 커뮤니티가 검증한 지식이 이런 맥락 격차를 메워주거든요.

4. 개발자들의 AI 신뢰도가 급격히 떨어지고 있다

2025년 스택오버플로우 개발자 설문조사 결과가 충격적이었어요. AI 도구의 정확성을 적극적으로 불신하는 개발자가 46%나 되는데, 신뢰한다는 개발자는 33%에 불과했거든요. "매우 신뢰한다"는 응답은 고작 3%였구요.

이건 단순한 수치가 아니에요. 실제 생산성에 영향을 미치는 심각한 문제죠. 개발자 66%가 가장 답답해하는 게 "거의 맞는데 완전히 맞지는 않은 AI 솔루션"이라고 했어요. 그 다음이 "AI가 생성한 코드 디버깅하기"구요.

더 흥미로운 건, 경력이 많을수록 AI를 더 의심한다는 거예요. 10년 이상 경력자의 경우 "매우 신뢰" 비율이 2.6%로 가장 낮고, "매우 불신" 비율은 20%로 가장 높아요. JP모건체이스의 람 라이도 "많은 개발자들이 AI 정확성을 불신하는 게 현실이고, AI 도입에 어려움을 겪고 있다"고 인정했죠.

2023년과 2024년에는 70% 이상이 긍정적이었는데 2025년에는 60%로 떨어졌다니, 이건 분명한 경고 신호예요. 기업들이 개발자들의 정당한 우려를 해결하지 않으면 광범위한 도입은 어려울 거예요.

5. AI가 막히면 개발자들은 스택오버플로우로 간다

재미있는 패턴이 하나 발견됐어요. 개발자의 약 35%가 AI 관련 문제 때문에 스택오버플로우를 방문한다고 답했거든요. 이게 뭘 의미할까요?

AI 도구가 실패하거나 의심스러운 결과를 내놓으면, 개발자들은 실제 사람들이 검증한 답변을 찾아 커뮤니티 플랫폼으로 간다는 거예요. 투표, 동료 검토, 반복적인 개선 과정을 거친 검증된 지식을 찾는 거죠.

특히 주목할 만한 건, 스택오버플로우의 월간 활성 사용자가 2025년 기준 약 2억 명에 달하는데, 이 중 상당수가 AI 코딩 도구 사용 중 막혔을 때 찾아온다는 거예요. 람 라이의 표현대로 "스택오버플로우 같은 탄탄한 커뮤니티 지식 시스템을 사용해 우리 내부 현실에 AI를 접지시키면" 순수하게 확률론적인 AI를 넘어서 검증되고 실전에서 테스트된 지식을 통합한 시스템으로 나아갈 수 있어요.

커뮤니티 주도 Q&A의 구조화된 특성이 바로 AI 모델이 신뢰할 수 있는 결과물을 생성하는 데 필요한 고품질 학습 데이터를 제공하는 거죠. 커뮤니티 지식 레이어를 구축하거나 접근할 수 있는 조직은 AI 도구에 "거의 맞음"에서 "일관되게 신뢰할 수 있음"으로 이동하는 데 필요한 검증된 맥락을 제공할 수 있어요.

6. AI의 한계를 이해하는 게 성공의 열쇠다

애브노멀 AI의 머신러닝 책임자 댄 쉬블러와의 대화에서 나온 핵심 교훈이에요. 조직은 AI가 잘할 수 있는 것과 없는 것을 인식해야 한다는 거죠.

하버드 비즈니스 리뷰의 2025년 연구에 따르면, AI 도입에 성공한 기업의 공통점은 명확한 한계 설정이었어요. 기대치를 관리하고 단순히 유행이라서가 아니라 진짜 가치를 제공하는 곳에 전략적으로 AI를 배치하는 리더들이 더 좋은 결과를 본다고 해요.

한계를 이해한다는 건, AI가 패턴 매칭이나 잘 정의된 문제에 대한 코드 생성에는 탁월하지만, 새로운 아키텍처 결정, 복잡한 트레이드오프, 깊은 맥락적 판단이 필요한 상황에서는 어려움을 겪는다는 걸 인정하는 거예요.

가장 성공적인 AI 구현은 AI가 가치를 더할 수 있는 곳을 신중하게 범위를 정하면서도, 책임성, 도메인 전문성, 기존 패턴을 넘어서는 창의적 문제 해결이 필요한 결정에는 인간의 감독을 유지하는 거라고 하더라구요.

7. AI가 팀 구조와 역할을 재편하고 있다

구글의 개발자 경험 수석 디렉터 라이언 살바와 스택오버플로우의 플랫폼 엔지니어링 디렉터 피터 오코너의 대화가 정말 흥미로웠어요.

AI가 보일러플레이트 코드 생성, 버그 분류, 기본 테스팅 같은 일상적인 작업을 자동화하면서 개발자의 역할이 아키텍처, 비판적 판단, 교차 기능 협업 쪽으로 이동하고 있대요. 링크드인의 2025년 채용 동향 보고서를 보면, 소프트웨어 아키텍트 포지션에 대한 수요가 전년 대비 42% 증가했다고 해요.

이게 개발자가 필요 없어진다는 게 아니에요. 오히려 가장 중요한 기술의 가치가 높아지는 거죠. 실제로 2025년 개발자 설문조사에 "아키텍트"라는 새로운 역할이 추가됐는데, 벌써 네 번째로 인기 있는 역할이 됐어요.

시스템 수준의 사고, 설계 결정, 통합 작업의 중요성이 커지고 있다는 방증이죠. 시니어 개발자들은 점점 더 전략, 멘토링, AI로 강화된 팀의 품질과 신뢰성 기준 유지에 집중하게 될 거예요.

8. API가 AI 통합의 백본이 되고 있다

포스트맨의 CEO이자 공동 창업자인 아비나브 아스타나가 설명한 내용인데요, API가 LLM을 실제 데이터와 워크플로우에 연결해 진정한 에이전트로 기능하게 만드는 핵심이래요.

잘 설계된 API는 AI 에이전트가 시스템과 효과적으로 상호작용할 수 있게 해서, AI를 순수하게 대화형 도구에서 실제 작업을 실행할 수 있는 행동 지향적 시스템으로 변환시킨다고 해요.

포스트맨의 2025년 API 현황 보고서를 보면, 개발자의 89%가 일상 업무에서 생성형 AI를 사용하지만, AI 에이전트를 염두에 두고 API를 적극적으로 설계하는 사람은 24%에 불과하대요. 전 세계 API 시장 규모가 2025년 기준 약 68억 달러(한화 약 9조 원)에 달하는데, AI 에이전트 시대를 대비한 API 설계는 아직 초기 단계라는 거죠.

이게 중요한 격차를 만들어요. AI 에이전트는 정밀하고 기계가 읽을 수 있는 신호, 즉 명시적인 스키마, 타입이 지정된 오류, 명확한 행동 규칙이 필요한데, 대부분의 API는 여전히 주로 사람이 사용하도록 설계되어 있거든요.

보고서는 "기계가 읽을 수 있는 스키마, 예측 가능한 패턴, 포괄적인 문서를 갖춘 API가 사람만 사용하도록 만들어진 API보다 더 빠르고 안정적으로 통합될 것"이라고 강하게 주장했어요. API를 적절한 거버넌스, 버전 관리, 문서화를 갖춘 제품으로 취급하는 API 우선 개발 관행에 투자하는 조직이 AI 에이전트 혁명을 활용할 수 있는 위치에 서게 될 거예요.

마무리하며

2025년 한 해 동안 글로벌 기술 리더들과 나눈 대화를 정리하면서 한 가지 명확해진 게 있어요. AI는 마법 지팡이가 아니라는 거죠. 성공적인 AI 도입의 핵심은 화려한 모델이나 최신 기술이 아니라, 탄탄한 데이터 인프라, 검증된 내부 지식, 그리고 개발자들의 신뢰를 얻는 것이에요.

신뢰도가 떨어지고 있는 지금이야말로, 기업들이 한 발 물러서서 기본기를 다져야 할 때예요. 데이터 품질을 높이고, 커뮤니티 검증 지식을 활용하고, API를 제대로 설계하고, AI의 한계를 인정하는 것. 이게 바로 2026년을 준비하는 가장 현명한 방법이 아닐까 싶어요. 여러분의 조직은 어느 단계에 와 있나요? 지금부터라도 차근차근 준비해 나간다면, 분명 의미 있는 변화를 만들어낼 수 있을 거예요.