AI 에이전트, 도구를 80% 줄였더니 오히려 성능이 좋아진 이유

 

복잡함이 능사는 아니었다

여러분, 저도 처음엔 놀랐어요. Vercel이라는 회사에서 몇 달 동안 공들여 만든 AI 에이전트 시스템이 있었거든요. 데이터 질의를 자동으로 처리해주는 'd0'라는 녀석인데요, 온갖 전문화된 도구들을 갖추고 정교한 프롬프트 엔지니어링으로 무장했죠.

그런데 성공률이 겨우 80%였어요. 느리고, 불안정하고, 유지보수도 끝도 없이 필요했죠. 그래서 이 팀이 과감한 결정을 내렸어요. 대부분의 도구를 삭제하고, bash 명령어 하나만 남긴 거예요.

결과는? 성공률 100%, 속도는 3.5배 빨라졌고, 토큰 사용량은 37% 감소했어요. 덜 하니까 오히려 더 잘하더라는 거죠.

d0가 뭐길래 이런 실험을 했을까

Vercel에는 v0라는 유명한 UI 생성 AI가 있잖아요. d0는 그 데이터 분석 버전이라고 보시면 돼요. 슬랙에서 자연어로 질문하면 SQL 쿼리로 바꿔서 답을 주는 시스템이죠.

요즘 AI 시장이 얼마나 뜨거운지 아시죠? 2024년 기준 전 세계 AI 시장 규모는 약 1,840억 달러로, 2030년까지 연평균 37%씩 성장할 것으로 예상되고 있어요. 특히 기업용 AI 도구 시장이 급성장 중인데, 데이터 민주화 도구가 그중 핵심이거든요.

d0가 잘 작동하면 데이터팀에 일일이 물어보지 않아도 누구나 데이터를 볼 수 있어요. 반대로 망가지면? 사람들이 신뢰를 잃고 다시 분석가한테 슬랙 메시지를 보내기 시작하죠. 그래서 이 시스템의 안정성이 정말 중요했어요.

우리가 모델을 너무 간섭했다

되돌아보니 팀은 AI 모델이 스스로 해결할 수 있는 문제들을 대신 풀어주고 있었어요. 복잡한 데이터베이스 스키마에서 길을 잃을까 봐, 이상한 테이블 이름을 만들어낼까 봐 걱정했죠.

그래서 뭘 했냐면요. 사전에 맥락을 필터링하고, 선택지를 제한하고, 모든 상호작용마다 검증 로직을 끼워 넣었어요. 모델이 생각할 여지를 안 준 거죠.

스키마 검색, 쿼리 검증, 오류 복구 등 전문 도구를 여러 개 만들었고요. 프롬프트 엔지니어링으로 추론을 제약했어요. "관련 있는" 스키마 정보만 골라서 제공하려고 손수 검색 로직도 짰죠.

문제는 예외 상황이 생길 때마다 또 패치를 해야 했고, 모델이 업데이트될 때마다 제약 조건을 다시 맞춰야 했다는 거예요. 에이전트 자체를 개선하는 것보다 이 복잡한 틀을 유지하는 데 시간을 더 쓰고 있었어요.

그냥 멈춰보기로 했다

어느 순간 깨달았대요. 우리가 중력을 거스르고 있구나. 모델의 추론 능력을 제한하고, 모델이 직접 읽을 수 있는 정보를 요약해서 주고, 모델이 충분히 다룰 수 있는 복잡성으로부터 보호하고 있었다는 걸요.

그래서 멈췄어요. 가설은 이랬죠. "Claude한테 원시 데이터 파일 접근 권한만 주고 알아서 하게 놔두면 어떨까? Bash 명령어만 있으면 되는 거 아닐까?"

최근 LLM 성능 벤치마크를 보면요, Claude Sonnet 4.5 같은 최신 모델들은 복잡한 추론 작업에서 90% 이상의 정확도를 보여주거든요. 컨텍스트 윈도우도 200k 토큰까지 늘어났고요. 그러니까 최고의 에이전트 아키텍처는 아예 아키텍처가 없는 것일지도 모른다는 생각이 들었대요.

파일 시스템 자체가 에이전트다

새로운 구조는 정말 심플해요.

모델은 Claude Sonnet 4.5, 실행 환경은 Vercel Sandbox, 라우팅은 Vercel Gateway, 서버는 Next.js API 기반이고요. 데이터 레이어는 Cube 시맨틱 레이어를 YAML, 마크다운, JSON 파일들로 구성했어요.

이제 파일 시스템 에이전트는 인간 분석가처럼 시맨틱 레이어를 탐색해요. grep, cat, find, ls 같은 표준 유닉스 도구로 파일을 읽고, 패턴을 찾고, 머릿속에 모델을 만들고, SQL을 작성하죠.

이게 먹힌 이유는요, 시맨틱 레이어 자체가 이미 훌륭한 문서였기 때문이에요. 파일 안에 차원 정의, 측정 계산식, 조인 관계가 다 들어있거든요. 우리는 이미 읽을 수 있는 걸 요약하는 도구를 만들고 있었던 거예요. Claude는 그냥 직접 읽기만 하면 됐어요.

숫자로 증명된 성능 향상

기존 아키텍처와 새 파일 시스템 방식을 5개의 대표적인 쿼리로 비교했어요.

평균 실행 시간은 274.8초에서 77.4초로 3.5배 빨라졌고요. 성공률은 80%에서 100%로 올랐어요. 평균 토큰 사용량은 약 10만 2천 개에서 6만 1천 개로 37% 줄었죠. 단계 수도 평균 12단계에서 7단계로 42% 감소했어요.

특히 인상적이었던 건 Query 2였대요. 기존 방식으로는 724초 걸리고, 100단계 거치고, 14만 5천 토큰 써도 실패했거든요. 파일 시스템 에이전트는? 141초, 19단계, 6만 7천 토큰으로 성공했어요.

업계 전문가들에 따르면, AI 시스템의 효율성은 단순히 속도나 정확도만이 아니라 유지보수 비용까지 고려해야 한다고 해요. 도구가 많을수록 각 도구 간 의존성 관리 비용이 기하급수적으로 늘어나거든요. 이번 사례는 바로 그 지점을 건드린 거죠.

질적인 변화가 더 중요했다

수치상 개선도 좋지만, 질적인 변화가 더 의미 있었어요. 에이전트가 우리가 예상하지 못한 엣지 케이스를 잡아내기 시작했고요. 추론 과정을 따라갈 수 있을 만큼 명확하게 설명하더라는 거예요.

복잡한 도구들로 둘러싸여 있을 땐 문제가 생겨도 어디서 잘못됐는지 추적하기 어려웠거든요. 지금은 grep 명령어 결과를 보면 바로 알 수 있어요. 디버깅이 훨씬 쉬워진 거죠.

투명성도 엄청 높아졌어요. 에이전트가 어떤 파일을 읽었고, 어떤 패턴을 찾았고, 왜 그런 쿼리를 작성했는지 모든 과정이 명확하게 보이거든요. 이건 단순히 기술적 장점만이 아니에요. 팀원들이 AI 시스템을 신뢰하고 적극적으로 활용하게 만드는 결정적인 요소였죠.

배운 교훈들

첫째, 중력을 거스르지 마세요. 파일 시스템은 엄청나게 강력한 추상화예요. grep은 50년 된 도구지만 여전히 우리가 필요한 걸 정확히 해내잖아요. 유닉스가 이미 해결한 문제를 위해 커스텀 도구를 만들고 있었던 거죠.

둘째, 우리는 모델을 못 믿어서 추론을 제약했어요. Claude Sonnet 4.5에서는 그 제약이 오히려 약점이 됐죠. 우리가 선택을 덜 할수록 모델이 더 나은 선택을 하더라고요.

셋째, 이게 먹힌 건 시맨틱 레이어가 이미 좋은 문서였기 때문이에요. YAML 파일들이 잘 구조화되어 있고, 일관된 네이밍을 쓰고, 명확한 정의를 담고 있었거든요. 만약 여러분의 데이터 레이어가 레거시 네이밍과 문서화 안 된 조인으로 엉망이라면요? Claude에게 원시 파일 접근 권한 준다고 해결 안 돼요. 그냥 빠르게 나쁜 쿼리를 받게 될 뿐이죠.

넷째, 빼서 더하는 게 진짜예요. 최고의 에이전트는 도구가 가장 적은 에이전트일 수 있어요. 모든 도구는 여러분이 모델 대신 내리는 선택이거든요. 때로는 모델이 더 나은 선택을 해요.

에이전트 개발자들에게 주는 메시지

모든 가능성을 다 고려하고 싶은 유혹이 항상 있죠. 그걸 참으세요. 가능한 가장 단순한 아키텍처로 시작하세요. 모델 + 파일 시스템 + 목표. 복잡성은 꼭 필요하다는 걸 증명한 다음에만 추가하세요.

하지만 단순한 아키텍처만으로는 부족해요. 모델에게 좋은 맥락을 줘야 해요. 문서화, 명확한 네이밍, 잘 구조화된 데이터에 투자하세요. 그 기반이 영리한 도구보다 중요해요.

모델은 여러분의 도구보다 빠르게 발전하고 있어요. 지금 가진 모델이 아니라 6개월 후에 가질 모델을 위해 설계하세요.

2025년 현재 기업들의 AI 도입률은 전년 대비 60% 이상 증가했고요, 그중 상당수가 과도한 커스터마이징과 복잡한 파이프라인 때문에 오히려 성능 저하를 경험한다고 해요. Simple is better라는 오래된 격언이 AI 시대에도 여전히 유효한 거죠.

핵심만 정리하면

Vercel은 복잡한 AI 에이전트에서 도구 80%를 제거하고 bash 명령어 하나만 남겼는데, 오히려 성능이 3.5배 빨라지고 성공률은 100%가 됐어요. 모델을 과보호하지 말고, 좋은 문서와 깔끔한 데이터 구조를 제공하면 AI가 알아서 더 잘한다는 걸 증명한 사례죠.

복잡함이 능사가 아니라, 때로는 덜어내는 게 답이에요. 여러분의 AI 프로젝트도 혹시 불필요한 도구로 무겁지 않은지 돌아볼 시간이에요. 더 단순하게, 더 명확하게, 더 효율적으로. 그게 2026년 AI 에이전트 설계의 새로운 기준이 될 겁니다.