AI 팀장이 시장에 졌다? 멀티 에이전트 설계의 반전 실험

"AI 팀장이 있으면 잘 되겠지"라는 착각

멀티 에이전트 시스템을 설계할 때 대부분의 사람들이 처음 떠올리는 그림이 있어요. 똑똑한 AI 하나가 팀장을 맡고, 그 아래에 여러 AI 팀원들이 각자 맡은 일을 처리하고, 팀장이 검토해서 최종 완성하는 구조요. 인간 조직을 그대로 가져다 쓴 거죠.

그런데 최근에 이 상식을 정면으로 뒤집는 실험 결과가 나왔습니다. 스마트한 AI 팀장이 이끄는 구조가 비용은 4배가 넘게 들었는데, 품질은 가장 낮았다는 거예요. 오히려 팀장 없이 에이전트들이 서로 경쟁하는 '시장 방식'이 이겼습니다.

오늘은 이 실험이 왜 중요한지, 그리고 우리가 AI 에이전트를 설계할 때 뭘 바꿔야 하는지 차근차근 풀어볼게요.

멀티 에이전트, 세 가지 방식이 있다

AI 에이전트를 여러 개 묶어서 쓰는 방법은 크게 세 가지로 나눌 수 있어요.

첫 번째는 혼자서 다 하는 방식입니다. 하나의 강력한 모델이 처음부터 끝까지 혼자 처리하는 방식이에요. 단순하지만 복잡한 과제에서는 한계가 있을 수 있습니다.

두 번째가 흔히 말하는 허브앤스포크(Hub-Spoke) 방식이에요. 뛰어난 모델이 팀장(오케스트레이터)이 되어 일을 나누고, 팀원 모델들이 수행한 뒤, 팀장이 검토하고 최종 완성하는 구조입니다. 현재 대부분의 에이전트 프레임워크가 이 방식을 기본으로 씁니다.

세 번째가 시장 경쟁 방식(Market)이에요. 여러 에이전트가 "이 일은 내가 잘할 수 있다"고 입찰하고, 선정된 에이전트가 일을 맡는 구조입니다. 틀리면 다른 에이전트가 재도전할 수 있어요.

이 세 가지를 실제 과제로 직접 비교한 실험이 나온 거예요.

실험 결과, 숫자가 충격적이었다

연구자 로히트 크리슈난은 코딩, 추론, 종합 분석 과제를 각 5개씩 총 15개를 설계해서 세 방식을 직접 비교했습니다.

결과를 보면 꽤 놀랍습니다. 시장 방식은 평균 7.2점에 비용 1.34달러(약 1,800원). 혼자 방식은 평균 7.2점에 비용 1.69달러. 그런데 허브앤스포크는 평균 6.7점에 비용이 5.33달러나 됐습니다.

허브앤스포크가 비용을 가장 많이 쓰고도 점수는 가장 낮게 나온 거예요. 이게 단순한 실험 오차가 아닌 이유가 있습니다. AI 팀장이 일을 쪼개고, 결과를 받아서 검토하고, 다시 수정을 지시하는 과정 자체가 엄청난 토큰 소모를 만들어내거든요. 그 비용이 고스란히 청구됩니다.

AI 에이전트 관련 VC 투자가 2022년 42억 달러에서 2024년 약 150억 달러로 3배 이상 성장했을 정도로 이 시장이 폭발적으로 커지고 있는데, 기본 설계 방식부터 잘못된 방향으로 가고 있었던 셈입니다.

업무 종류마다 최적 구조가 달랐다

더 흥미로운 건 업무 성격에 따라 결과가 달랐다는 점이에요.

코딩 과제에서는 혼자 하는 방식이 좋은 성적을 냈습니다. 코딩은 클래스 구조, 예외 처리, 변수 관계를 하나의 맥락에서 통째로 유지해야 하거든요. 캐시 알고리즘을 구현할 때 구조 설계와 예외 처리를 서로 다른 AI에 나눠주면, 각각은 잘 만들었더라도 합쳤을 때 어긋나기 쉽습니다. 이런 작업은 한 머리가 더 낫습니다.

반면 추론 과제에서는 시장 방식이 압도적으로 이겼습니다. 점수 차이가 거의 2점이에요. 시장 방식 7.1점, 혼자 방식 5.1점. 정답이 딱 하나인 어려운 추론 문제는 한 번에 맞히기보다 여러 번 독립적으로 시도하는 게 훨씬 유리합니다. 한 에이전트가 틀렸어도 다른 에이전트가 다시 도전할 수 있으니까요.

종합 분석 과제는 시장 방식이 약간 더 좋았습니다.

결국 "어떤 구조가 최고다"가 아니라 "어떤 업무에 어떤 구조가 맞는가"가 핵심 질문이 된 거예요.

AI 에이전트는 인간 팀원이 아니다

이 실험이 주는 가장 핵심적인 통찰은 이겁니다. 우리가 멀티 에이전트 시스템을 인간 조직과 똑같이 생각해온 게 문제였다는 거예요.

인간 팀원은 각자 쌓아온 경험과 암묵적 지식이 있습니다. 팀장이 "이 일은 김 대리가 잘하지"라고 판단할 근거가 있어요. 하지만 AI 에이전트는 매번 새로 시작됩니다. AI 팀장이 어떤 팀원 AI가 이 일을 잘하는지 정확히 알기 어렵고, 그 판단 자체에도 비용이 듭니다.

더 중요한 건, 현재 AI 에이전트들이 자기 능력을 스스로 잘 모른다는 사실이에요. 일부 모델은 지나치게 자신감이 높고, 일부는 너무 낮습니다. 자기 평가가 부정확한 팀원들 사이에서 팀장이 최적의 배분을 하기란 사실상 불가능합니다.

시장 방식은 이 문제를 우회해요. 각 에이전트가 입찰하고 틀리면 다시 기회를 주는 구조가, 자기 인식의 부재를 반복 시도로 극복하는 거거든요.

경제학이 수십 년 전에 이미 답을 냈다

이 실험의 배경에는 경제학 이야기가 깔려 있습니다. 코우스(Coase)는 "거래비용이 낮아지면 기업(위계 구조) 대신 시장이 더 효율적"이라고 했고, 하이에크(Hayek)는 "중앙 계획보다 분산된 가격 신호가 정보를 더 효율적으로 처리한다"고 주장했어요.

AI 에이전트 세계에서 허브앤스포크는 계획 경제이고, 시장 방식은 자유 시장입니다. 실험 결과는 하이에크의 손을 들어줬습니다.

흥미롭게도 2025년에는 대다수 기업이 성능이 검증된 대형 언어모델로 최대한 많은 업무를 처리하는 전략을 택했지만, 비용 구조 측면에서 한계를 드러냈다는 보고가 나왔습니다. 허브앤스포크의 고비용 문제와 정확히 같은 맥락이에요.

수십 년 전 경제학자들이 발견한 원리가 AI 에이전트 설계에도 그대로 적용된다는 게 정말 흥미롭지 않나요?

실무에서 바로 쓸 수 있는 설계 원칙

그럼 이 연구에서 우리가 실제로 뭘 바꿔야 하는지 정리해볼게요.

첫째, 업무 성격을 먼저 파악해야 합니다. 코딩이나 전체 맥락 유지가 필요한 작업은 강력한 단일 모델이 더 유리합니다. 수학적 추론이나 정답이 하나인 분석은 시장 경쟁 방식이 훨씬 좋습니다. 허브앤스포크는 업무가 깔끔하게 분리되는 경우에만 고려하는 게 맞아요.

둘째, 비용을 반드시 측정해야 합니다. 허브앤스포크는 직관적으로 효율적인 것처럼 느껴지지만, 오케스트레이터가 소비하는 토큰 비용이 결과를 크게 왜곡할 수 있습니다. 실제로 측정하지 않으면 절대 보이지 않아요.

셋째, 진짜 다양성을 설계에 넣어야 합니다. 같은 회사 모델 여러 개를 써도 다양성이 생기지 않습니다. 서로 다른 훈련 배경과 강점을 가진 모델들이 경쟁할 때 진짜 다양성 프리미엄이 발생해요.

넷째, 반복 시도 구조를 허용해야 합니다. 첫 번째 답이 좋지 않을 때 다른 에이전트가 재도전하는 구조를 만드는 것만으로도 어려운 추론 문제에서 성능이 크게 올라갑니다.

2026년, 비용 효율이 화두가 된다

지금 오픈AI, 앤트로픽, 커서를 포함한 주요 AI 기업들이 모두 에이전트 설계 경쟁을 벌이고 있습니다. 현재 대부분의 프레임워크가 허브앤스포크를 기본 구조로 씁니다.

하지만 이런 연구들이 쌓이면서 시장 방식과 혼합 방식이 점점 더 주목받을 겁니다. 특히 중요한 변수가 두 가지 있어요. 하나는 AI 에이전트의 자기 인식 능력이 얼마나 개선되느냐입니다. 에이전트가 자신이 어떤 일을 잘하는지 정확히 알게 되면 시장 방식의 입찰 효율이 훨씬 높아집니다. 다른 하나는 지속적 학습 능력이에요. 각 에이전트가 과거 경험을 통해 성장하면 에이전트 간 차별화가 더욱 뚜렷해지거든요.

2026년에는 기업의 AI 전략이 성능 경쟁에서 추론 경제성으로 이동할 것으로 전망됩니다. 비용 효율성이 화두가 될수록 허브앤스포크의 4배 비용 문제는 더욱 부각될 거예요.

AI 에이전트의 미래는 잘하는 AI 하나가 아니라 잘 설계된 생태계에 있고, 그 설계 원리를 지금 이해하는 것이 실제 업무 효율에서 엄청난 차이를 만들어냅니다.

마무리

이번 실험이 우리에게 남긴 메시지는 명확합니다. "스마트한 팀장이 있으면 잘 될 것"이라는 직관은 AI 에이전트 세계에서 통하지 않습니다. 비용이 4배인데 성적이 꼴찌라는 데이터가 증명하거든요.

AI 에이전트들은 자기 자신을 잘 모릅니다. 그래서 팀장이 배분하는 구조보다 경쟁을 통해 걸러지는 구조가 더 실용적입니다. 업무의 성격이 구조를 결정해야 합니다. 전체 맥락이 중요한 코딩은 혼자, 독립적 시도가 중요한 추론은 시장, 깔끔하게 분리되는 업무만 허브앤스포크가 맞습니다.

멀티 에이전트 시스템이 빠르게 현실로 다가오는 지금, 설계 원리 하나를 제대로 아는 것이 비용과 성과 모두에서 압도적인 차이를 만들어냅니다.