🚨 AI 제품 개발의 역설, 3개월마다 쓸모없어지는 기능들

 

AI 시대, 데이터 분석 플랫폼 헥스가 겪은 씁쓸한 교훈

여러분, 상상해보세요. 1년 동안 온 힘을 다해 만든 기능이 새로운 AI 모델 하나 나오자마자 완전히 무용지물이 돼버린다면요? 말도 안 된다고요? 그런데 이게 지금 AI 제품 개발 현장에서 실제로 벌어지고 있는 일이에요.

데이터 분석 협업 플랫폼 헥스의 프로덕트 리더 올리비아 코시가 최근 공유한 이야기는 정말 솔직했어요. 2023년부터 지금까지 AI 기능을 개발하면서 겪었던 실패담과 그 과정에서 배운 교훈들을요.

헥스, 어떤 회사일까요?

헥스는 2019년 설립된 데이터 분석 협업 플랫폼인데요. 팔란티어에서 함께 일했던 배리 맥카델, 케이틀린 콜그로브, 글렌 타카하시가 창업했어요. 쉽게 말하면 여러 사람이 함께 데이터를 분석하고 시각화할 수 있는 온라인 도구죠. 엑셀처럼 데이터를 다루지만 훨씬 더 강력하고 협업하기 좋아요.

숫자로 보는 헥스의 성장세는 정말 놀라워요. 2025년 5월 기준 시리즈C 라운드에서 9,100만 원, 약 5,200억 원의 가치를 인정받았고요. 총 투자금액은 2,223억 원을 넘어섰어요. 앤드리슨 호로위츠, 세쿼이아 캐피털, 레드포인트 벤처스, 스노플레이크 벤처스 같은 굵직한 투자사들이 투자했죠.

고객사는 더 대단해요. 레딧, 노션, 브렉스, 스텁허브, 시스코, NBA, 허브스팟, 피그마, 듀오링고, 리비안, 심지어 AI 기업 앤트로픽까지 천여 곳이 넘는 기업이 헥스를 쓰고 있어요. 2022년 한 해만 매출이 4배, 사용자는 10배 성장했다고 하니 정말 폭발적이죠.

AI 연구 70년이 알려준 씁쓸한 교훈

AI 개발에는 '씁쓸한 교훈'이라는 게 있어요. 캐나다의 AI 연구자 리처드 서튼이 2019년에 정리한 개념인데요. 복잡하고 영리한 방법보다 더 많은 컴퓨팅 파워를 활용하는 단순한 방법이 결국 압도적으로 더 효과적이라는 거예요.

예를 들어볼게요. 체스 AI를 만들 때 초기에는 체스 전문가들의 지식을 하나하나 프로그램에 넣었어요. 오프닝 전략이나 엔드게임 패턴 같은 거요. 하지만 결국 이긴 건 그냥 엄청난 계산 능력으로 모든 경우의 수를 빠르게 계산하는 방식이었죠.

AI 제품 개발에서도 똑같은 일이 벌어지고 있어요. 현재 모델의 한계를 영리하게 우회하려고 복잡한 엔지니어링을 하면, 다음 모델 업데이트가 나올 때 그 모든 게 무용지물이 되거든요.

올리비아는 이제 이런 질문들을 먼저 던진대요.

우리만 제공할 수 있는 고유한 가치가 뭘까요? 진화하는 모델 능력을 어떻게 활용할 수 있을까요? 모델의 약점을 우회하는 걸 만들고 있나요, 아니면 더 나은 모델의 장점을 활용할 수 있는 걸 만들고 있나요?

1년 동안 매달린 노트북 에이전트의 실패

2023년 초, 헥스 팀은 노트북 에이전트라는 기능을 만들기 시작했어요. 여기서 '노트북'은 주피터 노트북처럼 코드와 결과를 함께 볼 수 있는 문서 형태를 말해요. 데이터 분석가들이 자주 쓰는 작업 방식이죠.

'에이전트'는 스스로 판단해서 여러 단계의 작업을 수행하는 AI를 의미해요. 단순히 한 번 질문하고 답을 받는 게 아니라, AI가 알아서 필요한 작업들을 순서대로 처리하는 거예요.

사용자가 "지난달 매출이 가장 높은 제품 카테고리는 뭐야?"라고 물으면, AI가 알아서 데이터베이스에서 정보를 가져오는 SQL 코드를 작성하고, 차트도 만들고, 필요하면 파이썬 코드로 추가 분석까지 해주는 거였죠.

아이디어 자체는 정말 좋았어요. 실제로 지금은 이 기능이 고객들에게 엄청난 인기를 끌고 있거든요. 문제는 타이밍이었어요.

2023년 당시 AI 모델들은 복잡한 다단계 추론을 제대로 하지 못했어요. "첫 번째로 이걸 하고, 그 결과를 보고 두 번째로 저걸 해야지"같은 여러 단계 사고를 잘 못했다는 거예요. 그래서 팀은 온갖 영리한 해결책을 만들어냈죠.

예를 들면 이런 식이었어요. 모델이 다음에 어떤 셀을 만들지 스스로 결정하게 하면 무한 루프에 빠져버렸어요. 마치 "SQL 만들고, 차트 만들고, 또 SQL 만들고, 또 차트 만들고..."를 끝없이 반복하는 거죠.

그래서 먼저 모델에게 템플릿을 고르게 했어요. SQL만 쓸 건지, SQL과 차트를 같이 쓸 건지, 파이썬만 쓸 건지 미리 정하게 한 거예요. 그 다음에야 선택된 순서대로 실제 코드를 생성하게 했죠.

데모는 정말 멋졌어요. 하지만 실제로 조금만 복잡한 작업을 시키면 제대로 작동하지 않았어요. 에이전트는 적절한 데이터를 찾는 데 어려움을 겪었고, 찾더라도 너무 많은 예외 상황이 있었고, 실패에서 복구하지 못했어요.

1년 동안 이 프로젝트에 매달렸어요. 매몰 비용의 오류와 노트북 전문성에 대한 깊은 믿음이 팀을 붙들었죠. 이렇게 많은 시간을 쏟아부은 후에 솔직해지기는 정말 어려웠대요.

돌이켜보면 첫 번째 버전이 너무 오래 끌었기 때문에, 클로드 소넷 3.5가 나와서 명확한 모델 능력의 도약이 있었을 때도 이 프로젝트를 다시 시작하는 데 망설였다고 해요. 클로드 소넷 3.5는 앤트로픽이라는 회사가 만든 AI 모델인데, 2024년 중반에 나왔을 때 추론 능력이 크게 향상됐다고 평가받았어요.

꽤 괜찮다는 착각의 함정

2024년 10월, 헥스는 익스플로어라는 새로운 시각화 기능을 출시했어요. 피벗 테이블, 합계, 차트, 스프레드시트 같은 기능들이 포함된 강력한 도구였죠.

당연히 AI도 이 기능을 만들 수 있어야 한다고 생각했어요. 그냥 하나의 셀인데 얼마나 어렵겠어요? 실제로는 엄청 복잡했어요.

팀은 꽤 영리한 엔지니어링을 했어요. 오쓰리 같은 추론 모델을 활용하는 2단계 생성 프로세스였죠. 오쓰리는 오픈AI의 추론에 특화된 AI 모델이에요. 먼저 오쓰리로 어떤 종류의 시각화가 필요한지 판단하게 하고, 그 다음 실제 시각화 생성을 위해 헥스 팀이 직접 만든 아주 작은 파인튜닝 모델을 사용했어요.

그런데 이게 꽤 잘 작동했어요. 그게 가장 최악이었대요. 꽤 잘 작동하니까 눈가리개를 하고 현재 구현을 최적화하는 데만 집중했거든요. "이걸 좀 더 빠르게", "이걸 좀 더 정확하게"만 생각했지, 완전히 새로운 접근 방식은 생각하지 않은 거예요.

새로운 모델 능력에는 주의를 기울이지 않았죠. 복잡한 작업을 위한 도구 호출 방식이 그들의 2단계 JSON 생성 방식보다 훨씬 나은데도 그 변화를 놓쳤어요.

나중에 에이전트 도구 프레임워크를 만들기 시작했을 때는 명백했어요. 단순한 도구 호출 에이전트 방식이 10배는 더 나았거든요.

그 이후 헥스는 쓰레드라는 기능을 출시했어요. 조직의 누구나 신뢰할 수 있는 맥락으로 데이터 질문에 스스로 답할 수 있는 기능이죠. 여러 개의 네이티브 익스플로어 시각화를 만들 수 있고, 이전에 몇 달 걸렸던 개발을 몇 주 만에 해냈어요.

씁쓸한 교훈이 반복된 거예요. 정말 멋지고 복잡한 엔지니어링 최적화도 그냥 개선된 모델 능력을 활용하는 것만 못하다는 거요.

이제는 다르게 하고 있어요

지난 몇 년간의 경험을 바탕으로 헥스 팀은 이제 다르게 일하고 있어요.

데모는 이제 그만

핵심 원칙은 "준비되기 전에 사용자에게 보여주기"예요. 얼리 베타 고객에게 기능을 보여줄 때 더 이상 데모가 아니에요. 데모는 "이렇게 작동할 거예요"라고 보여주는 시연이죠. 하지만 이제는 그냥 직접 써보라고 해요.

통화가 버그 찾기 세션 같다면, 아직 제대로 작동하는 걸 만들지 못한 거예요. 진짜 제품 검증은 지저분하고 복잡한 고객 환경에서 일어나거든요. 온갖 문제점에도 불구하고 여전히 쓰고 싶어 하나요?

경험상 AI 데모는 종종 허상이에요. 뭔가 작동하는 걸 만들었다고 스스로를 너무 쉽게 속일 수 있거든요.

능력 변화 포착하기

클로드 소넷 3.5와 3.7은 팀이 충분히 주의를 기울이지 못한 주요 능력 변화였어요. 2025년 2월의 커서 에이전트 모드와 클로드 코드는 중요한 제품 변화를 알려줬어요. 커서는 AI 기반 코드 에디터인데, 에이전트 모드에서 AI가 혼자서 여러 파일을 수정하고 테스트까지 하거든요. 에이전트가 진짜 작동하고 있다는 신호였죠.

로드맵을 책임지는 사람의 최우선 업무는 아이디어가 좋고 고객이 원하는지 검증하는 것만이 아니에요. 오늘날 모델이 그 기능을 정말로 지원할 수 있는지 검증하는 거예요. 안 된다면, 아무리 영리한 엔지니어링으로도 거기 도달할 수 없어요.

프로젝트를 더 빨리 죽이기

팀이 지능을 보충하기 위해 해결책을 짜깁기해야 한다는 걸 깨닫는 순간, 프로젝트를 중단하세요. "AI가 이걸 못하니까 우리가 이렇게 저렇게 해서..."라는 말이 나오기 시작하면 위험 신호예요.

매몰 비용의 오류 때문에, 혹은 마케팅 출시 일정을 약속했다는 이유로 팀이 계속 만들던 걸 반복하게 두기 쉬워요. 솔직히 말해서, 출시 일정 따위는 중요하지 않아요. 작동하지 않는 걸 억지로 출시하는 것보다 훨씬 낫거든요.

이런 일이 생기면 실패를 축하하세요. 팀이 빠르게 움직이고 방향을 바꿀 수 있었다면요. "아니야, 이건 안 돼"라고 말할 수 있는 능력은 종종 가장 어려운 기술이에요.

마지막으로, 3개월마다 혹은 새 모델이 나올 때마다 실패한 아이디어를 다시 시도해보세요. 때로는 그냥 조금 너무 이른 거니까요. 노트북 에이전트처럼 말이죠.

기술 전환기에 제품 만들기

실패를 공유하는 이유 중 하나는 그걸 축하하기 위해서예요. 만든 것 중 일부가 목표를 맞추지 못했다는 걸 깨달았을 때 자존심이 상하지 않기는 어려워요.

하지만 스스로에게 너그러워지세요. 우리 모두 매일 발밑의 땅이 흔들리는 새로운 공간에서 뭔가를 만들고 있거든요. 어렵지만, 무언가를 만들기에 가장 흥미진진한 시기라고 생각해요.

헥스의 사례는 단순히 한 회사의 실패담이 아니에요. 전체 AI 산업이 겪고 있는 근본적인 도전을 보여주죠. 2025년 현재, 전 세계 AI 시장 규모는 약 260조 원으로 추정되고 있어요. 2030년까지 3,380조 원까지 성장할 것으로 예상되고요.

이렇게 빠르게 변하는 시장에서 제품을 만드는 건 정말 독특한 경험이에요. 오늘 배운 모범 사례가 내일은 구식이 될 수 있거든요. 하지만 바로 그게 기회이기도 해요.

중요한 건 영리해지려고 너무 애쓰지 말고, 변화를 빠르게 감지하고 적응하는 거예요. 복잡한 해결책으로 현재 AI의 한계를 우회하려고 하기보다는, AI가 발전하면 자연스럽게 더 나아질 수 있는 방향으로 만드는 게 낫죠.

그리고 무엇보다, 실패를 두려워하지 말고 빨리 실패하고 빨리 배우는 거예요. 헥스처럼 1년짜리 프로젝트를 버리는 건 정말 아프지만, 그 경험이 다음 성공의 밑거름이 되니까요.

AI 시대에 제품을 만든다는 건 모래 위에 성을 쌓는 것과 비슷해요. 하지만 그 불안정성이야말로 가장 큰 기회예요. 변화를 두려워하지 말고, 실패를 빨리 인정하고, 새로운 가능성에 열린 마음을 가지세요. 그게 바로 AI 시대를 살아가는 현명한 방법이니까요.