🤖 AI 제품, 왜 70%만 완성해도 출시하는 걸까?

 

요즘 AI 제품 개발 현장, 뭔가 달라졌어요

예전 같으면 절대 출시 안 했을 완성도로 베타 서비스를 내놓는 회사들이 부쩍 늘었어요. 처음엔 저도 "이거 그냥 성급하게 내보내는 거 아닌가?" 싶었는데요, 가만 보면 이게 단순한 급함이 아니라 완전히 새로운 전략 논리더라구요.

프로덕트보드(Productboard)라는 회사 알고 계세요? 줌(Zoom), 마이크로소프트, 세일즈포스 등 전 세계 6,000개 이상 기업이 사용하는 제품 관리 플랫폼인데요. 최근 AI 기반 제품인 'Spark'와 'Pulse'를 잇따라 개발하면서 정말 진솔한 시행착오 이야기를 공개했어요. 그 내용이 너무 현실적이고 공감 가는 부분이 많아서, 오늘은 이 이야기를 같이 나눠보려고 해요.

프로덕트보드가 최근 379명의 제품 전문가를 대상으로 진행한 설문에서 무려 96%가 AI를 일상 업무에 활용하고 있다고 답했어요. 그런데 더 놀라운 건, AI를 아예 쓰지 않는다고 답한 사람이 단 한 명도 없었다는 거예요. 이제 AI는 써볼까 말까 고민하는 도구가 아니라, 그냥 기본 전제가 된 거죠.

---

사용자는 "자동화해줘"라고 말하지만, 실제론 다른 걸 원해요

재밌는 역설이 있어요. 사용자들한테 물어보면 대부분 "AI가 내 일을 대신 해줬으면 좋겠어요"라고 말하거든요. 근데 막상 AI가 뭔가를 척척 자동으로 만들어주면, 신뢰를 못 하는 경우가 많더래요.

프로덕트보드 CEO인 후버트 팔란은 이 부분을 이렇게 짚었어요. "PM들에게 진짜 필요한 건 AI가 문서를 대신 써주는 게 아니라, 고객 니즈와 경쟁 상황, 비즈니스 맥락을 함께 고민해주는 파트너예요."

결국 그들이 내린 결론은 '가이딩(Guiding)'이 '자동화(Automating)'보다 훨씬 중요하다는 거였어요. AI가 작업을 통째로 대신하는 게 아니라, 사용자가 더 나은 판단을 내릴 수 있도록 옆에서 도와주는 역할이 훨씬 신뢰를 얻는다는 거죠. 사용자 입장에서는 통제감이 생기고, 만드는 쪽 입장에서는 품질 기준을 달성하기도 훨씬 쉬워지구요.

실제로 Spark는 이 철학을 그대로 담아서 만들어졌어요. 고객 피드백 분석, 경쟁사 조사, 제품 스펙 문서 생성 등 PM이 가장 시간을 많이 쓰는 작업들을 AI가 함께 해주되, 최종 판단과 편집 권한은 항상 사람한테 있는 구조예요.

---

전통 SaaS와 AI 제품의 결정적인 차이

예전 소프트웨어 개발은 어떻게 보면 단순했어요. 프론트엔드 만들고, 백엔드 만들면 끝이었거든요. 근데 AI 제품은 여기에 완전히 새로운 차원이 하나 더 붙는대요. 바로 'AI 품질'이라는 축이에요.

프로덕트보드의 AI 제품 매니저인 도미닉 일리흐만은 이걸 이렇게 설명했어요. "UI랑 백엔드는 2주 만에 완성했는데, AI 품질 개선에만 2개월이 걸렸어요. 처음엔 이 시간을 전혀 예상 못 했죠."

처음 출시한 Pulse가 바로 이 함정에 빠졌어요. 응답 품질이 일정하지 않다 보니 사용자 신뢰를 얻는 데 꽤 애를 먹었거든요. 하지만 지속적인 개선을 거쳐 현재는 95% 정확도를 달성했고, 목표는 99%까지 올리는 것이라고 해요. 이 과정에서 쌓인 노하우가 Spark 개발에 고스란히 녹아들었고, 덕분에 Spark는 훨씬 체계적인 방식으로 출발할 수 있었대요.

전통 소프트웨어와 AI 제품의 개발 방식 차이를 한 문장으로 정리하면, 전자는 "완성하고 출시"지만 후자는 "출시하면서 완성"이에요. 이게 단순히 게으른 게 아니라, AI 특성상 실제 사용 데이터 없이는 진짜 품질을 끌어올리기 어렵기 때문이에요.

---

40%에서 85%로: 품질을 올리는 구체적인 방법

그렇다면 AI 품질은 어떻게 체계적으로 높일 수 있을까요? 프로덕트보드가 쓴 방법이 꽤 실용적이에요.

먼저 실제 고객이 물어볼 만한 질문 20~50개를 뽑아요. 그리고 각 질문에 대한 '이상적인 정답'을 미리 만들어두죠. 여기서 중요한 포인트가 있는데, 이 정답을 만드는 사람이 반드시 해당 분야 전문가여야 한다는 거예요. 얕은 이해로 만든 평가 기준은 결국 들쭉날쭉한 품질로 이어지거든요.

그다음에는 자동화된 평가 도구로 AI 응답을 계속 테스트해요. 보통 처음엔 40~50% 정확도에서 시작하는데, 목표는 80~90%예요. 프롬프트를 조정하고, 맥락을 추가하고, 응답 구조를 바꾸면서 반복하는 거죠.

여기에 더해 내부 테스터들의 실시간 피드백도 받아요. 슬랙 채널 하나를 만들어서 문제점을 공유하면 팀이 바로 대응하는 식이에요. 자동화 평가가 놓칠 수 있는 엣지 케이스들을 사람이 잡아주는 거죠. 이 두 가지 방법을 병행하면서 40%에서 85%까지 끌어올린 게 바로 이 프로세스예요.

---

70%에서 출시해도 되는 이유 - 명확한 기준이 있어요

그럼 도대체 언제 출시하는 게 맞는 걸까요? 프로덕트보드는 단계별로 명확한 기준을 세워뒀어요.

알파 단계는 정확도 40~60%예요. 이때는 "AI가 과제를 제대로 이해하는가", "왜 실패하는지 설명할 수 있는가" 같은 걸 내부에서 검증해요. 외부에 내보내는 단계가 아니라, 팀 내 학습용이에요.

베타 단계는 70~85%예요. 이때부터는 실제 고객과 테스트를 시작하는데, "사용자가 이 결과를 신뢰할까", "실제로 일을 빠르게 해주나", "실패해도 회복이 가능한가"가 핵심 질문이에요. Spark도 현재 이 단계를 거치고 있는데, 한 베타 사용자는 "Spark를 활용해서 임원 보고용 결과물을 1주일치 작업 분량을 90분 만에 완성했다"고 했을 정도예요.

정식 출시(GA)는 85% 이상이에요. 모든 케이스에서 일관된 품질이 나와야 하고, 사용자가 늘어도 이 수준을 유지할 수 있어야 해요.

흥미로운 건 요즘 고객들은 70~80% 정확도도 충분히 받아들인다는 거예요. 단, 조건이 있어요. 매주 눈에 띄게 나아지는 모습이 보여야 한다는 거죠. 챗GPT 같은 서비스 덕분에 "AI는 계속 발전하는 것"이라는 인식이 자리 잡혔거든요. 예전 엔터프라이즈 소프트웨어가 완벽한 상태로 출시한 뒤 1년에 한 번씩 업데이트하던 것과는 완전히 다른 패러다임이에요.

---

채팅창만으로는 부족하다 - 인터페이스를 작업에 맞춰야 해요

많은 팀이 AI 제품 만들 때 채팅 인터페이스부터 떠올려요. 익숙하니까요. 근데 프로덕트보드는 "인터페이스는 작업의 특성에 맞춰야 한다"고 강조해요.

대화형 인터페이스가 잘 맞는 경우는 아이디어 탐색, 텍스트 초안 생성, 열린 질문, 개인 단위 작업이에요. 반면 비교·분석, 팀 협업, 우선순위 결정, 워크플로우 관리에는 구조화된 인터페이스가 훨씬 효과적이래요.

후버트 CEO는 이렇게 비유했어요. "영업팀 직원들이 각자 완전히 다른 화면을 보면서 세일즈포스를 쓴다면, 팀 협업이 가능하겠어요? AI 제품도 똑같아요." 구조화된 인터페이스는 팀 전체가 같은 맥락에서 정보를 이해하고 함께 움직일 수 있게 해준다는 거죠.

실제로 가장 가치 있는 AI 제품들은 두 방식을 모두 갖추고 있대요. 그래서 개발 초기에 어떤 인터페이스 조합을 선택할지 미리 따져보는 게 중요하다고 강조했어요.

---

고객보다 앞서가는 용기가 필요한 순간

AI 제품을 만들면서 가장 어려운 결정 중 하나는 "아직 준비가 안 된 고객들을 놔두고 먼저 AI에 투자할 것인가"예요.

프로덕트보드는 현실을 솔직하게 받아들였어요. 얼리어답터와 대다수 고객을 동시에 만족시키기는 어렵다는 거죠. 얼리어답터는 불완전한 AI도 기꺼이 써보고 피드백을 주지만, 대다수 고객은 처음부터 완벽하고 예측 가능한 결과를 기대하거든요.

후버트 CEO는 이렇게 말했어요. "AI는 어떤 기술보다 빠르게 사회에 확산되고 있어요. 그래서 우리는 더 많은 리소스를 AI에 투자하면서, 사람들이 결국 따라올 거라고 믿는 거죠. 우리는 미래를 먼저 만들고 있는 거예요."

기존 고객들에게는 이런 메시지로 설득했대요. "AI 시대를 이끌 플랫폼에 먼저 투자하세요. 당신이 준비됐을 때, 우리는 이미 성숙하고 믿을 만한 AI를 제공하고 있을 거예요." 어떻게 보면 배짱 있는 전략이지만, AI 시장의 속도를 보면 납득이 가는 접근이에요.

---

팀 구조도 단계별로 진화해야 해요

AI 제품을 만들 때는 팀 구조도 일반 소프트웨어와는 다르게 가져가야 한대요.

초기 3~5명 단계에서는 모든 걸 다 아는 사람들이 빠르게 결정하고 주간 단위로 출시하는 작은 팀이 최적이에요. 다만 이 시기에는 모든 맥락이 사람 머릿속에만 있어서 문서화가 잘 안 된다는 함정이 있어요.

확장기인 10~15명 단계가 가장 혼란스럽대요. 신규 팀원은 맥락이 없고, 소통 비용은 늘어나고, 속도는 느려지고, 품질은 들쭉날쭉해지거든요. 이 시기에 꼭 필요한 게 강력한 제품 비전이에요. 12개월 로드맵을 완벽하게 짜기는 어렵더라도, 최소한 3개월 단위 구체적 목표와 1년 단위 큰 방향만큼은 팀 전체가 공유하고 있어야 한대요.

20~30명 이상이 되는 전문화 단계에서는 팀을 기능별로 쪼개야 해요. 탐색 경험, 편집 경험, 에이전트 개발, 오케스트레이션 등으로요. 그런데 이 시점에서 중요한 변화가 하나 생겨요. AI가 더 이상 별도의 특별한 팀이 아니게 된다는 거예요. 모든 PM이 AI PM이고, 모든 팀이 AI 팀이 되는 거죠.

---

결국 기본기가 답이에요

몇 년간 AI 제품을 만들어온 프로덕트보드가 내린 가장 솔직한 결론은 이거예요. 제품 관리의 기본은 바뀌지 않는다는 것.

고객 니즈 이해하기, 명확한 워크플로우 정의하기, 품질을 염두에 두고 만들기, 피드백 기반으로 개선하기, 팀 안에 공유된 맥락 만들기. 이 원칙들은 AI 시대에도 여전히 좋은 제품을 만드는 핵심이에요.

바뀐 건 이 기본기가 어떻게 표현되는가예요. AI는 새로운 품질 프레임워크를 요구하고, 팀 구조는 더 빠르게 진화하고, 일정 산정 방식도 품질 반복 사이클을 고려해야 하고, 고객보다 앞서 나가려면 새로운 확신이 필요하죠.

도미닉 AI 제품 매니저는 이렇게 말했어요. "Spark 작업은 제가 해본 것 중 가장 신나는 프로젝트예요. 처음부터 제가 PM으로서 직접 겪었던 문제를 풀고 있었거든요. 첫 주부터 프로토타입을 만들어서 제 일상에서 직접 쓰기 시작했어요." 결국 자신이 겪은 문제를 푸는 사람이 가장 진정성 있는 제품을 만들더라는 거죠.

---

마무리하며: AI 제품은 '빠르게 배우는 게임'이에요

AI 제품은 완벽해서 이기는 게 아니라, 가장 빨리 배워서 이기는 게임이에요. 프로덕트보드의 사례에서 얻을 수 있는 핵심은 이거예요. 70%로 출시하되 매주 나아지는 걸 보여줄 것, AI 품질을 별도의 축으로 측정하고 관리할 것, 자동화보다 가이딩이 신뢰를 만든다는 것, 그리고 팀 규모에 맞는 구조와 비전이 속도를 지속시킨다는 것. 가트너 통계에 따르면 기업의 72%가 이미 최소 하나의 AI 기능을 제품에 도입했어요. AI를 붙이는 건 이미 기본이 된 시대, 이제는 어떻게 잘 붙이느냐가 진짜 경쟁력이에요.