🚀 90일만에 AI 제품 만든 제품 구루의 충격적인 진실

세계 최고 제품 전문가가 발목 부상으로 집에 갇혀 만들어낸 기적

안녕하세요! 여러분도 AI 제품 만들어보고 싶지만 막막하신가요?

오늘은 정말 놀라운 이야기를 들려드릴게요. 무려 16,000명 이상의 제품 전문가들을 가르치고, "지속적 발견 습관"이라는 베스트셀러까지 낸 테레사 토레스(Teresa Torres)라는 분이 계신데요. 이분이 발목 부상으로 3개월간 집에만 있으면서 90일 만에 AI 제품을 완성한 이야기입니다.

진짜 놀라운 건 이분이 AI 전문가가 아니었다는 거예요. 그냥 소파에서 지팡이 짚고 있으면서 "아, AI 좀 배워볼까?" 하고 시작한 게 전부였거든요.

🎯 프로덕트 토크 아카데미의 엄청난 규모

테레사 토레스가 운영하는 프로덕트 토크 아카데미(Product Talk Academy)가 얼마나 대단한지 먼저 알려드릴게요.

현재 15,000명 이상의 제품 전문가들이 이 아카데미에서 교육을 받고 있어요. 수강생 수만 봐도 이 분야에서 얼마나 인정받는 전문가인지 알 수 있죠.

테레사는 스탠포드 대학교에서 기호 시스템학 학사를, 노스웨스턴 대학교에서 학습조직변화학 석사를 받았어요. 그리고 AfterCollege의 제품 담당 부사장, Affinity Circles의 CEO 등을 거쳐 현재는 제품 발견 코치로 활동하고 있습니다.

💰 AI 시장, 지금이 기회다

AI 제품을 만들기에 지금이 얼마나 좋은 시기인지 숫자로 보여드릴게요.

2025년 전 세계 AI 시장 규모는 7,576억 달러(약 1,000조 원)이고, 2034년에는 3조 6,805억 달러(약 4,900조 원)까지 성장할 것으로 예상됩니다. 연평균 성장률이 19.2%라는 엄청난 수치예요.

더 놀라운 건 2024년 조사에 따르면 71%의 기업이 이미 최소 하나 이상의 업무에서 생성형 AI를 정기적으로 사용하고 있다는 거예요. 이제 AI는 선택이 아니라 필수가 되었습니다.

🤔 발목 부상이 가져온 뜻밖의 기회

2025년 3월, 테레사는 발목을 다쳐 수술까지 받게 됐어요. 3개월간 집에서 쉬어야 하는 상황이었죠. 그런데 이분이 가만히 있을 타입이 아니었어요.

소파에 다리 올리고 앉아서 이런 생각을 했대요: "생성형 AI가 이제야 가능하게 만드는 것은 무엇일까?"

빠르게 변화하는 AI 세계를 따라잡기로 결심한 거죠. 검색증강생성(RAG), 모델 컨텍스트 프로토콜(MCP), 에이전트, 도구, 평가, 프롬프트 엔지니어링... 모든 게 너무 빠르게 변하고 있었거든요.

🎯 진짜 문제부터 찾기: 골드러시 속에서 보석 캐기

AI 제품 개발의 첫 번째 함정이 바로 이거예요. 모든 회사가 "우리도 AI 기능 넣어야 해!" 하면서 서두르고 있지만, 정작 무엇을 만들지는 모르는 경우가 많아요.

테레사는 다른 접근법을 택했어요. "생성형 AI가 이제야 가능하게 만드는 것은 무엇인가?"라는 질문에서 시작한 거죠.

바로 솔루션으로 뛰어들지 않고, 기존에 수집한 고객 인터뷰와 기회-해결책 트리를 다시 살펴봤어요. 그리고 수년간 지속적으로 제기되었던 두 가지 핵심 문제를 발견했습니다:

1. 인터뷰 요약(스냅샷)을 만드는데 너무 오래 걸린다
2. 내가 진행한 고객 인터뷰가 제대로 되었는지 모르겠다

이 문제들은 테레사가 블로그 글, 웨비나, 교육 과정을 통해 해결하려고 노력해왔지만, 인간이 직접 개입해야 하는 방식은 확장성에 한계가 있었어요.

💡 월 3만원으로 시작한 AI 실험

여기서 정말 놀라운 건, 테레사가 거창한 기술 인프라부터 구축하지 않았다는 거예요.

ChatGPT 프로젝트와 Claude 프로젝트부터 시작했어요. 월 26,000원 정도하는 도구들이었죠. 네, 바로 우리가 사용할 수 있는 그 도구들이에요!

첫 번째 실험에서 간단한 프롬프트를 써봤어요:

"당신은 테레사 토레스의 스토리 기반 고객 인터뷰, 기회 식별, 인터뷰 스냅샷 생성 방법의 전문가입니다..."

결과는 충격적이었어요:

• ChatGPT: 인터뷰 인용구를 조작하고 가이드라인을 무시
• Claude: 놀랍도록 좋은 성능!

하지만 여기서 테레사는 중요한 질문을 던졌어요: "이게 정말 좋은 건지 어떻게 알 수 있지?"

📊 과학적 검증: 숫자로 말하는 AI 성능

테레사는 과학적인 접근을 택했어요. 이미 인터뷰 스냅샷을 작성해둔 15개의 인터뷰를 Claude에게 분석하게 하고 결과를 비교했죠.

첫 번째 인터뷰 결과:

• 테레사가 식별한 기회: 15개
• Claude가 식별한 기회: 18개
• Claude가 놓친 중요한 기회: 7개
• 테레사가 놓친 기회 (Claude가 발견): 8개!

이 결과는 정말 충격적이었어요. Claude는 훌륭한 사고 파트너였지만 완전한 대체재는 아니었죠. 오히려 인간과 AI가 서로 보완할 수 있다는 걸 보여준 거예요.

🛠️ 아키텍처 발전 과정: 채팅봇은 정답이 아니었다

프로토타입이 유망해 보이자, 테레사는 학생들과 공유할 방법을 찾아야 했어요. Claude 프로젝트는 공유가 불가능했거든요.

처음에는 리플릿(Replit)을 사용해서 맞춤 채팅 인터페이스를 구축했어요. 리플릿은 AI 에이전트에게 원하는 것을 설명하면 웹 앱을 만들어주는 도구예요.

하지만 실제 학생들이 사용하면서 두 가지 큰 문제가 발생했어요:

1. 채팅 인터페이스가 적합하지 않았음: 학생들이 피드백을 받고 나서 계속 질문을 했는데, 이는 인터뷰 코치가 설계된 용도가 아니었죠.
2. 복잡한 작업을 한 번에 처리하려 함: 4개 차원을 동시에 평가하니까 서로 다른 차원의 기준이 섞였어요.

해결책은 명확했어요:

• 채팅 인터페이스 대신 숙제 제출 시스템 사용
• 하나의 프롬프트를 4개의 개별 프롬프트로 분할 (AI 워크플로 도입)

🔄 워크플로 vs 에이전트: 올바른 선택하기

여기서 중요한 개념 차이를 알아둘 필요가 있어요:

• 워크플로: 미리 정해진 순서대로 AI 작업들을 실행
• 에이전트: 상황에 따라 어떤 도구를 언제 사용할지 스스로 결정

테레사는 자피어(Zapier)부터 시작해서, 최종적으로는 AWS 스텝 펑션으로 발전시켰어요.

아키텍처 발전 과정:

1. 리플릿 채팅 인터페이스 → 오류 처리 문제
2. 자피어 자동화 → 8시간 지연 문제
3. AWS 스텝 펑션 → 안정적인 오류 처리

⚡ 평가(Evals)의 게임 체인저 효과

AI의 가장 큰 문제는 예측하기 어려운 결과예요. 때로는 완벽하고, 때로는 실망스럽죠. 테레사도 같은 문제에 직면했어요.

프롬프트를 여러 개로 나누니 성능은 개선되었지만, 새로운 문제가 생겼어요. 같은 인터뷰 구간에 대해 서로 다른 차원에서 모순되는 피드백을 주는 거예요.

이때 테레사가 발견한 게 바로 평가(Evals)였어요.

평가의 3가지 유형:

1. 골든 데이터셋: 다양한 입력과 원하는 출력을 미리 정의
2. 코드 기반 검증: 전통적인 코드로 대형언어모델 응답 품질 평가
3. 대형언어모델 판관: 다른 대형언어모델이 첫 번째 대형언어모델의 결과를 평가

테레사는 근거 이론(grounded theory) 방법론을 사용해서 실제 실행 기록을 분석하고 가장 흔한 오류 유형들을 찾아냈어요.

📈 주간 개선 사이클의 놀라운 결과

테레사의 주간 개선 사이클:

1. 약 60개의 전체 기록 검토 및 주석 달기
2. 새로운 오류가 있으면 평가 작성 여부 결정
3. 대형언어모델 판관의 정확도 재검증
4. 지속적인 오류에 대한 실험 설계 및 실행

실제 개선 사례가 정말 놀라운데요. 같은 인용구를 여러 섹션에서 반복 사용하는 문제를 발견하고 해결책을 고안했어요.

복잡한 질문 분류 시스템 대신, 이미 사용된 인용구를 추적해서 후속 단계에서 사용하지 않도록 하는 간단한 방법을 썼죠.

결과는 놀라웠어요. 오류율이 81%에서 3%로 떨어졌거든요!

🔄 AI 제품의 특별한 진실: 완성은 없다

전통적인 소프트웨어 개발과 달리, AI 제품은 "완성"이라는 개념이 없어요. 테레사가 깨달은 가장 큰 교훈 중 하나였죠.

AI 제품 개발에서는 다음이 지속적인 활동이에요:

• 실행 기록 주석 달기
• 새로운 평가 추가하기
• 실험 진행하기
• 성능 모니터링하기

AI 제품의 특별한 점:

• 처음에 얼마나 오래 걸릴지 예측 불가능
• "좋은" 상태에 도달해도 개선이 계속 필요
• 관찰 가능성(실행 기록을 볼 수 있는 능력)이 모든 것의 기초
• 윤리적 데이터 처리에 대한 투명성 필수

테레사는 이 과정을 제품 발견과 연결지었어요. 지속적인 피드백 루프가 있고, 실제 사용자 데이터를 바탕으로 가설을 세우고 실험할 수 있어요. AI 제품도 결국 고객 중심의 반복적 개선이 핵심이라는 거죠.

⚖️ 예상치 못한 복병: 데이터 윤리 문제

AI 제품을 만들면서 예상치 못한 가장 큰 도전은 데이터 처리 문제였어요. 테레사는 실수로 이 함정에 빠졌죠.

예상치 못한 상황이 벌어졌어요. 인터뷰 코치를 연습용 인터뷰를 위해 만들었는데, 학생들이 실제 고객 인터뷰 데이터까지 제출하기 시작한 거예요. 민감한 고객 정보가 포함된 데이터까지 말이에요!

이는 1인 기업인 테레사가 감당할 수 없는 수준의 보안과 컴플라이언스 요구사항을 만들어냈어요. SOC 2 컴플라이언스, 개인정보 스크러빙 등을 모두 혼자 처리해야 했거든요.

해결책:

1. 명확한 사용 지침: 서비스 약관에 묻히지 않고 첫 화면에 명시
2. 명시적 동의: 데이터 저장에 대한 별도 체크박스
3. 자동 삭제: 90일 후 자동 데이터 삭제 시스템
4. 파트너십: SOC 2 컴플라이언스를 갖춘 비스탈리(Vistaly)와 협업

🎯 테레사가 발견한 6가지 핵심 교훈

90일간의 여정에서 테레사가 얻은 교훈들을 정리해보면:

1. 진짜 고객 문제부터 찾기: AI는 도구일 뿐, 진짜 고객 문제 해결이 우선
2. 작게 시작하기: 월 3만원 도구로도 충분히 시작할 수 있어요
3. 올바른 UX 선택: 챗봇이 항상 정답은 아니에요
4. 평가가 생명: 평가 없이는 품질 보장 불가능
5. 지속적 개선: 완성은 없고, 지속적 개선이 AI 제품의 생명선
6. 데이터 윤리: 투명성과 책임감이 필수

🚀 지금 당장 시작할 수 있는 방법

테레사는 마지막에 이렇게 말했어요: "이 모든 게 정말 재미있었어요. 완전히 새로운 세상이 열린 거죠. 시작해보세요. 후회하지 않을 거예요."

AI 제품을 만들고 계신가요? 아니면 계획 중이신가요? 테레사의 경험처럼, 작은 실험부터 시작해보세요.

월 3만원 정도의 도구로도 충분히 시작할 수 있어요. 중요한 건 고객의 진짜 문제를 해결하겠다는 마음가짐이니까요.

AI 시장이 2025년 1,000조 원에서 2034년 4,900조 원까지 성장할 것으로 예상되는 지금, 여러분도 테레사처럼 작은 시작으로 큰 변화를 만들어보세요!