🎯 RAG가 죽었다고? 이제는 컨텍스트 엔지니어링 시대!

 

벡터 데이터베이스 분야 선두주자의 충격적인 선언과 AI 개발의 새로운 패러다임

안녕하세요! 오늘 정말 흥미로운 이야기를 가져왔어요. 바로 벡터 데이터베이스 분야의 선두주자인 크로마(Chroma)의 CEO 제프 후버(Jeff Huber)가 던진 도발적인 메시지 때문인데요.

그의 주장은 간단하지만 강렬해요: "RAG는 죽었다, 컨텍스트 엔지니어링이 왕이다!"

도대체 무슨 의미인지, 그리고 이것이 우리 AI 개발자들에게 어떤 의미인지 함께 살펴보죠!

크로마(Chroma)가 뭐길래?

우선 크로마가 무엇인지부터 알아볼까요?

크로마는 AI 애플리케이션을 위한 오픈소스 검색 및 검색 데이터베이스예요. 벡터, 전체 텍스트, 정규식 및 메타데이터 검색을 제공하죠.

정말 놀라운 성과를 자랑하고 있어요:

월 500만 다운로드 이상 GitHub 스타 22,100개 전체 누적 다운로드 수 7천만 회 이상 랭체인(LangChain), 라마인덱스(LlamaIndex) 등 주요 프레임워크에서 가장 많이 사용되는 벡터 데이터베이스

2023년 4월에는 시드 펀딩으로 1,800만 달러(약 240억 원)를 조달했을 정도로 주목받고 있는 회사예요.

왜 RAG가 죽었다는 거야?

제프 후버가 RAG(Retrieval-Augmented Generation)를 비판하는 이유는 뭘까요?

"RAG라는 용어 자체가 문제다"라고 그는 말해요. 왜냐하면:

1. 세 개의 개념을 하나로 뭉뚱그렸어요 검색(Retrieval) + 증강(Augmented) + 생성(Generation)을 하나의 용어로 설명하려다 보니 혼란만 가중됐다는 거예요.
2. 단순한 벡터 검색으로 축소됐어요 대부분의 사람들이 RAG를 그냥 "단일 밀집 벡터 검색"으로 이해하고 있다는 점이 문제라고 해요.
3. 진짜 중요한 건 검색(Retrieval)이에요 핵심은 검색 자체인데, RAG라는 브랜딩 때문에 본질이 흐려졌다는 거죠.

컨텍스트 엔지니어링이 뭔데?

그렇다면 컨텍스트 엔지니어링이 무엇인지 알아보겠어요!

컨텍스트 엔지니어링은 "어떤 LLM 생성 단계에서든 컨텍스트 윈도우에 무엇이 들어가야 하는지 결정하는 작업"이에요.

여기에는 두 가지 루프가 있어요:

• 내부 루프: 이번에 컨텍스트 윈도우에 무엇을 넣을지 설정
• 외부 루프: 시간이 지남에 따라 관련 정보만으로 컨텍스트 윈도우를 더 잘 채우는 방법을 개선

컨텍스트 로트(Context Rot) 문제

크로마에서 발표한 중요한 연구 결과가 있어요. 바로 "컨텍스트 로트" 현상이에요.

컨텍스트 로트란 LLM의 성능이 사용하는 토큰 수에 따라 변하지 않는다는 기존 믿음이 틀렸다는 거예요. 토큰을 더 많이 사용할수록 모델이 집중할 수 있는 능력이 떨어지고, 추론 효과도 감소한다는 연구 결과가 나왔어요.

이는 현재 프론티어 모델들이 "니들 인 어 헤이스택" 벤치마크에서 완벽한 성능을 보인다고 마케팅하는 것과는 다른 현실을 보여줘요.

검색의 5가지 실전 팁

제프 후버가 제시한 실용적인 검색 팁들이에요:

1. RAG를 배송하지 말고 검색을 배송하라 원시 요소들(밀집, 어휘적, 필터, 재순위, 조립, 평가 루프)의 이름을 정확히 명명하세요.
2. 하이브리드 리콜로 첫 단계에서 승리하라 200-300개 후보면 충분해요. LLM은 읽을 수 있거든요.
3. 컨텍스트 조립 전에 항상 재순위를 매겨라 이게 핵심이에요!
4. 컨텍스트 로트를 존중하라 빡빡하고 구조화된 컨텍스트가 최대 윈도우보다 낫다는 거예요.
5. 작은 골드 세트에 투자하라 피자 한 판 사고 팀원들과 함께 작은 골드 데이터셋을 만들어 CI와 대시보드에 연결하세요.

효과적인 검색 아키텍처

효과적인 검색 시스템 구조는 다음과 같아요:

[수집 단계]

• 파싱 + 청킹 (도메인 인식: 제목, 코드 블록, 테이블)
• 풍부화: 제목, 앵커, 심볼, 메타데이터
• 선택사항: LLM "청크 요약"
• 임베딩(밀집) + 선택적으로 희소 신호
• DB에 쓰기

[쿼리 단계]

• 첫 단계 하이브리드: 벡터 + 어휘적/정규식 + 메타데이터 필터
• 후보 풀: ~100-300개
• 재순위 → 상위 ~20-40개
• 컨텍스트 조립

크로마의 특별한 기능들

크로마는 간단한 pip install로 설치할 수 있으며, 자동으로 토큰화, 임베딩, 인덱싱을 처리합니다.

주요 특징들:

• 사용법이 정말 쉬워요: pip install chromadb 한 줄이면 끝!
• 멀티모달 지원: 텍스트뿐만 아니라 이미지도 처리 가능
• 메타데이터 필터링: 강력한 타겟팅된 쿼리 가능
• 하이브리드 검색: 벡터 검색과 전체 텍스트 검색 결합

실제 사용 사례들

크로마는 자연어 처리, 의미론적 검색, 추천 시스템, 그리고 생성형 AI 작업에 광범위하게 활용되고 있어요.

특히 코드 검색 분야에서는:

• 정규식 검색: GitHub Code Search, Google Code Search에서 사용하는 주된 패턴
• 임베딩 활용: 더 정교한 팀들은 코드 검색 스택에서 임베딩도 함께 사용
• 청크 재작성: 코드를 임베딩하기 전에 LLM으로 자연어 설명 생성

벡터 데이터베이스 시장에서의 위치

벡터 데이터베이스 시장에서 크로마는 파인콘(Pinecone), 위비에이트(Weaviate), Faiss, Qdrant와 함께 주요 플레이어로 자리잡고 있습니다.

각각의 장단점:

• 대규모 배포용: 밀버스(Milvus), Qdrant가 높은 확장성과 성능 제공
• AI 및 LLM 통합용: 크로마, 위비에이트가 AI 파이프라인과의 원활한 통합 제공
• 고속 유사성 검색용: Faiss가 광범위한 데이터셋에서 빠른 유사성 검색에 이상적

크로마 클라우드의 등장

최근 GA(일반 공급)된 크로마 클라우드는 정말 혁신적이에요:

• 진정한 서버리스: 사용한 만큼만 과금
• 제로 설정: 노드 수, 샤딩 전략, 백업 전략 등 복잡한 설정 불필요
• 30초 내 시작: 데이터베이스 생성하고 30초 내에 데이터 로드 가능
• 5달러 무료 크레딧: 10만 개 문서 로드하고 10만 번 쿼리 가능

미래 전망

제프 후버가 예측하는 검색 시스템의 미래:

1. 잠재 공간에서 계속 유지 자연어로 다시 돌아가지 않고 임베딩을 직접 모델에 전달
2. 연속적 검색 생성당 한 번 검색하는 대신 필요할 때마다 지속적으로 검색
3. GPU 메모리 페이징 GPU에서 정보를 메모리로 페이징하는 더 효율적인 방식

채용과 팀 구성

크로마에서는 현재 다음과 같은 인재를 찾고 있어요:

• 프로덕트 디자이너: 개발자 도구 작업에 관심 있는 분
• 연구원: 크로마의 연구 확장에 관심 있는 분
• 분산 시스템 엔지니어: Rust, TLA+, 합의 알고리즘 등에 관심 있는 분

결론

컨텍스트 엔지니어링은 단순한 유행어가 아니라, AI 애플리케이션 개발의 핵심 역량이 되고 있어요. 성공하는 AI 스타트업들의 공통점이 바로 컨텍스트 엔지니어링을 잘한다는 것이죠.

RAG라는 애매한 용어에 얽매이지 말고, 검색 시스템의 각 구성 요소를 명확히 이해하고 최적화하는 것이 중요해요. 그리고 그 과정에서 크로마와 같은 도구들이 우리의 든든한 파트너가 될 거라고 생각해요!

여러분도 AI 애플리케이션을 개발하면서 컨텍스트 엔지니어링에 더 많은 관심을 가져보시는 건 어떨까요?