
"왜 갑자기 AI가 멍청해졌지?" — 그 이유, 토큰에 있습니다
Claude Code를 쓰다 보면 이상한 경험을 하게 됩니다. 처음엔 정말 빠르고 정확하게 코드를 짜주던 AI가, 대화가 길어질수록 점점 엉뚱한 답변을 내놓거나 아까 작성한 코드를 다시 작성하기 시작하죠. 그리고 어느 순간 "사용량 한도 초과"라는 메시지가 뜨거나, 요금 청구서를 열어보고 눈이 동그래지는 순간을 맞이하게 됩니다.
이 현상들의 진짜 원인이 뭔지 아세요?
바로 '토큰'입니다. 토큰을 이해하지 못한 채 Claude Code를 쓰면, 비용은 올라가고 품질은 떨어지는 악순환에 빠집니다. 반대로 토큰 구조를 제대로 파악하고 전략적으로 사용하면, 같은 요금제로 훨씬 더 많은 작업을 해낼 수 있습니다.
이번 글에서는 Claude Code 토큰의 기본 개념부터 실전 절감 전략까지, 개발자라면 꼭 알아야 할 내용을 정리해봤어요.
토큰이 뭔지 모르면 돈을 쓸 수가 없다
토큰(Token)이란 AI 모델이 텍스트를 처리하는 최소 단위입니다. 우리가 글자나 단어를 세듯이, AI는 토큰 단위로 정보를 읽고 생성하죠.
영어 단어 "Hello"는 약 1개의 토큰이고, 한글 "안녕하세요"는 약 5개 토큰입니다. 조사와 어미가 붙는 한국어 특성상 영어 대비 토큰 소비량이 훨씬 많다는 점, 한국 개발자라면 반드시 기억해야 할 포인트예요.
그리고 현재 Claude 모델의 컨텍스트 윈도우는 200K 토큰이며, 이 200K 안에서 입력과 출력이 모두 관리됩니다. 대략 책 한 권 분량에 해당하는 이 공간이 꽉 차면, 앞서 언급한 "AI가 멍청해지는" 현상이 시작되는 겁니다.
입력 토큰 vs 출력 토큰 — 어느 쪽이 더 비쌀까요?
토큰은 크게 두 가지로 나뉩니다.
입력 토큰은 Claude에게 전달하는 모든 정보입니다. 내가 보내는 메시지, 첨부 파일 내용, 이전 대화 히스토리, CLAUDE.md 같은 컨텍스트가 모두 여기 포함됩니다. 출력 토큰은 Claude가 생성하는 답변, 코드, 분석 결과 등입니다.
Claude Sonnet 4.6 기준으로 입력 토큰은 100만 토큰당 3달러인 반면, 출력 토큰은 100만 토큰당 15달러입니다. 무려 5배 차이예요.
그래서 AI에게 "이거 다 설명해줘"식의 막연한 요청보다, 필요한 부분만 명확하게 지정하는 것이 비용 절감의 핵심이 됩니다. 출력이 많아질수록 비용이 기하급수적으로 올라가기 때문이에요.
왜 대화가 길어지면 AI가 이상해지는 걸까요?
이건 토큰의 누적 구조 때문입니다.
첫 번째 대화에서 내가 메시지를 보내면 입력 토큰이 쌓이고, Claude가 답변하면 출력 토큰이 쌓입니다. 두 번째 대화에서는 첫 번째 대화 내용이 모두 입력 토큰에 포함되고, 여기에 새로운 메시지가 더해집니다. 세 번째, 네 번째 대화로 계속 진행되면 입력과 출력이 계속 누적됩니다.
결국 컨텍스트 윈도우가 꽉 차면, Claude가 앞서 작성한 코드를 다시 작성하거나 앞의 지시를 잊어버리는 현상이 발생합니다. 비용도 비용이지만, 품질 저하가 더 큰 문제예요.
저장해두고 싶은 문장 하나: 컨텍스트가 오염되기 시작하면, 더 많은 토큰을 써도 오히려 결과가 나빠집니다.
내 토큰 얼마나 쓰고 있나? 확인 방법 3가지
최적화의 첫걸음은 현재 상태 파악입니다.
첫 번째는 Claude Code 내장 명령어입니다. 구독 사용자는 /stats 명령어로 사용 패턴을 확인할 수 있고, API 과금 사용자는 /cost 명령어로 현재 세션의 입력·출력·캐시 토큰 사용량과 비용을 한눈에 볼 수 있습니다.
두 번째는 로그 파일 직접 확인입니다. ~/.claude/projects/ 폴더 내 JSONL 파일에서 input_tokens, output_tokens 값을 직접 조회할 수 있어요.
세 번째는 ccusage라는 오픈소스 서드파티 도구입니다. 터미널에서 간단한 명령어로 일별·월별·세션별 사용량은 물론 실시간 토큰 소모 속도까지 확인할 수 있어서 개발자들 사이에서 빠르게 확산되고 있는 툴이에요.
실전 토큰 절감 전략 6가지 — 이것만 알아도 비용 반 줄어요
이제 핵심입니다. 실제로 효과 있는 방법만 정리했습니다.
첫 번째, CLAUDE.md 최적화입니다.
CLAUDE.md는 요청마다 함께 로드되는 핵심 문서입니다. 내용이 길수록 컨텍스트 초기 비용이 불필요하게 증가합니다. 서술형 문장으로 가득 차 있다면 엄청난 낭비가 되죠. 헤딩·리스트·테이블을 활용한 구조화된 형태로 바꾸면 분량을 80~90%까지 줄일 수 있습니다. CLAUDE.md는 짧을수록 좋습니다.
두 번째, 분산 메모리 구조 활용입니다.
CLAUDE.md가 지나치게 길어지는 경우, 내용을 여러 보조 문서로 분리한 뒤 필요할 때만 불러오는 방식이 효과적입니다. 이렇게 하면 Claude가 기본 컨텍스트를 가볍게 유지한 채, 요청 시 필요한 문서만 추가로 읽도록 할 수 있어요.
세 번째, MCP 도구 선택적 활성화입니다.
Anthropic의 조언에 따르면 gh, aws, gcloud처럼 이미 CLI 도구가 있는 경우에는 MCP보다 CLI를 우선 사용하는 것이 좋은데, CLI 도구는 컨텍스트 비용이 0이기 때문입니다. 프로젝트와 무관한 MCP 도구가 활성화되어 있으면 시스템 프롬프트 부하가 커지니, 꼭 필요한 MCP만 남겨두세요.
네 번째, 파일 참조 범위 조정입니다.
500줄 이하의 파일은 전체 참조해도 괜찮습니다. 하지만 2,000줄이 넘어가는 파일을 통째로 넘기는 건 낭비예요. 모호한 요청은 Claude가 더 많은 파일을 탐색하게 만들어 토큰 소비가 늘어나기 때문에, "이 코드베이스를 개선해줘" 같은 요청 대신 "src/auth/login.ts의 validatePassword 함수에 입력 유효성 검사를 추가해줘" 처럼 정확한 위치를 지정하는 것이 효율적입니다. .claudeignore 파일을 만들어 node_modules, dist, 이미지·로그 파일 등 Claude가 읽을 필요 없는 항목을 제외하는 것도 필수예요.
다섯 번째, 세션 관리 전략입니다.
대화가 길어지면 /compact 명령어로 이전 내용을 요약하여 공간을 확보하거나, 기능 단위로 /clear를 실행해 컨텍스트를 초기화할 수 있습니다. 대규모 작업이 끝나면 중간 결과를 마크다운으로 저장해두고 새 세션에서 시작하는 습관을 들이세요.
여섯 번째, 프롬프트 캐싱 최대 활용입니다.
Claude Code는 자동으로 프롬프트 캐싱을 활성화해 반복되는 요청의 비용을 절감합니다. 캐시된 콘텐츠를 사용하면 기본 입력 토큰 가격의 10%만 부과되어 최대 90%의 비용을 절감하고 지연 시간을 85% 줄일 수 있습니다. CLAUDE.md나 시스템 프롬프트처럼 고정된 컨텍스트가 많을수록 캐싱 절감 효과가 더 커집니다.
실제 비용은 어느 정도일까요?
이 부분을 궁금해하시는 분이 많더라고요.
Claude Code 공식 문서 기준으로, 평균 비용은 개발자 1인당 하루 약 6달러 수준이며, 90%의 사용자는 일일 비용이 12달러 이하로 유지됩니다. API 과금 기준으로는 Sonnet 4.6으로 개발자 1인당 월 약 100~200달러 수준이 일반적입니다.
국내 커뮤니티에서는 "100달러 크레딧을 4일 만에 다 썼다"는 경험담도 올라오고 있을 정도예요. 최적화 없이 무작정 사용하면 예상보다 훨씬 빠르게 비용이 쌓입니다.
저장해두고 싶은 문장 둘: 신중한 측정과 비용 관리가, 청구서 보고 놀라는 것과 안 놀라는 것의 차이입니다.
Plan 모드 + 모델 전환 전략 — 고수들이 쓰는 방법
실무에서 유용한 팁을 하나 더 드릴게요.
대규모 구현 작업 전에 Shift+Tab을 눌러 Plan 모드로 진입하세요. 범위가 큰 작업은 곧바로 수정하지 말고 먼저 계획을 요청해 변경 파일, 순서, 리스크를 정리하는 것이 효과적입니다. 방향이 잘못됐을 때의 재작업을 방지할 수 있어서 토큰과 시간 모두를 아낄 수 있어요.
그리고 플랜 선택도 중요합니다. Pro와 Max로 올려야 하는 진짜 이유는 현재 플랜이 중요한 작업을 너무 자주 끊어서 그 중단 비용이 월 구독료 차이보다 커졌을 때여야 합니다. "더 전문가 같아 보여서" 비싼 플랜으로 올리는 건 낭비예요. 평상시에는 Sonnet으로 작업하다가, 복잡한 아키텍처 결정이 필요한 순간에만 Opus로 전환하는 방식이 비용 대비 효율을 높이는 현명한 전략입니다.
저장해두고 싶은 문장 셋: 토큰 관리는 단순히 비용을 아끼는 것이 아니라, AI 네이티브 개발의 본질입니다.
마무리
Claude Code는 강력한 도구입니다. 하지만 토큰을 이해하지 못한 채 사용하면, 비용은 늘어나고 품질은 오히려 떨어지는 악순환에 빠지게 됩니다.
오늘 소개한 6가지 전략만 적용해도 체감 비용을 절반 이하로 줄일 수 있어요. CLAUDE.md 정리, 세션 관리, 캐싱 활용 — 이 세 가지부터 당장 실천해보세요. 같은 도구를 훨씬 더 영리하게 쓸 수 있게 됩니다.
알고 쓰면 10배, 모르고 쓰면 10배. 이 차이를 만드는 건 결국 이해와 전략입니다.
'IT > AI' 카테고리의 다른 글
| 🤔 AI 시스템, 왜 엉뚱한 답을 내놓을까? "질문이 곧 설계도"인 이유 (1) | 2026.04.15 |
|---|---|
| 🤖 월요일 아침 리포트를 AI가 대신 써준다? Claude Cowork 완벽 활용법 (3) | 2026.04.15 |
| 🤖 클로드 코드로 실제 서비스 만든 후기, AI 코딩의 진짜 한계는? (2) | 2026.04.09 |
| 🤖 AI 에이전트 시대가 왔다, 당신의 일과 삶은 준비됐나요? (1) | 2026.04.09 |
| 🧠 Claude Code Skills, 진짜 쓸 줄 아는 사람은 따로 있다 (0) | 2026.04.09 |