LLM 작동 원리, 챗GPT·클로드가 텍스트를 만드는 실제 메커니즘 7단계

"AI가 글 잘 쓰는 프로그램"이라고만 알고 계셨다면?

챗GPT에게 질문을 던지는 순간, 화면 너머에서 어떤 일이 벌어지는지 궁금해 본 적 있으신가요?

대부분은 "AI가 학습한 데이터에서 알아서 대답한다"고 막연하게 알고 있는데요. 사실 그 안을 들여다보면 꽤 정교하고, 알고 나면 AI를 훨씬 잘 쓸 수 있게 되는 원리들이 숨어 있어요.

저도 처음 이 구조를 제대로 이해했을 때 솔직히 좀 놀랐어요. "이렇게 작동하는 거였구나"라고요.

오늘은 챗GPT, 클로드, 제미나이처럼 우리가 매일 쓰는 대규모 언어 모델(LLM, Large Language Model)이 텍스트를 만드는 실제 메커니즘을 7단계로 풀어드릴게요. 개발자가 아니어도 충분히 이해할 수 있게 써볼게요.

그런데 왜 지금 LLM 원리를 알아야 하나요?

이 기술 모르면 손해인 시대가 됐어요. 글로벌 LLM 시장은 2025년 약 12.8억 달러에서 2034년에는 59.4억 달러까지 성장할 전망이고, 연평균 성장률만 34.8%에 달합니다. 국내 시장도 2027년까지 연간 1조원 규모를 형성할 것으로 예측되고 있어요.

현재 전 세계 기업의 67%가 이미 LLM을 업무에 활용 중이에요. 2028년에는 85%까지 늘어날 전망이고요. 원리를 알면 프롬프트를 더 잘 쓸 수 있고, AI의 한계가 어디서 오는지도 보여요. 그냥 쓰는 것과 이해하고 쓰는 것, 차이는 생각보다 큽니다.

1단계. 토큰화, AI는 글자가 아니라 숫자를 읽는다

AI에게 "안녕하세요"를 입력하면, 그 문자열이 먼저 정수(integer) 숫자 나열로 변환됩니다. 이 과정을 토큰화(Tokenization)라고 해요.

토큰은 단어 전체가 아닌 그보다 작은 조각 단위예요. 예를 들어 영어 단어 "tokenization"은 "token"과 "ization" 두 조각으로 나뉘고, 각 조각에 고유 번호(ID)가 붙어요. 현대 LLM의 어휘(vocabulary)는 수만에서 수십만 개 항목을 가집니다.

이게 바로 AI가 "strawberry에 R이 몇 개야?"라는 질문을 예전에 틀리곤 했던 이유예요. AI는 글자 단위가 아니라 토큰 ID 단위로 처리하기 때문에, 철자를 직접 세는 건 의외로 어려운 작업이거든요.

한 줄 정리: AI는 텍스트를 숫자로 바꿔서 처리합니다. 토큰 단위 처리 방식 때문에 글자 세기 같은 작업이 취약할 수 있어요.

2단계. 임베딩, 숫자에 '의미'를 불어넣는다

토큰 ID "1024"라는 숫자는 그 자체론 아무 의미가 없어요. 여기서 임베딩(Embedding)이 등장합니다. 모델 안에는 어휘 크기만큼의 행을 가진 거대한 표가 있고, 각 행은 수천 개 숫자로 이루어진 벡터(vector)예요.

70억 파라미터 규모 모델 기준으로, 토큰 하나가 4,096개 숫자의 벡터로 표현됩니다. 이 숫자들이 해당 단어의 "의미 좌표"라고 생각하시면 돼요.

놀라운 건, 아무도 이렇게 설계하지 않았는데 비슷한 의미의 단어들은 이 공간에서 자연스럽게 가까이 모인다는 점이에요. "왕"과 "여왕"은 벡터 공간에서 인접해 있고, "왕 빼기 남자 더하기 여자 = 여왕"이라는 벡터 연산이 실제로 작동해요. 방대한 텍스트를 학습하는 과정에서 자연스럽게 생겨난 구조입니다.

3단계. 위치 인코딩, '순서'를 알려준다

임베딩만으로는 "개가 사람을 물었다"와 "사람이 개를 물었다"를 구분하지 못해요. 단어의 의미는 담겼지만 순서 정보가 없거든요.

이걸 해결하는 게 위치 인코딩입니다. 현대 모델들은 대부분 RoPE(Rotary Position Embeddings, 회전 위치 임베딩)라는 방식을 써요. 쿼리(Query)와 키(Key) 벡터를 위치에 따라 특정 각도로 회전시켜서, 두 단어 사이의 거리를 자연스럽게 인코딩하는 방식이에요.

프롬프트 엔지니어링에서 "중요한 내용은 앞이나 뒤에 배치하라"는 팁이 있잖아요. LLM이 긴 입력의 중간 부분을 상대적으로 덜 참고한다는 연구 결과가 있는데, 그 이유가 바로 이 위치 처리 방식에서 나옵니다.

4단계. 어텐션, 토큰끼리 '대화'를 나눈다

트랜스포머의 심장부가 바로 여기예요. 어텐션(Attention) 메커니즘은 "각 토큰이 다른 토큰들 중 어디를 얼마나 참고해야 하는가"를 계산합니다.

각 토큰은 세 가지 역할을 동시에 맡아요. 쿼리(Q)는 "나는 무엇을 찾는가", 키(K)는 "나는 어떤 정보를 줄 수 있는가", 밸류(V)는 "실제로 전달할 내용"이에요.

"내가 어제 본 고양이가 자고 있었다"라는 문장에서 "자고"를 처리할 때, 모델은 "자고"의 Q 벡터를 앞 토큰들의 K 벡터와 비교해요. "고양이"와의 유사도가 높으면 "고양이"의 V 값이 "자고"의 새로운 표현에 크게 반영됩니다. 이렇게 앞선 맥락이 자연스럽게 뒤쪽 단어 처리에 녹아드는 거예요.

5단계. 멀티헤드 어텐션, 여러 시각으로 동시에 본다

어텐션 한 번으로는 하나의 관계 유형밖에 못 잡아요. 주어-동사 관계, 대명사 지시 대상, 장거리 맥락 등 수십 가지 구조가 언어엔 동시에 존재하니까요.

멀티헤드 어텐션은 어텐션을 병렬로 여러 번 실행합니다. 각 헤드(head)마다 다른 관점의 행렬을 학습하고, 모든 헤드의 출력을 합쳐서 하나의 벡터를 만들어요.

아무도 역할을 정해주지 않아도 학습 과정에서 자연스럽게 전문화가 일어난다는 게 정말 흥미로워요. 문법 관계를 추적하는 헤드, 대명사 참조를 처리하는 헤드, 반복 패턴을 포착하는 헤드 등이 생겨납니다. 클로드를 개발한 앤트로픽이 2022년 발견한 "귀납 헤드(induction head)"는 프롬프트에서 A B, A 패턴을 감지하면 B가 이어진다고 예측하는 역할을 해요. AI의 인컨텍스트 러닝 능력의 핵심 메커니즘 중 하나입니다.

6단계. 피드포워드 네트워크, AI의 '지식 창고'가 여기 있다

어텐션이 "토큰끼리 대화하는" 부분이라면, 피드포워드 네트워크(FFN)는 "각 토큰이 혼자 추가 처리하는" 부분이에요. 토큰 간 정보 교환 없이, 각 토큰의 벡터를 독립적으로 가공합니다.

모델 전체 파라미터의 상당 비중이 FFN에 집중되어 있어요. 실제로 "파리는 프랑스의 수도"라는 사실 같은 지식들이 FFN의 특정 가중치 패턴으로 인코딩되어 있습니다.

최근엔 여러 FFN을 두고 토큰마다 일부만 활성화하는 전문가 혼합(MoE, Mixture of Experts) 방식도 확산 중이에요. 미스트랄의 Mixtral 모델은 총 467억 개 파라미터를 가지면서도 토큰당 실제 사용하는 건 약 129억 개예요. 파라미터는 늘리면서 연산 비용은 아끼는 영리한 구조죠.

7단계. 잔차 연결과 정규화, 100층도 안정적으로 쌓는 비결

트랜스포머는 같은 구조를 수십에서 수백 층 반복해요. 이걸 안정적으로 학습시키는 두 가지 장치가 있습니다.

하나는 잔차 연결(Residual Connection)이에요. 각 블록의 출력이 입력을 대체하는 게 아니라 더해집니다. "기존 벡터 + 블록 처리 결과"로 원래 정보가 계속 보존되면서 각 층의 기여가 누적되는 구조예요. 이미지 인식 분야의 ResNet에서 온 아이디어로, 학습 신호가 깊은 층까지 잘 전달되는 지름길 역할을 합니다.

다른 하나는 층 정규화(Layer Normalization)예요. 수십 번의 덧셈을 거치다 보면 숫자가 폭발적으로 커지거나 0으로 수렴할 수 있어요. 층 정규화는 각 블록 처리 전후에 벡터 값을 안정적인 범위로 스케일링합니다. 최신 모델들은 더 빠르고 간단한 방식인 RMSNorm을 주로 사용해요.

그래서 AI는 어떻게 텍스트를 '찍어내는' 걸까요?

이 7단계를 모두 거쳐 마지막 토큰의 벡터가 나오면, 모델은 어휘 크기만큼의 점수(로짓)를 계산하고 소프트맥스를 적용해 다음 토큰의 확률 분포를 만들어요.

여기서 온도(temperature) 설정이 등장합니다. 온도가 낮으면 확률 높은 토큰을 거의 확정적으로 선택해서 예측 가능한 답변이 나오고, 높으면 다양하고 창의적인 답변이 나와요. 선택된 토큰은 입력에 추가되고, 다음 토큰을 예측하는 과정을 반복합니다.

단락 전체가 이 루프를 한 토큰씩 돌면서 만들어지는 거예요. 이전 결과를 재활용하는 KV 캐시(KV Cache) 덕분에 긴 텍스트도 효율적으로 생성할 수 있어요.

챗GPT, 클로드, 제미나이, 진짜 차이가 뭔가요?

솔직히 말하면, 구조적으로는 크게 다르지 않아요. 토큰화, 임베딩, 위치 인코딩, 어텐션, FFN, 잔차 연결, 정규화, 다음 토큰 예측. 이 뼈대는 거의 공유합니다.

차이는 세 가지에서 나와요. 학습 데이터의 규모와 구성, 레이어 수와 파라미터 수 등 설정값, 기본 모델 위에 얹은 사후 학습(instruction tuning)과 인간 피드백 학습(RLHF) 방식이에요.

국내에서도 네이버 하이퍼클로바X는 GPT-3 대비 한국어 데이터 학습량이 6,500배에 달하고, LG 엑사원 시리즈는 연산 효율 측면에서 글로벌 최신 모델들과 대등한 수준으로 평가받고 있어요. 같은 트랜스포머 뼈대라도 어떤 데이터로 어떻게 학습했느냐에 따라 성격이 완전히 달라지는 거죠.

마무리, AI를 제대로 쓰려면 원리부터

오늘 살펴본 7단계를 다시 한번 짚어볼게요.

텍스트가 토큰 ID로 변환되고, 임베딩으로 의미를 갖게 되고, 위치 인코딩으로 순서를 얻고, 어텐션으로 다른 토큰과 정보를 교환하고, FFN으로 개별 처리를 마친 뒤, 잔차 연결과 정규화로 안정성을 유지하면서 층을 쌓고, 마지막으로 확률 분포에서 다음 토큰을 샘플링합니다.

이 원리를 알면 AI 도구를 단순히 쓰는 수준을 넘어설 수 있어요. 왜 프롬프트를 어떻게 써야 효과적인지 보이고, AI가 어디서 틀리는지도 예측이 가능해져요.

"AI가 어떻게 작동하는지 모르면서 AI를 도구로 쓴다"는 건, 자동차 원리 하나도 모르면서 차를 모는 것과 비슷한 상황이에요. 구조를 알수록 더 잘 쓸 수 있습니다.

오늘 글이 도움이 됐다면 저장해두고, AI 관련 내용을 접할 때마다 꺼내 보세요.