어쨌든 이 이후로 ai의 성능은 비약적으로 발전했음. 거의 모든 영역에서 엄청난 성장이 있었는데, 제일 이해하기 쉬운 걸 예로 들자면

- 2024년 4월에 발표되어 시장에 충격을 줬던 llama3와 WizardLM-2 모델은 각각 지원하는 최대 컨텍스트가 6.5만 / 8천에 불과했음 (컨텍스트는 아래에 자세히 설명하겠지만 아주 간단하게 말하면 ai의 '기억력' 이라고 보면 됨)
- 그런데 2026년 3월 30일인 현재 ai모델들의 최대 컨텍스트는 100만임 (gemini 3.1, claude 4.6 등)
2년만에 6만이 100만이 되는 기적! 이런 일들이 여러 영역에서 일어나고 있는거임 (이 부분 좀 의아한 사람이 있을텐데 gemini 1.5 pro 에서 이미 100만 컨텍을 지원했지만 실성능은... 음...)

ai 채팅 하는 입장에서는 다국어(한국어) 성능 발전도 빠트릴 수 없지
과거에는 성능이 아무리 좋았어도 영어에 국한된 얘기였는데 제미나이가 구글의 방대한 데이터를 바탕으로 본격적인 한국어 채팅의 시대를 열면서 국내 ai채팅 플랫폼 시장도 크게 성장하게 됨

여기까지 읽으면서 이해 안되는 부분이 있어도 상관 없음. 관심 생기면 찾아볼 덬들을 위해서 몇몇 부분을 쉬운 용어로 바꾸지 않고 그냥 일반 단어로 썼는데 이걸로 시험 칠것도 아닌데 굳이 다 이해하고 외우고 넘어갈 필요는 없음. 아래부터는 더 쉬워질 예정이니 계속 읽어줘!

2. 기본 원리 (트랜스포머 아키텍쳐)

이제와서 얘기하기엔 좀 늦긴 했는데 내가 이 글에서 말하는 ai는 모두 LLM(Large Language Model = 대규모 언어 모델)을 말해. 문자 그대로 '언어'를 처리하는 모델, 지피티, 클로드, 제미나이, 딥시크... 기타 등등의 모델들을 LLM이라고 부름. 언어모델이 아닌 걸로는 그림 모델, 음악 모델, 영상 모델 등등이 있겠지.

다시 본론으로 돌아가서, 트랜스포머가 언어를 어떻게 처리하는지 단계별로 살펴보자.

그럼 과거엔 이게 안됐냐? 안됐음. 과거의 ai는 눈을 가린채 이어달리기 바톤터치를 하는 상황과 비슷했음. 그러니까, 얘는 '아아'가 뭔지 알고 싶어도 '마이크 테스트'라는 문장을 함께 볼 수가 없었음. 비교를 위해 과거의 ai의 작동방식을 보자

ai는 여기서 답을 선택함. 먼저 나올 확률이 높은 단어들 리스트를 뽑아봄.
'예쁘다' '아름답다' 등은 나올 확률이 아주 높을거고 '맛있다' '배고프다'등은 나올 확률이 아주 낮겠지? 이걸 계산하는거임
그런 다음에 이 중에서 확률이 높은 애들 중 하나를 고름.

그런데 사실 이건 ai에게 정보를 물어볼때의 문제고 채팅하고 소설쓰는 우리는 이런 '확률생성'을 일부러 조정해서 '야 맨날 똑같은 문장만 쓰지 말고 좀 참신한(낮은 확률의) 단어도 써보고 표현도 써봐' 라고 조절하는 식으로도 씀. 프엔(프론트엔드) 쓰는 덬들은 온도라는 얘기 많이 들어봤을텐데 이걸 조절하는게 대표적임.

3. 기본 개념 및 용어 설명 (토큰, 컨텍스트 등)

우리(인간)는 이 문장을 나눠본다면 간단하게 [ 나는 / 밥을 / 먹었어 ] 처럼 나눌거야
하지만 ai는 이걸 다르게 봄. 예를 들면 이런 식임

그리고 ai는 이렇게 내용을 파악함

ai는 문장을 단어로 끊는 게 아님. 토큰이라는 단위로 끊음. 우리도 '머릿속'에서는 비슷한 처리를 하고 있을지도 모르지

이거 자체는 이해하기 어렵지 않지? ai는 문장을 받으면 > 토크나이저를 통해 문장을 토큰으로 분해 > 분해된 토큰 단위로 내용을 이해한다

사실 내가 위의 예시로 든 (💭 ai가 이해하는 것)의 설명은 정확하진 않아. 토큰은 실제로 저렇게 돌아가지는 않기 때문에... 궁금하면 개인적으로 찾아보는 거 추천함. 난 딱 아래 내용을 이해할 수 있을 정도로만 설명하고 넘어가겠음

여기까지 읽었으면 의아한 덬들도 있을거임. 아니 알겠는데 그래서 토큰이 왜 중요함? 이걸 왜 알아야함? 그건 바로... 가장 중요한 돈 문제+기억력 문제와 직결되기 때문이다!

* 토큰은 가격이다

여기서 또 하나 주목할건 입력/출력 가격이 다르다는거야. 출력이 훨씬 비싼거 보이지? 복잡하게 환율 계산같은거 안해도 그냥 2.5랑 15 비교할 수만 있으면 됨
입력은 우리가 위에서 살펴본 '인풋 이해' 에 드는 비용이야
출력은 ai가 직접 생성하는 답변, 우리로 치자면 ai의 글쓰기 응답이지

이번엔 클로드도 한번 보자
최고 성능인 클로드 오푸스를 보면 다른 모델에 비해 가격이 훨씬 높은 걸 알 수 있어
ai 채팅 플랫폼을 쓸때도 오푸스가 비싼 이유가 여기에 있음
기본 제공가격이 저렴한 모델은 당연히 ai플랫폼 회사에서도 적은 비용이 나갈거고, 가격이 높은 모델은 ai플랫폼에서 써도 비싸겠지?

우리가 RP에서 위와 같은 인풋을 넣었다고 치자. 그럼 ai는 출력을 위해 다음과 같은 일을 한다

ai는 이걸 한번에 생성하는 게 아니야. 위에서 설명한 토큰 단위로 매번 계산을 함

참고로 이 ai 계산은 한 번 할때마다 연산에 엄청난 리소스가 소모됨. ai 업계에서 고성능 GPU가 필요하고 부품 가격이 치솟는 이유지

가격에 대해선, ai 채팅 플랫폼에서 쓰는 덬들은 크게 와닿지 않을거야. 챗당 드는 비용이 동일하다고 느낄테니까. 하지만 ai의 기억력에 한번이라도 불만이 있었던 적이 있다면, 이때도 이걸 이해하기 위해서 토큰이란 개념이 필요해짐

토큰에 대해서도 다시 한 번 복습해두자. 출력 토큰부터 볼까?

여기서 ai의 출력 토큰은 몇일까? 5글자라고 대답했으면 땡. 정답은 1토큰임.
물론 모델에 따라서, 토크나이저에 따라서 2345 토큰일수도 있겠지만 (안녕/하세요로 나누는 경우, 안녕/하세/요로 나누는 경우 등) '5글자'라고 생각했으면 토큰 개념에 좀 더 익숙해져보자
'글자수=토큰수가 아니다' 이 개념을 알아두는 게 중요함.

아 여기서 헷갈리면 안되는게 '받아들이는 인풋의 한계치'와 '받은 걸 얼마나 잘 소화할 것이냐, 명령(프롬프트)를 얼마나 따를 것이냐'하는 건 별개라는 거야. 주어진 100만 토큰 내에서 바늘 하나를 찾아내는 능력, 어떤 모델은 이게 아주 뛰어나고 어떤 모델은 뒤떨어져. RP 도중에 'ai가 자꾸 설정을 까먹는데' 같은 불만과 이어지는 부분이지.

그런데... ai 채팅 플랫폼에서 채팅을 할때는 이게 또 얘기가 좀 다름. 앞에서 출력 토큰 얘기할때 플랫폼이 최대 제한을 걸어둔다고 했지? 입력 토큰도 마찬가지야. 출력보다는 저렴하다고 하지만 얘도 쌓이면 비용이 계속 늘어나잖아. 게다가 입력은 채팅을 할수록 누적되기 때문에 처음 채팅 시작할때 100토큰이었던 채팅방이 진행하면서 1만토큰 10만토큰까지 늘어나는 경우도 흔히 있음. 이걸 고스란히 보내면 다 비용이겠지? 그래서 채팅 플랫폼에선 보통 이 부분도 제한을 걸어둠. ai가 자꾸 기억을 잃어버리면? 해당 플랫폼의 컨텍스트 제한이 상당히 강한 편일 수 있다는 뜻.

기억력과 관련해서 또 중요하게 알아둬야할 개념이 있음. 바로 컨텍스트라는 건데, 간단히 말하자면 ai가 받아들이는 '인풋 전체'를 말함.

컨텍스트는 기본적으로 누적되는 구조임. 아래 예시 보자

이렇게, 대화를 계속할수록 위의 대화가 쌓여가는거임. 대화 100턴을 진행하면 채팅내역이 엄청 많이 쌓이겠지?

근데 우리는 단순 대화만 하는 것도 아니잖아. 한번 대화에 긴 입력, 긴 출력을 받으면 컨텍스트 상한에 빠르게 도달하게 돼. 그럼 무슨 문제가 있을까? 우리는 RP, 소설쓰기를 진행하고 있잖아? 최대 컨텍스트에 도달하면 글이 짤릴 거 아냐? 그래서 이런 일이 일어나.

채팅이 길어져서 내용이 이렇게 됐다고 해보자. 그럼 이때, 컨텍스트 제한에 걸리는 순간 위쪽의 내용은 모두 날아간 상태로 ai는 첫줄을 '파이오니아 대륙은'이라고 시작하는 문장부터 받게 됨. 이 상황에서 앞쪽에 있는 정보는 기억력이고 뭐고가 아니라 그냥 소멸된거임.

- 원덬은 lv1 마법사다
- 원덬은 아르카나 대륙에서 모험을 시작했다

이런 정보를 ai가 틀렸을때, 두가지 케이스가 있음

하나는 '주어진 내용에서 찾지 못하는' 것. 이건 100만 컨텍에서 바늘 찾기 같은 얘기임 (실제론 바늘보단 클거고 100만 컨텍도 아니겠지만)
또 하나는 컨텍스트 제한에 걸리는 거. 컨텍스트 제한에 걸리는 순간 위의 내용은 '애초부터 주어지지도 않은 내용'으로 변해버림. 이러면 ooc를 불러서 ai를 아무리 갈궈도 (ooc : 야 원덬은 분명 마법사였는데 왜 갑자기 도적으로 묘사했어) ai는 자신이 뭘 틀렸는지조차 이해 못함 (죄송합니다, user님! 원덬이 마법사인 내용으로 다시 진행하겠습니다(💭...유저가 불만을 표시했으니 내용을 수정해야겠다. 원덬이 왜 마법사인지는 모르겠지만))

그런데, 위의 예시는 아주 간단한 스토리 진행이고 실제 RP는 위보다 훨씬 복잡하게 돌아감. 위에선 스토리만 짤렸는데 이런 걸 보자

여기서 컨텍스트 제한 때문에 위쪽 내용이 짤렸다고 해보자. 그럼 뭐가 날아갔지? TRPG 게임마스터라는 규칙, 선택지를 보내라는 규칙, 캐릭터 정보까지 다 날아갔지?

그럼 ai는 갑자기 미아를 뱀파이어로 바꾸거나, 갑자기 선택지를 보내지 않거나, TRPG풍 세션이 소설 세션으로 바뀌거나 할수가 있어. 이건 스토리 일부가 잘리는 것보다 큰 문제잖아? 그래서 RP에선 보통 컨텍스트를 이렇게 구성함

(1)은 위에서 봤던 '너는 TRPG 게임마스터~' 부분이야. 이건 매번 최상단에 고정으로 들어가서 ai가 '내가 소설가였나? 게임 마스터였나?'하는 상황을 방지해줘
(2)는 메인 캐릭터의 설정과 캐릭터 유지를 위해 사용해
(3)은 지금까지 진행한 채팅 내용 부분이야
(4)는 내가 이번에 넣은 입력, 그리고 '요약'이나 '노트, 메모' 같은 ai가 잊으면 안되는 정보들을 지속적으로 넣어주는 부분이야.

많은 RP용 프롬프트, 플랫폼에서는 1,2는 항상 고정적으로 유지하되 컨텍스트 제한에 걸리면 3번만 자르는 방식을 선호해. 그래야 가장 중요한 메인 프롬프트와 캐릭터 설정이 유지되니까.

위의 예시에서 무슨 일이 일어났을까? 대화1의 (ai 생각중...)부분이 날아간채로 대화2가 시작되었지?
근데 그것보다 근본적인 문제가 있어. ai는 '이전대화를 기억하지 않는다'는 것. 즉, ai 입장에서 모든 인풋은 '이번이 첫 대화'나 마찬가지야.

이렇게 생각해봐. 얘는 극심한 기억상실 환자고, 눈을 뜰때마다 자신이 메모한 내용을 읽는거야. '이런 지침과 정보가 있고 내가 이전에 이렇게 행동했던 기록이 있다...' 근데 아까 기억을 완전히 잃어버린 이 사람한테 '너 아까 왜 그랬어'라고 물어봤자 이 사람은 '아까 내가 무슨 일을 했지?' 라고 생각하고 상황을 설명해주면 '그러게? 내(걔)가 왜 그랬지?'라고 생각해.

즉, ai에게

#114번 대화에서 #112번 대화 내용에 대해 추궁해도 얘는 정확한 이유를 몰라. 그럴듯하게 대답하던데? 싶을 수도 있지만 그건 '이번턴'에 이유를 추론하거나 지어낸거야. 가끔은 그게 정답일수도 있어. ai가 논리적인 생각을 통해 같은 결론을 냈다면. 하지만 이전턴에 뭘 했는지 알고 있는 그대로 답변하는 것과, 이전턴에 정확히 무슨 일이 있었는지 모르지만 일단 주어진 정보로 역산하는 건 전혀 다른 얘기임. 이 부분을 인지하고 있으면 RP, 캐릭터 채팅만이 아니라 그냥 ai랑 일상대화할때도 도움이 됨

위에서 아무 설명없이 '메인 프롬프트'라는 용어를 써서 보충함. 내가 ai 처음 접했을때 헤맸던 부분이기도 하거든

하지만 이 프롬프트에는 소위 말하는 '좋은 프롬프트'와 '나쁜 프롬프트'가 있음. 아래 예시를 보자.

대화 B는 user의 인풋이 훨씬 길고 그 아래에 상세하게 묘사하라는 지시도 들어갔어. 이에 따라서 ai의 응답도 분량과 묘사가 달라졌지.
관련 용어 중에 GIGO라는 게 있어. 한국식으로 하면 '콩 심은데 콩 나고 팥 심은데 팥 난다'라는 속담이랑 똑같음. 내가 넣은 input에 의해 output도 달라지는거야.

여기서 '아닌데? 난 대화A처럼 작성했는데도 대화B처럼 길게 써주던데?'라고 생각하는 덬도 있을거야. 그건 앞서 봤던 컨텍스트 구조에서 (1) 메인 프롬프트 부분에 이미

* 앞선 문체를 모방해 상세하고 실감나게 묘사해줘

이런 상세한 지시가 포함되어 있기 때문임. 그래서 글쓰기를 많이 해보지 않았어도 간단한 인풋만으로도 퀄리티 있는 답변을 받으면서 진행이 가능해

이렇게 구조화되고 깔끔하게 정돈된 양식을 사용하는 것과

이렇게 중구난방으로 흩어진 설명을 쓰는 건 확실히 차이가 있음. 외모 얘기를 하다가 성격 얘기를 하다가 다시 외모 얘기를 하면 사람도 헷갈리듯이 ai도 헷갈려함

그래서 일반적으로 마크다운 형식처럼 정형화된 형태를 쓰기도 하고, ai 채팅 플랫폼 같은 경우는 글자수 제한 때문에 제한된 정보를 꽉꽉 우겨넣으려고 압축하기도 함

앞에선 이렇게 설명했지만 이런 순서들은 얼마든지 변경될 수 있음

이런 형태로 넣기도 하고 유저 입력 부분이 (7) 아래로 들어가기도 하는 등.

일반적으로는 최상단과 최하단의 지시가 가장 강력함. 위치에 따라서 똑같은 프롬프트인데도 잘먹히고 / 안먹히고 하는 차이가 생기기도 함

앞서 설명한 개념들을 모두 이해했다면, 제작자 입장에서 쓰는 '캐릭터 설정'이나 유저 입장에서 쓰는 '작가노트' '메모'등을 구성할때도 좀 더 지시가 잘 먹히는 방식을 찾아보고 원인을 추측해볼 수 있음
자주 쓰이는 마크다운 문법이나, 공유되는 프롬프트들이 어떻게 구성되어 있는지 공부해보는 것도 은근 재밌다

여기까지! 읽느라 고생했음!

원래 한국어 토큰 얘기나, 셀프 어텐션 및 프롬프팅 기법에 대해서도 쓸 예정이었는데 쓰는동안 기력을 다 써버려서 여기서 마무리 해야할 것 같다. 이 두개 파트는 복잡하기도 하고 고급 영역이기도 하고. 혹시 자세히 알고 싶은 덬 있으면 댓 남겨주길 바람. 기력 회복되면 생각해보겠음

앵챗 뉴비라면 언제든 시간 날때 천천히 읽어보면 도움 될거야. 내용은 건너뛰지 말고 가급적 처음부터 쭉 읽는거 추천함.

내가 ai 웬만큼 안다 하면 안봐도 상관 없음. 그런 덬들은 정보글 좀 써주라. 혹시 글 내용중에 완전히 잘못된 거 있으면 얘기해주고.

그럼 다들 즐거운 채팅 하자