최신 대형 언어 모델은 단어 순서를 어떻게 파악할까
1. 이게 뭔가요?
이 글은 대형 언어 모델(LLM)이 문장에서 단어가 놓인 순서, 즉 위치 정보를 어떻게 알아채고 처리하는지를 기초부터 설명합니다. 대형 언어 모델은 사람이 쓴 문장을 그대로 읽지 않고, 먼저 문장을 토큰이라는 작은 조각으로 나눕니다. 토큰은 단어일 수도 있고 단어의 일부일 수도 있습니다. 그다음 각 토큰을 숫자 여러 개로 이루어진 벡터, 즉 숫자 목록으로 바꿉니다. 그런데 이 숫자 목록만으로는 단어가 어떤 순서로 놓였는지 알 수 없습니다. '빨간 여우가 회색 여우를 뛰어넘는다'와 '회색 여우가 빨간 여우를 뛰어넘는다'는 같은 단어를 쓰지만 순서가 달라 뜻이 완전히 달라집니다. 그래서 모델은 위치 정보를 따로 넣어 줘야 합니다. 글쓴이 세바스찬 라슈카는 그동안 대형 언어 모델 구조에 관한 여러 글을 썼지만 위치 정보 처리만은 제대로 다루지 않았습니다. 독자들이 여러 해 동안 상대 위치 방식인 로프(RoPE) 자습서를 요청해 와서, 오래된 초안을 다시 손봐 이 글을 완성했습니다.
2. 왜 화제인가요?
이 글은 대형 언어 모델의 핵심 부품인 위치 정보 처리를 기초 개념부터 2026년 최신 공개 모델의 선택까지 한 번에 정리했습니다. 특정 사건이나 제품 발표 때문에 화제가 된 글은 아닙니다. 2025년과 2026년을 비교하면 모든 주의 층에 로프를 쓰는 모델의 비중이 줄고, 일부 층에만 로프를 쓰거나 로프와 '노프(NoPE)'를 섞는 모델이 늘어나는 흐름이 보입니다. 다만 글쓴이는 이런 그룹의 수가 아직 적어 추세가 계속될지는 단정하지 않습니다. 글쓴이 스스로 이 글이 기술적으로 매우 상세해 일부 독자에게는 너무 어려울 수 있다고 밝히면서도, 나중에 쓸 글의 참조 자료로 남기고 싶어 했습니다.
3. 핵심 내용
대형 언어 모델은 먼저 토크나이저로 텍스트를 토큰 번호로 바꾸고, 임베딩 계층이 각 번호를 숫자 벡터로 변환합니다. 트랜스포머 블록이 주의 계층과 피드포워드 계층으로 이 벡터들을 고친 뒤, 출력 계층이 다음 단어의 확률 점수를 만듭니다. 위치 정보를 넣는 가장 단순한 방법은 각 위치에 고유한 벡터를 붙여 단어 벡터에 더하는 것입니다. GPT-2는 학습된 절대 위치 벡터를 첫 트랜스포머 블록 전에 더했고, 1,024개의 위치 벡터를 썼습니다. GPT-2 Medium에서 1,024개 위치 벡터의 가중치는 전체의 0.30%에 불과했지만, 문맥 길이를 10만 개로 늘리면 22% 이상을 차지해 비용 부담이 크게 커집니다. 2017년 원조 트랜스포머는 사인과 코사인 함수로 위치 벡터를 고정해서 만들었고, 임베딩 폭의 제곱근으로 토큰 벡터 크기를 조절해 위치 정보가 합을 압도하지 않게 했습니다. 이 방식은 일정 간격만큼 위치를 옮기면 일정한 회전 차이가 생겨 상대 위치 학습에 유리합니다. 로프는 2021년 로포머 논문에서 Su 등이 제안한 회전 위치 임베딩입니다. 주의 계산 안에서 쿼리와 키 벡터를 위치에 따라 회전시키고, 값 벡터는 회전시키지 않습니다. 두 토큰 사이의 상대 거리가 회전 각도 차이로 반영되어, 두 위치를 같은 양만큼 옮기면 내적 값이 유지됩니다. 예를 들어 20도씩 회전하는 설정에서 위치 2의 키와 위치 5의 쿼리는 40도와 100도로 회전해 60도 차이가 나고 내적이 26에서 13으로 바뀝니다. 그러나 두 위치를 함께 3칸 옮기면 각도 차이가 그대로라 내적도 13으로 유지됩니다. 로프는 헤드마다 특징을 짝지어 회전시키며, 주파수는 정해진 공식으로 계산합니다. 원래 로포머는 기준값 10,000을 쓰고, 헤드 차원이 8이면 주파수는 위치당 1, 0.1, 0.01, 0.001 라디안이 됩니다. 짝짓기는 앞 절반과 뒤 절반을 짝짓는 방식과 이웃한 특징끼리 짝짓는 방식이 있는데, 수학적으로는 특징 순서만 맞추면 같은 결과를 냅니다. 최신 모델에서는 모든 층에 완전한 로프를 쓰기보다 변형이 늘고 있습니다. 부분 로프는 헤드의 일부 특징만 회전시키는데, MiniMax-M3는 128차원 헤드 중 64차원만 회전시킵니다. 100만 토큰 문맥에서 128개 중 64개를 회전하면 미리 계산한 코사인·사인 표 크기가 절반으로 줄어, BF16 기준 0.134GB(128MiB)를 아낍니다. 10억~80억 파라미터 모델 실험에서 헤드 특징의 약 10%만 회전해도 완전한 로프와 비슷한 학습 손실과 벤치마크 정확도를 보인 경우가 있었지만, 일부 평가에서는 완전한 로프가 더 나았습니다. 노프는 명시적 위치 인코딩을 쓰지 않는 방식으로, 인과 마스크가 암묵적 순서 정보를 제공한다는 점을 활용합니다. 1억 700만 파라미터 소형 모델을 복사·정렬·덧셈 과제로 학습한 실험에서 노프는 학습 때보다 긴 예시에서 10개 과제 종합 1위로 로프를 앞섰고, 13억 파라미터 코드 학습 모델에서는 학습 길이를 넘는 문맥을 처리했지만 가장 긴 길이에서 다음 단어 예측이 나빠졌습니다. SmolLM3(30억 파라미터)는 36개 층에서 4개마다 로프를 생략하고, 글쓴이들은 이 패턴이 장문맥 성능을 개선했다고 밝혔습니다. 잉클링은 T5의 아이디어를 이어 쿼리와 키의 내적에, 위치 간격과 쿼리 토큰의 내부 상태에 따라 달라지는 학습된 상대 위치 편향을 소프트맥스 전에 더합니다. 2026년 갤러리 집계에서 모든 소프트맥스 주의 층에 로프를 쓰는 방식이 여전히 가장 흔하지만, 2025년에서 2026년으로, 그리고 2026년 후반으로 갈수록 비중이 줄었습니다. 로프를 쓰는 모델 중 부분 로프는 2025년 소수에서 2026년 두 그룹 모두 다수가 됐습니다. 노프만 쓰는 항목은 모두 소프트맥스 주의 층에 명시적 위치 인코딩을 쓰지 않는 순환 하이브리드였습니다.
4. 나에게 어떤 영향이 있나요?
대형 언어 모델 구조를 공부하려는 사람에게 위치 정보 처리는 문장 순서를 구별하는 기본 부품입니다. 글쓴이는 GPT-2 같은 기본 모델부터 익히고 로프 같은 추가 방법을 얹는 순서를 권합니다. 로프는 오늘날 가장 널리 쓰이는 위치 임베딩 방식이며, 글쓴이는 2027년에도 이어질 것으로 봅니다. 다만 2027년에는 잉클링 같은 설계가 더 나올 수 있다고 조심스럽게 예상합니다. 부분 로프는 메모리를 아끼지만 글쓴이는 절약 효과가 크지 않아 실익이 적다고 봅니다. 갤러리 집계는 구조 카드마다 한 번씩 세므로 한 구조의 여러 변형이 결과에 포함될 수 있고, 그룹 수가 적어 추세를 단정하기는 이릅니다. 일반 사용자가 일상에서 바로 체감할 변화는 이 글에서 다루지 않습니다.