Astra가 Qwen을 개선했다는 주장은 과장됐다
1. 이게 뭔가요?
이 글은 'Astra가 Qwen 모델의 가중치를 읽고 써서 수학 성능을 높였다'는 게시물이 오해를 부른다고 지적합니다. 여기서 가중치는 인공지능 모델이 학습으로 얻은 숫자 값으로, 모델의 행동을 결정합니다. 가중치를 읽는다는 것은 그 숫자를 살펴 모델이 무엇을 배웠는지 파악하는 일이고, 쓴다는 것은 숫자를 직접 고치는 일입니다. 문제의 게시물 초록은 마치 Astra가 가중치만 보고 Qwen을 개선한 것처럼 보이게 합니다. 하지만 실제로는 서로 다른 여러 기술을 쓴 실험들을 한데 묶어 소개합니다. 가중치만 읽는 설정은 실험 1, 2, 4에만 나오고, 이 실험들의 신경망 크기는 1만 7천에서 17만 2천 개의 가중치에 그칩니다. 실제 언어 모델을 다루는 모든 실험은 파이썬을 사용했고, 대표 결과인 Qwen 실험은 모델을 최대 50개의 연습 문제 묶음으로 실행하는 과정도 거쳤습니다. 이 글은 각 실험이 어떻게 작동하는지 표로 정리하며, '가중치만 보고'라는 표현이 사실과 다르다고 설명합니다.
2. 왜 화제인가요?
이전에는 인공지능이 가중치를 직접 읽고 쓰는 일이 매우 어렵다고 여겨졌습니다. 그래서 하나의 기술로 작은 게임용 신경망을 처음부터 작성하고 동시에 큰 언어 모델의 성능까지 개선한다면, 그것은 매우 깊은 수준의 능력을 뜻합니다. 그러나 이 글에 따르면 게시물은 서로 다른 실험들을 마치 하나의 기술로 이룬 것처럼 묶어 소개합니다. 실제로는 가중치만 읽는 실험과 파이썬을 쓰는 실험이 나뉘어 있고, Qwen 결과는 파이썬 코드 실행과 모델 실행을 포함합니다. 이 글은 그 차이를 표로 분명히 보여 주며 게시물의 주장이 과장됐다고 지적합니다. 또한 1~2년 전의 인공지능 모델이라면 이런 작업을 모두 실패했을 것이라고 언급하며, 현재 모델이 할 수 있는 일이 완전히 무가치하지는 않다고 인정합니다. 다만 그 성과를 하나의 기술로 포장한 점이 문제라고 봅니다.
3. 핵심 내용
무대 마술사들은 같은 마술을 여러 방법으로 보여 주는 경우가 많습니다. 첫 번째 시연에서는 장치가 숨은 소품을 쓰고, 두 번째 시연에서는 그 소품이 장치가 아니라 손바닥 속임수임을 보여 주고, 세 번째에는 관객이 특정 선택을 하도록 유도하는 식입니다. 관객은 공연을 볼 때 마술이 단 한 가지 기법으로 이루어진다고 생각하기 때문에, 마술사가 시연할 때마다 관객이 세운 '이렇게 되어 있을 것이다'라는 추측이 틀렸다는 듯이 보입니다. 'Astra가 가중치를 읽고 써서 Qwen을 개선한다'는 글에 담긴 실험들도 대체로 이와 비슷한 방식으로 구성되어 있습니다. 그 글의 초록은 이렇게 말합니다. "날것 그대로의 가중치만 보고도 GPT-6 Astra는 신경망이 무엇을 하도록 학습되었는지 알아낼 수 있다. 그리고 환경으로부터 어떤 피드백도 받지 않고도, 1억 단계 동안 PPO로 학습된 신경망을 능가하는 작은 게임용 신경망을 처음부터 작성하는 데 아무 문제가 없다." "마찬가지로, 기울기 없이 Qwen3.5-0.8B의 수학 실력을 더 좋게 만들어 달라는 요청을 받으면, Astra는 Qwen 자체의 모델 카드가 경고하는 추론 반복 문제를 일으키는 가중치상의 원인을 찾아내고, 가중치의 0.016%를 원래 방식으로 직접 편집해 이 문제를 고친다. 같은 샘플링 설정에서 이 가중치 교정은 MATH-500 점수를 7.9%에서 48.1%로 끌어올리고, 별도 조정 없이도 지시 따르기 능력으로 일반화되어 IFEval을 3배로 높인다." 이 글을 읽으면 Qwen 실험이 '날것 그대로의 가중치만 보고' 이루어졌다고 생각하게 될까요? 그렇지 않습니다. 사실 '작은 게임용 신경망' 실험조차 '날것 그대로의 가중치만 보고' 이루어지지 않았습니다. 날것 그대로의 가중치를 들여다보는 실험도 있고, 게임용 신경망을 개선하는 실험도 있고, Qwen의 수학 실력을 개선하는 실험도 있습니다. 하지만 뒤의 두 실험은 가중치만 들여다보는 것이 아닙니다. 그 글이 실제로 무엇을 하는지, 그리고 그 기법들이 어떻게 작동하는지 정리하면 다음과 같습니다. 실험 1은 PPO로 학습된 다층 퍼셉트론이 어떤 게임으로 학습되었는지 맞히는 것으로, 크기는 1만 7천이고 날것 가중치를 읽지만 가중치를 쓰거나 파이썬을 쓰거나 신경망을 실행하지는 않으며 4개 중 4개를 맞혔습니다. 실험 2는 확산 모델이 만들어 내는 도형을 맞히는 것으로, 크기는 2만 4천이고 날것 가중치를 읽지만 나머지는 하지 않으며 3개 중 3개를 맞혔습니다. 실험 3은 문자 트랜스포머의 언어 처리 담당과 복사 담당을 구분하는 것으로, 크기는 720만이고 날것 가중치를 읽지 않지만 파이썬을 쓰며 3개 중 3개를 맞혔습니다. 실험 4는 멈춰 버린 Kinetix 자동차 정책을 고치는 것으로, 크기는 17만 2천이고 날것 가중치를 읽고 쓰지만 파이썬을 쓰지 않고 신경망을 실행하지 않으며 실패 장면을 녹화한 에피소드 하나를 제공받은 상태에서 한 번의 시도로 가중치의 3.5%를 바꿔 0%에서 100%로 끌어올렸습니다. 실험 5는 MinAtar 게임용 다층 퍼셉트론을 처음부터 작성하는 것으로, 크기는 2만이고 가중치가 0에서 시작해 읽을 것이 없으며 가중치를 쓰지만 파이썬을 쓰지 않고 신경망을 실행하지 않으며 PPO-1억 단계 모델을 이겼습니다. 다만 PPO-5억 단계 모델은 Breakout에서만 이기고(517 대 25) Seaquest(53 대 89)와 Asterix(53 대 55)에서는 졌습니다. 실험 6은 9×9 바둑 신경망을 작성하는 것으로, 크기는 150만이고 가중치를 쓰며 파이썬을 쓰고 신경망을 0~50회 반복 실행하며 PPO를 이겼습니다. 실험 7a는 아첨하는 Gemma 3를 찾아내는 것으로, 크기는 2억 7천만이고 파이썬을 쓰지만 실패했습니다. 실험 7b는 같은 실험에서 어텐션 패턴까지 보는 것으로, 최대 16개의 텍스트를 실행하고 출력이 아니라 어텐션 패턴만 보며 3개 중 3개를 맞혔습니다. 실험 8은 Qwen3.5의 수학 실력을 고치는 것으로, 크기는 8억이고 가중치를 쓰며 파이썬을 쓰고 모델을 50회 반복 실행해 7.9%에서 48.1%로 올렸습니다. 실험 8b는 같은 실험을 Gemma 3에 적용한 것으로, 크기는 2억 7천만이고 가중치를 쓰며 파이썬을 쓰고 모델을 50회 반복 실행했지만 실패했습니다. '날것 그대로의 가중치만 보고'라는 설정은 도구 없이, 신경망을 실행하지 않고, 날것의 부동소수점 값을 문맥에 넣는 방식으로 실험 1, 2, 4에만 나오며, 그 신경망들의 가중치 수는 1만 7천에서 17만 2천 개입니다. 실제 언어 모델이 등장하는 모든 실험은 파이썬을 사용하며, 대표 성과인 Qwen 결과도 연습 문제를 최대 50개 묶음까지 모델에 실행시킵니다. Qwen 결과가 실제로 보여주는 것은 Astra에게 인간의 머신러닝 엔지니어가 할 수 있는 작업을 지시하고 수행하도록 만들 수 있다는 점입니다. 인간의 머신러닝 엔지니어들은 평소 네트워크의 가중치를 분석하거나 직접 수정하는 코드를 작성합니다. 이 작업을 생산적으로 수행하는 방법을 찾아내는 것은 결코 쉬운 일이 아니며, 1~2년 전의 인공지능 모델들은 이런 작업들을 전혀 해내지 못했을 것입니다. 하지만 저로서는 Qwen 결과나 파이썬을 사용한 다른 실험들을 가중치를 직접 읽는 실험들과 같은 게시물이나 논문에 포함해서는 안 된다고 생각합니다. '작은 게임의 가중치를 처음부터 직접 작성하기'와 '샘플 작업에서 대규모 모델의 성능을 개선하기'라는 두 가지를 모두 달성할 수 있는 단일 기술이 있다면, 이는 깊은 능력을 의미할 것입니다. 만약 그런 단일 기술로 테스트한다면, 그 기술이 가중치를 처음부터 작성할 수 있는 '전체적인 이해력'을 보여주는 동시에 이미 존재하는 거대한 네트워크를 이해하고 있다는 것을 증명하게 됩니다. 하지만 여기서는 단일 기술이 아니기 때문에 그런 주장은 전혀 사실이 아닙니다.
4. 나에게 어떤 영향이 있나요?
일상적인 인공지능 사용자에게는 당장 직접적인 영향이 거의 없습니다. 이 글은 연구 커뮤니티에서 논의되는 실험 방법과 주장의 정확성에 관한 것이지, 여러분이 쓰는 챗봇이나 앱의 성능이 갑자기 바뀐다는 내용이 아닙니다. 다만 인공지능 뉴스를 접할 때 '가중치만 보고 개선했다' 같은 표현을 곧이곧대로 받아들이지 않도록 주의하는 계기가 될 수 있습니다. 개발자나 연구자에게는 더 직접적입니다. 이 글은 실험을 소개할 때 어떤 기술이 실제로 사용되었는지 명확히 구분해야 한다는 점을 보여줍니다. 예를 들어 가중치만 읽는 실험과 파이썬을 실행하는 실험을 같은 맥락에서 묶으면 독자가 기술의 일반성을 오해할 수 있습니다. 또한 Qwen3.5-0.8B 실험에서 MATH-500 점수가 7.9%에서 48.1%로 올랐고 IFEval이 3배 올랐다는 결과는 같은 샘플링 설정 아래에서 모델을 50개의 연습 문제 묶음으로 실행한 조건에서 나온 것이므로, 다른 조건에서는 같은 결과가 나오지 않을 수 있습니다. 이 글은 그런 한계를 분명히 하지 않으면 과장된 기대를 낳을 수 있다고 암시합니다. 다만 이 글이 특정 제품이나 서비스의 안전성이나 위험을 주장하는 것은 아니며, 단지 게시물의 표현이 오해를 부를 수 있다는 점을 지적합니다.