라이브너프: 클로드 오푸스 5.5 모델이 출시 후에 몰래 성능이 낮아졌을까요?
1. 이게 뭔가요?
라이브너프는 인공지능 모델이 세상에 정식으로 나온 뒤 시간이 흐르면서 몰래 성능이 떨어지는지, 이른바 너프 현상이 일어나는지 객관적으로 확인하기 위해 만든 측정 도구 모음입니다. 이 도구는 2026년 9월 22일에 출시된 클로드 오푸스 5.5 모델을 대상으로 출시 직후부터 매일 일정한 시험 문제를 풀게 하고 그 결과를 기록하여 성능 변화를 통계적으로 추적합니다. 인공지능이 스스로 생각하는 방식을 임의로 바꿀 수 없도록 질문과 시험 환경을 완전히 고정하고, 영국 인공지능 안전 연구소가 만든 공개 평가 도구와 검증된 통계 방식을 사용하여 누가 보더라도 객관적인 결과를 낼 수 있도록 설계되었습니다.
2. 왜 화제인가요?
그동안 인공지능 사용자들이 성능 저하를 의심하면서도 명확한 증거를 대지 못했던 이유는 출시 첫날의 데이터와 비교할 수 있는 엄격한 기준선이 없었기 때문입니다. 이 도구는 모델이 출시된 직후의 성적을 기준점으로 삼고, 매일 똑같은 조건에서 시험을 치러 성능이 올라가거나 내려가는지 투명하게 검증한다는 점에서 차이가 있습니다. 제작자는 성능 변화를 판단할 때 단순히 느낌에 의존하지 않고, 미리 정해둔 엄격한 기준을 통과해야만 유의미한 변화로 인정하는 객관적이고 기계적인 규칙을 적용합니다. 다만 이 측정 방식은 특정 인공지능 구독 서비스를 통해 제공되는 서비스 환경을 대상으로 하므로, 순수한 인공지능 연구소의 전용 접속 경로와는 환경이 다를 수 있다는 점에 유의해야 합니다.
3. 핵심 내용
라이브너프는 인공지능 모델이 처음 세상에 나온 뒤 시간이 지나면서 성능이 떨어지는지 확인하기 위한 성능 측정 도구입니다. 몇 달 전부터 인공지능 회사가 모델을 출시한 지 며칠이나 몇 주가 지난 뒤 몰래 성능을 낮춘다는 소문이 돌았으나, 지금까지는 출시 당일의 정확한 기준을 가지고 비교한 사람이 없어 모든 논쟁이 주관적인 느낌의 싸움으로 끝났습니다. 클로드 오푸스 5.5 모델이 2026년 9월 22일에 출시되었으므로, 이 도구는 출시일부터 시간을 재기 시작해 계속 실행할 수 있는 기회를 제공합니다. 현재 버전 0은 프로그램 실행 방식인 헤드리스 클로드 코드를 통해 클로드 맥스 구독으로 실행되며, 질문 목록을 고정하고, 프로그램 실행 명령어를 고정하며, 정답을 채점하는 기준을 정확히 맞추고, 원본 기록을 영구적으로 보관합니다. 그런 다음 수천 개의 표본을 바탕으로 통계적으로 성능이 얼마나 흔들리는지 측정합니다. 최고 난도의 과학 및 수학 문제 등에서 엄선된 2,336개의 질문을 각각 4번씩 시험하여 선정한 결과, 78개의 질문이 측정 목록을 이룹니다. 새로운 표본으로 시험했을 때 정답률이 54.7%에서 62.0%로 올랐기 때문에, 통계적 검증에 필요한 계산에는 이 새로운 정답률을 사용합니다. 전체 질문 목록을 하루에 한 번 실행하면, 10일마다 약 7.5점의 정확도 변화를 감지할 수 있습니다. 검증 결과 모델이 답변을 만들기 위해 들이는 노력이 줄어들면 정답률보다는 프로그램이 사용하는 글자 수 조각인 토큰 수에 훨씬 더 분명하게 나타납니다. 노력 수준이 낮을 때는 출력 토큰 수가 62% 줄어들고 정확도는 8.3점 낮아지며, 노력 수준이 중간일 때는 토큰 수가 26% 줄어들고 정확도는 4.2점 낮아집니다. 반면 오푸스 5.5 모델 대신 구버전인 오푸스 5 모델을 넣었을 때 99% 확률로 두 모델을 구별할 수 없었으며, 이 측정 도구는 검증에 사용된 정도의 표본 수만으로는 이 크기만큼의 같은 계열 모델 교체를 감지해낼 수 없습니다. 78개의 질문과 나중에 제외된 2개를 더해 총 80개의 질문을 검토한 결과 정답이 틀린 것으로 보이는 8개의 문항과 뜻이 모호한 30개의 문항을 발견했습니다. 안전을 검사하는 프로그램인 안전 분류기가 가끔 오푸스 5 모델의 답변을 내놓거나 생물학 및 일부 수학 질문에 대한 답변을 거부하는 경우가 있으며, 이러한 시험용 데이터들은 거부된 것으로 처리되어 기록되고 프로그램이 개입했던 질문들은 분석 대상에서 제외됩니다. 이 저장소가 주로 유지 관리할 핵심 기능은, 오푸스 5.5 모델이 처음 출시되었을 때의 기준 주간 성능과 비교하여 표준화된 평가 기준에서 어떻게 작동하는지를 10일 단위로 계속 갱신하여 보여주는 표입니다. 수치 변화를 뜻하는 델타 값이 마이너스면 출시 주간보다 성능이 나빠졌음을 뜻합니다. 프로그램을 실행하려면 파이썬 3.11 버전 이상, 자바스크립트 기반 생태계에서 쓰이는 빠른 프로그램 설치 도구인 유브, 그리고 로그인된 상태의 클로드 코드가 필요합니다. 초기 버전은 최고급 구독 등급인 맥스 구독을 기준으로 만들어졌지만, 터미널에서 인공지능 명령을 내려주는 명령어를 실행할 수 있는 환경이라면 무엇이든 작동하며 리눅스, 맥OS, 윈도우 운영체제 모두 지원됩니다. 실행 도구의 버전을 단단히 고정해야 하며, 클로드 코드가 스스로 업데이트되면 내부 작동 방식이 바뀌어 실제 모델이 바뀐 것과 똑같은 착각을 불러일으키기 때문에 자동 업데이트 기능을 끄고 고정하려는 버전을 직접 기록해 두어야 합니다. 맥스 구독 플랜은 토큰 기준으로 사용 한도를 공개하지 않기 때문에, 라이브너프는 사용자의 컴퓨터에 로그인된 클로드 코드 정보를 이용해 명령어 화면에서 볼 수 있는 것과 똑같은 백분율 사용량 측정기를 읽어옵니다. 사용량 확인 명령어를 실행하면 5시간 동안의 사용량과 주간 사용량 등의 비율이 숫자로 나타나며, 모든 예산은 주간 사용량 측정기의 점수로 표현되므로 성능 평가 과정은 사용자의 구독 플랜에서 고정된 일부분만 차지하게 되며 평소에 인공지능을 사용하는 일상적인 작업과 자리를 두고 경쟁하지 않습니다. 컴퓨터에 명령을 내려 성능을 측정하고 일정을 관리하며 검증하는 작업은 5단계의 명령어로 실행되며, 성능 조율, 설계, 검증, 사전 등록 및 준비 완료 확인, 대조군 실험을 포함하여 전체 조사 대상 목록이 한 달 동안 매일 한 번씩 실행됩니다. 만약 일주일 사용량이 75퍼센트 이상이거나 5시간 사용량이 60퍼센트 이상이면 그날의 실행은 건너뛰고, 당일 실험이 성공적으로 끝날 때까지 매시간 다시 시도합니다. 실험에는 유용한 질문만 사용해야 하며, 인공지능이 항상 맞히는 질문은 성능 저하를 보여줄 수 없고 컴퓨터 자원만 낭비하므로 난도가 높은 과학 문제나 대학 수준의 시험 문제, 경시대회 수학 문제 중에서 인공지능이 간혹 맞히는 질문들만 골라냅니다. 질문들은 짝을 지어 반복해서 출제하고 점수는 컴퓨터가 직접 정답과 비교하는 방식으로 매기며, 인공지능 판정 프로그램은 시간이 지나면서 판정 기준이 흔들릴 수 있기 때문에 절대로 쓰지 않습니다. 측정은 두 가지 갈래로 나누어 진행되며, 중심 평가판은 인공지능의 성능을 측정하는 기준이 되고 기준 모델은 매일 똑같은 시험 도구를 거쳐 질문에 답합니다. 통계 분석은 미리 정해둔 기준에 따라 표준 통계 방식을 사용하며, 각 항목별로 짝을 지어 차이를 구한 뒤 전체 항목의 평균을 내고 군집 표준 오차 방식을 적용합니다. 첫 10일 동안의 기록을 기준점으로 삼으며, 성능에 변화가 생겼다고 판정하려면 그 다음에 이어지는 두 번의 10일 동안의 측정 기간 모두에서 99% 신뢰구간을 벗어나야 하고, 점수 차이가 최소 3점 이상이어야 하며, 기준 모델에서는 이러한 변화가 나타나지 않아야 합니다. 라이브너프가 기록하는 모든 데이터 파일에는 고유한 문구가 들어가고, 고난도 과학 질문 목록은 프로그램 코드 저장소에 절대 직접 올리지 않으며 필요할 때 내려받은 뒤 고유 해시 값으로 고정하여 내 컴퓨터에 안전하게 임시 저장해 두고 씁니다. 인공지능 모델 이름은 최고급 요금제와 연결된 유일한 요소이며, 나중에 응용 프로그램 프로그래밍 인터페이스로 전환하더라도 작업 내용이나 채점 기준을 바꿀 필요 없이 모델 이름만 변경하면 됩니다. 프로젝트의 내부 파일 구조는 환경 설정과 의존성 관리를 위한 파일, 인공지능 모델을 검사 도구에 등록하는 설정 파일, 실행 도구가 이를 강제하도록 만든 버전 파일, 사전 등록 문서 등으로 이루어져 있습니다.
4. 나에게 어떤 영향이 있나요?
일반 독자나 개발자가 일상에서 이 도구를 직접 실행하여 즉각적인 이득이나 손해를 보기는 어렵습니다. 이 프로젝트는 개인이 매일 사용하는 인공지능 서비스가 시간이 지나면서 서비스 유지 비용 절감이나 내부 조정 등으로 인해 몰래 성능이 떨어지는지 투명하게 검증하는 연구 목적의 공개 도구입니다. 개발자나 연구자 입장에서는 인공지능 모델의 성능 변화를 감정적인 주장이 아니라 객관적인 데이터로 확인하는 방법을 참고할 수 있으며, 자신만의 인공지능 평가 도구를 구성할 때 활용하는 구조를 엿볼 수 있습니다. 다만 측정 결과는 사용 중인 서비스 환경이나 플랫폼의 상황에 따라 달라질 수 있으므로, 단편적인 결과만 보고 인공지능의 전반적인 안전성이나 능력을 절대적으로 평가하기는 어렵습니다.