RTK는 토큰 절감 효과를 내세우지만, 자체 비용 벤치마크 결과는 달랐습니다

1. 이게 뭔가요?

인공지능 코딩 보조 도구가 컴퓨터 명령창에서 출력되는 긴 글자를 압축해 요금을 획기적으로 줄여준다는 주장을 검증하기 위해, 보조 소프트웨어 RTK를 적용하고 1,740회에 걸쳐 실제 사용 요금을 정밀 측정한 실험 결과입니다. 인공지능은 입력받거나 출력하는 글자를 토큰이라는 최소 과금 단위로 쪼개어 비용을 청구합니다. RTK는 명령창 결과물에서 불필요한 부가 정보를 걸러내어 인공지능이 읽는 글자 수를 최대 90%까지 줄여준다고 알려진 인기 오픈소스 프로그램입니다.

2. 왜 화제인가요?

소셜 미디어와 기술 매체에서는 RTK를 사용하면 코딩 토큰 비용을 60%에서 최대 90%까지 아낄 수 있다는 글과 영상이 퍼지며 큰 관심을 모았습니다. 그러나 1,500달러가 넘는 실제 토큰 비용을 들여 엄격하게 실험해 본 결과, 화면에 표시되는 글자 압축률과 실제 청구서에 찍히는 요금 사이에는 큰 차이가 있었습니다. 인공지능의 작업 흐름과 최신 요금 청구 방식을 면밀히 따져보지 않고 보조 도구를 도입하면 오히려 전체 비용이 늘어날 수 있음을 보여줍니다.

3. 핵심 내용

바르토시 코트리스와 야체크 미그달은 2026년 9월 11일, 인공지능 코딩 보조 도구 RTK(Rust Token Killer)의 실제 비용 절감 효과를 분석한 실험 결과를 공개했습니다. RTK는 깃허브에서 7만 9천 개가 넘는 추천을 받은 인기 도구입니다. 인공지능이 셸 도구를 통해 명령어를 실행할 때 출력물에서 날짜나 소유자 같은 부가 정보를 생략하고 간결한 형식으로 변환하여 인공지능이 읽는 터미널 글자 수를 대폭 줄여줍니다.

연구진은 터미널 상호작용 비중이 높은 벤치마크인 터미널 벤치 2.1을 평가 도구로 선택했습니다. 인공지능 모델이 과제를 통과하지 못하면 비용 비교의 의미가 없으므로, 통과율이 낮은 최신 3.0이나 4.0 버전 대신 해결률이 안정적인 2.1 버전을 사용했습니다. 실험 대상으로는 클로드 코드에 Fable 5.0 모델을 결합한 환경과 오픈코드에 딥시크 V4 Pro 0813 모델을 오픈라우터로 결합한 환경을 활용했습니다. 각 과제는 동일한 모델 경로와 실행 시간제한 조건 아래 RTK 미적용과 적용 상태로 각각 5회씩 반복 실행했습니다. 보안 거부 반응을 보인 Fable의 4개 과제를 제외하고, 최종적으로 Fable 모델의 85개 과제와 딥시크 모델의 89개 과제를 대상으로 총 1,740회의 시도 데이터를 수집해 비교했습니다.

실험 결과 전체 청구 비용 면에서 Fable 모델은 731달러에서 698달러로 5% 감소했으나, 딥시크 모델은 51달러에서 54달러로 오히려 5% 증가했습니다. 과제 통과율은 RTK를 썼을 때 Fable 모델이 84%에서 83%로 1%포인트, 딥시크 모델이 71%에서 69%로 2%포인트 소폭 하락했습니다. 실패한 시도에 들어간 비용까지 모두 포함해 성공한 과제당 단가로 나누어 계산하면 Fable 모델은 3% 저렴해졌지만, 딥시크 모델은 7% 더 비싸졌습니다.

특정 고비용 과제가 전체 수치를 왜곡하지 않도록 각 과제별 평균 비용 변동률을 따로 구한 뒤 평균을 내어 비교했을 때 차이는 더 뚜렷했습니다. 과제 단위 평균 비용 변동률에서 Fable 모델은 오히려 1% 증가하여 통계적으로 비용 절감 효과가 사실상 0에 가까웠고, 딥시크 모델은 과제당 평균 비용이 17%나 상승했습니다. 실패 시도를 배제하고 딥시크 모델이 10회 시도 모두 성공했던 36개 과제만 추려 분석해도 과제당 비용은 여전히 18% 증가했습니다.

Fable 모델에서 나타난 5%의 전체 비용 절감조차 거의 전적으로 한 가지 과제 덕분이었습니다. winning-avg-corewars라는 단 하나의 과제에서 RTK를 썼을 때 대화 차례 수가 절반으로 줄어들며 큰 절감 효과가 발생했을 뿐, 이 과제를 제외한 나머지 모든 과제의 절감률은 1% 미만에 불과했습니다. 반면 딥시크 모델은 동일한 과제에서 RTK를 썼을 때 오히려 대화 차례가 늘어나며 비용이 더 많이 나왔습니다. 딥시크 모델은 이 특정 과제를 제외하더라도 RTK를 썼을 때의 비용이 전반적으로 더 높았습니다.

연구진은 프로그램이 자체 화면에 표시하는 절약량 지표가 실제 비용과 아무런 관련이 없다고 지적했습니다. RTK는 필터링으로 제거한 원문 출력물의 바이트 수를 단순히 4로 나누어 절약 토큰 수를 추정합니다. 이 때문에 딥시크 실험의 445회 RTK 시도에서 총 3억 4,920만 개의 토큰을 절약해 89%를 줄였다고 집계되었지만 실제 비용 절감으로 이어지지 않았습니다. 예컨대 train-fasttext 과제에서 인공지능이 파일의 첫 줄만 읽는 명령을 두 차례 실행했을 때도, RTK는 그 제한된 읽기 요청을 전체 파일 용량과 비교해 각각 1억 2,050만 개의 토큰을 아꼈다고 계산했습니다. 이 두 번의 호출만으로 전체 표시 절약량의 69%가 채워졌으나, 인공지능이 원래 실행하려던 명령어는 애초에 파일 전체를 출력하지도 않는 명령이었습니다.

또한 보조 도구 자체의 오류가 치명적인 비용 폭증을 일으킬 위험도 드러났습니다. 딥시크 모델의 한 과제 시도에서는 인공지능이 사용한 검색 명령어 옵션을 RTK 0.45.0 버전이 지원하지 못해 도구 사용 실패 안내문만 339회 연속으로 되풀이하는 무한 루프에 빠졌습니다. 약 12분 동안 오류가 누적되면서 과제는 시간제한 직전에 간신히 통과했지만, 동일 조건의 기본 상태 시도보다 약 9배나 많은 비용이 청구되었습니다. 비록 하나의 극단적인 예외였지만, 이런 오류가 없더라도 전반적인 비용 증가 추세는 동일했습니다.

비용 절감 효과가 거의 없는 근본적인 이유는 요금 청구 구조에 있습니다. 인공지능이 처리하는 전체 입력 토큰 중 터미널 출력이 차지하는 비중은 기본 상태에서 Fable 모델이 7%, 딥시크 모델이 26%에 불과했습니다. 게다가 인공지능 코딩 환경에서는 직전 대화 기록을 임시 저장 장치인 캐시에 보관하고 재사용합니다. 캐시에서 다시 읽어오는 토큰 단가는 새로 입력하는 토큰 단가보다 훨씬 저렴하여 Fable 모델은 10분의 1, 딥시크 모델은 30분의 1 수준에 그칩니다. RTK를 적용했을 때 캐시 읽기가 차지하는 비중은 Fable 모델이 전체 입력 토큰의 94%(총비용의 30%), 딥시크 모델이 98%(총비용의 26%)에 달했기 때문에, 글자 수를 줄여서 아낄 수 있는 원가 비중 자체가 매우 작았습니다.

반면 인공지능이 문제를 풀기 위해 질문과 답변을 주고받는 대화 차례가 늘어나면 비용은 급격히 증가합니다. 딥시크 모델의 경우 1회 대화당 입력 데이터는 평균 7% 줄었지만 대화 횟수가 전체적으로 18% 늘어났습니다. 결과적으로 총 입력량은 줄지 않았고, 미세한 글자 압축으로 아낀 금액보다 추가 대화 차례로 발생한 모델 추론 및 캐시 누적 비용이 훨씬 더 커졌습니다. 최신 인공지능 모델들은 이미 필요한 분량만 읽는 명령어를 스스로 골라 사용하고 있으므로, 이러한 압축 도구는 실질적인 비용 절감책이 되기 어렵습니다.

4. 나에게 어떤 영향이 있나요?

인공지능 코딩 도구나 언어 모델을 실무에 적용할 때 단순히 화면에 표시되는 글자 수나 토큰 압축률 수치만 보고 보조 도구를 추가하는 것은 피해야 합니다. 최신 인공지능은 이미 필요한 데이터만 골라 읽는 능력을 갖추고 있으며, 단가가 매우 저렴한 캐시 시스템을 기본으로 사용하므로 글자 압축으로 절감되는 비용은 극히 미미합니다. 오히려 불완전한 압축 정보 때문에 인공지능의 작업 대화 횟수가 늘어나면 전체 요금이 증가할 수 있으므로, 기업과 개발자는 보조 도구의 홍보 지표 대신 실제 청구 금액과 작업 성공률을 정밀하게 측정해 도입을 결정해야 합니다.