아마존, 내부 티켓 분류에 새 AI 모델 도입해 수백만 달러 절감
1. 이게 뭔가요?
아마존 내부에서 하루에 수많은 문의를 처리하는 티켓 시스템이 있습니다. 고객 불만, 장비 증설 요청, 자동 경보, 보안 문제 등 회사 안에서 생기는 다양한 요청을 접수하고 분류하는 곳입니다. 이 시스템은 각 티켓을 20가지 범주 중 하나로 자동 분류하는 일을 AI에 맡겼습니다. 처음에는 클로드 소넷 4.6이라는 AI 모델을 썼습니다. 이 모델은 글을 읽고 답을 만들어 내는 챗봇형 AI로, 티켓 내용을 보고 스스로 판단해 정해진 형식의 답을 내놓았습니다. 그런데 아마존 엔지니어 두 명이 이 모델을 스트랜즈 디사이더라는 새 모델로 바꿨습니다. 스트랜즈 디사이더는 글을 쓰지 못하는 대신, 주어진 선택지 중 어떤 것이 가장 가능성이 높은지 확률과 신뢰도 점수로 알려주는 결정 모델입니다. 티켓 내용을 상태로, 20개의 범주를 선택지로 넣으면 각 범주에 대한 확률을 계산해 가장 확률이 높은 범주를 고릅니다. 이렇게 바꾸면서 비용이 98% 줄었고, 연간 수백만 달러의 토큰 비용을 아낄 수 있게 되었습니다. 참고로 토큰은 AI가 글을 읽고 쓸 때 세는 단위로, 비용은 토큰 수에 비례해 매겨집니다.
2. 왜 화제인가요?
기존 클로드 소넷 4.6은 지능과 비용의 균형이 좋아 9개월 동안 잘 써 왔습니다. 하지만 티켓 하나를 처리할 때마다 입력 토큰 6,554개, 출력 토큰 170개를 써서 총 6,724개의 토큰이 필요했습니다. 이 때문에 티켓 한 건당 0.0222달러, 100만 건당 약 2만 2,200달러의 비용이 들었습니다. 새로 도입한 스트랜즈 디사이더 E4B는 같은 작업을 하면서 입력 토큰 2,009개, 출력 토큰 1개로 총 2,010개만 썼습니다. 출력이 긴 답변이 아니라 선택지 하나이기 때문이고, AI에게 주는 지시문도 훨씬 짧아졌습니다. 그 결과 티켓 한 건당 비용이 약 0.0005달러, 100만 건당 약 500달러로 떨어졌습니다. 속도도 빨라져 호출당 평균 시간이 4,215밀리초에서 897밀리초로 78% 줄었고, 람다 실행 시간도 74% 감소했습니다. 다만 이 모델은 글을 생성하지 못하기 때문에, 범주 설명에 긴 설명문이 필요하거나 범주 목록이 매주 바뀌거나 유용한 맥락을 수천 토큰 안에 담을 수 없으면 기존 대규모 언어 모델을 대체하기 어렵습니다. 또한 JSON 키 순서를 바꾸면 출력 확률이 최대 0.19까지 달라지는 현상이 있어, API로 결정 모델을 제공할 때는 주의해야 합니다. 이 사례는 티켓 분류처럼 선택지가 정해져 있고 처리량이 많으며 지연 시간이 중요한 작업에서 결정 모델이 대규모 언어 모델을 대체할 수 있음을 보여줍니다.
3. 핵심 내용
2026년 11월 9일, 아마존 엔지니어 두 명이 세계에서 가장 큰 내부 티켓 시스템 중 하나에서 클로드 소넷 4.6을 결정 모델로 바꾼 과정을 공개했습니다. 처음에는 스트랜즈 디사이더 2B로 시작했지만, 테스트용 티켓 세트에서 E4B Gemma 4 버전이 더 좋은 결과를 내서 그쪽으로 바꿨습니다. 그다음에는 모델이 범주를 적용하기 전에 얼마나 확신해야 하는지를 조정했습니다. 그 결과 E4B가 별도의 티켓 세트에서 실제 운영 중인 소넷보다 더 나은 성능을 보였습니다. E4B는 세이지메이커 ml.g5.xlarge 인스턴스에서 실행했고, 모델은 약 19GiB를 사용했으며 요청 하나를 처리하는 데 약 640밀리초가 걸렸습니다. 엔드포인트는 트래픽에 따라 자동으로 확장되지만, 네트워크가 격리되어 있어 컨테이너가 외부에 접근할 수 없습니다. 세이지메이커는 시작 전에 S3에서 모델 가중치를 복사해 옵니다. 고객도 이렇게 할 수 있습니다. 티켓 API를 제외하면 이 경로의 모든 것은 표준 AWS 서비스입니다. 티켓 이벤트가 SQS 대기열에 들어가면 람다 함수가 실행됩니다. 이 함수는 티켓 데이터를 읽고 스트랜즈 디사이더를 사용하는 세이지메이커 AI 엔드포인트를 호출합니다. AppConfig는 아래에서 설명할 스위치를 보관하고, CloudWatch는 로그와 지표, 경보를 담당합니다. 이 구성은 CDK로 정의되며 Beta, Gamma, Prod 배포 단계가 있습니다. 엔지니어들은 스위치를 켜고 잘 되기를 바라지 않았습니다. 레이블링 람다는 메시지마다 AWS AppConfig에서 세 가지 모드 중 하나를 읽습니다. BEDROCK 모드에서는 소넷이 모든 티켓에 레이블을 붙이고 스트랜즈 디사이더는 호출되지 않습니다. DUAL 모드에서는 소넷과 스트랜즈 디사이더 모델을 동시에 호출합니다. 소넷 모델의 결과를 티켓에 적용하고 스트랜즈 디사이더 결과와 비교합니다. DECIDER 모드에서는 스트랜즈 디사이더가 모든 티켓에 레이블을 붙이고 베드록은 호출되지 않습니다. 토큰 사용량이 줄어든 데는 두 가지 원인이 있었습니다. 첫째, 스트랜즈 디사이더는 이전 모델과 달리 JSON 형식의 답변 대신 선택이라는 하나의 결과만 내놓았습니다. 둘째, 프롬프트 자체가 소넷 4.6보다 훨씬 짧았습니다. 저희가 처리해야 하는 생산 업무의 라벨 설명만 해도 스트랜즈 디사이더가 한 번에 처리할 수 있는 최대 정보량인 4,096 토큰보다 길었습니다. 그래서 저희는 20개의 라벨을 각각 한두 문장으로 요약하여 하나의 선택지 질문으로 만들었고, 여기에 해당 사항 없음이라는 선택지도 추가했습니다. 티켓 데이터는 소넷이 받는 것과 동일하지만, 스트랜즈 디사이더는 긴 티켓의 경우 가장 오래된 댓글부터 순서대로 삭제하여 정해진 용량 안에 맞춥니다. 소넷 사용을 중단한 날의 람다 실행 시간 그래프를 보면 평균 실행 시간이 74%나 줄어든 것을 확인할 수 있습니다. 람다는 클라우드 환경에서 짧은 시간 동안 특정 작업을 수행하는 컴퓨터 프로그램입니다. 비용 분석은 미국 동부 리전에서 공개된 온디맨드 가격 기준입니다. 클로드 소넷 4.6은 입력 토큰 100만 개당 3달러, 출력 토큰 100만 개당 15달러이고, 스트랜즈 디사이더 E4B는 세이지메이커 ml.g5.xlarge에서 1인당 시간당 1.408달러입니다. 티켓당 비용은 소넷이 0.0222달러, 스트랜즈 디사이더가 약 0.0005달러입니다. 백만 건의 티켓당 비용은 소넷이 약 22,200달러, 스트랜즈 디사이더가 약 500달러입니다. 소넷의 티켓당 비용은 위에서 언급한 토큰 사용량에 따라 직접 계산됩니다. 반면 스트랜즈 디사이더의 비용은 각 컴퓨터가 얼마나 바쁘게 사용되느냐에 따라 달라집니다. 요청당 약 640밀리초가 걸리는 것을 기준으로 볼 때, 하나의 컴퓨터는 시간당 약 5,600개의 티켓을 처리할 수 있습니다. 이를 기준으로 계산하면 시간당 100만 건의 티켓 처리에 250달러가 들게 되는데, 저희는 갑자기 업무량이 몰리는 상황에 대비해 여유 공간을 두었습니다. 실제 사용 시에는 이보다 비용이 더 들 수 있지만, 백만 건당 약 500달러 수준입니다. 이는 소넷보다 약 44배 저렴한 것이며, 비용을 98%나 줄인 셈입니다. 이 가격들은 공개된 정가이며, 티켓당 처리 시간이 더 짧아진 람다 사용 비용은 제외된 수치입니다. 저희가 놀랐던 점 중 하나는 JSON 데이터의 키 순서가 답변에 영향을 준다는 사실이었습니다. 같은 내용을 전달하더라도 키의 순서를 다르게 보내니 출력될 확률이 최대 0.19까지 달라졌습니다. 이제 저희는 모든 요청을 키 순서대로 정렬해서 보내고 있습니다. 만약 여러분이 API를 통해 결정 모델을 운영하고 있다면, 실행 결과를 비교하기 전에 이 점을 꼭 확인해 보시기 바랍니다. 이러한 개선이 가능했던 이유는 해결해야 할 작업이 정해진 목록 중에서 선택하는 닫힌 선택 문제였고, 처리해야 할 업무량이 매우 많았으며, 기존 방식의 처리 속도가 중요했기 때문입니다. 만약 라벨에 자세한 설명이 필요하거나, 처리해야 할 목록이 매주 바뀌거나, 유용한 정보를 수천 개의 토큰 안에 담기 어렵다면, 결정 모델이 대규모 언어 모델의 역할을 대체하기는 어려울 것입니다. 모델과 상관없이 저희가 공통적으로 적용한 방법은 삼자 스위치 방식입니다. 실제 업무 데이터에 두 모델을 모두 적용해 보고, 두 모델이 의견이 다를 때 그 차이를 검토했습니다. 이 방식은 어떤 오프라인 평가보다 더 많은 것을 알려주었습니다. 또한, 문제가 생겼을 때 이전 방식으로 되돌리는 설정 변경이 단 45초 만에 가능했습니다. 결정 모델을 사용하면 AI 에이전트의 세계가 훨씬 더 흥미로워지고 비용도 절감됩니다. 만약 분류 작업을 하는 에이전트를 운영하고 있다면, 스트랜즈 디사이더 저장소와 해당 모델을 운영하는 방법에 대한 안내를 참고해 보세요.
4. 나에게 어떤 영향이 있나요?
일상에서는 직접 체감하기 어렵지만, 아마존 내부 티켓 처리 비용이 크게 줄면 회사가 절약한 자원을 다른 곳에 쓸 수 있고, 장기적으로 서비스 가격이나 품질에 간접적인 영향을 줄 수도 있습니다. 개발자에게는 분류 작업에 대규모 언어 모델 대신 결정 모델을 쓰는 것이 비용과 속도 면에서 유리할 수 있다는 참고 사례가 됩니다. 다만 이 효과는 선택지가 명확한 닫힌 문제, 높은 처리량, 지연 시간이 중요한 조건에서만 나타납니다. 범주 설명이 길거나 자주 바뀌는 경우에는 적용하기 어렵고, JSON 키 순서 같은 세부 구현에 따라 결과가 달라질 수 있으므로 실제 도입 전에 충분한 검증이 필요합니다. 이 사례가 모든 AI 작업에 자동으로 이득을 준다고 일반화할 수는 없습니다.