데저트 앤트 랩스: 기기 안에서 바로 빠르고 가볍게 작동하는 인공지능 모델
1. 이게 뭔가요?
유럽의 인공지능 연구소 데저트 앤트 랩스가 스마트폰이나 노트북, 웹 브라우저 등 사용자 기기 안에서 인터넷 연결 없이 직접 작동하는 소형 특화 인공지능 모델 18종을 공개했습니다. 이 가운데 12종은 안정화 버전이고 6종은 시험용 베타 버전으로, 음성과 시각 자료, 문자 처리 같은 개별 작업마다 전담 모델을 하나씩 두어 빠르고 가볍게 처리하도록 설계되었습니다.
2. 왜 화제인가요?
지금까지 앱에 인공지능 기능을 넣으려면 거대 언어 모델을 둔 외부 클라우드 서버에 접속해야 했기 때문에 이용량에 비례해 막대한 이용료가 발생하고 속도 지연과 개인정보 유출 우려가 컸습니다. 이번에 공개된 소형 모델들은 사용자가 이미 들고 다니는 기기의 반도체 연산 능력을 직접 활용하므로, 매번 질문할 때마다 내야 하는 연산 비용을 완전히 없애고 민감한 개인정보가 기기 밖으로 빠져나가는 문제를 원천적으로 방지할 수 있습니다.
3. 핵심 내용
데저트 앤트 랩스를 설립한 폴 뵈헌 대표는 동영상 편집 앱인 디테일을 5년 동안 개발하며 겪었던 현실적인 한계를 이번 프로젝트의 출발점으로 설명합니다. 앱에서 자동으로 영상을 짧게 편집하거나 팟캐스트 음질을 높이는 고급 기능을 넣을 때마다 외부 클라우드 기업의 인공지능을 호출해 써야 했고, 앱의 인기가 높아질수록 서버 요금 청구서가 눈덩이처럼 불어났습니다. 기기 내 연산 칩과 애플의 코어 엠엘 같은 기반 소프트웨어 기술은 이미 발전해 있었지만, 앱에 몇 줄의 코드만 넣어 바로 작동시킬 수 있는 완성형 소형 모델이 시장에 부족했습니다. 이에 연구진은 제품 설계 관점에서 특정 작업만 전문으로 맡는 고효율 경량 모델들을 직접 훈련해 만들었습니다.
이번에 공개된 대표 모델 중 보즈는 아이폰에서 10분 길이 음성을 2초 만에 단어별 시작과 끝 시간까지 정확히 기록하며 글자로 바꿔줍니다. 이는 널리 쓰이는 음성 변환 모델인 위스퍼보다 4.7배 빠른 속도입니다. 고성능 컴퓨터 환경인 엠스리 울트라에서 30분 동안 연속으로 음성을 변환했을 때 보즈는 실제 재생 시간 대비 319배 빠른 속도를 기록했고, 애플의 스피치애널라이저는 78배, 위스퍼 라지 버전3 터보는 50배에 머물렀습니다. 보즈는 아이폰 17 프로 스마트폰에서도 298배 빠른 속도를 나타냈습니다.
클리어는 프로그램 크기가 9메가바이트에 불과한 소형 모델로, 노트북으로 녹음한 5분짜리 음성을 단 1초 만에 전문 녹음실 수준으로 다듬어 줍니다. 세 차례 시험 중 최고 기록 기준으로 아이폰 16 프로에서 실제 음성 재생 시간보다 302배, 엠파이브 칩을 탑재한 맥북 프로 노트북에서는 345배 빠른 속도로 음질 개선과 최종 음량 조절 및 재인코딩을 끝마칩니다. 연구진은 기존에 쓰던 돌비 기술을 클리어로 교체해 품질과 속도를 개선했습니다.
리댁트는 12메가바이트 크기의 모델로, 글 속에서 사람 이름과 집 주소, 카드 번호 같은 민감한 개인정보를 27개 언어로 실시간 감지해 가려줍니다. 시험 결과 글 속 개인정보의 88.8퍼센트를 성공적으로 찾아내, 크기가 2.3기가바이트에 달하는 대형 모델 지라이너-피아이아이가 기록한 91.1퍼센트에 근접한 성적을 거두었습니다. 반면 14.7메가바이트 크기의 램파트 모델은 61.4퍼센트, 3기가바이트 크기의 오픈에이아이 필터는 60.2퍼센트 감지에 그쳤습니다. 연구소는 개인정보 보호 규범이 엄격한 유럽에서 기기 내 처리가 데이터 주권의 기본 기준이라고 강조하며, 정보가 기기 밖 서버로 업로드되지 않으므로 정부 기관이 데이터를 강제로 제출하라고 요구할 위험도 없다고 덧붙였습니다.
텅은 단 2메가바이트 크기로 사용자가 입력한 단어 세 개만 보고 84개 언어 중 무엇인지 판별합니다. 단어 세 개 입력 시험에서 텅은 정확도 점수 0.933점을 기록해, 용량이 293메가바이트인 기존 언어 감지 프로그램의 0.887점을 넘어섰습니다.
영상 편집용인 클립스 모델은 용량이 284메가바이트로, 10분 분량의 동영상을 5초 만에 약 12개의 주요 조각으로 분할해 줍니다. 거대 모델인 클로드 소넷과 비교했을 때 품질은 같으면서도 처리 속도는 10배 빠르고, 전력 소모는 470분의 1 수준으로 줄였습니다. 디테일 앱은 향후 아이오에스 27 출시와 함께 선보일 디테일 6 버전에서 외부 서버 연결 방식을 모두 걷어내고 기기 내부 모델로 완전히 전환할 계획입니다.
연구소는 엔비디아 연구진이 세 가지 인공지능 시스템을 분석한 결과를 인용해, 대형 모델을 호출하는 작업 중 40퍼센트에서 70퍼센트는 해당 일만 전문으로 훈련받은 소형 모델로 충분히 대체할 수 있다고 설명합니다. 올 한 해 전 세계 인공지능 데이터센터 구축에 약 4,500억 달러가 투입되지만, 동시에 전 세계에 판매되는 10억 대 이상의 스마트폰과 태블릿, 노트북 속 반도체 연산 능력을 모두 합치면 데이터센터보다 훨씬 큽니다. 기기 안에서 돌아가는 인공지능은 호출당 추가 요금이 전혀 들지 않으므로, 비용 걱정 때문에 일부 데이터만 골라 처리하던 기존 개발 방식을 화면이 바뀌거나 글쇠를 누를 때마다 즉각 반응하는 방식으로 바꿀 수 있습니다.
연구소는 먼저 공개하는 100여 개 모델을 몸의 균형과 타이밍을 무의식적으로 조율하는 뇌 부위인 소뇌에 비유했습니다. 항상 켜져 있는 소형 모델이 잡음 제거나 개인정보 가리기 같은 반복 작업을 맡아 처리하면, 이후 단계로 대뇌피질처럼 상황을 판단해 더 복잡한 문제는 기기 내 큰 모델이나 클라우드로 넘겨주는 조율 구조를 완성할 계획입니다. 모델과 실행 환경을 함께 최적화하여 아이폰에서는 신경망 처리 장치인 뉴럴 엔진으로 구동하고, 웹 브라우저에서는 동일한 가중치 데이터를 웹어셈블리 기술로 직접 실행합니다. 모든 모델은 애플 기기용 스위프트, 안드로이드용 코틀린, 웹 브라우저용 자바스크립트를 지원하는 단일 개발 도구 세트로 제공되며 맥용 명령줄 도구와 허깅페이스 웹사이트를 통해 시험해 볼 수 있습니다.
4. 나에게 어떤 영향이 있나요?
일반 기기 이용자는 이 기술이 들어간 앱을 사용할 때 개인정보가 외부 서버로 전송되지 않아 유출 걱정을 덜 수 있고, 인터넷 연결 상태와 무관하게 즉각적인 반응 속도를 누릴 수 있습니다. 앱 개발사는 월간 활성 기기 10만 대까지 별도의 이용료나 로그인 절차 없이 모델을 무료로 앱에 탑재할 수 있어 인프라 운영 비용을 크게 아낄 수 있습니다. 다만 이러한 장점은 개발자가 앱에 해당 소프트웨어 도구를 직접 연동해야 적용되며, 5년 전 출시된 스마트폰에서도 구동되도록 경량화되었으나 기기에 탑재된 연산 반도체 성능과 사용 환경에 따라 실제 처리 속도에는 차이가 있을 수 있습니다.