제브의 오픈 소스 버전, 라야
1. 이게 뭔가요?
이번 기사에서 다루는 라야는 기존의 인공지능처럼 문장을 길게 이어 붙이는 대신 고객 지원 요청이나 이메일이 들어왔을 때 담당 부서를 고르거나 스팸 여부를 판단하는 등 정해진 질문에 대해 0.0부터 1.0 사이의 확률 값을 아주 빠른 속도로 계산해 주는 새로운 형태의 오픈소스 의사결정 인공지능 모델입니다. 글자를 아예 만들어내지 않고 숫자와 확률만 출력하기 때문에 엉뚱한 거짓말을 지어내는 환각 현상이 원천적으로 일어날 수 없습니다.
2. 왜 화제인가요?
최근 인공지능 업계에서는 간단한 분류 작업에도 대화형 거대 언어 모델이 무분별하게 쓰이면서 엄청난 계산 비용과 시간 지연을 유발하는 문제가 화두가 되었습니다. 그러던 중 유료 기업형 비대화형 모델인 츱이 등장했고, 이에 자극받은 연구자가 구조적 한계를 보완하여 완전히 무료로 쓸 수 있는 오픈소스 모델인 라야를 직접 개발하면서 큰 주목을 받고 있습니다.
3. 핵심 내용
라야는 사람의 뇌에서 순간적으로 일어나는 직관적인 판단 과정을 흉내 내어 일반 컴퓨터 환경에서 30밀리초, 즉 1초의 30분의 1 남짓한 시간에 답을 내놓습니다. 라야는 선택지 중에서 가장 알맞은 하나를 고르는 선택, 0에서 3까지의 등급을 매기는 점수화, 참과 거짓의 확률을 따지는 불리언 질문이라는 세 가지 핵심 기능을 바탕으로 작동합니다. 개발팀은 영어, 다국어, 유형화된 의사결정을 처리하는 세 가지 특화된 모델 확인 지점을 하나의 저장소로 묶어 제공하며, 허깅페이스의 소프트웨어 개발 도구를 통해 사용자가 필요한 하위 폴더만 골라서 내려받을 수 있게 했습니다. 또한 51개 언어를 대상으로 진행한 성능 평가에서 영어 모델이 라틴 문자가 아닌 다른 언어를 처리할 때 정확도가 크게 떨어진다는 사실을 발견했습니다. 흥미롭게도 모델 자체의 신뢰도는 높게 유지되어, 겉보기에는 자신만만한 상태를 보이지만 실제로는 글자를 제대로 읽지 못하는 모순이 발생했습니다. 따라서 신뢰도 수치만 믿고 모델을 골라서는 안 되며, 입력 단계에서 문자를 미리 검사하는 장치가 필요하다는 결론에 이르렀습니다. 이를 해결하기 위해 입력되는 텍스트의 유니코드 문자를 검사하고 영어 불용어 분포를 분석하는 내장 경로 설정 장치를 개발했습니다. 이 경로 지정 장치를 통해 어떤 언어로 입력이 들어오든 무시할 만한 추가 시간 지연만으로 알맞은 모델에 자동으로 연결할 수 있습니다. 9가지 실제 기업 환경 시험에서 라야는 이메일 스팸 필터링, 피싱 탐지, 인공지능 안전 장치 등에서 높은 정확도를 기록했습니다. 츱 모델과의 비교에서는 유형화된 의사결정 점수가 더 높았고, 처리 속도는 훨씬 더 빠르게 실행되었습니다. 다만 선택해야 할 보기가 20개를 넘어가면 후보당 할당되는 토큰이 줄어들어 성능이 떨어지므로 선택지 구조는 20개 이하로 유지하거나 2단계 계층 구조를 사용하는 것이 좋습니다. 아울러 기본 제공되는 모델 가중치에는 날것의 확률값이 들어 있으므로 도메인 데이터에 맞춰 온도 보정을 거쳐야 확률 보정 오차를 크게 줄일 수 있습니다.
4. 나에게 어떤 영향이 있나요?
일반 독자의 경우 이 기술을 직접 다루기보다는 앞으로 자주 쓰는 고객센터 챗봇이나 이메일 자동 분류 시스템, 보안 필터 등이 훨씬 더 빠르게 반응하고 정확하게 작동하는 뒷받침 기술로 경험하게 됩니다. 개발자나 기업의 입장에서 라야는 고객 지원 티켓 분류, 스팸 및 피싱 탐지, 악성 프롬프트 차단 같은 반복적이고 단순한 분류 업무를 유료 외부 서비스 호출 없이 자체 서버에서 무료로 처리할 수 있는 도구가 됩니다. 다만 라야는 처음부터 만능으로 모든 것을 아는 인공지능이 아니라 특정 목적에 맞게 추가 학습을 거쳐야 제대로 작동하며, 선택해야 할 보기가 많아지면 정확도가 떨어지는 한계가 있으므로 적용하려는 업무의 특성을 잘 따져보고 도입해야 합니다.