더 빠르고 체계적인 텍스트 생성 방법 연구

인공지능이 글을 쓸 때 사용하는 기술 중 텍스트를 만들어내는 방식에 대한 연구입니다. 텍스트 생성 모델은 주어진 단어나 문맥을 보고 다음에 올 가장 적절한 단어를 예측하며 문장을 만듭니다. 기존에는 한 번에 하나의 단어만 순서대로 예측하는 방식(자기회귀 모델)이 주를 이뤘습니다. 다른 방식인 확산 언어 모델(DLM)은 한 번에 여러 단어를 예측해 생성 속도는 빠르지만, 품질을 높이려면 많은 계산을 반복해야 하고, 예측 단계를 줄이면 글의 품질이 급격히 떨어지는 문제가 있었습니다.

기존 모델들은 글을 만드는 속도와 글의 품질 사이에서 균형을 잡기 어려웠습니다. DLM은 빠르지만 품질 저하와 복잡한 학습 과정이 단점이었는데, 이 연구는 이 단점들을 개선했기 때문에 주목받습니다. 이 새로운 방법은 텍스트를 여러 단계의 압축된 형태로 나누어 한 번에 예측함으로써 속도와 품질을 동시에 높였습니다.

연구팀은 텍스트를 여러 단계의 '이산적인 코드'로 나누어 표현하고, 이 코드들을 한 번에 예측하는 두 단계의 새로운 틀인 '다음 개념 모델링(NCM)'을 제시했습니다. 이 모델은 텍스트를 계층적인 코드 묶음으로 변환하는 기술과, 이 코드들을 한 단계씩 생성하면서 각 단계의 모든 코드를 동시에 예측하는 인공지능 모델로 구성됩니다. 연구 결과, NCM은 성능이 가장 좋은 기존 DLM보다 더 좋은 글의 품질을 보이면서도 21배 더 빠르게 작동했습니다. 구체적으로 OpenWebText에서는 가장 성능이 좋은 DLM보다 10배 빠르고, XSum에서는 가장 성능이 좋은 DLM과 같은 수준의 결과를 내면서 31배 더 빠르게 작동했습니다. 또한, 스도쿠 같은 추론 문제에서도 모든 난이도에서 기존 모델들보다 우수한 성능을 보였고, 계산 횟수도 더 적게 사용했습니다.

이러한 기술은 인공지능이 글을 요약하거나 질문에 답하는 모든 작업의 효율성과 속도에 영향을 줍니다. 예를 들어, 긴 문서를 처리할 때 더 빠르고 정확한 결과를 얻을 수 있게 됩니다. 개발자 입장에서는 더 높은 성능을 내면서 컴퓨터 자원 사용량을 줄일 수 있다는 의미가 있습니다. 다만, 이 기술이 실제 모든 상황에서 어떻게 적용될지는 더 지켜봐야 합니다.