맥북 에어에서 1시간 분량 음성을 13초 만에 텍스트로 바꾸기
1. 이게 뭔가요?
이 기사는 구글의 다중 모달 임베딩 모형인 임베딩 젬마 2를 활용해 사람이 말하는 소리를 글자로 바꿔주는 프로그램을 소개합니다. 여기서 임베딩 모형이란 컴퓨터가 글자, 그림, 소리, 영상 같은 다양한 정보를 공통된 공간에서 서로 비교할 수 있도록 숫자로 바꿔 담아두는 프로그램을 뜻합니다. 원래 이 모형은 소리를 직접 글자로 바꾸는 용도가 아니었지만, 개발자들이 소리와 글자가 만나는 공통 공간의 성질을 이용해 소리가 들리면 그에 가장 알맞은 영어 단어를 찾아내는 방식으로 변형했습니다.
2. 왜 화제인가요?
이번 시도가 주목받는 이유는 원래 소리를 글자로 바꾸도록 만들어지지 않은 모형을 응용해 빠르고 효율적인 음성 인식 결과를 이끌어냈기 때문입니다. 개발자들은 전체 모형을 처음부터 다시 만들지 않고 소리를 모형의 글자 공간으로 옮겨주는 아주 작은 읽기 부위만 공개된 영어 음성 데이터를 이용해 두 시간 미만 동안 추가로 학습시켰습니다. 그 결과 외부 서버로 음성 데이터를 보내지 않고 내 컴퓨터 안에서 안전하고 빠르게 작동하는 프로그램을 완성했습니다. 다만 현재 이 프로그램의 단어 인식 오류율은 약 5퍼센트로, 시중의 최고 수준인 음성 모형들의 2에서 3퍼센트보다는 조금 높습니다.
3. 핵심 내용
구글의 임베딩 젬마 2 모델은 원래 글자, 사진, 소리, 동영상 같은 여러 형태의 정보를 하나의 공통된 공간 안에서 숫자로 처리하는 모형입니다. 개발자들은 이 모델의 소리 이해 부품은 그대로 두고, 소리 조각을 글자 공간으로 옮겨주는 아주 작은 읽기 장치만 따로 학습시켰습니다. 컴퓨터가 알고 있는 약 22만 9천 개의 영어 단어 중에서 소리 조각과 가장 뜻이 가까운 단어를 찾아내고, 보조 모델이 문장 부호와 대소문자를 덧붙여 전체 글을 완성합니다. 이 프로그램은 맥 컴퓨터의 인공지능 전용 두뇌인 뉴럴 엔진을 사용하여, 기본형 엠쓰리 맥북 에어 환경에서 1시간 분량의 소리를 12.6초 만에 처리했습니다. 사용 방법은 음성 파일을 프로그램 창에 끌어다 놓거나, 오른쪽 옵션 키를 누른 채 말을 하고 키를 떼면 어떤 응용 프로그램에든 바로 받아쓰기를 할 수 있습니다.
4. 나에게 어떤 영향이 있나요?
지원되는 맥 컴퓨터를 사용한다면 음성 파일을 프로그램에 끌어다 놓거나 오른쪽 선택 키를 누른 채 말한 뒤 놓는 방식으로 컴퓨터가 내 목소리를 바로 글자로 적어주는 기능을 직접 써볼 수 있습니다. 모든 과정이 맥 컴퓨터 안에서만 이루어지기 때문에 대화 내용이 외부 서버로 전송되지 않아 사생활 보호 측면에서 유리합니다. 다만 컴퓨터 사양이나 운영체제 버전에 따라 사용 조건이 맞아야 하며, 현재는 인식 정확도가 최고 수준의 프로그램보다 약간 떨어질 수 있으므로 중요한 문서는 오탈자가 없는지 확인하는 과정이 필요합니다.