개인이 일반 컴퓨터로 인공지능을 처음부터 학습시키는 미니 에이아이 모델
1. 이게 뭔가요?
이번 기사는 미니 에이전이(Mini-AGI)라는 인공지능 모델을 개발한 개발자의 이야기입니다. 인공지능 모델은 컴퓨터가 사람처럼 생각하고 학습하도록 만드는 프로그램의 뼈대를 말합니다. 개발자는 이 모델을 일반 소비자가 쓰는 컴퓨터의 그래픽카드 메모리 환경에서 작동하도록 만들었습니다. 그래픽카드는 화면을 보여주는 역할뿐만 아니라 인공지능이 복잡한 계산을 할 때도 꼭 필요한 부품이며, 비디오램은 그 안에서 데이터를 임시로 저장하는 작업 공간을 뜻합니다. 이 모델은 두 가지 기술을 함께 사용합니다. 첫째는 전문가 혼합(MoE) 구조로, 인공지능 안에서 각기 다른 역할을 맡은 여러 작은 부품인 전문가들을 학습 과정에서 더하고 빼면서 특정 순간에는 그중 일부만 실제로 쓰는 방식입니다. 둘째는 한 번에 처리하는 데이터 양인 배치 크기를 최소화하여 하나의 끊김 없는 데이터 흐름으로 학습하는 방식입니다.
2. 왜 화제인가요?
이 프로젝트가 주목받는 이유는 개인이 대기업의 도움 없이도 일반 컴퓨터 환경에서 자신만의 인공지능을 처음부터 직접 학습시킬 수 있는 가능성을 보여주기 때문입니다. 보통 10억 개 이상의 매개변수를 가진 제법 큰 인공지능을 처음부터 새로 학습시키려면 엄청나게 비싸고 성능이 좋은 전문 장비가 필요합니다. 일반 사용자는 보통 이미 만들어진 모델을 내려받아 기능을 미세하게 조정하는 것만 가능했습니다. 하지만 이번에 개발된 방식은 저장 공간만 넉넉하다면 전문가들을 필요할 때만 불러오고 내보낼 수 있으며, 한 번에 처리하는 데이터 양을 줄여 복잡한 데이터 묶음과 그에 따른 계산 결과값을 메모리에 미리 저장할 필요가 없기 때문에 작은 비디오램 용량으로도 학습이 가능하도록 설계되었습니다.
3. 핵심 내용
개발자는 대기업의 입맛에 맞춘 모델이 아니라, 학습 과정에서 모델이 접하는 모든 정보를 직접 통제하여 자신의 관심사에 온전히 맞추고 싶다는 불만에서 이 프로젝트를 시작했습니다. 오랜 고민 끝에 학습 중에 전문가 모듈을 수없이 추가하고 떼어내는 전문가 혼합 방식과, 데이터를 쪼개지 않고 하나의 거대한 흐름으로 이어 붙여 학습하는 방식을 떠올렸습니다. 첫 번째 아이디어 덕분에 컴퓨터의 저장장치 용량만 허락한다면 인공지능의 핵심 요소인 매개변수 개수를 늘릴 수 있고 필요할 때만 전문가를 불러오거나 지울 수 있습니다. 두 번째 아이디어 덕분에 그래픽카드 메모리 용량이 작아도 인공지능 학습을 해낼 수 있게 되었습니다. 개발자는 대화형 인공지능인 클로드의 도움을 받아 아이디어를 다듬어 몇 주 만에 이 결과물을 만들어 냈습니다. 현재 모델은 전체 78억 자에 달하는 방대한 텍스트 모음 중 첫 번째 분량을 읽어 나가는 중입니다. 3만 2천 자씩 이어진 긴 글들을 책을 읽듯 하나의 끊김 없는 흐름으로 읽으며 학습하고 있으며, 아직 학습이 끝나지 않아 인공지능의 뇌 세포 연결 상태에 해당하는 가중치 파일은 공개되지 않았습니다.
4. 나에게 어떤 영향이 있나요?
일반 독자에게 당장 눈에 보이는 직접적인 영향이나 변화는 크지 않습니다. 이 프로젝트는 완성된 인공지능 프로그램 파일이 아직 공개되지 않았고, 개발자가 직접 학습을 진행하고 있는 과정에 있기 때문입니다. 정해진 분량의 데이터를 모두 읽을 때까지는 몇 주 정도 더 기다려야 결과물이 나옵니다. 다만 인공지능 개발에 관심이 있는 연구자나 개발자라면, 프로젝트의 소스 코드를 직접 내려받아 실행하고 인공지능이 긴 구절들을 하나의 흐름으로 어떻게 읽어내며 학습하는지 그 방식을 직접 살펴볼 수 있습니다.