일반 게이밍 컴퓨터에서 대형 인공지능 모델 실행하기
1. 이게 뭔가요?
스트라타는 평소 수백 기가바이트의 대형 서버가 필요한 1,250억 개 매개변수의 큐원 3.8 플래시 넥스트 인공지능 모델을 일반 게이밍 컴퓨터에서 실행할 수 있게 해주는 무료 오픈소스 프로그램입니다. 이 프로그램은 대화, 코드 작성, 이미지 읽기 등 다양한 작업을 외부 서버 없이 컴퓨터 안에서 안전하게 처리합니다.
2. 왜 화제인가요?
기존에는 거대한 인공지능을 구동하기 위해 고가의 고성능 서버 장비가 필수였지만, 스트라타를 이용하면 12기가바이트 이상의 비디오 메모리를 갖춘 엔비디아나 AMD 그래픽 카드와 32기가바이트 이상의 일반 메모리를 둔 일반 개인용 컴퓨터에서도 대형 모델을 직접 실행할 수 있기 때문에 주목받고 있습니다.
3. 핵심 내용
스트라타는 인공지능 모델의 방대한 데이터를 컴퓨터의 그래픽 카드, 일반 메모리, 그리고 솔리드스테이트드라이브 저장장치에 나누어 담아 처리합니다. 이 모델은 2만 4,576개의 세부 전문가 집단으로 나뉘어 가장 자주 쓰이는 부위는 그래픽 카드 비디오 메모리에, 전체 부위는 컴퓨터의 주기억장치인 램에, 위치를 찾는 표는 저장장치에 나누어 담습니다. 또한 작은 보조 프로그램이 다음 단어를 미리 예상하고 거대한 인공지능 본체가 이를 한 번에 검토하는 추측 검증 방식을 사용하여 답변 속도를 높입니다. 설치는 클로드 코드나 커서 같은 인공지능 코딩 도구에 안내 문구를 복사해 붙여넣거나 직접 설치 프로그램을 실행하는 방식으로 진행할 수 있습니다. 다운로드 파일 크기는 약 70기가바이트이며, 처음에 프로그램을 실행할 때 대용량 파일을 불러오느라 1분에서 3분 정도 멈춘 것처럼 보일 수 있습니다. 컴퓨터 사양에 따른 램 용량별 추천 모델을 보면, 32기가바이트 램에는 프로그래밍에 특화된 코더 모델이 적합하며 그래픽카드 메모리가 24기가바이트라면 Q2_0 및 IQ2_XS 버전도 실행할 수 있습니다. 48기가바이트 램에는 IQ2_XS 버전을 추천하며 가장 빠른 속도를 원한다면 Q2_0 버전을 선택합니다. 64기가바이트 램 환경에서는 모든 크기의 모델이 들어갈 수 있어 IQ2_XS가 추천되며 대안으로 IQ3_XXS 또는 IQ3_S 버전을 쓸 수 있습니다. 96기가바이트 이상의 램 환경에서는 가장 성능이 뛰어난 IQ3_S나 약 4비트로 압축된 언슬로스의 UD-IQ4_XS 버전을 여유롭게 실행할 수 있습니다. 사용자는 인터넷 브라우저 주소창에 http://127.0.0.1:8080을 입력해 대화창을 쓸 수 있고, 다른 앱과 연결해 프로그래밍 자동화 도구로 활용할 수도 있습니다.
4. 나에게 어떤 영향이 있나요?
이 프로그램을 활용하면 외부 서버를 거치지 않고 내 컴퓨터 안에서만 인공지능과 대화하거나 코딩 작업을 처리할 수 있어 데이터 유출 걱정 없이 고성능 인공지능을 쓸 수 있습니다. 다만 컴퓨터의 메모리 용량과 저장장치 속도에 따라 실행 속도가 달라지므로 내 PC의 사양을 먼저 확인하고 알맞은 압축률의 모델을 선택해야 합니다.