Ggml v1.0.0 버전 출시: AI 모델 구동 성능 전반 개선
1. 이게 뭔가요?
ggml v1.0.0은 인공지능 모델, 특히 대규모 언어 모델(LLM)을 다양한 컴퓨터 하드웨어에서 더 빠르고 효율적으로 돌리도록 돕는 소프트웨어 라이브러리의 최신 버전입니다. 이번 업데이트는 기존에 사용하던 오래된 기능들을 정리하고 전반적인 성능을 크게 끌어올리는 변화를 담고 있습니다. 주요 변경 사항으로는 사용하지 않는 공개 기능(API)과 구형 연산 방식인 DIAG_MASK를 없앴고, 긴 문맥을 처리하는 YaRN 기법의 자르기 설정을 사용자가 직접 조절할 수 있게 했으며, FP8(8비트 부동소수점) 지원을 추가했습니다.
2. 왜 화제인가요?
AI 모델은 엄청난 양의 계산을 필요로 하기 때문에 그래픽카드(GPU)나 중앙처리장치(CPU) 같은 하드웨어 성능에 크게 의존합니다. 이번 업데이트는 CUDA, Metal, Vulkan, WebGPU, CPU 등 여러 하드웨어 기반 기술 전반의 계산 방식을 최적화했습니다. 예를 들어, 행렬 곱셈을 더 효율적으로 처리하거나, 여러 전문 모듈을 사용하는 MoE(전문가 혼합 모델) 구조의 계산을 하나로 묶어 처리함으로써, 같은 기기에서도 더 큰 AI 모델을 더 빠르고 안정적으로 실행할 수 있는 기반을 마련했습니다.
3. 핵심 내용
성능 개선은 각 하드웨어 기술별로 세밀하게 이루어졌습니다. CUDA에서는 배치 크기 2~24일 때 행이 적은 행렬 곱셈을 양자화하여 처리하는 기능과 BF16 형식을 위한 기능, 그리고 MoE 관련 계산을 통합했습니다. Metal에서는 MoE 라우팅을 통합하고 동점 발생 시 결과가 항상 같도록 Top-K 선택 방식을 결정적으로 개선했습니다. Vulkan에는 인텔 그래픽을 위한 FlashAttention(어텐션 계산을 메모리 효율적으로 처리하는 기술) 사전 채우기 경로를 추가했고, SYCL은 장치 자체에서 MoE 스케줄러를 구동하도록 만들었습니다. OpenCL은 Adreno 그래픽용으로 분해된 FlashAttention을 구현했습니다. WebGPU에는 그룹 정규화, 평균 계산, 동일 값 세기, 반사 패딩 같은 새로운 계산 단위를 추가했으며, Hexagon은 지원하는 연산 범위를 넓혔습니다. 또한, 스케줄러는 읽지 않는 입력 데이터를 불필요하게 전송하지 않도록 개선해 자원 낭비를 줄였습니다. CPU 쪽에서는 행렬 곱셈의 첫 입력 데이터를 32비트 부동소수점으로 바꾸고 FlashAttention 누적 계산도 32비트로 처리하도록 개선했습니다. 안정성 측면에서는 여러 기술에서 발생하던 경계를 벗어난 메모리 접근 오류나 그룹 정규화 제한 문제 같은 결함들을 수정했습니다.
4. 나에게 어떤 영향이 있나요?
일반 사용자는 AI 서비스를 이용할 때 응답 속도가 빨라지고, 스마트폰이나 개인 컴퓨터 같은 일반 기기에서도 더 크고 복잡한 AI 모델을 원활하게 돌릴 수 있는 환경을 기대할 수 있습니다. 개발자 입장에서는 모델을 배포할 때 필요한 하드웨어 사양을 낮추거나 특정 계산 과정에서 발생하는 병목 현상을 줄일 수 있습니다. 다만, 이러한 성능 향상은 사용자가 어떤 AI 모델을 사용하고 어떤 하드웨어를 쓰는지에 따라 체감 정도가 다를 수 있으며, 이 개선 사항이 적용된 환경에서 실행할 때 그 효과를 볼 수 있습니다.