제미니에게 9달러를 주고 내 대체재를 직접 훈련하게 만들었습니다
1. 이게 뭔가요?
인공지능을 이용해 인터넷 커뮤니티 게시판 글에서 특정 상품의 브랜드나 모델명 같은 세부 정보를 찾아내는 기술과, 비용을 절감하기 위해 이를 직접 저렴하게 구축하고 학습시키는 과정을 다루고 있습니다. 레딧이라는 토론 커뮤니티에서 요리용 칼에 관해 사람들이 주고받는 대화를 수집해 어떤 제품이 자주 언급되는지 확인하는 웹사이트를 운영하면서, 글 속에서 고유명사를 짚어내는 명명 개체 인식 기술을 적용한 사례입니다.
2. 왜 화제인가요?
기존에는 성능이 뛰어난 대형 인공지능을 매번 호출하는 방식에 의존해야 했기 때문에 이용 건수가 늘어날수록 비용 부담이 커지는 구조였습니다. 비용을 줄이기 위해 아무런 추가 학습 없이 곧바로 쓸 수 있는 기존의 소형 공개 모델을 도입하면 돈은 들지 않지만 정확도가 크게 떨어지는 한계가 있었습니다. 대형 인공지능이 매긴 정답을 저렴한 소형 모델의 교사 삼아 직접 맞춤형 학습을 진행함으로써, 비용은 대폭 낮추면서도 대형 인공지능에 버금가는 정확도를 달성할 수 있음을 구체적인 실험과 시행착오를 통해 보여준다는 데 의의가 있습니다.
3. 핵심 내용
운영자는 비용 문제를 해결하기 위해 유료 인공지능 서비스인 제미나이를 단 한 번만 대량으로 동원해 4,290개의 레딧 댓글에 정답 라벨을 붙이게 만들었습니다. 제미나이 라벨 비용으로 9달러, 클라우드 그래픽 카드 사용료로 약 2.50달러를 사용했습니다. 초기 훈련 과정에서 설정 오류와 텐서 데이터 구조 문제로 인해 5번의 시도가 실패로 돌아갔습니다. 특히 'words_mask'라는 데이터 형식의 내부 숫자를 잘못 입력하여 인공지능이 학습을 전혀 하지 못하고 멈춰 있던 원인을 찾아내고 해결했습니다. 단어 위치 번호표 문제를 바로잡은 뒤 테슬라 T4 그래픽 카드에서 24분 동안 훈련을 진행한 끝에, 한 번도 본 적 없는 검증용 댓글 225개를 기준으로 제미나이의 라벨과 비교해 0.83의 정확도 지표인 F1 점수를 달성했습니다. 또한 분류별 기준선을 다르게 적용하여 특수 강철 이름의 재현율을 높였으며, 데이터가 적어 발생할 수 있는 과적합을 막기 위해 조기 종료 기법을 사용했습니다.
4. 나에게 어떤 영향이 있나요?
일상생활에서 직접적으로 체감되는 즉각적인 변화나 위험은 크지 않으며, 개인이 수집하는 데이터 분석이나 소규모 웹사이트 운영 비용을 줄이고 싶어 하는 개발자 관점에 주로 맞닿아 있습니다. 만약 직접 인공지능 모델을 내려받아 특정 목적에 맞게 세부 조정하는 작업을 하려는 개발자라면, 인공지능 모델 자체의 성능뿐만 아니라 데이터를 처리하고 전달하는 과정에서 발생하는 사소한 설정 실수나 내부 형식의 차이가 학습 전체를 망칠 수 있다는 점을 참고할 수 있습니다. 다만 이 과정은 상당한 디버깅 시간과 기술적 시행착오가 필요하므로, 단순히 비용을 아낀다는 결과만 보고 쉽게 시도했다가는 예상보다 훨씬 많은 시간과 노력이 소모될 수 있음을 염두에 두어야 합니다.