속지 마세요. 거대 언어 모델은 추론하지 않습니다
1. 이게 뭔가요?
2016년 바둑 프로그램 알파고가 세계 챔피언 이세돌과의 경기에서 거둔 승리는 단순한 기계적 직관의 결과가 아니었습니다. 알파고는 인간의 사고처럼 직관적인 예감을 제공하는 신경망과, 미래의 경우의 수를 따져보며 그 예감을 검증하는 탐색 장치를 함께 사용했습니다. 인간의 심리학에서 빠르고 본능적인 사고를 시스템 1, 느리고 신중한 사고를 시스템 2라고 부르는 것처럼, 알파고는 이 두 가지 방식을 모두 활용했습니다. 반면 오늘날의 대형 언어 모델은 다음에 올 단어를 예측하는 방식만 반복하므로 본질적으로 시스템 1에 가깝습니다.
2. 왜 화제인가요?
사람들이 인공지능의 유창한 답변이나 단계별 생각 과정을 보고 인공지능이 스스로 깊이 생각한다고 쉽게 오해하기 때문입니다. 하지만 의료 진단이나 과학 연구처럼 작은 실수도 치명적인 결과를 낳는 고위험 분야에서는 인공지능이 왜 그런 결론에 이르렀는지 그 과정을 투명하게 검증할 수 있어야 하므로, 현재 기술의 한계를 정확히 파악해야 합니다.
3. 핵심 내용
최근 연구자들은 챗봇이 곧바로 답을 내놓지 않고 문제를 여러 단계로 나누어 풀게 하는 생각의 사슬 방식을 도입해 성능을 높였습니다. 그러나 이는 독립된 생각 과정을 새로 만든 것이 아니라 기존의 단어 예측 과정을 여러 번 반복할 뿐입니다. 챗봇이 진정한 의미의 추론을 하지 못하는 이유는 세 가지가 있습니다. 첫째, 모델이 자신이 아는 지식과 가설, 불확실한 부분을 명확하게 기록해 두는 열린 장부 같은 지식 상태를 유지하지 않습니다. 둘째, 인공지능이 아는 내용과 그것을 조작하는 방식이 신경망의 연결 속에 뒤엉켜 있습니다. 셋째, 챗봇이 만들어내는 생각의 사슬은 마치 깊이 고민한 것처럼 보이지만, 실제로는 정답을 먼저 맞춘 뒤에 그럴듯한 과정을 나중에 사후에 지어내는 경우가 많습니다. 현실 세계는 바둑판보다 훨씬 복잡하지만, 최근 언어 모델의 발전으로 인공지능이 외부 도구를 활용해 문제를 해결하고 증거를 평가할 수 있는 능력을 갖추게 되었습니다. 가장 중요한 점은 시스템의 독립된 부분이 각 행동이 불확실성을 얼마나 해소하는지 평가하고, 확실한 증거가 있을 때만 믿음을 업데이트해야 한다는 것입니다.
4. 나에게 어떤 영향이 있나요?
일반 독자는 인공지능 챗봇의 유창한 답변이나 그럴듯한 설명에 맹신하지 않고 주의를 기울여야 합니다. 의료 진단이나 공학처럼 작은 실수도 큰 결과를 낳는 분야에서는 인공지능의 답변을 그대로 믿기보다 사람이 직접 사실관계를 철저히 확인해야 합니다. 개발자들은 단순히 언어 모델의 규모를 키우는 데만 집중하지 말고, 명확한 증거와 검증 절차를 거치는 실질적인 추론 시스템을 설계해야 합니다.