인공지능의 지능 착시는 점쟁이의 사기 수법과 같습니다
1. 이게 뭔가요?
대화형 인공지능 챗봇이 스스로 생각하고 추론하는 것처럼 느껴지는 현상은 사기꾼들이 사람을 속일 때 쓰는 심리 기술인 점쟁이의 냉독술과 정확히 똑같은 원리로 작동합니다. 대형 언어 모델은 스스로 생각하는 뇌가 아니라 인간이 쓴 글을 수학적으로 분석해 통계적으로 가장 그럴듯한 답변을 찾아내는 도구일 뿐이며, 주관적 검증이라는 심리학적 성향 때문에 사람들이 챗봇의 답변을 자신만을 위한 특별한 대답으로 오해하게 됩니다.
2. 왜 화제인가요?
오늘날 많은 기술 기업과 대중이 인공지능 챗봇을 보며 스스로 생각하는 새로운 형태의 마음이 탄생했다고 믿으며 열광하고 있습니다. 글쓴이는 이러한 현상이 의도적인 사기가 아니라, 기술 개발 과정에서 우연히 과거 점쟁이들의 사기 수법이 디지털 세상에 재현된 결과라고 분석합니다. 기업들은 챗봇이 사람처럼 말하도록 인간의 피드백을 바탕으로 훈련하는 과정에서 정답이나 사실관계를 일일이 검증하기 어려워 듣기 좋고 확신에 찬 어조나 통계적으로 그럴듯한 문장 구조를 지닌 답변에 높은 점수를 주게 되었고, 이로 인해 챗봇이 사람의 심리를 교묘하게 파고드는 기계식 점쟁이로 탈바꿈하게 되었다고 지적합니다.
3. 핵심 내용
대형 언어 모델은 인간의 뇌가 아니며 글의 최소 단위인 단어나 글자 조각을 수학적으로 다루어 입력된 글의 맥락에서 수학적으로 가장 자연스럽고 그럴듯한 대답을 돌려주는 모델일 뿐입니다. 이 모델이 생각이나 추론을 한다고 믿을 만한 이유는 전혀 없습니다. 이러한 착시 현상은 점쟁이들이 사람을 속일 때 쓰는 수법인 냉독술과 똑같은 원리에 바탕을 두고 있습니다. 챗봇과 점쟁이는 누구나 보편적으로 공감할 만한 심리적 문구인 포러 효과를 이용한 문장들을 사용하여 마치 상대방의 상황을 아주 구체적으로 꿰뚫어 보고 있는 듯한 인상을 줍니다. 하지만 그 대답들은 사실 통계적으로 누구에게나 들어맞는 뻔한 내용일 뿐이며, 주관적 타당화라는 심리적 편향이 작용합니다. 주관적 타당화는 어떤 말이나 정보가 자신에게 개인적인 의미나 중요성이 있다고 느껴지면 그것이 옳다고 여기게 되는 심리적 편향으로, 많은 사람들이 아무에게나 적용될 수 있는 지극히 일반적인 말조차도 자신을 향한 구체적인 이야기라고 해석하게 만듭니다. 챗봇 개발사들은 인간 피드백 기반 강화학습을 사용하는데, 이는 인공지능 모델이 만들어낸 여러 가지 텍스트를 사람이 순위를 매기는 방식으로 이루어집니다. 평가를 내리는 노동자들이 저임금 근로자들이어서 모든 내용을 일일이 사실 확인할 시간적 여유가 없기 때문에 대화 내용을 평가할 때 내용의 진위보다는 거의 전적으로 말투와 문장 구조만을 기준으로 순위를 매기게 됩니다. 결과적으로 이 방식은 언어 모델이 보편적인 타당화 진술, 누구에게나 맞아 보이는 모호한 말, 무작위로 여러 가능성을 던지는 화살쏘기 화법, 부정어의 소실, 그리고 통계적인 추측만을 골라 만들어내도록 최적화하게 됩니다. 이 함정에 빠지는 것은 지능과는 아무런 상관이 없으며 오히려 똑똑하다고 자부하는 사람들이 가장 크고 돈을 많이 뜯기는 주요 표적이 될 수 있습니다.
4. 나에게 어떤 영향이 있나요?
일상에서 챗봇이나 생성형 인공지능을 쓸 때 무심코 넘어가기 쉬운 맹점을 일깨워줍니다. 우리가 챗봇과 대화하며 놀라워하는 순간들이 사실은 챗봇의 뛰어난 지능 때문이 아니라, 우리의 뇌가 우연히 맞아떨어지는 표현을 특별한 의미로 해석하려는 심리적 특성 때문일 수 있음을 보여줍니다. 따라서 챗봇의 답변을 절대적인 진실로 받아들이거나 중요한 의사결정, 분석, 전략 수립 과정을 챗봇에 통째로 맡기는 것은 위험할 수 있습니다. 개발자나 기업 실무자의 입장에서도 인공지능 도구를 제품이나 업무 과정에 무턱대고 도입하기 전에 이 기술이 지닌 통계적 한계와 허점을 정확히 이해해야 하며, 가능하면 언어 모델을 제품이나 업무 과정에 도입하지 않는 것이 바람직하다는 조언을 전합니다.