검증만으로는 지식이 될 수 없다
1. 이게 뭔가요?
이 글은 과학에서 '검증'과 '이해' 가운데 무엇이 더 중요한지를 다룹니다. 검증은 어떤 계산이나 실험이 규칙에 맞게 제대로 됐는지 확인하는 일입니다. 이해는 그 결과가 왜 그렇게 나왔는지 원리와 맥락을 파악하는 일입니다. 글쓴이는 인공지능이 암 치료법을 내놓고 정확성 인증서와 임상 3상 통과 기록까지 갖췄더라도, 그 치료법이 어떻게 나왔는지 아무도 모른다면 문제가 생긴다고 봅니다. 검증은 결과가 기술적으로 맞는지만 알려 주고, 그 결과를 지식으로 만드는 것은 그것을 설명하고 책임질 수 있는 사람들의 몫이라는 주장입니다.
2. 왜 화제인가요?
최근 과학에서 인공지능을 쓰는 일이 빠르게 늘면서 결과의 정확성만 보려는 경향이 강해졌습니다. 인공지능이 복잡한 문제를 풀어 주리라는 기대가 커지면서, 결과가 맞으면 과정을 깊이 따지는 일은 덜 중요하다고 여기게 된 것입니다. 글은 이 시각이 과학의 근본 가치를 놓친다고 지적합니다. 인공지능이 완벽한 답을 내도 왜 그 답이 나왔는지 설명할 사람이 없으면 그것은 정확한 결과일 뿐 진정한 지식이 아니라는 것입니다. 또 정확성만이 과학의 가치라는 믿음은 냉전 시대부터 자리 잡은 '가치 중립적 이상'에서 나왔다고 설명합니다. 이 이상은 윤리나 사회적 가치를 판단에서 빼고 지식에 관한 기준만 남기려는 생각입니다.
3. 핵심 내용
글은 먼저 빌 서스턴이 수학 연구의 성공 기준을 '사람들이 수학을 더 명확하고 효과적으로 이해하고 생각하도록 돕는가'로 봤다는 점을 소개합니다. 이어 테리 타오의 사고 실험을 듭니다. 인공지능이 만든 암 치료법이 정식 정확성 인증을 받고 3상 임상시험을 통과했지만, 어떻게 찾았는지 아무도 모르는 상황입니다. 비판하는 쪽은 4기 암 환자라면 그 치료법을 받아들이겠다고 말하지만, 글쓴이는 문제의 핵심이 다른 데 있다고 봅니다. 치료법이 임상시험 자체의 약점을 파고들어 통과했을 가능성, 그리고 문제가 생겼을 때 물어볼 사람이 없다는 점입니다. 톰 다이터릭이 arXiv라는 논문 공개 사이트에서 자기 주장을 이해할 전문 지식이 없어 보이는 저자들이 늘어나는 문제를 지적한 것도 같은 맥락입니다. 저자가 내용을 이해하지 못하면 비판이 들어왔을 때 근거를 설명하거나 논문을 거둬야 하는지 답할 수 없습니다. 글은 여기서 '이해'가 정답에 덧붙는 선택 사항처럼 취급된다고 짚습니다. 그러나 이해는 무언가 잘못됐을 때 누구에게 물을 수 있는가의 문제와 이어집니다. 이어 과학의 사회적 계약, 즉 과학자가 공적 자금과 자유를 받고 사회는 그 혜택을 받는다는 관계를 설명합니다. 이 계약은 기초 연구가 응용 연구로 이어진다는 '선형 모델'을 바탕으로 하며, 과학을 윤리나 사회적 고려에서 떼어 놓는 가치 중립적 이상을 키웠습니다. 과학 철학자들은 오랫동안 지식에 관한 기준만으로 탐구해야 한다고 봤고, 과학자 개인의 의도나 가치관이 끼는 것을 위험으로 여겼습니다. 그래서 '주장이 옳다면 누가 했는지가 중요할까'라는 질문이 나옵니다. 글은 인공지능을 과학에 풀어 놓으면 인간 판단 없이도 진실에 이를 수 있다는 생각을 '과학은 본래 정렬되어 있다'는 전제라고 부릅니다. 수학에서는 인공지능이 작동 원리를 사람이 몰라도 증명을 검증할 수 있습니다. 하지만 수학자들이 검증 뒤에도 원하는 것은 기계적 객관성이 주지 못하는 단서입니다. 글은 가치가 가설을 받아들이거나 거부하는 판단에 들어간다고 설명합니다. 수학에서도 증명 가능한 정리가 너무 많아 무엇이 흥미로운지 고르는 일에 가치가 개입합니다. 페르마의 마지막 정리가 주목받은 것도 처음에는 본질적으로 중요해서가 아니라 페르마가 증명을 주장만 하고 내놓지 않아 사람들이 도전했기 때문입니다. 또 이 정리가 서로 멀어 보이던 수학 분야를 잇는 '모듈러성 추측'에서 나온다는 사실이 밝혀지면서 중심이 됐습니다. 동료 심사에서 원래 증명의 오류가 드러나 수정본이 나왔고, 형식적 검증은 비교적 최근에야 이뤄졌습니다. 글은 인공지능이 문제를 고르는 역할을 대신하면 과학적 판단력을 기르려는 사람들의 동기와 공동체 협력이 사라질 위험이 있다고 봅니다. 타오는 미해결 문제를 목적지가 아닌 등대에 비유합니다. 인공지능이 너무 일찍 등대에 닿으면 그 주변 연구 분야가 멈출 수 있습니다. 인간의 개입 없이 일을 맡기면 '표류'가 생깁니다. 체계를 잘 짜 두어도 예상 못 한 분야의 미묘한 차이에 빠지기 쉽습니다. 지식 생산의 주체로서 자기 목소리를 내지 않으면 '어디서 왔는지 모르는 시점의 시각', 곧 질문 없이 나온 답에 빠집니다. 정렬을 유지하는 일은 한 번 해결하고 끝나는 문제가 아니라 가치를 말하고 가치 사이에서 판단할 사람들을 계속 공급해야 하는 일입니다. 이어 과학의 사회적 측면을 설명합니다. 과학의 사회적 면은 나쁜 관행이나 집단 행동, 권위에 맹목적으로 따르는 태도를 낳기도 합니다. 그러나 우리가 아는 과학 지식은 바깥 검증 장치가 만든 것이 아니라, 많은 지식 주체가 가치와 전문성을 넣고 도전을 받으며 견해를 고쳐 나간 결과입니다. 철학자 헬렌 롱기노는 객관적 공적 지식의 바탕을 공유된 언어와, 우리가 묘사하는 대상이 우리 인식과 무관하게 존재한다는 믿음에 둡니다. 세상에 대한 묘사에 동의할 수 있으면 다른 사람의 경험을 빌려 지식을 얻고 과학적 주장을 의미 있게 비판할 수 있습니다. 과학 공동체는 서로의 연구를 바탕으로 발전하도록 공유 기준과 어휘를 만듭니다. 모든 것을 직접 처음부터 검증할 필요는 없고, 때로는 다른 사람의 결과를 믿는 것이 직접 조사하는 것보다 더 나은 근거가 되기도 합니다. 특히 그들이 우리에게 없는 증거나 전문 지식을 가졌을 때 그렇습니다. 비판이 없으면 객관성도 없습니다. 롱기노에 따르면 객관성은 한 과학 공동체 안에서 이뤄지는 변화를 이끄는 질문과 탐구의 깊이와 범위에 달려 있습니다. 비판이 변화를 이끌려면 그 비판을 받아들일 의무가 있는 사람이 있어야 합니다. 동료 심사와 발표 뒤 비판은 단순한 사실 확인이 아닙니다. 공동체 구성원이 자기 주장이 담고 있는 약속을 서로에게 요구하고, 개인적 선호와 객관적 사실 사이의 경계를 어디에 그을지 조율하는 과정입니다. 롱기노는 동료 심사의 기능이 데이터가 그럴듯한지, 결론이 논리적으로 나왔는지 확인하는 데 그치지 않고 현상에 다른 관점을 제시하는 데 있다고 말합니다. 방법 자체도 사회적 과정으로 보는 것이 가장 좋습니다. 과학의 발전은 공동체가 비판적 대화를 얼마나 잘 유지하느냐에 달려 있고, 그 대화가 구성원을 만들며 지식을 이해하고 판단하는 방식을 만듭니다. 그렇다면 인공지능이 같은 역할을 할 수 있을지 물어야 합니다. 사람 개입 없이 기존 생각을 완전히 바꿀 만큼 강한 비판을 해낼 수 있을까요. 원리를 직접 이해하지 못한 채 인공지능 주장을 그대로 믿어도 될까요. 그렇게 하면 스스로 질문하고 비판하며 결과에 책임지는 능력은 어떻게 될까요. 글은 결과만 맞으면 누가 주장했는지는 중요하지 않다는 관점이 철학의 '신뢰주의 인식론'과 닿아 있다고 설명합니다. 인식론은 지식이 무엇이고 우리가 어떻게 무언가를 알게 되는지를 연구하는 학문입니다. 고전적 인식론은 믿음이 참이더라도 그 사람이 왜 그렇게 생각하는지 이유를 댈 수 있을 때만 지식으로 인정했습니다. 신뢰주의는 믿음에 이른 과정이나 수단이 평소 정답을 잘 맞히는 신뢰할 만한 방식이었다면, 구체적 근거를 대지 못해도 진정한 지식으로 볼 수 있다고 봅니다. 그러나 신뢰할 만한 수단이 있다는 것만으로는 한계가 있습니다. 철학자 로버트 브랜덤은 신뢰할 만한 방법으로 참인 믿음을 얻었지만 왜 맞는지 설명하지 못하는 공동체를 상상합니다. 이 공동체는 그 방법이 신뢰할 만하다는 사실을 알려면 추론이 필요한데 그 능력 자체가 없습니다. 주변 환경을 정확히 알려 주는 도구처럼 작동할 뿐, 스스로가 그런 도구라는 것도 모릅니다. 신뢰성이라는 개념조차 갖지 못한 상태에서는 지식을 가졌다고 할 수 없다는 결론입니다. 그렇다면 무엇이 필요한가. 브랜덤은 무언가를 지식이라고 부르는 행위 자체가 사회적 활동이라고 답합니다. 누군가 가진 것을 지식으로 인정하려면 그 사람이 그 내용을 믿는다는 약속과 그 믿음이 정당하다는 권리가 함께 있어야 합니다. 그 믿음을 인정하는 우리도 그 내용에 동의하며 그 약속에 함께 참여해야 합니다. 처음 주장을 꺼낸 과학자가 있으면 우리는 그 주장을 인용해 결론을 내리면서도, 나중에 이의가 제기됐을 때 근거를 설명할 책임은 원작자에게 남깁니다. 사람이 하는 과학에서는 이 과정이 비교적 쉽습니다. 처음 주장에 문제가 있었다면 원작자에게 물어 해결할 수 있기 때문입니다. 주장이 사회적 의미를 갖는 이유는 말한 사람에게 책임을 물을 수 있기 때문이며, 이것이 과학에서 가장 중요한 이해의 의미입니다. 수학자들이 증명이 끝난 뒤에도 원하는 것, 타오의 환자가 원하는 것도 이것입니다. 필요할 때 언제든 질문하고 개념을 다시 세울 수 있는 결과여야 목표에 도움이 안 되는 헛된 진보라는 착각에서 벗어납니다. 그러나 이해하지 못하는 인공지능 결과에 기대면 그 결과에 이름이 적힌 사람 외에는 물어볼 곳이 없습니다. 이것이 arXiv가 걱정하는 지점입니다. 저자 본인도 이해하지 못한 내용에는 책임을 질 수 없고, 비판이 들어왔을 때 무엇에 근거한 것인지, 논문을 거둬야 하는지 제대로 답할 수 없습니다. 서류상 저자 이름은 남지만 실제로 내용을 책임지는 저자의 역할은 약해집니다. 결국 객관적 결과라는 개념을 떠받치는 핵심 장치인 변화를 이끄는 비판의 가능성을 잃습니다. 그렇다면 인공지능 스스로 책임지는 지식의 주체가 될 수 있을까요. 오늘날 인공지능에는 넘어야 할 과제가 있습니다. 먼저 사람에게 부여하는 의미의 지속성과 정체성이 부족합니다. 한 대화에서 자기 주장을 철회한 인공지능이 다음 대화에서도 그 정정과 근거를 유지한다고 보장할 수 없습니다. 새 결과가 매번 새로 맞춤 제작된 다중 인공지능 체계에서 나오면, 인간 과학자들 사이에서 자연스럽게 이뤄지는 점수 매기기 방식으로 성과를 꾸준히 추적하기 어렵습니다. 과학 지식 생산은 걸고 있는 것이 있는 지식 주체들에게 달려 있습니다. 잘못된 주장을 하면 과학자의 사회적 지위가 바뀌고, 이것이 개인에 대한 신뢰를 적절히 유지하는 방식입니다. 지속성이 부족한 인공지능이 자기 주장을 철회할 때 어떤 손실을 입는지는 분명하지 않습니다. 이런 한계를 넘으려면 인공지능을 개발하는 방식이 크게 바뀌어야 합니다. 매 대화에서 최대한 도움을 주는 것을 넘어, 모든 대화에 걸쳐 책임을 지도록 만들어야 합니다. 가능할 수 있습니다. 그러나 인간의 관점에서 의미 있는 과학을 이어 가기에는 책임지는 인공지능만으로 충분하지 않다고 글쓴이는 봅니다. 주장에 책임질 인공지능을 만드는 데 성공해도 그것은 책임이 요구하는 것의 절반입니다. 증거를 요구하고 가정을 질문하며 답변이 회피적일 때 알아차릴 다른 주체들도 필요합니다. 다른 사람의 주장을 지지하는 일은 우리가 그 주장을 얼마나 깊이 파고들 수 있는지에 비례해 가치가 커집니다. 이런 능력은 써서 기릅니다. 문제를 고르고, 자기 연구를 옹호하고, 논문을 검토하고, 다른 사람의 결과를 비판하는 일을 통해 키웁니다. 쓰지 않으면 잃습니다. 아무도 인공지능 답변이 얼마나 좋은지 판단할 수 없다면, 완벽하게 책임지는 인공지능에서 무엇을 얻을지 분명하지 않습니다. 이론상으로는 진리를 추구할 수 있어도 실제로 그럴 수 있는 사람이 없는 셈입니다. 서스턴의 수학적 성공 개념은 한 분야의 지식을 캐묻고 넓히고 고치는 공유된 능력을 가리킵니다. 그가 말했듯이 그 분야 사람들이 그 아이디어가 작동한다고 편안히 느끼면 공식적인 문서 출처가 없어도 됩니다. 검증은 결과가 기술적으로 맞는지 알려 줄 수 있지만, 그것을 지식으로 바꾸는 것은 그 주장을 뒷받침할 준비가 된 사람들의 공동체뿐입니다. 옳음만이 전부라고 규정하는 가치 중립적 이상에 계속 기대면, 답을 우선하는 도구만 계속 만들 뿐 그 답을 의미 있게 만드는 사람들의 진리 추구와 이해를 소홀히 하게 됩니다.
4. 나에게 어떤 영향이 있나요?
일상에서는 새로운 건강 정보나 첨단 기술 사용법을 받아들일 때 '효과가 있다'는 검증된 결과만 믿기보다 '왜 효과가 있는지', '어떤 원리로 작동하는지'를 함께 확인하는 태도가 중요해집니다. 개발자나 연구자라면 인공지능이 낸 결과를 그대로 받아들이기보다 어떤 전제와 과정을 거쳐 나왔는지 비판적으로 살피고, 그 지식을 바탕으로 더 깊은 통찰을 끌어내려는 노력이 필요합니다. 인공지능 결과가 기술적으로 완벽해도 그것을 이해하고 책임질 사람의 역할은 여전히 남습니다. 다만 인공지능이 스스로 책임지는 주체가 될 수 있을지, 그렇게 될 경우 사람의 판단 능력을 어떻게 지킬지는 아직 확실하지 않습니다.