AI가 코드를 쓸 때, 누가 제대로 작동함을 증명하나?
1. 이게 뭔가요?
이 글은 AI가 코드를 대신 작성하는 시대에 그 코드가 의도대로 작동하는지 어떻게 확신할 수 있는지를 다룹니다. 이를 위해 형식 검증(formal verification)과 그 도구인 Lean(린)을 소개합니다. Lean은 수학 정리나 프로그램의 성질을 기계가 검사할 수 있는 증명으로 작성하게 해주는 프로그래밍 언어이자 증명 도우미입니다. 글의 중심 인물인 레오 드 모우라는 Lean을 만든 사람으로, AWS의 부사장 겸 저명한 과학자이며 Lean Focused Research Organization의 수석 설계자입니다.
2. 왜 화제인가요?
기존에는 사람이 코드를 검토하고 테스트하는 방식이 일반적이었습니다. 테스트는 버그가 있다는 것을 보여줄 뿐, 버그가 없다는 것을 증명하지는 못합니다. 형식 검증은 모든 가능한 입력에 대해 프로그램이 원하는 성질을 만족한다는 것을 수학적으로 증명할 수 있지만, 사람이 손으로 증명하는 데 시간이 너무 많이 들어 널리 쓰이지 못했습니다. 그런데 AI가 Lean 코드를 작성하고 증명하는 능력이 크게 향상되면서 이 비용이 극적으로 줄어들 조짐이 보입니다.
3. 핵심 내용
형식 검증은 코드가 가져야 할 성질을 먼저 적고, 그 성질을 만족한다는 기계 검증 가능한 증명을 작성하는 방식입니다. Lean으로 증명된 결과를 믿으려면 증명을 검사하는 핵심 부분인 커널만 신뢰하면 되고, 현재 검증된 커널 두 개가 있으며 세 번째가 곧 나올 예정입니다. 커널은 Rust, C#, 하스켈, 심지어 TeX나 COBOL, 포트란으로도 구현될 수 있어 여러 독립 구현을 교차 확인할 수 있습니다. AI는 어떤 언어로 작성된 코드든 Lean 모델로 옮길 수 있게 됐는데, 이를 자동 형식화(autoformalization)라고 합니다. 사람들이 만든 수학 라이브러리 Mathlib은 250만 줄인데 10년이 걸렸지만, AI가 쓴 증명은 5천만 줄에 달하고 Anthropic이 작성한 페르마의 마지막 정리 증명은 1,300만 줄입니다. 김 모리슨은 압축 라이브러리 zlib을 Lean으로 옮겨 압축 후 해제하면 원본이 그대로 돌아온다는 성질을 증명했고, 마이크로소프트의 SymCrypt 팀은 Aeneas 도구로 Rust 암호화 라이브러리를 검증합니다. Claude Code 개발자 보리스는 Lean을 전혀 모르면서도 Claude에게 Lean으로 자기 코드의 버그를 찾게 해 실제 버그를 고쳤습니다. 다만 AI가 만든 모델이 원래 코드와 정확히 일치하는지는 별도 문제이며, 차분 테스트로 둘을 실행해 결과를 비교합니다. 나비에-스토크스 방정식 증명에서는 자연어 증명과 Lean 증명 사이에 도함수 가정 수준의 불일치가 있었는데, 자연어와 Lean을 함께 정렬해 보여주는 Verso Blueprint 같은 도구를 쓰면 이런 불일치를 줄일 수 있습니다. 증명은 고정된 결과물이 아니라 코드처럼 다듬고 단순화할 수 있습니다. 테스트와 형식 검증은 대립이 아니라 보완 관계로, 테스트로 확신을 쌓은 뒤 모든 입력에 대해 증명하는 순서가 좋습니다. 형식 검증이 보편화되면 개발자의 일은 코드 작성보다 요구사항과 명세를 정확히 정의하는 쪽으로 옮겨가고, '내 코드는 검증됐다'는 주장을 평가하려면 어떤 성질을 어떤 명세에 대고 어떤 커널로 검증했는지, 신뢰하는 코드 기반이 얼마나 큰지를 물어야 합니다. 에이전트 시대에는 신뢰할 수 있는 격리 환경(샌드박스)과 행동 정책을 강제하는 코드의 검증이 중요해지며, AWS의 AgentCore와 Dogwood도 Lean을 사용합니다. 수학에서는 2024년 테렌스 타오가 프로젝트를 잘게 나눠 여러 사람이 빈틈을 메우는 방식으로 협업했고, 물리학에서는 중요한 논문의 오류를 형식화 과정에서 발견한 첫 성과가 있었습니다. Mathlib이 가장 앞서 있고 물리학과 컴퓨터과학 라이브러리가 뒤따르며, 금융·화학·생물학에서도 시도가 진행 중입니다. 회계는 판단이 개입되고 법은 의견 차이가 소송의 이유라 형식화가 어렵지만, 민사 소송 절차처럼 정형화된 부분은 프로그램처럼 형식화할 수 있습니다.
4. 나에게 어떤 영향이 있나요?
당장 일상에서 큰 변화를 체감하기는 어려울 수 있습니다. 하지만 금융 거래, 자동차 제어, 의료 기기처럼 작은 버그도 큰 문제를 일으키는 분야에서는 형식 검증이 보편화될수록 더 안전한 소프트웨어를 기대할 수 있습니다. 개발자에게는 코드를 직접 짜는 능력보다 무엇을 원하는지 정확히 정의하는 능력과 AI가 만든 코드·모델을 검증하는 도구를 다루는 능력이 새로운 경쟁력이 될 수 있습니다. 다만 형식 검증이 모든 소프트웨어에 즉시 적용되지는 않으며, 요구사항을 사람이 정확히 정의해야 하고 AI가 만든 모델이 원래 코드와 일치하는지 확인해야 하는 과제가 남습니다. 레오 드 모우라는 이런 변화가 수학자와 개발자 사이에 기대와 불안을 함께 낳고 있다고 전하며, 직업의 형태는 달라져도 개발자와 수학자는 계속 존재할 것이라고 말합니다.