Java4Shell: Base64 처리 시 OpenJDK의 원격 코드 실행 취약점

Java4Shell은 특정 버전의 OpenJDK(자바 프로그램을 실행하는 무료 소프트웨어)에서 발견된 심각한 보안 취약점입니다. 이 취약점은 데이터를 안전하게 전달하기 위해 글자를 다른 형태로 변환하는 방식인 Base64 데이터를 처리할 때 발생합니다. 구체적으로 컴퓨터가 데이터를 임시로 저장하는 공간인 메모리(힙 메모리)에 원래 할당된 범위를 벗어나 값을 덮어쓰는 '경계 초과 쓰기' 현상이 발생합니다. 이 취약점은 자바 가상 머신(JVM)의 최적화된 기능 중 하나인 x86-64 Base64 내장 기능에서 비롯되었습니다. 이 내장 기능은 하드웨어의 특정 기능을 활용해 데이터를 매우 빠르게 처리하도록 설계된 코드 조각인데, 입력 데이터의 길이와 끝에 붙는 패딩(Base64 문자열 끝의 '=' 기호)을 계산하는 과정에서 논리적 오류가 생기면서 메모리 범위를 초과하여 데이터를 덮어쓰게 됩니다. 예를 들어, 특정 입력 데이터를 해독할 때 50바이트만 저장 공간이 주어졌는데 64바이트가 48번째 위치부터 계속 쓰여 버퍼의 끝을 넘어서는 상황이 생깁니다. OpenJDK 17 환경에서는 'A' 문자 128개와 '=' 하나가 이 취약점을 일으키는 입력으로 확인되었습니다.

자바는 전 세계 수많은 서버와 웹 서비스의 기반이 되기 때문에, 이 취약점을 이용하면 공격자가 원격에서 서버의 코드를 실행할 수 있는 심각한 보안 위협이 됩니다. 공격자는 이 경계 초과 쓰기를 이용해 메모리 버퍼의 길이를 조작하고, 이를 통해 원하는 값을 연속으로 쓸 수 있는 도구('라이터')를 만듭니다. 이후 다른 메모리 영역의 길이를 조작해 메모리 내용을 읽어내는 도구('리더')를 구축할 수 있습니다. 이 과정을 통해 자바 힙 메모리에 저장된 개인 식별 정보(PII), 비밀 키, 인증 토큰 같은 민감한 정보를 훔쳐볼 수 있으며, 궁극적으로는 제한된 쓰기 권한을 코드 실행이 가능한 메모리 영역까지 확장해 완전한 원격 코드 실행을 달성합니다. 다만, 이 공격이 성공하려면 대상 서버가 x86-64 프로세서에 AVX-512 VBMI라는 특정 하드웨어 기능과 더불어 Base64 데이터를 처리하는 특정 경로를 가지고 있어야 합니다. ARM64 칩을 사용하는 환경은 이 취약점의 영향을 받지 않습니다.

이 취약점은 OpenJDK HotSpot의 x86-64 Base64 내장 기능에서 발생하며, 입력 데이터의 길이 계산 오류로 메모리 경계를 벗어나는 쓰기 오류가 생깁니다. 공격자는 이 오류를 이용해 메모리 버퍼의 길이를 조작하는 '라이터'를 만들고, 이 라이터를 이용해 원하는 값을 메모리에 덮어씁니다. 이어서 다른 배열의 길이를 망가뜨려 메모리 내용을 읽어내는 '리더'를 만들어 자바 힙에 있는 민감한 데이터를 빼냅니다. 이후 메모리 객체를 복구하며 JVM을 계속 작동시키고, 이 제한된 쓰기 권한을 코드 실행이 가능한 영역까지 넓혀 최종적으로 원격 코드 실행을 완성합니다. 이 공격은 모든 자바 기반 서비스에 적용되는 만능 공격이 아니며, 각 애플리케이션 구조에 맞춰 맞춤형 공격 설계를 해야 합니다. 취약점은 OpenJDK 17.0.6 이상에 영향을 주며, Amazon Corretto, Eclipse Temurin, Microsoft Build of OpenJDK, Azul Zulu, BellSoft Liberica, SAP SapMachine, Red Hat OpenJDK, Oracle OpenJDK, Oracle Java SE, Oracle GraalVM for JDK 등 여러 배포판이 취약합니다. 오라클은 특정 버전(예: 8u511b33-perf, 17.0.21.0.3)이 취약하다고 밝혔습니다. 하드웨어로는 인텔 Xeon의 Ice Lake, Sapphire Rapids, Emerald Rapids, Granite Rapids와 AMD EPYC 및 Ryzen의 Zen 4 이상 CPU가 필요하며, 리눅스 환경에서는 avx512f, avx512bw, avx512vbmi, bmi2 네 가지 CPU 플래그가 모두 있어야 취약점이 존재합니다. 오라클은 2026년 11월 17일 오후 1시(PT)에 패치를 배포했습니다. 연구팀은 개별 제품에 맞는 구체적인 공격 코드는 모든 사용자가 업데이트할 기회를 가질 때까지 공개하지 않겠다고 밝혔습니다.

일반 사용자는 자바 기반 서버를 쓰는 웹사이트나 앱을 이용할 때 이 취약점의 잠재적 영향을 받을 수 있습니다. 하지만 공격이 성공하려면 서버가 특정 하드웨어(x86-64 프로세서에 AVX-512 VBMI 지원)를 갖추고 악성 Base64 데이터를 처리하는 경로가 있어야 합니다. 가장 확실하고 중요한 대응책은 사용 중인 자바 소프트웨어를 즉시 최신 보안 패치 버전으로 업데이트하는 것입니다. 만약 바로 업데이트가 어렵다면, OpenJDK를 실행할 때 하드웨어 가속 Base64 기능을 끄는 옵션인 '-XX:-UseBASE64Intrinsics' 플래그를 쓰거나, x86-64 환경에서 '-XX:UseAVX=2' 플래그를 써서 AVX-512 사용을 막을 수 있습니다. 다만, ARM 기반 컴퓨터에서는 이 플래그를 쓰면 자바가 시작되지 않으니 주의해야 합니다. 이 취약점은 서버 관리자가 즉시 조치해야 할 심각한 보안 문제이며, 모든 자바 사용자는 최신 버전을 유지해야 합니다.