자바 Base64 디코더서 원격 코드 실행 취약점 '자바포셸' 공개...CVSS 9.2 '치명적' 등급
보안기업 칼리프, OpenJDK 힙 메모리 손상 취약점 공개하고 즉시 업데이트 권고
[한국정보기술신문] 미국 보안 연구기업 칼리프(Calif.io)가 자바 실행 환경인 OpenJDK의 Base64 디코더에서 원격 코드 실행으로 이어질 수 있는 치명적 취약점 '자바포셸(Java4Shell)'을 공개했다. 취약점 번호는 CVE-2026-114938이며, 공통 취약점 등급 체계(CVSS) 4.0 기준 10점 만점에 9.2점으로 '치명적(Critical)' 등급을 받았다. 이번 취약점은 미국 태평양 시간 기준 11월 17일 오후 1시, OpenJDK 보안 권고 및 오라클 패치와 함께 공개됐다. 칼리프는 모든 자바 사용자에게 즉시 업데이트할 것을 권고했다.

AVX-512 가속 기능이 만든 힙 메모리 손상
칼리프에 따르면 취약점은 OpenJDK의 핫스팟(HotSpot) 가상머신이 x86-64 프로세서에서 Base64 디코딩을 빠르게 처리하기 위해 사용하는 '인트린직(intrinsic)' 코드에서 발생한다. 인트린직은 자주 쓰이는 기능을 CPU 전용 명령어로 직접 구현해 성능을 높이는 최적화 기법으로, 해당 코드는 인텔과 AMD 프로세서의 AVX-512 VBMI 명령어를 사용한다.
문제는 패딩 문자(=)가 포함된 특정 형태의 잘못된 입력을 처리할 때 나타난다. 출력 길이가 음수로 계산되면서, 할당된 배열 바깥의 힙 메모리 영역에 값을 쓰는 '범위 밖 쓰기(out-of-bounds write)'가 일어난다. 공격자는 별도의 인증 정보 없이 원격에서 조작된 Base64 데이터를 보내는 것만으로 이 오류를 일으킬 수 있다.
칼리프는 이 쓰기 오류를 이용하면 2014년 큰 피해를 낳았던 하트블리드(Heartbleed)와 유사한 방식으로 힙 메모리 정보를 빼낼 수 있고, 나아가 원격 코드 실행까지 가능하다고 설명했다. 공격은 힙의 인접 객체를 덮어써 배열 길이 값을 조작하고, 이를 통해 메모리 내용을 읽은 뒤 힙 배치를 조작해 코드 실행으로 연결하는 단계로 이뤄진다.
지라·젠킨스·키클록 등 주요 솔루션서 시연
영향 범위는 넓다. OpenJDK뿐 아니라 이를 기반으로 한 아마존 코레토, 이클립스 테무린, 마이크로소프트 빌드 오브 OpenJDK, 아줄 줄루, 벨소프트 리베리카, SAP 사프머신, 레드햇 OpenJDK, 오라클 자바 SE, 오라클 그랄VM 등 주요 배포판이 모두 해당된다. 오라클 자바 SE의 경우 8u511b33-perf, 17.0.21.0.3, 21.0.13.0.3, 25.0.5.0.3, 27.0.1.0.3 버전이 취약 버전으로 제시됐다.
칼리프는 테스트 과정에서 실제 기업용 소프트웨어를 대상으로 원격 코드 실행을 시연했다. 로그인 이전 단계에서 공격이 가능한 제품으로는 키클록(Keycloak), 아틀라시안 지라와 컨플루언스, 제이프로그 아티팩토리, 젠킨스, 핑페더레이트가 꼽혔다. 로그인 이후 단계에서는 아파치 카프카 브로커, 아파치 솔라, 엘라스틱서치, 게릿, 스피너커에서 공격이 성공했다. 아파치 스트럿츠와 스프링 부트 기반 샘플 애플리케이션에서도 같은 결과가 나왔다. 서버뿐 아니라 TLS 연결을 여는 자바 클라이언트 프로그램도 악성 서버에 의해 침해될 수 있다고 칼리프는 밝혔다.
다만 공격에는 하드웨어 조건이 따른다. AVX-512 VBMI를 지원하는 x86-64 프로세서에서만 취약점이 발현되며, ARM64 환경은 영향을 받지 않는다. 해당 프로세서는 인텔 제온 아이스레이크, 사파이어래피즈, 에메랄드래피즈, 그래나이트래피즈 세대와 AMD 에픽 및 라이젠 젠4 이후 세대로, 현재 데이터센터와 클라우드에서 널리 쓰이는 서버 프로세서 상당수가 포함된다. 칼리프는 대상 애플리케이션마다 별도의 공격 체인이 필요해 범용 익스플로잇은 없으며, 공격 성공률이 네트워크 지연과 지터에 영향을 받는다고 덧붙였다. 제품별 공격 코드는 사용자 업데이트가 충분히 이뤄질 때까지 공개하지 않을 방침이다.
즉시 패치가 원칙, 불가능하면 JVM 옵션으로 완화
칼리프는 가장 확실한 대응책으로 OpenJDK 보안 권고와 오라클 패치에 따른 즉시 업데이트를 제시했다. 당장 업데이트가 어려운 x86-64 서버에서는 JVM 실행 옵션에 '-XX:-UseBASE64Intrinsics'를 추가해 하드웨어 가속 Base64 처리를 끄거나, '-XX:UseAVX=2'로 AVX-512 사용을 막는 임시 완화책을 쓸 수 있다. 단, 후자의 옵션은 ARM 환경에서 인식되지 않아 JVM이 시작되지 않으므로 x86-64 호스트에만 적용해야 한다.
리눅스 서버의 경우 /proc/cpuinfo 파일에 avx512f, avx512bw, avx512vbmi, bmi2 플래그가 모두 표시되면 취약점이 발현될 수 있는 하드웨어로 판단할 수 있다.
AI로 1시간 만에 발견, 비용은 200달러 미만
이번 연구는 인공지능 도구가 취약점 연구에 본격적으로 활용된 사례로도 주목받는다. 칼리프는 코덱스(Codex) 등 AI 도구를 취약점 탐색과 익스플로잇 개발에 활용했으며, 취약점 발견에 약 1시간, 첫 익스플로잇 작성에 추가로 2시간이 걸렸다고 밝혔다. 사용된 AI 토큰 비용은 200달러 미만이었다. 칼리프는 사람과 AI가 결합한 형태의 해커를 신화 속 반인반마에 빗대 '켄타우로스 해커'라고 불렀다.
칼리프는 대부분의 애플리케이션에 필요하지 않은 자바 최적화 기능 하나가 전체 사용자의 보안 위험이 됐다는 점을 지적했다. 이에 따라 쓰지 않는 기능과 코드를 걷어내 공격 표면을 줄여야 한다며 "What can we delete?(무엇을 지울 수 있는가?)"라는 질문을 보안의 출발점으로 제시했다.
국내에서도 공공기관과 금융권, 대기업 상당수가 자바 기반 업무 시스템과 지라, 젠킨스 같은 협업·개발 도구를 운영하고 있다. 보안 담당자들은 사용 중인 JDK 배포판과 서버 프로세서 사양을 점검하고, 패치 적용 일정을 서두를 필요가 있다.
한국정보기술신문 정보보안분과 오상진 기자 news@kitpa.org











