AWS VPC 설정 오류로 하루 만에 100만원 비용 발생...무료인 줄 알았던 S3 전송의 함정

미국 지오코딩 서비스 업체, NAT 게이트웨이 경유로 데이터 전송 비용 급증

[한국정보기술신문] 미국의 지오코딩 서비스 제공업체 지오코디오(Geocodio)가 AWS 클라우드 서비스 사용 중 VPC 엔드포인트 설정 누락으로 인해 단 며칠 만에 1000달러(약 130만원) 이상의 예상치 못한 비용이 발생하는 사고를 겪었다고 18일 공식 블로그를 통해 밝혔다.

지오코디오는 최근 대용량 지리 데이터셋을 S3에 미러링하는 작업을 시작했다. 주소 포인트, 경계 데이터, 인구조사 정보 등 수 기가바이트에서 수백 기가바이트에 이르는 데이터를 헤츠너에 호스팅된 ETL 플랫폼에서 AWS의 처리 인프라로 정기적으로 동기화하는 과정이었다.

회사 측은 프로젝트 시작 전 AWS의 비용 구조를 면밀히 조사했다고 밝혔다. EC2에서 S3로의 데이터 전송이 무료라는 점을 확인했고, AWS의 높은 데이터 전송 비용을 피할 수 있다고 판단했다. AWS는 대부분 리전에서 인터넷으로의 데이터 전송에 GB당 0.09달러를 부과하며, 이는 업계에서 지속적으로 지적받는 문제다.

하루 20TB 전송으로 900달러 청구

그러나 새로운 S3 동기화 프로세스를 배포한 지 며칠 후, 회사는 AWS 비용 이상 감지(Cost Anomaly Detection) 서비스로부터 경고를 받았다. 단 하루 동안 NAT 게이트웨이를 통해 20,167.32GB의 데이터가 전송됐으며, 이로 인해 907.53달러의 비용이 발생했다. 월 누적 금액은 이미 1000달러를 넘어선 상태였다.

문제의 원인은 VPC 네트워킹 구조에 있었다. 대부분의 프로덕션 AWS 환경에서 사용하는 NAT 게이트웨이를 통한 VPC 구성에서는 S3 전송이 기본적으로 NAT 게이트웨이를 경유한다. 같은 리전 내 AWS 서비스에 요청하는 경우에도 트래픽이 NAT 게이트웨이를 통해 나갔다가 다시 들어오는 방식으로 라우팅되며, 이 과정에서 GB당 0.045달러의 데이터 전송 비용이 부과된다.

VPC 게이트웨이 엔드포인트로 해결

해결책은 S3용 VPC 엔드포인트, 특히 AWS가 게이트웨이 엔드포인트(Gateway Endpoint)라고 부르는 기능이었다. 게이트웨이 엔드포인트는 NAT 게이트웨이나 인터넷 게이트웨이를 거치지 않고 S3로 트래픽을 직접 라우팅할 수 있는 특수한 유형의 VPC 엔드포인트다. VPC에서 S3로 연결되는 직접 파이프와 같은 역할을 한다.

더욱 중요한 점은 S3용 게이트웨이 엔드포인트가 완전히 무료라는 것이다. 시간당 요금도, 데이터 전송 요금도 없다. 지오코디오는 인프라를 테라폼(Terraform)으로 관리하고 있어 게이트웨이 엔드포인트 리소스를 추가하고 라우팅 테이블에 연결하는 것만으로 문제를 해결할 수 있었다.

회사는 2007년부터 AWS를 사용해온 경험이 있음에도 VPC 엔드포인트가 지식의 빈틈으로 남아있었다고 설명했다. AWS의 네트워킹은 복잡하며, 비용을 확인했다고 생각해도 구성 계층에 따라 청구서가 크게 달라질 수 있다는 교훈을 얻었다고 밝혔다.

클라우드 비용 관리의 중요성

지오코디오는 이번 사례를 통해 몇 가지 교훈을 공유했다. 먼저 AWS 비용 이상 감지 기능을 설정할 것을 권장했다. 이 기능이 며칠 만에 문제를 포착해 더 큰 비용 발생을 막았다고 강조했다.

또한 NAT 게이트웨이가 있는 VPC의 EC2 인스턴스에서 S3나 DynamoDB를 사용하는 경우 게이트웨이 엔드포인트를 반드시 설정해야 한다고 조언했다. 이 엔드포인트는 무료이면서 성능도 향상시킨다.

회사 측은 가정을 항상 검증해야 한다고 강조했다. EC2에서 S3로의 전송이 무료라는 것만으로는 충분하지 않았으며, 테라바이트 규모로 확장하기 전에 소량의 데이터로 테스트하고 비용을 모니터링했어야 한다고 반성했다.

이 사례는 업계에서 드문 일이 아니다. 지난해 리콜AI는 예상치 못한 AWS 웹소켓 데이터 처리 비용으로 연간 100만 달러를 지불하고 있다는 사실을 발견했다. 경험이 풍부한 팀도 이런 예상치 못한 비용 문제에 직면할 수 있다는 것을 보여준다.

지오코디오는 이후 S3와 통신하는 모든 VPC에 게이트웨이 엔드포인트가 구성됐는지 전체 AWS 인프라를 감사했다고 밝혔다. AWS를 사용하면서 VPC 엔드포인트 구성을 최근에 확인하지 않았다면 점검해볼 것을 권장했다.

한국정보기술신문 클라우드분과 유민건 기자 news@kitpa.org