클라우드플레어, AI 에이전트 위한 마크다운 변환 기능 출시...토큰 사용량 80% 절감

콘텐츠 협상 헤더 통해 HTML 자동 변환, Pro 이상 플랜서 무료 제공

[한국정보기술신문] 글로벌 웹 인프라 및 보안 기업 클라우드플레어가 2월 12일 AI 에이전트와 크롤러를 위한 마크다운 자동 변환 기능인 마크다운 포 에이전츠를 발표했다. 이 기능은 HTML 페이지를 마크다운 형식으로 실시간 변환하여 AI 시스템의 토큰 사용량을 최대 80% 절감할 수 있다.

온라인 콘텐츠 발견 방식이 전통적인 검색 엔진에서 AI 크롤러와 에이전트로 빠르게 전환되고 있는 가운데, 클라우드플레어는 사람을 위해 구축된 웹에서 AI 시스템이 필요로 하는 구조화된 데이터를 효율적으로 제공하는 솔루션을 내놓았다. 클라우드플레어의 셀소 마르티뇨와 윌 앨런은 블로그를 통해 기업들이 이제 사람 방문자뿐만 아니라 AI 에이전트를 일급 시민으로 대우해야 할 시점이라고 강조했다.

마크다운이 중요한 이유

마크다운은 AI 시스템과 에이전트에게 사실상 표준 언어로 자리잡았다. 이 형식의 명확한 구조는 AI 처리에 이상적이며, 궁극적으로 토큰 낭비를 최소화하면서 더 나은 결과를 제공한다. 예를 들어 간단한 제목 하나만 비교해도, 마크다운에서는 약 3개의 토큰이 필요한 반면 HTML에서는 클래스와 아이디가 포함된 태그로 인해 12개에서 15개의 토큰이 소모된다.

클라우드플레어의 분석에 따르면, 일반적인 블로그 포스트는 HTML 형태로 1만6180개의 토큰을 사용하는 반면, 마크다운으로 변환하면 3150개의 토큰으로 줄어들어 80%의 절감 효과를 보인다. 웹이 HTML로 구성되어 있고 페이지 용량이 수년간 꾸준히 증가해온 상황에서, AI 에이전트들은 모든 비필수 요소를 걸러내고 관련 콘텐츠만 스캔해야 하는 어려움을 겪고 있다.

실시간 자동 변환 기술

클라우드플레어 네트워크는 이제 활성화된 영역에 대해 소스에서 실시간 콘텐츠 변환을 지원한다. AI 시스템이 클라우드플레어를 사용하고 마크다운 포 에이전츠가 활성화된 웹사이트의 페이지를 요청할 때, 요청에 텍스트 마크다운 선호도를 표현할 수 있다. 그러면 네트워크가 가능한 경우 즉시 HTML을 마크다운으로 변환한다.

작동 방식은 간단하다. 마크다운 포 에이전츠가 활성화된 영역에서 페이지의 마크다운 버전을 가져오려면, 클라이언트는 옵션 중 하나로 텍스트 마크다운을 포함하는 억셉트 협상 헤더를 추가해야 한다. 클라우드플레어가 이를 감지하면, 원본에서 원래 HTML 버전을 가져와 클라이언트에 제공하기 전에 마크다운으로 변환한다.

클라우드 코드와 오픈코드 같은 일부 인기 있는 코딩 에이전트들은 이미 콘텐츠 요청 시 이러한 억셉트 헤더를 전송하고 있다. 변환된 응답에는 마크다운 문서의 예상 토큰 수를 나타내는 엑스-마크다운-토큰스 헤더가 포함되어, 개발자들이 컨텍스트 윈도우 크기를 계산하거나 청킹 전략을 결정하는 데 활용할 수 있다.

콘텐츠 시그널 정책과 활용

마크다운 포 에이전츠 변환 응답에는 콘텐츠가 AI 학습, 검색 결과 및 에이전트 사용을 포함한 AI 입력에 사용될 수 있음을 나타내는 콘텐츠-시그널 헤더가 포함된다. 이는 클라우드플레어가 지난 버스데이 위크에 발표한 콘텐츠 시그널 프레임워크의 일부로, 누구나 콘텐츠가 접근된 후 어떻게 사용될 수 있는지에 대한 선호도를 표현할 수 있게 한다.

클라우드플레어는 개발자 문서와 블로그에서 이 기능을 활성화하여, 모든 AI 크롤러와 에이전트가 HTML 대신 마크다운을 사용하여 콘텐츠를 소비하도록 초대했다. 마크다운 포 에이전츠가 콘텐츠 소스에서 사용할 수 없거나 클라우드플레어 외부에서 임의 문서 변환이 필요한 경우, 워커스 AI의 AI.toMarkdown 기능이나 브라우저 렌더링 REST API를 통한 대안도 제공한다.

마크다운 사용 추적 및 향후 계획

AI 시스템이 웹을 탐색하는 방식의 변화를 예측하여, 클라우드플레어 레이더는 이제 AI 봇 및 크롤러 트래픽에 대한 콘텐츠 타입 인사이트를 포함한다. 새로운 콘텐츠 타입 차원과 필터는 AI 에이전트와 크롤러에 반환되는 콘텐츠 타입의 분포를 MIME 타입 카테고리별로 그룹화하여 보여준다. 이를 통해 AI 봇, 크롤러, 에이전트가 시간이 지남에 따라 웹 콘텐츠를 소비하는 방식의 진화를 추적할 수 있다.

이 기능은 현재 Pro, Business, Enterprise 플랜 및 SSL for SaaS 고객을 대상으로 베타 버전으로 무료 제공된다. 활성화하려면 클라우드플레어 대시보드에 로그인하여 계정과 영역을 선택한 후, 퀵 액션에서 마크다운 포 에이전츠 버튼을 토글하면 된다. 클라우드플레어는 AI 크롤러와 에이전트가 진화하는 웹의 비구조화된 특성을 어떻게 탐색하고 적응하는지 지켜보며, 이 기능을 계속 개선할 계획이다.

한국정보기술신문 클라우드분과 양인석 기자 news@kitpa.org