민틀리파이, RAG 대신 가상 파일시스템으로 AI 문서 어시스턴트 혁신...46초→100밀리초 성능 개선, 연간 7만달러 비용 절감

[한국정보기술신문] 문서화 자동화 플랫폼 민틀리파이(Mintlify)가 AI 문서 어시스턴트에서 기존의 검색 증강 생성(RAG) 방식을 완전히 대체하는 혁신적인 가상 파일시스템 'ChromaFs'를 개발했다고 4일 발표했다. 이 새로운 아키텍처는 기존 대비 460배의 성능 향상과 대규모 비용 절감을 동시에 달성한 것으로 확인됐다.

민틀리파이가 RAG를 포기한 배경에는 기술적 한계가 있었다. 기존 RAG 시스템은 특정 쿼리와 일치하는 텍스트 청크만 검색할 수 있어, 답변이 여러 페이지에 걸쳐 있거나 상위 K개 결과에 나타나지 않는 정확한 구문이 필요할 때 실패했다.

민틀리파이 개발팀은 "에이전트들이 파일시스템을 주요 인터페이스로 수렴하고 있다"며 "기본적인 Unix 명령어인 grep, cat, ls, find가 필요한 모든 기능을 제공한다"고 설명했다. 이러한 관찰을 바탕으로 실제 샌드박스 대신 Unix 명령어를 데이터베이스 쿼리로 변환하는 가상 파일시스템을 고안했다.

ChromaFs는 기존 Chroma 벡터 데이터베이스를 활용해 Unix 명령어를 가로채고 이를 데이터베이스 쿼리로 변환하는 독창적 구조다. 시스템 초기화 시점에 gzip 압축된 JSON 문서 형태로 저장된 전체 파일 구조가 두 개의 메모리 내 자료구조로 전개된다.

디렉토리 트리 부트스트랩 과정에서는 파일 경로의 Set과 디렉토리를 자식 요소들과 연결하는 Map이 구성된다. 각 경로 트리 항목에는 'isPublic'과 'groups' 필드가 포함되어 사용자 세션 토큰 기반으로 파일 트리 구축 전에 권한이 없는 파일들을 제거한다.

문서 파일에 대해 cat 명령이 실행되면 ChromaFs는 일치하는 페이지 슬러그를 가진 모든 청크를 가져와 청크 인덱스별로 정렬한 후 완전한 페이지로 재조립한다. 중복 데이터베이스 호출을 방지하기 위해 결과는 캐싱된다.

재귀적 grep 검색에서는 2단계 필터링 방식을 채택했다. Chroma가 일치 가능성이 있는 파일들을 식별하는 초기 필터링을 수행하고, 이 결과는 Redis에 캐싱된다. 이후 명령은 이러한 후보들에 대해서만 세밀한 메모리 내 정규식 매칭을 실행한다.

이러한 최적화를 통해 기존 디스크 전체를 선형 스캔하는 방식 대신 데이터베이스 메타데이터 쿼리를 활용해 검색 성능을 극적으로 향상시켰다.

새로운 시스템은 기존 샌드박스 방식 대비 혁신적인 성능 개선을 보여줬다. P90 부팅 시간이 약 46초에서 약 100밀리초로 단축되어 460배의 성능 향상을 달성했다. 대화당 한계 컴퓨팅 비용도 약 0.0137달러에서 거의 0달러로 감소했다.

월 85만 건의 대화를 처리하는 환경에서 전용 마이크로 VM이 필요했던 기존 샌드박싱 방식을 피함으로써 연간 약 7만 달러의 컴퓨팅 비용을 절감했다. 기존 검색 기능을 지원하던 인프라를 재활용함으로써 새로운 운영 복잡성이나 보안 공격 표면을 추가하지 않고 즉시 세션 생성이 가능해졌다.

ChromaFs는 버셀 랩스(Vercel Labs)의 'just-bash'를 기반으로 구축됐다. 이는 플러그인 가능한 IFileSystem 인터페이스를 제공하는 TypeScript 기반 bash 구현체다. 민틀리파이는 이를 통해 명령 파싱과 파이핑 로직을 처리하면서 파일시스템 작업을 데이터베이스 쿼리로 변환할 수 있었다.

시스템은 읽기 전용 특성을 유지해 상태가 없는 작업을 보장하며, 세션 정리 요구사항이 전혀 없다. 이러한 설계는 시스템의 안정성과 확장성을 크게 향상시켰다.

현재 ChromaFs는 일일 3만 건 이상의 대화를 처리하며 수십만 사용자의 문서 지원을 담당하고 있다. 민틀리파이는 "에이전트 기반 AI 시스템의 새로운 패러다임을 제시했다"며 "기존 RAG의 한계를 근본적으로 해결하는 동시에 경제적 효율성도 크게 개선했다"고 강조했다.

업계 전문가들은 이번 혁신이 AI 어시스턴트 개발에 새로운 방향을 제시할 것으로 전망하고 있다. 특히 대화형 AI에서 파일시스템 인터페이스의 활용 가능성이 재조명받고 있으며, 다른 플랫폼들도 유사한 접근법을 검토하기 시작한 것으로 알려졌다.