앤트로픽, "효과적인 AI 에이전트 구축법" 가이드라인 공개

단순하고 조합 가능한 패턴이 복잡한 프레임워크보다 성공적... 워크플로우와 에이전트 구분 강조

[한국정보기술신문] 대화형 인공지능 개발 기업 앤트로픽(Anthropic)이 20일 효과적인 AI 에이전트 구축을 위한 포괄적인 가이드라인을 발표했다고 밝혔다. 이번 가이드는 다양한 산업 분야에서 LLM(대규모 언어모델) 에이전트를 개발하는 팀들과의 협업 경험을 바탕으로 작성됐다.

성공 사례의 공통점은 '단순함'

앤트로픽의 연구진은 지난 1년간 여러 산업에서 LLM 기반 에이전트를 구축하는 팀들과 협력한 결과, 가장 성공적인 구현 사례들이 복잡한 프레임워크보다는 단순하고 조합 가능한 패턴을 사용했다고 발표했다. 특수한 라이브러리나 복잡한 프레임워크에 의존하지 않고, 기본적인 구성 요소들을 효과적으로 결합한 사례들이 더 나은 성과를 보였다는 것이다.

연구진은 "프레임워크들이 LLM 호출, 도구 정의 및 파싱 같은 기본적인 반복 작업을 단순화해주지만, 동시에 추가적인 추상화 계층을 만들어 디버깅을 어렵게 만들 수 있다"고 지적했다.

가이드에서는 에이전트적 시스템을 워크플로우(Workflows)와 에이전트(Agents) 두 유형으로 명확히 구분했다. 워크플로우는 LLM과 도구들이 사전에 정의된 코드 경로에 따라 조율되는 시스템이며, 에이전트는 LLM이 자신의 프로세스와 도구 사용 방식을 동적으로 지시하는 시스템이다.

앤트로픽은 "정의가 명확한 과제에 대해서는 워크플로우가 예측 가능성과 일관성을 제공하는 반면, 대규모로 유연성과 모델 주도적 의사결정이 요구되는 상황에서는 에이전트가 더 적합하다"고 설명했다.

다양한 워크플로우 패턴 제시

가이드는 실제 프로덕션 환경에서 활용할 수 있는 5가지 주요 워크플로우 패턴을 제시했다. 첫째, 프롬프트 체이닝은 하나의 작업을 여러 단계로 나누어 각 단계에서 LLM이 이전 출력을 입력으로 받아 처리하는 방식이다. 둘째, 라우팅은 입력을 분류한 후 적합한 후속 작업으로 연결하여 역할을 분리하고 특화된 프롬프트를 설계할 수 있게 한다. 셋째, 병렬화는 작업을 독립적인 하위 과제로 쪼개어 동시에 실행하는 섹셔닝과 동일한 작업을 여러 번 실행해 다양한 출력을 얻는 보팅으로 구분된다. 넷째, 오케스트레이터-워커 방식은 중앙 LLM이 작업을 동적으로 쪼개어 여러 워커 LLM들에게 분배하고 결과를 종합하는 구조다.

마지막으로 제시된 평가자-최적화자 워크플로우는 한 번의 LLM 호출이 응답을 생성하고, 다른 LLM 호출이 그 응답을 평가하며 피드백을 제공하는 과정을 반복한다. 이는 명확한 평가 기준이 존재하고 반복적인 개선 과정이 실제로 가치를 창출할 수 있을 때 특히 효과적이라고 연구진은 설명했다.

번역 작업이나 복잡한 검색 작업처럼 여러 차례의 검토와 개선이 필요한 경우에 이 패턴이 유용하다는 사례도 함께 제시됐다.

자율적 에이전트의 핵심 요소

에이전트 시스템의 경우, 연구진은 복잡한 입력 이해 능력, 추론과 계획 수행 능력, 도구의 안정적 활용 능력, 오류 회복 능력을 핵심 요소로 꼽았다. 에이전트는 보통 인간 사용자의 명령으로 시작해 자체적으로 계획을 세우고 실행하며, 필요시 사용자에게 다시 돌아오는 구조로 작동한다.

특히 각 단계마다 도구 호출 결과나 코드 실행 같은 환경으로부터의 실제 검증 신호를 확보해 진행 상황을 평가하는 것이 중요하다고 강조했다. 또한 특정 지점에서 체크포인트를 두어 인간의 피드백을 받거나 장애물을 만났을 때 중단할 수 있어야 한다고 덧붙였다.

실제 적용 사례로는 고객 지원과 코딩 에이전트 분야가 특별히 언급됐다. 고객 지원의 경우 대화 흐름을 따르면서도 외부 정보 접근이 필요하고, 도구 통합을 통해 고객 데이터나 주문 내역을 즉시 불러올 수 있다는 장점이 있다. 일부 기업들은 성공적으로 해결된 경우에만 비용을 청구하는 사용량 기반 과금 모델까지 도입했다.

코딩 에이전트는 자동화된 테스트를 통한 검증이 가능하고, 테스트 결과를 피드백으로 활용해 솔루션을 반복 개선할 수 있다는 특징이 있다. 앤트로픽의 자체 구현 사례에서는 에이전트가 SWE-bench Verified 벤치마크에서 풀리퀘스트 설명만으로 실제 GitHub 이슈를 해결할 수 있게 되었다고 밝혔다.

도구 설계의 중요성 강조

연구진은 에이전트 시스템에서 도구 설계와 문서화의 중요성을 특별히 강조했다. 에이전트는 환경에서 피드백을 받아 도구를 활용하며 루프를 도는 LLM에 불과하기 때문에, 사용 가능한 도구들과 해당 문서를 얼마나 명확하고 세심하게 설계하느냐가 성공의 핵심이라고 설명했다.

도구 포맷 결정 시에는 모델이 충분히 "생각"할 수 있도록 토큰을 할당하고, 인터넷 텍스트에서 자연스럽게 접했을 법한 형태와 가깝게 유지하며, 불필요한 형식상의 부담을 없애는 것이 중요하다고 조언했다. 또한 인간-컴퓨터 인터페이스에 들이는 노력만큼 에이전트-컴퓨터 인터페이스 개발에도 투자해야 한다고 덧붙였다.

마지막으로 연구진은 "LLM 분야에서 성공을 가르는 기준은 가장 정교한 시스템을 만드는 것이 아니라 필요에 맞는 올바른 시스템을 설계하는 것"이라고 강조했다. 단순한 프롬프트부터 시작해 충분한 평가 과정을 거쳐 최적화하고, 단순한 방법으로는 한계가 있을 때에만 다단계 에이전트 시스템을 추가하는 접근이 바람직하다고 제안했다.

한국정보기술신문 클라우드분과 유민건 기자 news@kitpa.org