AI 에이전트 오케스트레이션, 과대평가됐다...단순한 접근이 더 효과적

AI 개발자 매트 프리먼, 복잡한 에이전트 시스템보다 모델 자체 발전이 핵심이라고 주장

[한국정보기술신문] AI 코드 개발 분야에서 복잡한 에이전트 오케스트레이션 시스템이 미래라는 주장에 대해 근본적인 의문을 제기하는 목소리가 나왔다. AI 개발자 매트 프리먼은 최근 자신의 블로그를 통해 에이전트 오케스트레이션이 과대평가되고 있으며, 실제로는 모델 자체의 발전과 단순한 접근 방식이 더 효과적이라고 주장했다.

프리먼은 수개월간 업계 전문가들이 에이전트 오케스트레이션을 AI 코드 개발과 애플리케이션의 미래로 지목해왔지만, 실제 경험과 관찰 결과는 이와 다르다고 밝혔다. 그는 자신도 두 차례에 걸쳐 에이전트 오케스트레이션 시스템을 구축하려 시도했지만, 결국 더 단순한 방식으로 회귀했다고 설명했다.

모델 발전이 오케스트레이션 능가

프리먼이 제시한 첫 번째 논거는 핵심 모델 지능의 점진적 개선이 항상 복잡한 에이전트 오케스트레이션 시스템의 성능 향상을 압도한다는 것이다. 그는 이를 우마미 교훈이라고 명명하며, 클로드 4.5 소네트용 오케스트레이션 시스템을 80시간 동안 구축하는 것보다 4.5 오푸스를 기다리는 것이 더 나았을 것이라고 지적했다.

그는 지난 몇 년간 관찰한 패턴을 바탕으로, 현재는 4.5 오푸스를 최대한 활용하고 5.0 소네트나 다음 모델을 기다리는 것이 더 낫다고 확신한다고 밝혔다. 에이전트 오케스트레이션 시스템은 결과를 크게 개선하지 못하고 개발에 많은 시간이 소요되며, 새 모델이 출시되면 그 작업이 무의미해진다는 것이다.

실제 작동하지 않는 복잡한 프레임워크

두 번째로 프리먼은 복잡한 에이전트 오케스트레이션 프레임워크가 실제로는 작동하지 않는다고 주장했다. 많은 개발자들이 정교한 프레임워크를 구축하고 널리 읽히는 블로그 포스트를 작성하며, 수천 개의 스타를 받는 깃허브 저장소를 공개하지만, 실제로 인상적인 결과물을 만든 사람들과 대화해보면 그들은 클로드 코드를 사용했다고 답한다는 것이다.

그는 에이전트 오케스트레이션의 늪에 빠지면 정교한 프레임워크 개발에 점점 더 많은 시간을 쏟게 되지만, 이것은 생산성이 아니라고 강조했다. 프리먼 자신의 모든 생산성은 클로드 코드나 클로드 데스크톱 앱에서 나온다고 밝혔다. 그는 에이전트 오케스트레이션 프레임워크를 실용적인 문제 해결책이라기보다는 경영 이론에 대한 일종의 연구 프로젝트로 본다고 설명했다.

지속적으로 개선되는 모델 성능

세 번째 논거로 프리먼은 METR 플롯을 비롯한 모든 지표가 계속해서 개선되고 있다는 점을 들었다. 모델들은 점점 더 나아지고 있으며, 컨텍스트 윈도우는 길어지고, 토큰을 더 효율적으로 사용하며, 더 나은 결정을 내리고 버그를 덜 만들며, 더 나은 질문을 한다는 것이다. 이러한 개선에는 한계가 보이지 않는다.

그는 고도로 정제된 오케스트레이션 시스템이 클로드 코드에서 단순히 계속하기를 입력하는 것 대비 10퍼센트 정도 개선될 수 있을 것으로 추정했다. 현재 가장 인기 있는 방식이 랄프 위검 모드, 즉 에이전트가 제대로 작업을 수행했는지 확인하도록 단순히 유도하는 클로드 슬래시 명령어라는 점은 놀랍지 않다고 밝혔다. 이것이 실제로 파레토 최적점이며, 에이전트가 계속 진행하도록 자극하는 것에 불과하다는 것이다.

인간적 직관과 AI의 차이

프리먼은 자신이 이 주제에 대해 논평할 자격이 있다고 느끼는 이유가 본인도 에이전트 오케스트레이션 시스템을 구축하려 시도했기 때문이라고 설명했다. 클로드 코드 출시 전에 한 번, 출시 후에 한 번 시도했지만 모두 실패했다.

클로드 코드 이전에는 다른 모든 프로젝트가 실패하는 것과 같은 이유로 실패했다. 80 IQ의 작업자들을 조직해서 140 IQ로 작동하는 게슈탈트를 만들 수 없다는 것이다. 실제로 불가능하거나, 적어도 아무도 그 방법을 모른다고 그는 지적했다.

클로드 코드 이후에는 실패라기보다 시스템을 점진적으로 단순화하다가 결국 랄프 위검 모드와 기능적으로 동일한 것에 수렴했고, 그때 일반적인 사람처럼 클로드 코드를 상호작용적으로 사용해야 한다는 것을 깨달았다고 밝혔다.

그는 여러 에이전트를 위한 오케스트레이션 프레임워크가 아니라, 하나의 에이전트를 정말 효과적으로 강화할 수 있는 도구가 필요하며, 그 에이전트는 정말 똑똑하고 에이전트 역할을 잘 수행해야 한다고 강조했다.

프리먼은 그럼에도 불구하고 사람들이 이러한 시스템을 계속 구축할 것으로 예측했다. 인간은 정말 어려운 일을 하려면 많은 사람들이 함께 일하고, 소통하고, 논쟁하고, 조정해야 한다는 강력한 직관을 가지고 있기 때문이다. 이것은 인간에게는 사실이며, 터미널 안의 존재들이 우리와 매우 비슷해 보인다. 그러나 이 특정한 측면에서 그들이 우리와 같다는 증거는 없다고 그는 주장했다.

프리먼은 대형 언어모델의 특징적인 패턴은 항상 거의 즉시 정답을 얻거나 결코 얻지 못한다는 것이며, 다음 모델 릴리스에서는 즉시 정답을 얻게 된다고 설명했다. AI는 협업으로부터 이익을 얻지 못한다는 것이다.

한국정보기술신문 정보기술분과 강민규 기자 news@kitpa.org