AI 에이전트 토큰 최적화: 94% 비용 절감하는 방법

지난 2026-08-25에 다뤘던 Google Agent Development Kit(ADK)을 활용한 다중 언어 및 제로 트러스트 기반 AI 에이전트 구축 이슈가 이렇게 진행됐습니다: AI 에이전트 토큰 사용량 최적화

지난번 다뤘던 Google Agent Development Kit(ADK) 기반의 다중 언어 및 제로 트러스트 아키텍처 구축은 분명 강력한 기반을 마련했습니다. 이는 에이전트가 복잡한 환경에서 높은 신뢰성과 다국어 처리 능력을 가질 수 있음을 입증했습니다. 하지만 실제 이 에이전트 스킬을 반복적으로 운영하며 가장 먼저 부딪힌 병목 지점은 바로 ‘비용’과 ‘지연 시간’이었습니다. 초기에는 모든 로직을 자연어 지시(Natural Language Instructions)에 의존하여 에이전트가 스스로 계획을 세우고 도구를 호출하도록 설계했기 때문입니다. 이러한 ‘자연어 코드(NatLang Code)’ 방식은 개발 초기 단계에서 워크플로우를 명확히 정의하는 데는 탁월하지만, 작업이 고도화되어 반복적인 패턴이 생길 경우, 불필요하게 LLM의 추론 능력을 과도하게 소모하게 만듭니다. 이 글에서는 이 경험을 바탕으로, 어떻게 하면 초기 개발의 유연성을 유지하면서도 운영 단계에서 AI 에이전트의 토큰 사용량을 극적으로 줄이고 성능을 끌어올릴 수 있는지에 대한 기술적 심화 내용을 다루고자 합니다.

※ AI로 생성된 이미지입니다

반복 패턴을 포착하는 AI 에이전트 스킬의 진화: 자연어 지시서의 한계

초기 버전의 AI 에이전트 스킬은 마치 고도로 훈련된 주니어 개발자에게 ‘이런 작업을 수행해라’라고 거대한 SOP(Standard Operating Procedure)를 전달하는 것과 같았습니다. 예를 들어, 특정 블로그 아카이브에서 재활용할 만한 콘텐츠를 찾아, 최근 활동 기록과 필터링 기준을 거쳐, 최종적으로 링크드인 초안을 작성하는 복잡한 워크플로우를 가정해 봅시다. 초기에는 이 모든 규칙을 자연어 텍스트로만 정의하는 것이 가장 직관적이었습니다. 에이전트(예: Codex와 같은 모델)는 이 지시서를 읽고, 스스로 계획을 수립하고, 필요한 도구를 순차적으로 호출하며, 모든 중간 상태를 추적해야 했습니다. 이는 ‘추론(Reasoning)’ 자체가 가장 큰 컴퓨팅 비용이 되는 구조입니다. 문제는 이 과정이 반복되면서, 에이전트가 매번 ‘똑같은 것’을 ‘똑같은 방식으로’ 재추론하고 있다는 점입니다. 즉, 작업의 형태(Shape)가 명확하게 정형화되는 시점이 오면, LLM의 범용 추론 능력은 과잉 스펙(Over-spec)이 되어버리는 것입니다. 이 지점에서 우리는 AI 에이전트의 토큰 사용량 최적화라는 명확한 과제에 직면하게 됩니다.

※ AI로 생성된 이미지입니다

AI 에이전트 워크플로우의 ‘컴파일’: 결정론적 코드로 전환하는 방법

이러한 한계를 극복하기 위해 핵심적으로 적용한 접근 방식은 ‘스킬 컴파일(Compiling a Skill)’입니다. 이는 에이전트의 동작 방식을 순수하게 자연어 기반의 추론 과정이 아닌, 결정론적(Deterministic) 코드로 재작성하는 과정입니다. 즉, 워크플로우의 대부분의 단계, 예를 들어 ‘아카이브에서 특정 키워드로 데이터를 가져오는 단계’, ‘최근 게시물 목록에서 특정 날짜 범위를 필터링하는 단계’, ‘중간 상태를 데이터베이스에 저장하는 과정’ 등은 LLM의 개입이 전혀 필요 없습니다. 이들은 일반적인 Python 함수나 API 호출로 대체 가능합니다. 이러한 비-LLM 로직들을 먼저 일반 코드 레벨로 구현하고, LLM의 역할은 가장 고차원적인 판단이 필요한 두 가지 영역으로만 극도로 제한합니다. 첫째, 필터링된 후보군 중 ‘가장 적합한 후보를 선택’하는 과정, 둘째, 최종적인 ‘링크드인 초안 작성’에만 LLM을 호출하는 것입니다. 이 방식은 에이전트를 ‘얇은 부트로더(thin bootloader)’처럼 만드는 효과를 가져옵니다. 이 부트로더가 실제로는 정교하게 작성된 Python 프로그램을 호출하는 역할을 수행하게 됩니다.

※ AI로 생성된 이미지입니다

토큰 사용량 최적화의 정량적 성과: 94% 비용 절감의 비밀

이러한 구조적 개선이 가져온 결과는 매우 극적입니다. 초기 자연어 기반의 에이전트가 수행하던 작업이, 전문적으로 컴파일된 하이브리드 아키텍처를 거치면서 토큰 사용량은 무려 94% 감소했습니다. 더 나아가 지연 시간(Latency) 또한 87% 가까이 개선되었습니다. 주목할 점은 이 비용 절감 효과가 단순히 더 저렴한 모델(예: GPT-3.5 Turbo 대신 GPT-4o 사용)을 선택했기 때문에 발생한 것이 아니라는 점입니다. 선택 및 생성 단계에서 사용된 모델은 동일하게 유지되었으며, 절감분은 LLM 호출 자체를 줄임으로써 발생한 것이었습니다. 이는 AI 에이전트 개발의 패러다임 전환을 시사합니다. 즉, 범용 에이전트 엔진이 아무리 똑똑해도, 그 내부의 반복적이고 정형화된 절차는 반드시 경량화된 코드로 대체해야 한다는 실무적 교훈을 얻게 된 것입니다. 이 최적화 과정은 곧 ‘비용 효율적인 에이전트 구축’의 핵심 방법론이 됩니다.

※ AI로 생성된 이미지입니다

AI 에이전트 구축의 미래 전망과 개발 시사점

이 경험을 통해 도출할 수 있는 가장 중요한 시사점은, 고성능의 AI 에이전트 토큰 최적화는 ‘모델 선택’의 영역을 넘어 ‘아키텍처 설계’의 영역이라는 것입니다. 일반 목적의 코딩 에이전트(General-purpose coding agent)는 뛰어난 추론 엔진인 동시에, 정형화된 절차를 수행하는 데는 지나치게 비싼 방법이 될 수 있습니다. 따라서 실무 워크플로우를 설계할 때는 항상 ‘이 과정 중 LLM이 정말로 필요한 추론 단계는 어디인가?’라는 질문을 던져야 합니다. 만약 그 단계가 ‘데이터 검색’이나 ‘포맷팅’이라면, 해당 로직은 즉시 Python이나 다른 저수준 언어의 모듈로 분리하여 구현하는 것이 최적의 방법론입니다. 이는 개발팀이 LLM API를 호출하는 횟수와 복잡도를 관리하는 ‘에이전트 오케스트레이션 계층’을 강화해야 함을 의미합니다. 향후 ADK나 유사 프레임워크를 사용할 때, 추론 로직과 결정론적 로직을 명확히 분리하는 모듈화 전략이 필수적입니다.

마치며: 지속 가능한 AI 에이전트 개발을 위한 로드맵

AI 에이전트가 복잡한 비즈니스 로직을 수행하는 것은 확실하지만, 그 운영 비용을 감당하는 것이 현실적인 과제입니다. 이번 사례처럼, 초기 자연어 기반의 유연한 프로토타이핑 단계를 거친 후, 실제 운영에 들어가기 전에는 반드시 ‘컴파일’ 과정을 통해 코드로 최적화하는 단계를 거쳐야 합니다. 여러분의 에이전트 스킬이 반복적인 패턴을 보인다면, 주저하지 말고 코드로 분리할 수 있는지 검토해보십시오. 이 방법이야말로 AI 에이전트의 잠재력을 비용 효율적인 수준으로 끌어올리는 핵심 열쇠입니다. 다음 시간에는 이 컴파일된 에이전트를 어떻게 모니터링하고 버전 관리할지 구체적인 CI/CD 파이프라인 설정을 다뤄보겠습니다. 관련하여 궁금한 점이나 최적화 경험이 있다면 댓글로 공유해 주세요!

📎 원문