에이전트 스킬 모듈화 설계: Claude Sonnet 4.5 vs Gemini 2.5 Pro 함수 호출 성능 비교

지난 11월, 저는 중견 이커머스 플랫폼의 AI 고객 서비스팀에서 긴급 요청을 받았습니다. 블랙프라이데이 시즌에 일일 문의량이 평소 8,000건에서 32,000건으로 4배 폭증하면서, 단일 LLM 프롬프트에 모든 비즈니스 로직을 우겨 넣던 기존 구조가 한계에 부딪혔습니다. 환불 규정은 환불 규정대로, 배송 조회는 배송 조회대로, 멤버십 등급별 분기는 별도로 관리되어야 했고, 그 결과 평균 응답 지연이 4.2초까지 치솟아 CSAT 점수가 71점으로 추락했습니다.

이 문제를 해결하기 위해 저는 Agent Skills 모듈화 설계로 전환했습니다. 각 비즈니스 도메인을 독립된 함수 호출 스킬로 분리하고, 라우터 LLM이 사용자 의도를 분류한 뒤 적절한 스킬만 호출하는 구조입니다. 그리고 가장 중요한 결정 — 라우터와 스킬 실행 엔진으로 어떤 모델을 선택할 것인가에 대해, Claude Sonnet 4.5와 Gemini 2.5 Pro를 실전 환경에서 직접 비교했습니다.

오늘은 그 6주간의 실전 벤치마크 결과를 공유합니다. 모든 코드는 HolySheep AI 단일 API 키로 실행되었으며, base_url은 https://api.holysheep.ai/v1을 사용했습니다.

왜 모듈화가 필요한가: 단일 프롬프트 함정의 실제 비용

기존 시스템은 하나의 시스템 프롬프트(2,847 토큰)에 환불 정책, 배송 추적, 멤버십 룰, FAQ를 모두 넣고, 모든 사용자 입력을 그 컨텍스트로 보내는 구조였습니다. 일일 토큰 비용이 약 $47에 달했고, 지연 시간은 평균 4.2초였습니다. 무엇보다 문제는 규칙 충돌이었습니다 — "30일 이내 환불"과 "VIP는 60일 연장" 규칙을 동시에 주입하니 모델이 두 정책을 혼동하는 환불 오류가 일일 230건 이상 발생했습니다.

모듈화 후 우리는 5개의 독립 스킬(환불/배송/멤버십/주문내역/FAQ)로 분리했고, 입력 토큰이 평균 1,200 토큰으로 58% 감소했습니다. 여기서 남은 질문은 "어떤 모델이 스킬 라우팅과 함수 호출에 가장 효율적인가"였습니다.

벤치마크 설계: 동일 작업, 동일 도구, 다른 두 모델

저는 다음 시나리오를 설계했습니다. 중견 이커머스 CS 환경에서 라우터가 5개 스킬 중 하나를 정확히 선택하고, 각 함수 호출을 정확히 포맷팅하는 능력을 측정했습니다.

• 테스트 데이터셋: 실제 CS 로그에서 추출한 1,200개 의도 분류 샘플
• 스킬 정의: 5개 함수(refund_order, track_shipping, check_membership, get_order_history, search_faq), 각각 JSON Schema
• 측정 항목: 의도 분류 정확도, 함수 호출 포맷 준수율, 평균 응답 지연(ms), 1,000건당 토큰 비용
• 하드웨어: 동일 리전(Virginia), 동일 SDK, 동일 temperature=0

Claude Sonnet 4.5 vs Gemini 2.5 Pro 실전 성능 비교표