지난 분기, 저는 이커머스 스타트업의 AI 고객 서비스 팀에서 긴급한 호출을 받았습니다. 블랙프라이데이 프로모션 직전, 일일 문의량이 평소의 8배로 폭증하면서 GPT-4.1 단일 모델 기반 시스템의 응답 지연이 평균 4초까지 치솟았고, API 비용도 일 320만 원을 돌파했습니다. CTO는 단호하게 말했습니다. "지금 당장 모델을 분기해야 해. 고품질이 필요한 상담은 GPT-5.5로, 단순 FAQ는 DeepSeek V4로 자동 라우팅해 비용을 절반 이하로 줄여."
바로 그 순간, 저는 애플리케이션 코드 분기가 아닌 인프라 레벨의 라우터가 필요하다는 결론에 도달했습니다. 장애