들어가며 — 서울의 어느 AI 스타트업 실제 사례

서울 강남구의 한 B2B SaaS 스타트업(임의명: NeuroFlow)은 2024년 초부터 GPT-4 기반 고객 지원 자동화 서비스를 운영해 왔습니다. 하루 평균 5만 건의 API 호출이 발생하며, DAU 12만 명을 보유한 국내 이커머스 고객사에 화이트라벨 형태로 제공되고 있습니다. 인프라 리드 김OO 님은 단일 벤더 의존이 가져오는 리스크를 절감하기 위해 2025년 5월, 6주에 걸친 멀티 모델 아키텍처 전환 프로젝트 "Project Phoenix"를 시작했습니다.

저는 이 프로젝트의 외부 컨설턴트로 참여해 base_url 교체부터 카나리아 배포까지 전 과정을 함께 진행했습니다. 그 6주의 실전 경험을 바탕으로 이 글을 씁니다.

기존 OpenAI 직접 연동의 페인포인트