저는 최근에 AI 서비스 백엔드를 새로 구축하면서 Grok 4를 메인 추론 엔진으로 채택했습니다. 그런데 실제 트래픽을 받아 보니 같은 모델을 호출해도 어떤 endpoint 경로를 쓰느냐에 따라 첫 토큰 응답 시간(TTFT)이 60ms 가까이 차이가 나는 것을 확인했어요. 이 글에서는 제가 직접 100회씩 측정한 두 모드의 지연 시간 데이터, 실제 비용, 그리고 어떤 상황에서 어떤 모드를 골라야 하는지를 정리해 드리겠습니다. 모든 호출은 HolySheep AI 게이트웨이를 통해 이루어졌습니다.
Grok 4란 무엇인가요?
Grok 4는 xAI가 2025년 중반에 공개한 플래그십 대규모 언어 모델입니다. 추론 능력과 코드 생성 능력이 뛰어나며, 256k 토큰의 긴 컨텍스트 윈도우를 지원합니다. xAI는 자체 API endpoint를 제공하면서 동시에 OpenAI 호환 인터페이스도 함께 노출하고 있어서, 기존에 OpenAI SDK로 작성된 코드를 거의 그대로 재사용할 수 있습니다.
왜 두 가지 모드를 비교해야 하나요?
한 가지 모델을 호출하는 데 굳이 두 가지 경로가 필요한 이유는 응답 속도와 도구 호환성 때문입니다. xAI 네이티브 모드는 xAI 측의 최적화된 라우팅을 직접 거치지만, OpenAI 호환 모드는 통합 게이트웨이를 한 번 더 통과하면서 약간의 지연이 추가될 수 있습니다. 반대로 OpenAI 호환 모드는 기존에 짜 놓은 OpenAI SDK 코드를 그대로 재사용할 수 있어 마이그