시작: 부산 소재 한 핀테크 데이터 팀의 실시간 백테스트 구축기
저는 부산에 본사를 둔 한 중견 핀테크 회사의 데이터 엔지니어로서, 지난 8개월간 암호화폐 마켓 메이킹 팀의 백테스트 파이프라인을 리팩토링하는 프로젝트를 총괄했습니다. 이 팀은 직원 18명 규모로 Binance와 OKX 현·선물 시장에서 평균 1,200만 USD 규모의 포지션을 운영하며, Tardis의 틱 데이터 위에 자체 개발한 통계적 차익거래 엔진을 구동하고 있었습니다. 핵심 의사결정의 약 25%가 LLM(대규모 언어 모델) 기반 리스크 리포트 분석과 신호 검증을 통해 이루어졌습니다.
기존 아키텍처는 Tardis로 수집한 틱 데이터를 Pandas DataFrame으로 가공한 뒤, 별도의 스크립트로 OpenAI와 Anthropic API를 직접 호출하여 매매 신호의 정성적 검증을 받는 형태였습니다. 2024년 4분기, 우리는 이 구조의 근본적 한계에 부딪혔고, 30일간의 카나리아 배포를 거쳐 HolySheep AI 게이트웨이로의 전면 마이그레이션을 완료했습니다.
기존 공급사의 페인포인트
- 이중 API 키 관리 부담: OpenAI와 Anthropic 키를 별도 환경 변수 파일로 관리하면서, 키 노출 사고가 6개월간 세 번 발생했습니다. 특히 11월에 발생한 GitHub 저장소 실수로 키가 14분간 노출되어 약 $2,300의 부정 사용이 발생했습니다.
- 해외 결제 차단: 미국 기반 발행사 신용카드가 두 차례 자동 결제 차단되어, 매달 평균 3일씩 결제 실패 다운타임을 경험했습니다.
- 모델 전환 코드 부담: GPT-4.1에서 Claude Sonnet 4.5로 전환할 때마다
messages포맷과 파싱 로직