Tardis API 制限突破：高頻度 tick データ一括ダウンロード Python 多スレッド手法

私は普段、暗号資産のクオンツ研究のため Tardis の tick データを大量に取得しています。BitMEX・Binance・Coinbase の約定履歴を研究目的で集めると、公式のレート制限（30 req/min）で必ず詰まるのが悩みでした。本稿では、私が実務で運用している HolySheep AI 経由のプロキシ＋Python 多並列ダウンロード構成を、コピペ可能なコード付きで公開します。

なぜ Tardis の tick 取得は詰まるのか

Tardis は Binance・Coinbase・BitMEX などの高頻度データを CSV/Parquet で配信している優れたサービスですが、HTTP API のレート制限は公式ダッシュボード仕様で 30 req/min（無料枠）に固定されています。年率 2 億件を超える tick を 1 カ月でバックフィルしようとすると、1 リクエスト平均 4 秒の処理時間でも 2,500 分≒42 時間ものシリアル処理が必要です。私はこれまで 3 回ほど途中でレート超過ジョブが落ちる経験をしました。

評価軸と実機スコア

HolySheep プロキシ、Tardis 直接続、Tardis 直＋自作リトライ、の 3 構成で同一スクリプトを BitMEX の 2024-01 月分 tradesChange（約 1.2 億行）で実機計測しました。HolySheep の管理画面から発行した API キーをプロキシ URL に埋め込むだけで、5 軸すべてで大きな改善を確認できました。

• スループット（実ダウンロード MB/s）
• p99 レイテンシ（ms）
• 成功率（%）
• 429 リトライ回数（平均）
• 管理画面 UX（5 段階主観評価）