NYC タクシー Snowflake マイグレーションラボ
本番相当の Snowflake ワークロード（5,000万行、dbt Medallion パイプライン、7本の分析クエリ、稼働中のプロデューサー、BI ダッシュボード）を ClickHouse Cloud へ移行し、その判断を自分で説明できるようになります。
NYC タクシー Snowflake マイグレーションラボのプレイブックへようこそ。このラボは、本番相当の Snowflake ワークロードを ClickHouse Cloud へ移行する方法を学ぶ ClickHouse ソリューション アーキテクトおよびパートナー向けです。題材は、5,000万行の合成 NYC タクシー乗車ストリーム、 完全な Medallion dbt パイプライン、7本の複雑な分析クエリ、稼働中のデータプロデューサー、 そして Superset ダッシュボードで、実際の顧客案件で遭遇するようなワークロードを再現するように 作られています。
このワークショップの目的
このラボの目的は、あるウェアハウスから別のウェアハウスへ行を移すことではありません。それは
コピースクリプトでもできます。目的は、実際のマイグレーションで必ず突きつけられる判断を下し、
その判断を説明できるようになることです。どのテーブルにどの MergeTree エンジンファミリーが
合うのか、元が取れる ORDER BY キーをどう設計するのか、そしてどの Snowflake SQL の
イディオムに ClickHouse の直接的な対応物が存在しないのか。修了時には、Snowflake ワークロードの
プロファイリング、正しいエンジンとスキーマの判断、再開可能なスクリプトによる本番相当の
マイグレーションの実行、ClickHouse 上での dbt パイプラインの再構築、7本のクエリによる
ベンチマークでのビジネスケースの定量化、そしてそれらすべての判断の説明と裏付けができるように
なります。
このプレイブックは3トラック構成です。受講者トラックは実際に進めるレッスンです。講師トラックは 同じモジュールに対するファシリテーター向けの手引き（タイミング、トークトラック、よくある失敗、 リセット手順）です。リファレンスは常設の資料（エンジン、dbt、ダッシュボードの各ガイド）で、 順番に読むものではなく、どのモジュールと並行して読んでもかまいません。
モジュール
| # | 受講者 | 講師 | 成果 |
|---|---|---|---|
| 00 | セットアップ | メモ | ツールチェーンのインストール、両方のクラウドのトライアルアカウント作成、リポジトリのクローン、両方の dbt 仮想環境の構築 — データに触れる前にマイグレーションが必要とするものすべて |
| 01 | ソース環境 | メモ | 実際の顧客デプロイを反映した Snowflake 環境: 5,000万行、dbt Medallion パイプライン、稼働中の trip プロデューサー、3つの Superset ダッシュボード |
| 02 | 計画と設計 | メモ | Snowflake ワークロードをプロファイリングし、マイグレーションで実行するアーキテクチャ上の判断を明文化する: エンジン選定、sort key、スキーマ変換、デプロイのウェーブ、dbt モデル設計 |
| 03 | プロビジョニングと移行 | メモ | Terraform で ClickHouse Cloud をプロビジョニングし、計画からターゲットテーブルを作成し、再開可能な Python マイグレーションスクリプトで5,000万行を移す |
| 04 | dbt パイプラインの再構築 | メモ | dbt-clickhouse で Medallion パイプラインを ClickHouse 上に再構築する — delete_insert の増分モデル、ReplacingMergeTree、リフレッシュ可能な materialized view — さらに zone ディクショナリを作成する |
| 05 | ベンチマークとカットオーバー | メモ | ダッシュボードを ClickHouse 上に再構築し、7本のクエリすべてを両エンジンでベンチマークし、プロデューサーをカットオーバーし、パリティを検証し、両方のクラウドを撤去する |
| 06 | 評価 | メモ | 20問の選択式と4問の記述式のアセスメントをオープンブックで完了し、ClickHouse Migration Proficiency Badge を獲得する |
このラボが扱わないこと
このラボは中核となるマイグレーションのパターンに絞っています。以下のトピックは意図的に スコープ外です。
- リアルタイムのストリーミング取り込み — このラボはカットオーバー後のライブ書き込みに Docker ベースの trip プロデューサーを使い、Kafka、Kinesis、ClickPipes のストリーミング ソースは使いません。
- マルチノードの ClickHouse クラスター — すべての作業は ClickHouse Cloud のシングル サービス構成上で行います。セルフホストの分散デプロイ（シャーディング、レプリケーション トポロジー）は扱いません。
- データガバナンスとアクセス制御 — ロールベースアクセス、行レベルセキュリティ、 マスキングポリシーは実装しません。
- 段階的なスキーマ進化 — このラボでは全体を通じて固定スキーマを使います。マイグレーション中の ライブなスキーマ変更への対応は扱いません。
- Snowflake 以外のソース — このマイグレーションのパターンは Snowflake 固有です。PostgreSQL、 MySQL、BigQuery などのソースは SQL の方言も CDC のアプローチも異なります。
- 本番の SLA と監視 — 本番 ClickHouse Cloud におけるオブザーバビリティ、アラート、 SLA 管理は扱いません。
所要時間とコスト
| モジュール | 実時間 | Snowflake クレジット | ClickHouse Cloud |
|---|---|---|---|
| 00 — セットアップ | 約30分 | — | — |
| 01 — ソース環境 | 約45分 | 約2〜4クレジット | — |
| 02 — 計画と設計 | 約90分 | 約0.5クレジット | — |
| 03 — プロビジョニングと移行 | 約60分 | 約1〜2クレジット | 約$1〜2（トライアル） |
| 04 — dbt パイプラインの再構築 | 約30分 | 約0.5〜1クレジット | 約$0.5〜1（トライアル） |
| 05 — ベンチマークとカットオーバー | 約45分 | 約1〜2クレジット | 約$0.5〜1（トライアル） |
| 06 — 評価 | 約60分 | — | — |
| 合計 | 約6時間 | 約6〜10クレジット | 約$2〜4 |
Snowflake のクレジット見積もりは標準の X-Small ウェアハウスを前提としています。ClickHouse Cloud のコストは Development ティアのサービスを数時間以内に撤去することを前提としています。