受講者トラック
空のノートパソコンから、移行してベンチマークまで終えたワークロードに至るまで、手を動かして進めるモジュール群です。
モジュールは順番に進めてください。各モジュールには開始チェックポイントが書かれているので、 始める前に何が成立している必要があるかが常にわかります。修了時には、Snowflake ワークロードの プロファイリング、エンジンとスキーマに関する明示的な判断、マイグレーションの実行、ClickHouse 上での dbt パイプラインの再構築、結果のベンチマーク、そして稼働中のプロデューサーを一方の クラウドから他方へカットオーバーすることまでを終えています。
Snowflake のプロデューサーはモジュール05まで動かし続けること
モジュール01では、稼働中の trip 行を Snowflake に書き込むプロデューサーを起動します。これは モジュール05まで動かし続ける必要があります — モジュール02、03、04 のどこであっても、 止めないでください。また、勝手に止まらせないでください。モジュール05のカットオーバー手順では、 Snowflake への書き込みが止まった時点から ClickHouse で書き込みが再開する時点までのギャップを 正確に測定します。プロデューサーを早く止めてしまうと、その手順で測るものが何もなくなります。 これがこのラボを壊す最も起こりやすい原因です。
モジュール
- セットアップ — ツールチェーンをインストールし、 2つのクラウドのトライアルアカウントを作成し、リポジトリをクローンし、両方の dbt 仮想環境を構築する。
- ソース環境 — 実際の顧客デプロイを反映した Snowflake 環境をプロビジョニングし、稼働中の trip プロデューサーを 起動する。
- 計画と設計 — Snowflake ワークロードを プロファイリングし、マイグレーションで実行するアーキテクチャ上の判断を下す。
- プロビジョニングと移行 — ClickHouse Cloud をプロビジョニングし、再開可能なマイグレーションスクリプトで5,000万行を移す。
- dbt パイプラインの再構築 — dbt-clickhouse で Medallion パイプラインを ClickHouse 上に再構築する。
- ベンチマークとカットオーバー — 両エンジンをベンチマークし、プロデューサーをカットオーバーし、パリティを検証し、撤去する。
- 評価 — ClickHouse Migration Proficiency Badge を獲得するオープンブックのアセスメント。
うまくいかないとき
トラブルシューティング は、このラボを進める なかで受講者が実際に遭遇する失敗について、症状・原因・対処をまとめたリファレンスで、症状が 現れるモジュールごとに整理されています。助けを求める前にまずここを確認してください。対処は すでに書かれている可能性が高いです。