Lab Migrasi Snowflake NYC Taxi
Migrasikan workload Snowflake berskala produksi ke ClickHouse Cloud — 50 juta baris, pipeline dbt Medallion, tujuh query analitis, producer live, dan dashboard BI — lalu pertahankan setiap keputusan Anda.
Selamat datang di playbook Lab Migrasi Snowflake NYC Taxi. Lab ini ditujukan untuk Solutions Architect dan partner ClickHouse yang sedang belajar memigrasikan workload Snowflake berkelas produksi ke ClickHouse Cloud: sebuah stream perjalanan taksi NYC sintetis berisi 50 juta baris, pipeline dbt Medallion lengkap, tujuh query analitis kompleks, producer data live, dan dashboard Superset, yang dibangun untuk mensimulasikan jenis workload yang akan Anda hadapi pada engagement pelanggan nyata.
Mengapa workshop ini
Inti lab ini bukan memindahkan baris dari satu warehouse ke warehouse lain — sebuah
skrip copy bisa melakukannya. Intinya adalah mengambil, dan mempertahankan, keputusan
yang dipaksakan oleh migrasi nyata: keluarga engine MergeTree mana yang cocok untuk
setiap tabel, bagaimana merancang kunci ORDER BY yang benar-benar berguna, dan idiom
SQL Snowflake mana yang tidak punya padanan langsung di ClickHouse. Di akhir lab Anda
akan mampu memprofilkan workload Snowflake, mengambil keputusan engine dan skema yang
tepat, mengeksekusi migrasi bergaya produksi dengan skrip yang dapat dilanjutkan,
membangun ulang pipeline dbt di ClickHouse, mengukur business case dengan benchmark tujuh
query, serta menjelaskan dan mempertahankan setiap keputusan tersebut.
Playbook ini punya tiga jalur. Jalur Learner adalah pelajaran yang Anda kerjakan. Jalur Instructor adalah pendamping fasilitator untuk modul yang sama: timing, alur bicara, kegagalan umum, dan langkah reset. Reference adalah materi tetap — panduan engine, dbt, dan dashboard — yang dimaksudkan untuk dibaca berdampingan dengan modul mana pun, bukan secara berurutan.
Modul
| # | Learner | Instructor | Hasil |
|---|---|---|---|
| 00 | Setup | catatan | Toolchain terpasang, kedua akun trial cloud dibuat, repo dikloning, kedua virtualenv dbt terbangun — semua yang dibutuhkan migrasi sebelum Anda menyentuh data |
| 01 | Lingkungan sumber | catatan | Lingkungan Snowflake yang mencerminkan deployment pelanggan nyata: 50 juta baris, pipeline dbt Medallion, producer perjalanan live, dan tiga dashboard Superset |
| 02 | Rencana dan desain | catatan | Workload Snowflake diprofilkan dan keputusan arsitektur yang akan dieksekusi migrasi dibuat eksplisit: pemilihan engine, sort key, terjemahan skema, gelombang deployment, dan desain model dbt |
| 03 | Provisioning dan migrasi | catatan | ClickHouse Cloud diprovisioning dengan Terraform, tabel target dibuat dari rencana Anda, dan 50 juta baris dipindahkan dengan skrip migrasi Python yang dapat dilanjutkan |
| 04 | Bangun ulang pipeline dbt | catatan | Pipeline Medallion dibangun ulang di ClickHouse dengan dbt-clickhouse — model inkremental delete_insert, ReplacingMergeTree, materialized view yang refreshable — dan dictionary zona dibuat |
| 05 | Benchmark dan cutover | catatan | Dashboard dibangun ulang di ClickHouse, ketujuh query di-benchmark terhadap kedua engine, producer di-cutover, paritas diverifikasi, dan kedua cloud dibongkar |
| 06 | Evaluasi | catatan | Asesmen 20 pertanyaan pilihan ganda dan 4 pertanyaan terbuka diselesaikan, open-book, untuk meraih ClickHouse Migration Proficiency Badge |
Yang tidak dibahas lab ini
Lab ini dibatasi pada pola migrasi inti. Topik berikut sengaja berada di luar cakupan:
- Ingesti streaming real-time — lab memakai producer perjalanan berbasis Docker untuk penulisan live pasca-cutover, bukan Kafka, Kinesis, atau sumber streaming ClickPipes.
- Cluster ClickHouse multi-node — seluruh pekerjaan dilakukan pada deployment layanan tunggal ClickHouse Cloud; deployment terdistribusi self-hosted (sharding, topologi replikasi) tidak dibahas.
- Tata kelola data dan kontrol akses — akses berbasis role, keamanan tingkat baris, dan kebijakan masking tidak diimplementasikan.
- Evolusi skema inkremental — lab memakai skema tetap sepanjang jalan; menangani perubahan skema live saat migrasi tidak dibahas.
- Sumber non-Snowflake — pola migrasinya spesifik untuk Snowflake. PostgreSQL, MySQL, BigQuery, dan sumber lain punya dialek SQL dan pendekatan CDC yang berbeda.
- SLA dan monitoring produksi — observability, alerting, dan pengelolaan SLA di ClickHouse Cloud produksi tidak dibahas.
Waktu dan biaya
| Modul | Waktu jam dinding | Kredit Snowflake | ClickHouse Cloud |
|---|---|---|---|
| 00 — Setup | ~30 mnt | — | — |
| 01 — Lingkungan sumber | ~45 mnt | ~2–4 kredit | — |
| 02 — Rencana dan desain | ~90 mnt | ~0,5 kredit | — |
| 03 — Provisioning dan migrasi | ~60 mnt | ~1–2 kredit | ~$1–2 (trial) |
| 04 — Bangun ulang pipeline dbt | ~30 mnt | ~0,5–1 kredit | ~$0,5–1 (trial) |
| 05 — Benchmark dan cutover | ~45 mnt | ~1–2 kredit | ~$0,5–1 (trial) |
| 06 — Evaluasi | ~60 mnt | — | — |
| Total | ~6 jam | ~6–10 kredit | ~$2–4 |
Estimasi kredit Snowflake mengasumsikan warehouse X-Small standar. Biaya ClickHouse Cloud mengasumsikan layanan tier Development yang dibongkar dalam beberapa jam.