Snowflake MigrationClickHouse Workshops

学员指南

你需要动手完成的实操模块,从一台空白笔记本一路做到完成迁移并基准测试的工作负载。

按顺序完成各个模块,每个模块都会说明它的起始检查点,所以你随时清楚开始之前必须满足哪些 条件。全部完成后,你将已经剖析过一个 Snowflake 工作负载、做出了明确的引擎与 schema 决策、 执行了迁移、在 ClickHouse 上重建了 dbt 流水线、对结果做了基准测试,并把一个实时生产者从 一个云切换到了另一个云。

让 Snowflake 生产者一直运行到模块 05

模块 01 会启动一个向 Snowflake 写入实时行程数据的生成器。它必须一直运行到模块 05。 在模块 02、03 和 04 期间,请勿主动或意外停止它。模块 05 的切换 步骤要测量的正是从写入停止发往 Snowflake 到写入在 ClickHouse 上恢复之间的确切间隔。 过早停掉生产者,那一步就没有任何可测量的东西,这是最容易毁掉本实验的一个操作。

模块

  1. 环境准备,安装工具链、创建两个云试用 账号、克隆仓库,并构建两个 dbt 虚拟环境。
  2. 源环境, 开通一个映射真实客户部署的 Snowflake 环境,并启动实时行程生产者。
  3. 规划与设计,剖析 Snowflake 工作负载,并做出迁移将要执行的架构决策。
  4. 开通与迁移, 开通 ClickHouse Cloud,并用可续跑的迁移脚本搬迁 5000 万行数据。
  5. 重建 dbt 流水线,用 dbt-clickhouse 在 ClickHouse 上重建 Medallion 流水线。
  6. 基准测试与切换, 对两个引擎做基准测试、切换生产者、验证一致性并拆除资源。
  7. 考核,赢取 ClickHouse Migration Proficiency Badge 的开卷考核。

如果出了问题

故障排查 是一份按症状、原因和修复 方式组织的参考资料,覆盖学员在运行本实验时真正会遇到的故障,并按其出现的模块分组。在求助 之前先去那里查一查,修复方法很可能已经写在上面了。

本页内容

Track your progress?

Optional. We email a link to confirm your address; progress records once you open it.

Please use your work email address, not a personal one.

Progress tracking also requires accepting the current Terms of Service in Privacy settings.

ZH