เวิร์กโหลด Snowflake ที่ทำโปรไฟล์แล้ว
ทำบัญชีรายการตาราง ระบุรูปแบบคิวรี มองเห็นช่องว่างของ SQL dialect และประเมินขนาดงานย้ายระบบ ก่อนจะเริ่มวางแผนอะไรทั้งนั้น
ClickHouse ซีรีส์ย้ายระบบ
ห้าสิบล้านแถว ไปป์ไลน์ dbt แบบ Medallion เต็มรูปแบบ คิวรีวิเคราะห์เจ็ดตัว ตัวผลิตข้อมูลสด และแดชบอร์ด Superset — เวิร์กโหลด Snowflake ที่มีรูปทรงเหมือนโปรดักชัน ซึ่งคุณย้ายมาที่ ClickHouse Cloud ตั้งแต่ต้นจนจบ แล้วเบนช์มาร์กและอธิบายให้ได้
ไม่ใช่การยกไปวาง แต่เป็นบันทึกการตัดสินใจ
ใครก็เขียนสคริปต์คัดลอกห้าสิบล้านแถวจาก warehouse หนึ่งไปอีกที่หนึ่งได้ ส่วนนั้นไม่ใช่ส่วนที่ยากของการย้ายระบบ และไม่ใช่สิ่งที่ลูกค้าจ่ายเงินให้ Solutions Architect มาทำให้ถูก
ส่วนที่ยากอยู่ก่อนหน้าการคัดลอก: ตระกูลเอนจิน MergeTree ไหนเหมาะกับตารางใด คีย์ ORDER BY ทำอะไรให้คุ้มค่าจริง ๆ และสำนวน Snowflake ไหน — QUALIFY, VARIANT, TASK ที่ตั้งเวลาไว้ — ที่ไม่มีของเทียบตรง ๆ ใน ClickHouse และต้องแปลกันจริงจัง
แล็บนี้บังคับให้คุณเขียนการตัดสินใจเหล่านั้นลงไปก่อนลงมือทำ โมดูล 02 ให้ผลลัพธ์เป็น migration-plan.md ที่มีเหตุผลกำกับทุกทางเลือก และสคริปต์ติดตั้งของโมดูล 03 จะตรวจหาไฟล์นั้นก่อนที่คุณจะแตะ ClickHouse
ถึงโมดูล 06 คุณจะต้องปกป้องแผนนั้นแบบเปิดตำรา ต่อการประเมินยี่สิบข้อและคำถามปลายเปิดสี่ข้อ — เป็นการทดสอบวิจารณญาณแบบเดียวกับที่บทสนทนากับลูกค้าจริงจะพาคุณไปเจอ
สิ่งที่คุณจะได้กลับไป
บนบัญชีทดลองใช้ Snowflake ของคุณเองและบัญชีทดลองใช้ ClickHouse Cloud ของคุณเอง — ไม่ต้องใช้บัตรเครดิตทั้งสองที่
ทำบัญชีรายการตาราง ระบุรูปแบบคิวรี มองเห็นช่องว่างของ SQL dialect และประเมินขนาดงานย้ายระบบ ก่อนจะเริ่มวางแผนอะไรทั้งนั้น
ตระกูลเอนจิน MergeTree ที่เหมาะกับแต่ละตาราง คีย์ ORDER BY ที่คุ้มค่ากับที่มันกินไป และชนิดข้อมูลกับสำนวน Snowflake ที่แปลเป็นของเทียบเท่าใน ClickHouse แล้ว
ย้าย 50 ล้านแถว ด้วยสคริปต์ Python ที่รันต่อจากจุดเดิมได้ ตรวจความตรงกันของข้อมูล และสลับตัวผลิตข้อมูลด้วยสคริปต์
dbt-clickhouse ที่ตั้งค่าด้วย delete_insert โมเดล ReplacingMergeTree และ materialized view แบบรีเฟรชได้
เบนช์มาร์กเจ็ดคิวรีที่คุณเปลี่ยนเป็นตัวเลขประสิทธิภาพ 6-9x ซึ่งอธิบายต่อหน้าลูกค้าได้
ผ่านการประเมินของโมดูล 06 — เป็นหลักฐานว่าคุณเอาแพตเทิร์นเดียวกันไปใช้กับเวิร์กโหลดของลูกค้ารายใหม่ได้
ช่องว่างของ dialect ที่คุณต้องแปลจริง ๆ
เส้นทาง · ลงมือทำ 6 ชั่วโมง
หนึ่งสายงาน ตั้งแต่ต้นจนจบ: ทำโปรไฟล์ต้นทาง วางแผนปลายทาง ย้ายข้อมูล สร้างไปป์ไลน์ขึ้นใหม่ แล้วพิสูจน์ผลลัพธ์
ติดตั้งชุดเครื่องมือ สร้างบัญชีทดลองใช้ทั้งสองคลาวด์ โคลน repo และสร้าง virtualenv ของ dbt ทั้งสองชุด — ทุกอย่างที่การย้ายระบบต้องมีก่อนคุณแตะข้อมูล
จัดสภาพแวดล้อม Snowflake ที่สะท้อนการติดตั้งใช้งานของลูกค้าจริง: 50M แถว ไปป์ไลน์ dbt แบบ Medallion ตัวผลิตข้อมูลทริปแบบสด และแดชบอร์ด Superset สามชุด
ทำโปรไฟล์เวิร์กโหลด Snowflake แล้วตัดสินใจเรื่องสถาปัตยกรรมที่การย้ายระบบจะลงมือทำตาม: การเลือกเอนจิน sort key การแปลงสคีมา ระลอกการ deploy และการออกแบบโมเดล dbt
จัดสรร ClickHouse Cloud ด้วย Terraform สร้างตารางปลายทางจากแผนของคุณ และย้าย 50 ล้านแถวด้วยสคริปต์ที่รันต่อจากจุดเดิมได้ กันเวลาไว้ 60 นาทีโดยรวม — ราว 40-50 นาทีของนั้นเป็นการโอนข้อมูลที่ปล่อยรันเบื้องหลังได้โดยไม่ต้องเฝ้า
สร้างไปป์ไลน์ Medallion ขึ้นใหม่บน ClickHouse ด้วย dbt-clickhouse — โมเดล incremental แบบ delete_insert, ReplacingMergeTree, materialized view แบบรีเฟรชได้ — แล้วสร้าง dictionary ของโซน
สร้างแดชบอร์ดขึ้นใหม่บน ClickHouse เบนช์มาร์กทั้งเจ็ดคิวรีบนทั้งสองเอนจิน สลับตัวผลิตข้อมูลมา ตรวจความตรงกัน แล้วรื้อระบบทิ้ง
ทำแบบประเมินปรนัย 20 ข้อและคำถามปลายเปิด 4 ข้อ แบบเปิดตำรา เพื่อรับ ClickHouse Migration Proficiency Badge
ค่าเริ่มต้นคือทำเองตามจังหวะของคุณ ทุกโมดูลระบุจุดตรวจเริ่มต้น จึงไม่มีใครถูกทิ้งไว้เพราะจังหวะของห้อง ตัวผลิตข้อมูล Snowflake ที่เริ่มในโมดูล 01 ต้องรันต่อเนื่องไปจนถึงโมดูล 05 — วางแผนช่วงพักรอบมัน ไม่ใช่ปิดมันแล้วพัก
ก่อนเข้าร่วม
เตรียมบัญชีทดลองใช้ Snowflake และ ClickHouse Cloud มา แล้วกลับไปพร้อม 50 ล้านแถวที่ย้ายแล้ว ไปป์ไลน์ dbt ที่สร้างขึ้นใหม่ และคิวรีเบนช์มาร์กเจ็ดตัวที่คุณอธิบายให้ลูกค้าฟังได้