Langfuse WorkshopClickHouse Workshops

05 ชุดข้อมูล

แนวทางผู้เรียน: 05 Dataset

เอกสารเวิร์กชอปนี้รักษาไว้ในที่เก็บข้อมูลสาธารณะ langfuse/langfuse-workshop ใช้ที่เก็บข้อมูลสำหรับแอปที่รันได้ สาขา checkpoint และการตั้งค่าในเครื่อง

ดูไฟล์ Markdown นี้

แนวทางผู้เรียน: 05 Dataset

หมายเหตุผู้สอน

  • เฟรม dataset เป็นขอบเขตผลิตภัณฑ์เขียนลง: ที่เข้ารหัส user ที่คาดไว้ พฤติกรรมที่คาดไว้ และ metadata สำหรับการสไลซ์
  • เส้นทาง code นั้นง่ายโดยเจตนา: seed curated JSON เข้า Langfuse จากนั้น ตรวจสอบ hosted dataset
  • เรียก out ทำไม expectedOutput มีสองฟิลด์: idealAnswer ป้อน Correctness judge และ expectedKeywords ป้อน deterministic keyword_overlap ตรวจสอบ ในบทต่อไป
  • เชื่อมต่อบทนี้กลับเข้า monitoring: dataset items ที่ดีมักจะมาจาก surprising production traces

จังหวะการสาธิต

  1. เปิด data/seed-dataset.json และชี้ input expectedOutput และ metadata
  2. รัน npm run dataset:seed
  3. เปิด dataset list และ item table ใน Langfuse

ต้องระวัง

  • ผู้เรียนคาดว่า exact-answer matching ideal answer คือ reference material สำหรับ evaluators ไม่ใช่ string equality target
  • Duplicate dataset items ถ้า seed script ถูกรันซ้ำกับ same project

ในหน้านี้

TH