08 สรุป

วัสดุการอบรมได้รับการบำรุงรักษาในที่เก็บ langfuse/langfuse-workshop สาธารณะ ใช้ที่เก็บสำหรับแอปที่สามารถรันได้ สาขาจุดเช็คพอยต์ และการตั้งค่าระดับท้องถิ่น

ดูไฟล์ Markdown นี้

จุดเริ่มต้น

git checkout checkpoint/08-wrap-up

คุณได้เดินผ่านทุกขั้นตอนลูป

สิ่งที่คุณควรจะทำได้ตอนนี้

• ติดตามแอป LLM จากต้นจนจบและอ่านผลลัพธ์เป็นพื้นผิวการดีบัก
• เชื่อมต่อพรอมต์กับร่องรอยเพื่อให้การเปลี่ยนแปลงพรอมต์มีผลร่องรอยถัดไปที่วัดได้
• ตรวจจับพฤติกรรมการใช้งานจริงที่น่าสนใจ (นอกเหนือขอบเขต ข้อมูลไม่ตรงกัน) โดยอัตโนมัติ
• เปลี่ยนขอบเขตผลิตภัณฑ์เป็นชุดข้อมูลเริ่มต้นของตัวอย่างเชิงจริง
• รันการทดลองบนเอเจนต์โค้ดเดียวกัน ไม่มีการนำตัวอย่างไปใช้ปลายนอนเรียกง่าย
• เปรียบเทียบการรันหลังการเปลี่ยนแปลงและตัดสินใจว่าการตั้งค่าใดดีกว่า — ตามคะแนนและการอ่านเอาต์พุตแต่ละชิ้น

ภาพที่ใหญ่กว่า

Langfuse ในการอบรมนี้คือ พื้นผิวที่ใช้ร่วมกัน ไม่ใช่แค่สิ่งสังเกตการณ์:

• ทำความเข้าใจพฤติกรรม — ปฏิสัมพันธ์ทั้งหมดสามารถตรวจสอบได้
• การสะสมตัวอย่างตัวแทน — การใช้งานจริงเป็นเมล็ด ชุดข้อมูล
• การเปรียบเทียบการเปลี่ยนแปลง — ทุกการเปลี่ยนแปลงพรอมต์หรือโค้ดมีพื้นฐาน
• การปรับปรุงระบบโดยทั่วไป — ลูปปิดกลับเข้าไปในตัวมันเอง

คำถามปิดที่ดี

• การติดตามเปิดเผยอะไรที่มองไม่เห็นมาก่อน?
• เหตุการณ์การใช้งานจริงใดที่คุณจะตรวจสอบก่อนในแอปของคุณเอง?
• คุณจะเพิ่มอะไรลงในชุดข้อมูลเริ่มต้น?
• การเปลี่ยนแปลงใดที่คุณจะทดสอบหลังจากการวนซ้ำพรอมต์ครั้งแรก?
• ที่ใดในแอปจริงของคุณที่ /langfuse ทักษะจะบันทึกการม้วนมากที่สุด?

วิธีการทำงานในแอปพลิเคชันของคุณเอง

เมื่อคุณกลับไปที่ฐานรหัสของคุณเอง ทำเช่นนี้ตามลำดับ:

1. รัน Langfuse CLI เพื่อให้คุณสามารถจัดการพรอมต์ ชุดข้อมูล และการรันจากเทอร์มินัล CLI ใช้คีย API โครงการเดียวกันกับ SDK ดังนั้นจึงไม่มีขั้นตอนการเข้าสู่ระบบ CLI แยกต่างหาก เก็บค่าเหล่านั้นในไฟล์ .env ท้องถิ่นของแอปพลิเคชัน:

   LANGFUSE_PUBLIC_KEY=pk-lf-...
   LANGFUSE_SECRET_KEY=sk-lf-...
   LANGFUSE_BASE_URL=https://cloud.langfuse.com

   จากนั้นรัน CLI จากเชลล์ที่โหลดไฟล์นั้น:

   npx langfuse-cli api __schema

   ถ้าคุณต้องการไบนารีโลก ติดตั้งแพคเกจที่ตีพิมพ์ langfuse-cli:

   npm install -g langfuse-cli
   langfuse api __schema

2. ติดตั้ง ทักษะ Langfuse (/langfuse) — มันบรรจุการติดตาม การจัดการพรอมต์ การตรวจสอบ และรูปแบบตัวประเมินผลที่แนะนำจากการอบรมนี้และนำมาใช้กับฐานรหัสของคุณโดยไม่ต้องม้วนตัวด้วยตนเอง:

   npx skills add langfuse/skills --skill "langfuse"

3. เลือกพื้นผิว LLM ที่ใช้ที่เล็กที่สุด ที่คุณมีและสายไฟ observe(...) + observeOpenAI(...) ก่อน รับร่องรอยเดียวก่อนที่คุณจะทำอะไรอื่น

4. เพิ่มข้อมูลผู้ใช้/เซสชัน เฉพาะเมื่อคุณมีผู้ใช้สองคนหรือการจราจรเซสชันสองเซสชัน — ไม่มีจุดจนกว่า

5. สร้างชุดข้อมูลแรกของคุณ จากร่องรอยจริง การอภิปรายกับผู้เชี่ยวชาญ หรือตัวอย่างในอดีต มากกว่าจากจินตนาการ พฤติกรรมการใช้งานจริงจะบอกคุณจากเวลาที่ชุดข้อมูลของคุณต้องครอบคลุม

6. รันการทดลองหนึ่ง เปลี่ยนหนึ่ง รันการทดลองอีกครั้ง จากนั้นทำซ้ำ

สำหรับวัสดุภาพที่ใหญ่ขึ้นในแต่ละขั้นตอน Langfuse Academy มีบทเรียนเฉพาะ:

• ลูป AI วิศวกรรม
• ติดตาม
• การตรวจสอบ
• ชุดข้อมูล
• การทดลอง
• ประเมินค่า