เส้นทางผู้สอน
การจับเวลา แนวทางการบรรยาย ข้อผิดพลาดที่พบบ่อย และขั้นตอนการรีเซ็ตสำหรับผู้สอน
นี่คือเส้นทางผู้สอน ซึ่งเป็นคู่หูของเส้นทางผู้เรียนสำหรับผู้ดำเนินการเวิร์กช็อป แต่ละ โมดูลจะสอดคล้องกับโมดูลของผู้เรียน และเพิ่มคำแนะนำด้านเวลา แนวทางการบรรยาย รูปแบบข้อผิดพลาดที่พบบ่อย และขั้นตอนการรีเซ็ตสำหรับการรันเซสชันแบบสด
เวิร์กช็อปนี้ดำเนินไปตามเส้นเรื่องต่อเนื่องเดียว: เลือกโมเดลพื้นฐาน → วัดผลแบบออฟไลน์ → ปล่อยใช้งานและตรวจจับ → ตรวจสอบโดยมนุษย์ → ปิดวงจรการปรับปรุง
เวลาทั้งหมด
| โมดูล | บทเรียนผู้เรียน | บันทึกผู้สอน | ผลลัพธ์ | เวลาที่ใช้ |
|---|---|---|---|---|
| 00 | ตั้งค่า | บันทึก | เชื่อมต่อ OpenRouter, ClickHouse และ Langfuse; สร้างข้อมูลตั้งต้นของ Agent Arena | 20 นาที |
| 01 | เลือกโมเดลพื้นฐาน | บันทึก | รันการแข่งขันและเลือกค่าคอนฟิกตามต้นทุนต่อคำตอบที่ถูกต้อง | 20 นาที |
| 02 | วัดผลแบบออฟไลน์ | บันทึก | อ่านคะแนนออฟไลน์และ trace ของผู้ชนะก่อนปล่อยใช้งาน | 15 นาที |
| 03 | ปล่อยใช้งานและตรวจจับ | บันทึก | ปล่อยใช้งานนโยบายที่ล้าสมัยและบันทึกความขัดแย้งระหว่างประเมิน-ผ่าน กับ ผู้ใช้-ไม่ผ่าน | 15 นาที |
| 04 | ตรวจสอบโดยมนุษย์ | บันทึก | ทำการวินิจฉัยโดยมนุษย์ที่ยึดหลักฐานเป็นหลัก และส่งมอบผลลัพธ์ที่แก้ไขแล้ว | 20 นาที |
| 05 | ปิดวงจรการปรับปรุง | บันทึก | ขยายชุดข้อมูล golden พิสูจน์การแก้ไข และเปิดใช้งานการป้องกันออนไลน์ที่ผ่านการปรับเทียบ | 25 นาที |
นั่นคือ 115 นาที — ประมาณ 1 ชั่วโมง 55 นาที — ของการลงมือทำจริง สำหรับเซสชันทั้งหมด บวกกับเวลาเปลี่ยนผ่านระหว่างโมดูล
การจัดห้อง
.envหนึ่งไฟล์ต่อผู้เรียนหนึ่งคน (หรือหนึ่งคู่) โดยเติมค่าจากบัญชี OpenRouter, Langfuse Cloud และ ClickHouse Cloud ของตนเอง — ข้อมูลรับรองจะไม่ถูกใช้ร่วมกันระหว่างผู้เรียน เพราะโมดูล 00 ยังสร้างผู้ใช้arena_roแบบอ่านอย่างเดียวโดยเฉพาะให้แต่ละ seed ด้วย- มุมมองโปรเจกเตอร์ของโปรเจกต์ Langfuse Cloud ของคุณเอง ซึ่งแยกออกจากโปรเจกต์ ของผู้เรียน สำหรับใช้เดินผ่าน experiment, production trace, การใส่คำอธิบายประกอบ (annotation) และ evaluator ในโมดูล 01–05
- เทอร์มินัลที่พร้อมรัน
scripts/arena.sh statusได้ทุกเมื่อ — คำสั่งนี้จะรายงาน ว่า dashboard API และเว็บ UI ทำงานอยู่หรือไม่ และแสดงจำนวนแถวของแต่ละ viewv_*ส่วนscripts/arena.sh upจะสร้างข้อมูลตั้งต้นทางธุรกิจใน ClickHouse และเริ่ม บริการในเครื่อง ผลการเปรียบเทียบจะอยู่ใน Langfuse (เวิร์กช็อปนี้ไม่มี Aurora, ClickPipes หรือ ClickStack)
รายการตรวจสอบก่อนเริ่ม
ยืนยันแต่ละรายการต่อไปนี้ก่อนโมดูล 00 จะเริ่ม ควรทำล่วงหน้าหนึ่งวัน:
- ผู้เรียนได้สร้าง (หรือได้รับ) บัญชีบน OpenRouter, Langfuse Cloud และ ClickHouse Cloud พร้อม API key จริง — ไม่ใช่ค่าตัวอย่างที่ยังไม่ใช้งานจริง
- ผู้เรียนได้โคลน repo แล้ว และสามารถสร้าง Python virtualenv ได้
(
python -m venv .venv && source .venv/bin/activate && pip install -r requirements.txt). - ติดตั้ง Node.js แล้วสำหรับแท็บ Chat บนเว็บ (
cd web && npm install) ซึ่งต้องใช้ตั้งแต่โมดูล 00 (dashboard) และอีกครั้งในโมดูล 03 (แท็บ Chat) - คุณได้อ่าน
eval/langfuse_evaluators/README.mdแล้ว — การตั้งค่า Langfuse evaluator แบบครั้งเดียวในโมดูล 01 เป็นขั้นตอนที่ยุ่งยากที่สุดในเซสชันทั้งหมด และควรลองซ้อมทำดูก่อน - คุณสามารถรัน
source .env && scripts/arena.sh upจนจบได้ด้วยตัวเองสักครั้ง ก่อนเซสชัน เพื่อให้รู้ว่า "สร้างข้อมูลตั้งต้นสำเร็จ" หน้าตาเป็นอย่างไร เมื่อการรันของผู้เรียน ไม่ตรงกับที่คาดไว้