07 Mengevaluasi Perubahan

Materi workshop dikelola dalam repositori publik langfuse/langfuse-workshop repository. Gunakan repositori untuk aplikasi yang dapat dijalankan, cabang checkpoint, dan pengaturan lokal.

Lihat file Markdown ini

Panduan pelajar: 07 Mengevaluasi Perubahan

Catatan instruktur

• Buat pelajar memeriksa run 1 sebelum mengubah apa pun. Perubahan harus merespons bukti, bukan vibes.
• Jaga iterasi tetap disengaja kecil: satu aturan prompt, satu jalankan ulang, satu perbandingan.
• Tekankan regresi. Perbandingan paling berguna sering kali adalah item yang memburuk.
• Ingatkan pelajar bahwa kedua skor eksperimen sekarang bersifat platform-side, jadi skor yang hilang biasanya berarti "masih tertunda" atau "ketidaksesuaian target evaluator," bukan bug di scripts/run-dataset.ts.

Ritme demo

1. Baca item penilaian rendah dari run pertama.
2. Tambahkan atau promosikan versi prompt baru.
3. Jalankan npm run dataset:run lagi.
4. Bandingkan kedua run berdampingan dan tentukan apakah perubahan layak dikirim.

Perhatikan

• Pelajar mengubah model dan prompt pada waktu yang sama, membuat perbandingan sulit diinterpretasikan.
• Pelajar mengedit prompt di UI tetapi lupa mereka memerlukan versi yang disimpan baru dipromosikan ke label yang diambil aplikasi.