ประกาศผู้ชนะ
พิสูจน์ต้นทุน

การเลือกโมเดลคือการตัดสินใจแรกที่มีผลจริงในแอปพลิเคชัน agent และเป็นข้อที่คนเดามากที่สุด เดาสูงไป คุณจ่ายราคาโมเดลระดับแนวหน้าเพื่อความสามารถที่งานนั้นไม่เคยต้องการ เดาต่ำไป คุณส่งของที่ตอบเวิร์กโหลดจริงผิดอย่างเงียบ ๆ

เพราะอย่างนั้นคุณจึงจัดการแข่งด้วยตัวเอง กริดของหกโมเดลกับสามกลยุทธ์ prompt ตอบชุดคำถามธุรกิจที่มีเฉลยจริง บนชุดข้อมูล ClickHouse ที่ใช้งานอยู่

ทุกคำตอบถูกให้คะแนนด้วย ความแม่นยำของการรันจริง — คิวรีคืนผลลัพธ์ที่ถูกหรือไม่ ไม่ใช่ SQL ที่ดูเหมือนจะถูก — และทุกคอนฟิกถูกจัดอันดับด้วย ต้นทุนต่อคำตอบที่ถูกหนึ่งข้อ นั่นคือคุณภาพต่อเงินหนึ่งดอลลาร์สำหรับงานของคุณ ซึ่งเป็นตัวเลขเดียวที่ยุติข้อถกเถียงได้จริง

Langfuse ถูกต่อไว้ตั้งแต่โมดูล 00 ไม่ใช่แปะเพิ่มตอนท้าย: มันรันการแข่งเป็น experiment ให้คะแนนด้วย code evaluator และ LLM judge เก็บทุก trace และติดตามผู้ชนะไปจนถึงโปรดักชัน