Lộ trình giảng viên
Thời lượng, nội dung dẫn dắt, lỗi thường gặp và các bước đặt lại dành cho người điều phối.
Đây là lộ trình giảng viên, tài liệu đồng hành với lộ trình người học. Mỗi mô-đun bám sát bài học tương ứng và bổ sung hướng dẫn về thời lượng, nội dung dẫn dắt, lỗi thường gặp cùng các bước đặt lại để điều phối workshop trực tiếp.
Workshop đi theo một mạch xuyên suốt: chọn mô hình nền → đo lường offline → phát hành và phát hiện → điều tra với con người → chứng minh và giám sát cải tiến.
Tổng thời gian
| Mô-đun | Bài học của người học | Ghi chú của giảng viên | Kết quả | Ngân sách |
|---|---|---|---|---|
| 00 | Thiết lập | ghi chú | Kết nối OpenRouter, ClickHouse và Langfuse; seed dữ liệu Agent Arena. | 20 phút |
| 01 | Chọn mô hình nền | ghi chú | Chạy cuộc thi và chọn cấu hình theo chi phí trên mỗi câu trả lời đúng. | 20 phút |
| 02 | Đo lường offline | ghi chú | Đọc điểm số và trace offline của mô hình chiến thắng trước khi phát hành. | 15 phút |
| 03 | Phát hành và phát hiện | ghi chú | Phát hành chính sách lỗi thời và ghi nhận mâu thuẫn: evaluator đạt nhưng người dùng không hài lòng. | 15 phút |
| 04 | Điều tra với con người | ghi chú | Hoàn tất chẩn đoán dựa trên bằng chứng và bàn giao đầu ra đã sửa. | 20 phút |
| 05 | Khép kín vòng lặp | ghi chú | Mở rộng bộ dữ liệu vàng, chứng minh bản sửa và bật cơ chế bảo vệ online đã hiệu chỉnh. | 25 phút |
Tổng cộng 115 phút — khoảng 1 giờ 55 phút — cho toàn bộ phần thực hành, chưa tính thời gian chuyển tiếp giữa các mô-đun.
Thiết lập phòng
- Mỗi người học (hoặc mỗi cặp) có một tệp
.envriêng, lấy thông tin từ tài khoản OpenRouter, Langfuse Cloud và ClickHouse Cloud của họ. Không chia sẻ thông tin xác thực giữa các học viên; Mô-đun 00 cũng tạo một user ClickHouse chỉ đọcarena_roriêng cho mỗi lần seed. - Trình chiếu project Langfuse Cloud của giảng viên, tách biệt với project của học viên, để minh họa experiment, trace production, annotation và evaluator trong Mô-đun 01–05.
- Chuẩn bị một terminal có thể chạy
scripts/arena.sh statusbất cứ lúc nào. Lệnh này báo trạng thái dashboard API, web UI và in số hàng của từng viewv_*.scripts/arena.sh upseed bộ dữ liệu nghiệp vụ trên ClickHouse và khởi động các dịch vụ cục bộ; kết quả benchmark được lưu trong Langfuse. Workshop này không dùng Aurora, ClickPipes hay ClickStack.
Danh sách kiểm tra điều kiện tiên quyết
Xác nhận từng mục sau trước khi Mô-đun 00 bắt đầu, tốt nhất là từ ngày hôm trước:
- Học viên đã tạo (hoặc được cấp) tài khoản OpenRouter, Langfuse Cloud và ClickHouse Cloud với API key thật, không phải giá trị giữ chỗ.
- Học viên đã clone repository và có thể tạo virtualenv Python
(
python -m venv .venv && source .venv/bin/activate && pip install -r requirements.txt). - Node.js đã được cài đặt cho tab Chat trên web (
cd web && npm install), cần dùng từ Mô-đun 00 cho dashboard và ở Mô-đun 03 cho tab Chat. - Bạn đã đọc
eval/langfuse_evaluators/README.md. Bước thiết lập evaluator Langfuse một lần ở Mô-đun 01 là phần dễ phát sinh lỗi nhất và nên được diễn tập trước. - Bạn có thể tự chạy trọn vẹn
source .env && scripts/arena.sh uptrước workshop, để biết trạng thái “seed đúng” trông như thế nào khi kết quả của học viên không khớp.