08 Tổng kết

Tài liệu hội thảo được duy trì trong kho lưu trữ công khai langfuse/langfuse-workshop repository. Sử dụng kho lưu trữ cho ứng dụng có thể chạy được, các nhánh điểm kiểm tra và thiết lập cục bộ.

Xem tệp Markdown này

Điểm bắt đầu

git checkout checkpoint/08-wrap-up

Bạn đã đi bộ qua mọi bước vòng lặp.

Những gì bạn nên có thể làm bây giờ

• Theo dõi ứng dụng LLM từ đầu đến cuối và đọc kết quả như một bề mặt gỡ lỗi.
• Kết nối lời nhắc để theo dõi để thay đổi lời nhắc có một bộ theo dõi tiếp theo có thể đo lường được.
• Phát hiện hành vi sản xuất thú vị (ngoài phạm vi, không đồng ý) một cách tự động.
• Biến phạm vi sản phẩm thành tập dữ liệu khởi đầu các ví dụ thực tế.
• Chạy thử nghiệm trên cùng một mã agent với không có triển khai song song.
• So sánh chạy sau khi thay đổi và quyết định thiết lập nào tốt hơn — theo điểm và đọc các đầu ra riêng lẻ.

Bức tranh lớn hơn

Langfuse trong hội thảo này là một bề mặt chia sẻ, không chỉ quan sát:

• hiểu hành vi — mỗi tương tác có thể kiểm tra được
• thu thập các ví dụ đại diện — lặp giống nhau hạt giống tập dữ liệu
• so sánh các thay đổi — mỗi lời nhắc hoặc thay đổi mã có một đường cơ sở
• cải thiện hệ thống liên tục — vòng lặp đóng trở lại chính nó

Các câu hỏi đóng tốt

• Những gì đã theo dõi tiết lộ mà trước đó vô hình?
• Những sự kiện sản xuất nào bạn sẽ giám sát trước tiên trong ứng dụng của riêng bạn?
• Bạn sẽ thêm gì vào tập dữ liệu khởi đầu tiếp theo?
• Thay đổi nào bạn sẽ kiểm tra sau lần lặp lại lần đầu tiên?
• Nơi nào trong ứng dụng thực tế của bạn mà /langfuse kỹ năng sẽ đã cứu bạn là hầu hết theo cách thủ công?

Cách làm việc trên ứng dụng của riêng bạn

Khi bạn quay lại cơ sở mã của riêng bạn, hãy làm việc này theo thứ tự:

1. Chạy Langfuse CLI để bạn có thể quản lý lời nhắc, tập dữ liệu và chạy từ thiết bị đầu cuối. CLI sử dụng cùng khóa API dự án như SDK, vì vậy không có bước đăng nhập CLI riêng biệt. Giữ những giá trị đó trong .env cục bộ của ứng dụng của bạn:

   LANGFUSE_PUBLIC_KEY=pk-lf-...
   LANGFUSE_SECRET_KEY=sk-lf-...
   LANGFUSE_BASE_URL=https://cloud.langfuse.com

   Sau đó chạy CLI từ một vỏ đã tải tệp đó:

   npx langfuse-cli api __schema

   Nếu bạn thích một nhị phân toàn cầu, hãy cài đặt gói langfuse-cli được xuất bản:

   npm install -g langfuse-cli
   langfuse api __schema

2. Cài đặt kỹ năng Langfuse (/langfuse) — nó đóng gói các mô hình theo dõi, quản lý lời nhắc, giám sát và bộ đánh giá được khuyến nghị từ hội thảo này và áp dụng chúng cho cơ sở mã của bạn mà không cần bạn thực hiện thủ công từng phần:

   npx skills add langfuse/skills --skill "langfuse"

3. Chọn bề mặt nhỏ nhất dùng LLM bạn có và kết nối observe(...) + observeOpenAI(...) trước tiên. Lấy một dấu vết trước khi bạn làm bất cứ điều gì khác.

4. Thêm thông tin người dùng/phiên chỉ khi bạn có ít nhất hai người dùng hoặc hai phiên lưu lượng — không có điểm cho đến lúc đó.

5. Xây dựng tập dữ liệu đầu tiên của bạn từ các dấu vết thực tế, thảo luận với các chuyên gia hoặc các ví dụ trước thay vì từ trí tưởng tượng. Hành vi sản xuất sẽ cho bạn biết theo thời gian tập dữ liệu của bạn cần bao gồm những gì.

6. Chạy một thử nghiệm, thay đổi một cái gì đó, chạy lại. Sau đó lặp lại.

Đối với tài liệu bức tranh lớn hơn trên mỗi bước, Langfuse Academy có các bài học chuyên dụng:

• Vòng lặp Kỹ thuật AI
• Theo dõi
• Giám sát
• Tập dữ liệu
• Thử nghiệm
• Đánh giá