05 データセット

ワークショップ資料は公開されている langfuse/langfuse-workshop リポジトリで管理されています。実行可能なアプリケーション、チェックポイント ブランチ、ローカル セットアップはリポジトリを参照してください。

このマークダウン ファイルを表示

学習者ガイド: 05 データセット

インストラクター ノート

• データセットを製品スコープが記述されたものとしてフレーミングしてください: 期待されるユーザー入力、期待される動作、スライス用のメタデータ。
• コード パスは意図的にシンプルです: キュレートされた JSON を Langfuse にシードし、ホストされたデータセットを検査します。
• expectedOutput が 2 つのフィールドを持つ理由を呼び出してください: idealAnswer は Correctness 判定に供給され、expectedKeywords は次の章の確定的 keyword_overlap チェックに供給されます。
• このチャプターを監視にリンク戻す: 良好なデータセット項目はしばしば驚くべき本番トレースから来ています。

デモ リズム

1. data/seed-dataset.json を開き、input、expectedOutput、metadata を指摘します。
2. npm run dataset:seed を実行します。
3. Langfuse でデータセット リストと項目テーブルを開きます。

注視する点

• 学習者が完全な回答マッチングを期待している場合。理想的な回答は文字列の等価性ターゲットではなく、評価器の参照資料です。
• 同じプロジェクトに対してシード スクリプトを繰り返し実行するとデータセット項目が重複している場合。