07 변경 사항 평가

워크숍 자료는 공개 langfuse/langfuse-workshop 저장소에서 관리됩니다. 저장소를 사용하여 실행 가능한 앱, 체크포인트 분기, 로컬 설정을 확인하세요.

이 마크다운 파일 보기

학습자 가이드: 07 변경 평가

강사 노트

• 학습자가 뭔가를 변경하기 전에 첫 번째 실행을 검사하도록 하세요. 변경은 감정이 아닌 증거에 응답해야 합니다.
• 반복을 의도적으로 작게 유지하세요: 한 프롬프트 규칙, 한 번의 재실행, 한 번의 비교.
• 퇴행을 강조하세요. 가장 유용한 비교는 종종 악화된 항목입니다.
• 학습자에게 두 실험 점수가 이제 플랫폼 측에 있으므로 누락된 점수는 일반적으로 "아직 보류 중" 또는 "평가자 대상 불일치"를 의미하고 scripts/run-dataset.ts의 버그가 아니라는 것을 상기시키세요.

데모 리듬

1. 첫 번째 실행에서 낮은 점수 항목을 읽습니다.
2. 새 프롬프트 버전을 추가하거나 승격합니다.
3. npm run dataset:run를 다시 실행합니다.
4. 두 실행을 나란히 비교하고 변경을 배송할 가치가 있는지 결정합니다.

주의할 점

• 학습자가 동시에 모델과 프롬프트를 모두 변경하여 비교를 해석하기 어렵게 만듭니다.
• 학습자가 UI에서 프롬프트를 편집하지만 앱이 가져오는 레이블로 승격된 새 저장 버전이 필요하다는 것을 잊습니다.