08 마무리

워크숍 자료는 공개 langfuse/langfuse-workshop 저장소에서 유지됩니다. 실행 가능한 앱, 체크포인트 브랜치, 로컬 설정을 위해 저장소를 사용하세요.

이 Markdown 파일 보기

시작점

git checkout checkpoint/08-wrap-up

모든 루프 단계를 걸었습니다.

지금 할 수 있어야 하는 것

• LLM 앱을 엔드투엔드로 추적하고 결과를 디버깅 표면으로 읽으십시오.
• 프롬프트를 추적에 연결하여 프롬프트 변경이 측정 가능한 다음 추적 효과를 가집니다.
• 흥미로운 프로덕션 동작(범위 외, 불일치)를 자동으로 감지합니다.
• 현실적인 예제의 시작 데이터셋으로 제품 범위를 설정합니다.
• 병렬 구현이 없는 동일한 에이전트 코드로 실험을 실행합니다.
• 실행을 비교한 후 변경 후 모니터링은 어느 설정이 더 나은지 결정합니다 — 점수와 개별 출력 읽기로.

더 큰 그림

이 워크숍의 Langfuse는 단지 관찰성이 아니라 공유 표면입니다:

• 행동 이해 — 모든 상호 작용을 검사할 수 있습니다
• 대표적인 예제 수집 — 프로덕션 시드 데이터셋
• 변경 비교 — 모든 프롬프트 또는 코드 변경은 기준선을 가집니다
• 시스템 지속적으로 개선 — 루프가 자기 자신으로 다시 닫힙니다

좋은 마무리 질문

• 추적이 이전에 보이지 않았던 것을 드러냈나요?
• 자신의 앱에서 먼저 모니터링할 프로덕션 이벤트는 무엇입니까?
• 시작 데이터셋에 다음으로 무엇을 추가하시겠습니까?
• 첫 번째 프롬프트 반복 후 테스트하고 싶은 변경은 무엇입니까?
• /langfuse 스킬이 자신의 실제 앱에서 가장 많이 손-롤링을 절약했을 곳은 어디입니까?

자신의 응용 프로그램에서 작업하는 방법

자신의 코드 베이스로 돌아갈 때, 이 순서대로 수행하세요:

1. Langfuse CLI를 실행 하여 터미널에서 프롬프트, 데이터셋 및 실행을 관리할 수 있습니다. CLI는 SDK와 동일한 프로젝트 API 키를 사용하므로 별도의 CLI 로그인 단계가 없습니다. 응용 프로그램의 로컬 .env에서 이 값을 보관하세요:

   LANGFUSE_PUBLIC_KEY=pk-lf-...
   LANGFUSE_SECRET_KEY=sk-lf-...
   LANGFUSE_BASE_URL=https://cloud.langfuse.com

   그런 다음 해당 파일을 로드한 셸에서 CLI를 실행합니다:

   npx langfuse-cli api __schema

   전역 바이너리를 선호하면 게시된 langfuse-cli 패키지를 설치합니다:

   npm install -g langfuse-cli
   langfuse api __schema

2. Langfuse 스킬 설치(/langfuse) — 이 워크숍에서 권장 추적, 프롬프트 관리, 모니터링 및 평가자 패턴을 패키지하고 손-롤링 각 부분 없이 코드 베이스에 적용합니다:

   npx skills add langfuse/skills --skill "langfuse"

3. 최소 LLM 사용 표면 을 선택하고 observe(...) + observeOpenAI(...)을 먼저 연결합니다. 다른 것을 하기 전에 하나의 추적을 얻으세요.

4. 사용자/세션 정보 추가 가장 빨리 두 명의 사용자 또는 두 개의 트래픽 세션이 있을 때만 — 그 전까지는 요점이 없습니다.

5. 첫 번째 데이터셋 실제 트레이스, 전문가와의 토론 또는 과거 예제에서 빌드합니다, 상상 속에서가 아닙니다. 프로덕션 동작은 시간 경과에 따라 데이터셋이 다루어야 할 것을 알려줍니다.

6. 하나의 실험을 실행하고, 한 가지를 변경하고, 다시 실행합니다. 그런 다음 반복합니다.

각 단계의 더 큰 그림 자료를 위해, Langfuse Academy에는 전용 강의가 있습니다:

• AI 엔지니어링 루프
• 추적
• 모니터링
• 데이터셋
• 실험
• 평가