08 채팅과 Langfuse

결과물

약 15분 안에 앱이 데이터 질문에 답하고 Langfuse가 전체 모델 트레이스를 보여줍니다. Module 07이 복구되고 git branch --show-current가 build-workshop-v1을 반환한 뒤에만 시작하세요.

Step 1 — 키 확인

workshops/build_workshop/app/.env.workshop에 이 필드들이 채워져 있는지 확인하세요. Langfuse URL은 프로젝트 리전과 일치해야 합니다.

OPENAI_API_KEY=sk-...
LLM_MODEL=<model from the template>
LLM_BASE_URL=https://api.openai.com/v1
LANGFUSE_PUBLIC_KEY=pk-lf-...
LANGFUSE_SECRET_KEY=sk-lf-...
LANGFUSE_BASE_URL=https://us.cloud.langfuse.com

계측된 백엔드만 재시작하세요:

cd "$(git rev-parse --show-toplevel)/workshops/build_workshop/app"
docker compose --env-file .env.workshop \
  -f docker-compose.workshop.yml \
  -f docker-compose.otel.yml \
  up -d --build backend

healthy 상태인지 확인하세요:

docker compose --env-file .env.workshop \
  -f docker-compose.workshop.yml \
  -f docker-compose.otel.yml \
  ps backend

Step 2 — 검증 가능한 질문 하나 하기

localhost:8080을 열고 Ask AI를 선택한 뒤 입력하세요:

What are the top 10 pickup zones by trip count in July 2022?
Show the SQL and the result.

예상 결과: 답변, 결과 표 또는 차트, 그리고 Show SQL 컨트롤. 답변을 신뢰하기 전에 생성된 SQL을 읽고 nyc_tlc_data를 쿼리하는지 확인하세요.

Step 3 — 대응되는 Langfuse 트레이스 찾기

Module 00에서 만든 Langfuse 프로젝트를 열고 가장 최근의 chat 트레이스를 선택하세요. 타임스탬프나 입력 텍스트로 여러분의 질문과 대응시키세요.

다음 필드를 확인하세요:

• 입력 질문과 생성된 출력;
• 모델과 지연 시간;
• 입력/출력 토큰 수와 비용; 그리고
• 세션 또는 대화 ID.

트레이스가 나타나지 않으면 먼저 백엔드 로그를 확인하세요:

docker compose --env-file .env.workshop \
  -f docker-compose.workshop.yml \
  -f docker-compose.otel.yml \
  logs --tail=100 backend

흔한 원인은 프로젝트 리전과 맞지 않는 LANGFUSE_BASE_URL입니다.

Step 4 — 대화 그룹화 확인

같은 채팅에서 후속 질문 하나를 하세요:

For those zones, compare average fare and average tip.

Langfuse는 동일한 대화/세션 아래에 두 번째로 추적된 턴을 보여줘야 합니다.

완료 확인

• 채팅이 근거 있는 답변과 눈에 보이는 SQL을 반환합니다.
• 두 턴이 모두 Langfuse에 나타납니다.
• 모델, 지연 시간, 토큰, 비용을 읽을 수 있습니다.
• 두 턴이 같은 대화/세션을 공유합니다.

09 마무리로 계속하세요.