08 Chat dan Langfuse

Jalankan chat AI dalam aplikasi dan verifikasi trace, token, latensi, serta biayanya di Langfuse.

Hasil

Dalam sekitar 15 menit, aplikasi akan menjawab pertanyaan tentang data dan Langfuse akan menampilkan trace model selengkapnya. Mulai hanya setelah Modul 07 sudah pulih dan git branch --show-current mengembalikan build-workshop-v1.

Langkah 1 — Verifikasi kunci-kuncinya

Pastikan kolom-kolom ini terisi di workshops/build_workshop/app/.env.workshop. URL Langfuse harus sesuai dengan region proyek Anda.

OPENAI_API_KEY=sk-...
LLM_MODEL=<model from the template>
LLM_BASE_URL=https://api.openai.com/v1
LANGFUSE_PUBLIC_KEY=pk-lf-...
LANGFUSE_SECRET_KEY=sk-lf-...
LANGFUSE_BASE_URL=https://us.cloud.langfuse.com

Jalankan ulang hanya backend yang ter-instrumentasi:

cd "$(git rev-parse --show-toplevel)/workshops/build_workshop/app"
docker compose --env-file .env.workshop \
  -f docker-compose.workshop.yml \
  -f docker-compose.otel.yml \
  up -d --build backend

Verifikasi bahwa ia sehat:

docker compose --env-file .env.workshop \
  -f docker-compose.workshop.yml \
  -f docker-compose.otel.yml \
  ps backend

Langkah 2 — Ajukan satu pertanyaan yang bisa diuji

Buka localhost:8080, pilih Ask AI, dan masukkan:

What are the top 10 pickup zones by trip count in July 2022?
Show the SQL and the result.

Diharapkan: sebuah jawaban, tabel hasil atau grafik, dan kontrol Show SQL. Baca SQL yang dihasilkan dan pastikan ia meng-query nyc_tlc_data sebelum mempercayai jawabannya.

Panel Ask AI menampilkan sebuah jawaban, tabel hasil, grafik, dan kontrol Show SQL

Langkah 3 — Temukan trace Langfuse yang bersesuaian

Buka proyek Langfuse yang dibuat di Modul 00 dan pilih trace chat yang terbaru. Cocokkan dengan pertanyaan Anda berdasarkan timestamp atau teks masukannya.

Verifikasi kolom-kolom ini:

pertanyaan masukan dan keluaran yang dihasilkan;
model dan latensi;
jumlah token masukan/keluaran serta biaya; dan
ID sesi atau percakapan.

Sebuah trace chat Langfuse menampilkan panggilan model, latensi, token, biaya, prompt, dan keluaran

Jika tidak ada trace yang muncul, periksa log backend lebih dahulu:

docker compose --env-file .env.workshop \
  -f docker-compose.workshop.yml \
  -f docker-compose.otel.yml \
  logs --tail=100 backend

Penyebab yang umum adalah LANGFUSE_BASE_URL yang tidak sesuai dengan region proyek.

Langkah 4 — Verifikasi pengelompokan percakapan

Ajukan satu pertanyaan lanjutan di chat yang sama:

For those zones, compare average fare and average tip.

Langfuse seharusnya menampilkan giliran kedua yang ter-trace di bawah percakapan/sesi yang sama.

Pemeriksaan penyelesaian

Chat mengembalikan jawaban yang berlandas dan SQL yang terlihat.
Kedua giliran muncul di Langfuse.
Anda dapat membaca model, latensi, token, dan biaya.
Kedua giliran berbagi percakapan/sesi yang sama.

Lanjutkan ke 09 Penutup.