Spaces'te Langfuse

Bu kılavuz, Langfuse'u Hugging Face Spaces üzerinde nasıl dağıtacağınızı ve LLM uygulamanızı gözlemlenebilirlik için enstrümantasyona (ölçümleme) nasıl başlayacağınızı gösterir. Bu entegrasyon, Hugging Face Hub üzerinde LLM API'leriyle deney yapmanıza, istemlerinizi (prompt) tek bir yerde yönetmenize ve model çıktılarını değerlendirmenize yardımcı olur.

Langfuse nedir?

Langfuse, ekiplerin LLM uygulamalarını iş birliği içinde hata ayıklamasına, değerlendirmesine ve geliştirmesine yardımcı olan açık kaynak bir LLM mühendisliği platformudur.

Langfuse'un ana özellikleri arasında, uygulamanızın yürütme akışının tam bağlamını yakalamak için LLM izleme, merkezi ve işbirlikçi prompt iterasyonu için prompt yönetimi, çıktı kalitesini değerlendirmek için değerlendirme metrikleri, test ve kıyaslama için veri seti oluşturma ve promptlar ile model yapılandırmaları üzerinde deney yapmak için bir oyun alanı yer alır.

Bu video, Langfuse özelliklerinin 10 dakikalık bir tanıtımıdır:

Neden LLM Gözlemlenebilirliği?

• Dil modelleri giderek daha yaygın hale geldikçe, davranışlarını ve performanslarını anlamak önemlidir.
• LLM gözlemlenebilirliği, bir LLM uygulamasının iç durumlarını çıktıları aracılığıyla izlemeyi ve anlamayı içerir.
• Aşağıdaki gibi zorlukların ele alınması için temel öneme sahiptir:
  • Tekrarlayan veya zincirleme çağrılar içeren kompleks kontrol akışları, bu da hata ayıklamayı zorlaştırır.
  • Belirsiz çıktılar, tutarlı kalite değerlendirmesine karmaşıklık ekler.
  • Kullanıcı deneyimini iyileştirmek için derin bir anlama gerektiren çeşitli kullanıcı niyetleri.
• LLM uygulamaları geliştirmek karmaşık iş akışlarını içerir ve gözlemlenebilirlik bu karmaşıklıkları yönetmede yardımcı olur.

Adım 1: Langfuse'u Spaces üzerinde yapılandırın

Langfuse Hugging Face Space, Langfuse'un dağıtılmış bir sürümünü birkaç tıklamayla devreye almanızı sağlar.

Başlamak için yukarıdaki düğmeye tıklayın veya şu adımları izleyin:

1. Bir yeni Hugging Face Space oluşturun
2. Space SDK olarak Docker'ı seçin
3. Space şablonu olarak Langfuse'yi seçin
4. Langfuse verilerinizin yeniden başlatmalarda kalıcı olmasını sağlamak için bir Storage Bucket ekleyin
5. Langfuse API/SDK’lerinin uygulamaya erişebilmesi için alanın görünürlüğünün public olarak ayarlandığından emin olun (daha fazla ayrıntı için aşağıdaki notu inceleyin)
6. [İsteğe bağlı ancak önerilir] Güvenli bir dağıtım için ortam değişkenlerinin:
   • NEXTAUTH_SECRET: Giriş oturum çerezlerini doğrulamak için kullanılır; openssl rand -base64 32 kullanarak en az 256 entropiye sahip bir gizli anahtar üretin.
   • SALT: Hashlenmiş API anahtarlarını tuzlamak için kullanılır; en az 256 entropiye sahip bir gizli anahtar üretmek için openssl rand -base64 32 kullanın.
   • ENCRYPTION_KEY: Hassas verilerin şifrelenmesinde kullanılır. 256 bit olmalı, 16’lı tabanda 64 karakterlik bir dize olmalıdır; şu komutla oluşturulur: openssl rand -hex 32.
7. Alan Oluştur düğmesine tıklayın!

Kullanıcı Erişimi

Langfuse Space'iniz güvenli kimlik doğrulama için Hugging Face OAuth ile önceden yapılandırılmıştır; bu nedenle ilk girişte açılan penceredeki talimatları izleyerek Hugging Face hesabınıza read erişimi yetkilendirmeniz gerekir.

Uygulamanın içine girdikten sonra yerel Langfuse özelliklerini kullanarak Organizasyonları, Projeleri ve Kullanıcıları yönetebilirsiniz.

Langfuse alanının public görünürlüğe ayarlanmış olması gerekir; böylece Langfuse API/SDK’ları uygulamaya erişebilir. Bu, varsayılan olarak herhangi bir oturum açmış Hugging Face kullanıcısının Langfuse alanına erişebileceği anlamına gelir.

Yeni kullanıcıların kayıt olmasını ve alana erişmesini iki farklı yöntemle önleyebilirsiniz:

1. (Önerilen) Hugging Face yerel kuruluş düzeyi OAuth kısıtlamaları

Belirli bir veya birden fazla organizasyonun üyelerine erişimi kısıtlamak istiyorsanız, burada gösterildiği gibi, space'in README.md dosyasındaki hf_oauth_authorized_org metadata alanını ayarlayabilirsiniz.

Yapılandırıldıktan sonra, yalnızca belirtilen kuruluş(lar)ın üyeleri bu alana erişebilecek.

2. Manuel erişim kontrolü

AUTH_DISABLE_SIGNUP ortam değişkenini true olarak ayarlayarak erişimi kullanıcı bazında da kısıtlayabilirsiniz. Bu değişkeni ayarlamadan önce mutlaka uzaya giriş yapmış ve kimlik doğrulamasını tamamlamış olduğunuzdan emin olun; aksi halde kendi kullanıcı profiliniz kimlik doğrulaması yapamayacaktır.

Not: Erişimi kısıtlamak için AUTH_DISABLE_SIGNUP ortam değişkenini true olarak ayarladıysanız ve yeni bir kullanıcıya alana erişim vermek istiyorsanız, önce bu değişkeni false olarak geri ayarlamanız (yeniden derlemenin tamamlanmasını beklemeniz), kullanıcıyı ekleyip OAuth ile kimlik doğrulamasını yapmasını sağlamanız ve ardından değişkeni tekrar true olarak ayarlamanız gerekir.

Adım 2: Langfuse'u kullanın

Langfuse çalışmaya başladığına göre, izlemeleri (traces) yakalamak ve prompt'larınızı yönetmek için LLM uygulamanızda enstrümantasyona başlayabilirsiniz. Nasıl yapıldığına bakalım!

Herhangi Bir Uygulamayı İzleyin

Langfuse model agnostiktir ve herhangi bir uygulamayı izlemek için kullanılabilir. Kodunuzu nasıl enstrümanlayabileceğinizi görmek için Langfuse dokümantasyonundaki başlangıç kılavuzunu izleyin.

Langfuse, Langchain, LlamaIndex ve OpenAI dahil olmak üzere birçok popüler LLM çerçevesiyle yerel entegrasyonlar sunar ve kodunuzu enstrümanlamak için Python ve JS/TS SDK'ları sağlar. Langfuse ayrıca veri almak için çeşitli API uç noktaları sunar ve Langflow, Dify ve Haystack gibi diğer açık kaynaklı projeler tarafından entegre edilmiştir.

Örnek 1: Çıkarım Sağlayıcılarına Yapılan Çağrıları İzleme

Basit bir örnek olarak, Langfuse Python SDK kullanarak LLM çağrılarını Inference Providers için izlemenin nasıl yapılacağı aşağıda gösterilmektedir.

Önce LANGFUSE_HOST, LANGFUSE_PUBLIC_KEY ve LANGFUSE_SECRET_KEY ortam değişkenlerinizi yapılandırmanız ve Hugging Face hesabınızla kimlik doğrulaması yaptığınızdan emin olmanız gerekir.

from langfuse.openai import openai
from huggingface_hub import get_token

client = openai.OpenAI(
    base_url="https://huggingface.co/proxy/router.huggingface.co/hf-inference/models/meta-llama/Llama-3.3-70B-Instruct/v1",
    api_key=get_token(),
)

messages = [{"role": "user", "content": "What is observability for LLMs?"}]

response = client.chat.completions.create(
    model="meta-llama/Llama-3.3-70B-Instruct",
    messages=messages,
    max_tokens=100,
)

Örnek 2: Bir Gradio Uygulamasını İzleme

Hugging Face modeli kullanarak basit bir sohbet uygulaması oluşturmanın ve Langfuse ile model çağrılarını ve kullanıcı geri bildirimlerini izlemenin nasıl yapılacağını gösteren bir Gradio şablon alanı oluşturduk - tüm bunları Hugging Face'ten ayrılmadan.

Başlamak için bu Gradio şablon alanını kopyalayın ve README içindeki talimatları izleyin.

Adım 3: Langfuse'ta İzleri Görüntüleme

Uygulamanızı enstrümanlaştırdıktan ve izleri (traces) veya kullanıcı geri bildirimlerini Langfuse'a aktardıktan sonra, izlerinizi Langfuse'ta görüntüleyebilirsiniz.

Langfuse arayüzünde örnek iz

Ek Kaynaklar ve Destek

• Langfuse belgeleri
• Langfuse GitHub deposu
• Langfuse Discord
• Langfuse şablon Space

Daha fazla yardım için GitHub tartışmalarında bir destek başlığı açın veya bir sorun açın.