LLM-Tracing mit STACKIT AI Model Experiments verwenden

Die Implementierung von LLM-Tracing in STACKIT AI Model Experiments ermöglicht es Ihnen, einen Blick hinter die Kulissen des Entscheidungsprozesses Ihrer KI zu werfen. Dieses Tutorial zeigt Ihnen, wie Sie das einzeilige Auto-Loggings von MLflow™ für beliebte Frameworks wie LangChain oder manuelles Tracing für benutzerdefinierten Code verwenden.

1. Bereiten Sie Ihre Umgebung vor

Stellen Sie sicher, dass die Umgebungsvariablen aus der Anleitung Erste Schritte in Ihrem Terminal aktiv sind. Zusätzlich müssen Sie für dieses Beispiel die LangChain-Bibliothek installieren.

pip install mlflow langchain langchain-community

2. Tracing implementieren

Sie haben zwei Möglichkeiten, Tracing zu implementieren: Automatisch (ideal für Frameworks) oder manuell (ideal für benutzerdefinierte Logik).

Option A: Automatisches Tracing (LangChain-Beispiel)

Wenn Sie eine unterstützte Bibliothek verwenden, erfasst eine einzige Codezeile jeden Schritt der Ausführungskette.

import mlflow
from langchain_core.prompts import ChatPromptTemplate
from langchain_community.chat_models.fake import FakeListChatModel

# MLflow Tracing für LangChain aktivieren
mlflow.langchain.autolog()

# Experiment festlegen
mlflow.set_experiment("Tracing-Beispiel")

# Setup der Kette mit einem Fake-LLM.
# Dies ermöglicht die Ausführung des Tutorials ohne einen LLM-API-Token.
# Da die Standard-LangChain-Schnittstelle verwendet wird, generiert MLflow dennoch
# einen vollständigen Trace in der STACKIT-UI.
# Um ein echtes Modell zu verwenden, ersetzen Sie FakeListChatModel z. B. durch: ChatOpenAI(model="gpt-4o-mini")
llm = FakeListChatModel(
    responses=[
        "STACKIT AI Model Experiments ist ein verwalteter MLflow-Server. (Dies ist eine simulierte Antwort! Es wurde kein API-Key verwendet.)"
    ]
)
prompt = ChatPromptTemplate.from_template("Was ist {topic}")
chain = prompt | llm

# Kette aufrufen – Dies sendet automatisch einen „Trace“ an den AI Model Experiments-Server
response = chain.invoke({"topic": "STACKIT AI Model Experiments"})
print(response.content)

Option B: Manuelles Tracing (Benutzerdefinierte Funktion)

Verwenden Sie den Dekorator @mlflow.trace, um benutzerdefinierte Logik als Trace in der UI zu erfassen.

import mlflow

# Experiment festlegen
mlflow.set_experiment("Tracing-Beispiel")

# @mlflow.trace-Dekorator verwenden, um eine benutzerdefinierte Funktion zu tracen
@mlflow.trace
def meine_funktion():
    return "Dies ist die STACKIT AI Model Experiments-Dokumentation."

# Der Aufruf der Funktion generiert einen Trace
meine_funktion()

3. Ergebnisse inspizieren

1. Öffnen Sie die URL Ihrer AI Model Experiments-Instanz in Ihrem Browser.
2. Wählen Sie das neu generierte Experiment aus.
3. Navigieren Sie zum Tab „Traces“ in der linken Seitenleiste.
4. Klicken Sie auf Ihre letzte Anfrage, um die Trace-Ansicht zu sehen.