Modelle verwenden

Voraussetzungen

Bevor Sie ein Modell des STACKIT AI Model Serving verwenden können, müssen Sie einen auth token erstellen.

• Sie besitzen einen STACKIT AI Model Serving Auth-Token. Lesen Sie Manage auth tokens, um einen Token zu erstellen.

Modelle verwenden

Sie können alle Shared Models über die API verwenden. STACKIT AI Model Serving bietet eine OpenAI-kompatible API, die eine einfache Integration in bestehende tools und libraries ermöglicht. Bitte konsultieren Sie die OpenAI API Documentation für zusätzliche parameter und detailed information.

Wichtig: Die API ist stateless und verwaltet keine Session Information. Jede request ist independent, daher müssen Sie bei der Verwendung von Chat-Modellen die complete conversation history in jeden API call aufnehmen.

Chat-Modelle verwenden

Parameter	Bedeutung	Beispiel
auth-token	Der AI Model Serving auth token	BZasjkdasbu…
model	Das Modell, das Sie verwenden möchten.	cortecs/Lla…
system-prompt	Die instruction für das Modell vor dem Chat	You are a h…
user-message	Die Nachricht, die der Benutzer an das Modell richtet	Hey, please…
assistant-message	Die Nachricht, die das Chat-Modell gegeben hat	Ok, thanks …
max-complention-tokens	Die maximale Länge der answer des Modells in token	250
temperature	Definiert die Entropie des Modells. Ein höherer Wert bedeutet mehr creativity.	0.1

curl -X POST \
https://api.openai-compat.model-serving.eu01.onstackit.cloud/v1/chat/completions \
-H "Authorization: Bearer [auth-token]" \
-H "Content-Type: application/json" \
-d '{
    "model": "[model]",
    "messages": [{"role": "system", "content": "[system-prompt]"}, {"role": "user", "content": "[user-message]"}, {"role": "assistant", "content": "[assistant-message]"}, {"role": "user", "content": "[user-message]"}],
    "max\_completion\_tokens": [max-complention-tokens],
    "temperature": 0.1
    }'

Die API ist stateless. Es gibt also keine Chat ID. Beim Schreiben eines Clients müssen Sie die whole conversation bei jedem API call bereitstellen. Sie müssen jede answer aus dem prior chat an das messages array anhängen.

Embedding-Modelle verwenden

Parameter	Bedeutung	Beispiel
auth-token	Der AI Model Serving Auth-Token	BZasjkdasbu…
document	Ein Dokument, muss ein String sein	The API is fast and reliable
model	Das Modell, das Sie verwenden möchten.	intfloat/e5-mistral-7b-instruct

curl -X POST \
  https://api.openai-compat.model-serving.eu01.onstackit.cloud/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer [auth-token]" \
  -d '{
      "model": "[model]",
      "input": [
        "[document]"
      ]
    }'

Beispiel:

curl -X POST \
  https://api.openai-compat.model-serving.eu01.onstackit.cloud/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer eyNSksHSus78h2kshdfsd7878shjkdlkdc" \
  -d '{
      "model": "intfloat/e5-mistral-7b-instruct",
      "input": [
        "The API is fast and reliable.",
        "The system reacts just in time and is stable."
      ]
    }'

Das Modell wird mit den Embeddings antworten:

{
    "id":"embd-96d405966aa14e8eb3d7e202a006e2cf",
    "object":"list",
    "created":1262540,
    "model":"intfloat/e5-mistral-7b-instruct",
    "data": [
        {
            "index":0,
            "object":"embedding",
            "embedding": [0.0167388916015625,0.005096435546875,0.01302337646484375,0.006805419921875,0.0089569091796875,-0.01406097412109375,...]
        },
        {
            "index":1,
            "object":"embedding",
            "embedding": [0.0167388916015625,0.0050543545546875,0.01302337646484375,0.006805419921875,0.0089568951796875,-0.01406097412109375,...]
        }
        ],
    "usage": {
        "prompt_tokens":3,
        "total_tokens":3,
        "completion_tokens":0
    }
}