Erste Schritte mit Shared Models
Der Begriff „Shared Model“ (Gemeinsames Modell) bezieht sich auf Modelle, die gemeinsam von mehreren Clients genutzt werden. Durch das geteilte Hosting unserer LLMs ermöglichen wir einer großen Anzahl von Nutzenden den kostengünstigen Zugriff auf diese leistungsstarken Modelle und deren Nutzung für ihre spezifischen Anwendungen.
Weitere Informationen zu den Lizenzen und Endpunkten der bereitgestellten Modelle finden Sie unter Verfügbare Shared Models.
Um mit Shared Models zu beginnen, müssen Sie STACKIT AI Model Serving aktivieren und ein Auth Token (Authentifizierungstoken) erstellen. Nach Abschluss dieses Schritts sind Sie bereit, die Inferenz-API zu verwenden. In dieser Anleitung wählen Sie ein Modell aus und starten mit der Inferenz.
Voraussetzungen
Abschnitt betitelt „Voraussetzungen“- Sie verfügen über ein STACKIT Kundenkonto: Ein Kundenkonto erstellen
- Sie verfügen über ein STACKIT Benutzerkonto: Ein Benutzerkonto erstellen
- Sie verfügen über ein STACKIT Projekt: Ein Projekt erstellen
STACKIT AI Model Serving aktivieren und Auth-Token erstellen
Abschnitt betitelt „STACKIT AI Model Serving aktivieren und Auth-Token erstellen“Um STACKIT AI Model Serving zu aktivieren, melden Sie sich im STACKIT Portal an und klicken Sie in der linken Seitenleiste auf AI Model Serving. Dort können Sie die Funktion aktivieren, falls dies noch nicht geschehen ist. Bestätigen Sie die Aktivierung, um STACKIT AI Model Serving endgültig zu aktivieren.
Nachdem Sie STACKIT AI Model Serving aktiviert haben, müssen Sie einen Auth-Token erstellen:
- Klicken Sie in der oberen Leiste auf Token erstellen.
- Geben Sie im neuen Fenster einen Token-Namen und optional eine Lebensdauer in Tagen ein.
- Zur Bestätigung klicken Sie auf Kostenpflichtig bestellen.
- Speichern Sie das generierte Token an einem sicheren Ort.
- Klicken Sie auf Schließen.
Nachdem Sie Ihr Authentifizierungstoken erstellt und gespeichert haben, entscheiden Sie, welches Modell Sie verwenden möchten. Lesen Sie Verfügbare Shared Models, um Informationen zu allen verfügbaren Modellen zu erhalten. In dieser Anleitung verwenden wir Llama 3.3 70B. Jetzt sind Sie bereit, das Modell zu verwenden. In diesem Tutorial senden Sie eine Nachricht an STACKIT AI Model Serving und empfangen dann die Antwort. Dies ist im Grunde die Art und Weise, wie dieser Dienst verwendet wird.
Eine erste Nachricht schreiben und die Antwort empfangen
Abschnitt betitelt „Eine erste Nachricht schreiben und die Antwort empfangen“Um die erste Nachricht an Ihr Chat-Modell zu schreiben, müssen Sie die API verwenden. Es gibt noch kein Chat-Fenster. Dies ist beabsichtigt, da dieses Produkt API-first konzipiert ist. Führen Sie den folgenden Befehl aus, um Ihre erste Nachricht an das Chat-Modell zu schreiben. Verwenden Sie die folgenden Parameter:
Führen Sie den folgenden Befehl aus, um Ihre erste Nachricht an das Chat-Modell zu schreiben. Verwenden Sie dabei die folgenden Parameter:
| Parameter | Bedeutung | Beispiel |
|---|---|---|
| auth-token | Das AI Model Serving Auth-Token | BZasjkdasbu… |
Zusätzlich zu diesen Parametern gibt es weitere Parameter wie den System-Prompt, eine Temperatur und einige mehr. Für dieses Tutorial ändern wir diese nicht. Ändern Sie einfach den Parameter auth-token und kopieren Sie den gesamten Befehl in Ihre Shell:
curl -X POST https://api.openai-compat.model-serving.eu01.onstackit.cloud/v1/chat/completions --header "Authorization: Bearer [auth-token]" --header "Content-Type: application/json" --data '{"model": "cortecs/Llama-3.3-70B-Instruct-FP8-Dynamic","messages": [{"role": "system", "content": "Du bist ein hilfsbereiter Assistent."}, {"role": "user", "content": "Warum ist diese Dokumentation super?"}], "max\_completion\_tokens": 250,"temperature": 0.1}'Das Chat-Modell wird ungefähr so antworten:
{"id":"cmpl-a7a2f78e5ff74fc5b975b8d0059a0001","object":"text\_completion","created":1729776894,"model":"cortecs/Llama-3.3-70B-Instruct-FP8-Dynamic","choices":[{"index":0,"text":"¶\\n\\nThis documentation is designed to help you understand how to use the PyTorch library, which is a popular open-source machine learning framework. Here are some reasons why you should use this documentation:\\n\\n1\. **Comprehensive coverage**: This documentation covers all aspects of PyTorch, including its core features, modules, and tools. You'll find detailed explanations, examples, and tutorials to help you master PyTorch.\\n2\. **Official source**: This documentation is maintained by the PyTorch team, ensuring that the information is accurate, up-to-date, and authoritative.\\n3\. **Easy to navigate**: The documentation is organized in a logical and intuitive way, making it easy to find the information you need. You can browse by topic, search for specific keywords, or use the table of contents to navigate.\\n4\. **Code examples and tutorials**: The documentation includes numerous code examples, tutorials, and guides to help you get started with PyTorch. You can learn by doing, and the examples will help you understand how to apply PyTorch to your own projects.\\n5\. **Community involvement**: The PyTorch community is active and engaged, and the documentation is open-source. This means that you can contribute to the documentation,","logprobs":null,"finish\_reason":"length","stop\_reason":null,"prompt\_logprobs":null}],"usage":{"prompt\_tokens":8,"total\_tokens":258,"completion\_tokens":250}}```
Sie haben diese Antwort nun auf Ihrer Konsole erhalten. Für reale Client-Anwendungen parsen Sie diese Daten im Format `application/json` und können sie dann verwenden.
Nachdem Sie Ihre erste Nachricht mit dem Chat-Modell ausgetauscht haben, können Sie tiefer einsteigen und mit den [How-tos](/de/products/data-and-ai/ai-model-serving/how-tos/manage-auth-tokens) oder den [Tutorials](/de/products/data-and-ai/ai-model-serving/tutorials/first-steps-with-common-frameworks) fortfahren.