Servicebeschreibung

Unser Service ermöglicht Ihnen die Nutzung der bereitgestellten Modelle als Shared Models. Der Begriff Shared Models bezieht sich auf Modelle, die von allen Kunden gemeinsam genutzt werden. Durch das Shared Hosting unserer LLMs ermöglichen wir einer großen Anzahl von Benutzern den kostengünstigen Zugriff auf diese leistungsstarken Modelle und deren Nutzung für ihre spezifischen Anwendungen. Es findet kein Datenaustausch zwischen Projekten oder gar zwischen verschiedenen Kunden statt. Um Missbrauch und Überlastung des Service zu verhindern, erzwingen wir Ratenlimits. Lesen Sie mehr über Ratenlimits in Rate Limits with AI.

STACKIT AI Model Serving APIs

STACKIT AI Model Serving bietet zwei APIs zur Interaktion mit unserem Service:

• STACKIT AI Model Serving API (Produkt-API): Diese API ermöglicht Ihnen die Verwaltung Ihrer Zugriffstoken und den Abruf von Informationen über die Shared LLMs. Informationen zum Einstieg in die Control Pane API finden Sie unter Manage auth tokens sowie in den dortigen API-Beispielen.
• Inference API (OpenAI Compatible API): Diese API wird verwendet, um Anfragen an die gehosteten Modelle zu senden und Antworten von diesen zu empfangen. Um die Inference API zu nutzen, müssen Sie sich mit einem Zugriffstoken authentifizieren. Weitere Informationen finden Sie in unserem Leitfaden Getting started with shared models.