Preview-Modelle in AI Model Serving

Was sind Preview-Modelle?

Preview-Modelle sind Modelle, die in STACKIT AI Model Serving zur Verfügung gestellt werden, bevor sie vollständig im Modellportfolio etabliert sind. Sie bieten Ihnen frühzeitigen Zugriff auf neue Modelle, damit Sie diese evaluieren und Feedback geben können.

Preview-Modelle sind in ihrem Modellnamen immer mit dem Präfix public-preview-- versehen. Sie sind außerdem mit dem Label Public Preview in der Übersicht Verfügbare Shared-Modelle gekennzeichnet.

Wie sich Preview-Modelle von regulären Shared-Modellen unterscheiden

Preview-Modelle bieten im Vergleich zu regulären Shared-Modellen reduzierte Garantien:

• Keine SLAs: Preview-Modelle sind nicht durch Service-Level-Agreements abgedeckt. Die Verfügbarkeits- und Performance-Garantien von regulären Shared-Modellen gelten nicht.
• Keine Deprecation-Phase: Preview-Modelle können jederzeit ohne Deprecation-Phase oder vorherige Übergangsfrist aus dem Dienst entfernt werden.
• Rate-Limits: Die TPM- und RPM-Limits von Preview-Modellen können von denen regulärer Shared-Modelle abweichen. Anfragen zur Erhöhung von Rate-Limits werden im Einzelfall geprüft.
• Support: Support-Anfragen für Preview-Modelle werden auf Best-Effort-Basis bearbeitet.
• Datennutzung: Ihre Daten werden für keine Zwecke verwendet, die über die Bearbeitung Ihrer Anfragen hinausgehen, genau wie bei regulären Shared-Modellen.

Lebenszyklus und Feedback

Ein Preview-Modell kann nach der Evaluierung zu einem allgemein verfügbaren Modell (GA) heraufgestuft werden, dies ist jedoch nicht garantiert. Modelle, die die Anforderungen für GA nicht erfüllen, können jederzeit aus dem Dienst entfernt werden.

Sie können Feedback zu Preview-Modellen geben, beispielsweise zu Modellfähigkeiten oder zum Modellverhalten, indem Sie ein Support-Ticket erstellen.

Verwenden Sie Preview-Modelle nicht in der Produktion

Preview-Modelle sollten nicht für produktive Workloads verwendet werden. Verwenden Sie sie für:

• Evaluierung neuer Modelle für eine potenzielle Einführung
• Testen und Prototyping
• Feedback zu Modellfähigkeiten und -verhalten

Verwenden Sie für produktive Workloads Modelle mit dem Status Supported.