Zum Inhalt springen
Produkte
Plattform
Developer Tools
Portal

FAQ

  • Allgemeine Fragen

    Ich sehe eine hohe Speicherauslastung und Hash-Aggregation mit Auslagerung (Spilling) auf meinem Executor. Wie kann ich das beheben?

    Wenn Executor ihr definiertes Speicherlimit erreichen, lagert Dremio die Daten auf die Festplatte aus. Dies geschieht in der Regel in folgenden Fällen:

    • Ausführung speicherintensiver Hash-Aggregationsabfragen (GROUP-BY-Abfragen), die große Datenmengen verarbeiten
    • Arbeit in Umgebungen mit begrenztem Arbeitsspeicher

    Sie können Performance-Einbußen verhindern, indem Sie entweder die Abfrage optimieren, die zu einem hohen Speicherverbrauch führt, oder die Engine-Konfiguration anpassen, um den Executoren mehr Arbeitsspeicher zur Verfügung zu stellen.

    Weitere Informationen zum Bearbeiten der Engine-Einstellungen finden Sie in der offiziellen Dremio-Dokumentation Editing the Engine Settings documentation.

    Wie kann ich eine Verbindung zum Dremio Open Catalog herstellen?

    Stellen Sie sicher, dass Sie den Open Catalog in Ihrer Dremio-Instanz konfiguriert haben. Beachten Sie dazu die offizielle Dremio-Dokumentation Configure the Open Catalog documentation.

    Die Catalog-Endpunkt-URLs folgen dem Muster https://catalog.<DREMIO_INSTANCE_ID>.dremio.<STACKIT_REGION>.onstackit.cloud/, wobei DREMIO_INSTANCE_ID die UUID Ihrer Dremio-Instanz ist und STACKIT_REGION die Region Ihres STACKIT-Projekts darstellt (in der Regel eu01). Sie finden die Catalog-URL außerdem im STACKIT Portal im Bereich „Dremio > URLs“.

    Es werden verschiedene Authentifizierungsmethoden unterstützt, für Machine-to-Machine-Anwendungen wird jedoch ein Dremio-Service-User empfohlen. Weitere Details zur Generierung von OAuth-Client-Zugangsdaten für einen neuen Service-User finden Sie in der offiziellen Dremio-Dokumentation OAuth Client Credentials documentation.

    Sie können ein neues Access-Token generieren, indem Sie eine Authentifizierungsanfrage an den Endpunkt https://<DREMIO_INSTANCE_ID>.dremio.<STACKIT_REGION>.onstackit.cloud/oauth/token Ihrer Dremio-Instanz senden. Dieses Access-Token muss als Bearer-Token in Ihren Anfragen an den Catalog übermittelt werden.