Migrieren Sie Daten mit rclone in den Object Storage

Am Ende dieses Tutorials ist rclone mit einem Quell- und einem Zielspeicherendpunkt konfiguriert und die Daten werden zwischen diesen migriert. Dieses Tutorial verwendet STACKIT Object Storage als Migrationsziel.

Voraussetzungen

• rclone auf Ihrem System installiert.
• Anmeldeinformationen für den Object Storage-Zugriff für den Zielendpunkt. Anweisungen finden Sie unter Erstellen Sie Object Storage-Anmeldeinformationen.
• Zugangsdaten für den Quellendpunkt.

Quelle und Ziel konfigurieren

rclone verwendet die Konfigurationsdatei ~/.config/rclone/rclone.conf, um Remote-Definitionen zu speichern. Öffnen Sie diese Datei in einem Texteditor und fügen Sie Einträge für Quelle und Ziel hinzu. Ersetzen Sie dabei die Platzhalterwerte durch Ihre tatsächlichen Zugangsdaten:

[source]
type = s3
provider = Other
access_key_id = YOUR_SOURCE_ACCESS_KEY
secret_access_key = YOUR_SOURCE_SECRET_KEY
endpoint = https://platform.cloud.schwarz:8080
acl = private

[destination]
type = s3
provider = Other
access_key_id = YOUR_DESTINATION_ACCESS_KEY
secret_access_key = YOUR_DESTINATION_SECRET_KEY
endpoint = https://object.storage.eu01.onstackit.cloud
acl = private

Stellen Sie sicher, dass beide Fernbedienungen korrekt registriert sind:

rclone config

Die Ausgabe listet alle konfigurierten Fernbedienungen auf:

Current remotes:

Name                 Type
====                 ====
destination          s3
source               s3

e) Edit existing remote
n) New remote
d) Delete remote
r) Rename remote
c) Copy remote
s) Set configuration password
q) Quit config
e/n/d/r/c/s/q>

Verschlüsseln Sie Ihre rclone-Konfigurationsdatei, um den darin gespeicherten Zugriff und die geheimen Schlüssel zu schützen. Wählen Sie im Menü rclone config Set configuration password, dann Add Password und befolgen Sie die Anweisungen, um ein Passwort festzulegen.

Migrieren Sie die Daten

Wenn beide Remotes konfiguriert sind, kopieren Sie die Daten vom Quell-Bucket in den Ziel-Bucket. Ersetzen Sie BUCKET_NAME durch Ihren tatsächlichen Bucket-Namen:

rclone copy source:/BUCKET_NAME destination:/BUCKET_NAME \
  --s3-upload-cutoff 0 \
  --progress \
  --log-file /tmp/rclone.log

rclone zeigt den Fortschritt während der Übertragung an und schreibt detaillierte Ausgaben nach /tmp/rclone.log. Wenn der Kopiervorgang abgeschlossen ist, zeigt die Zusammenfassung die Anzahl der übertragenen Bytes und Dateien:

Transferred:       300 / 300 Bytes, 100%, 218 Bytes/s, ETA 0s
Errors:                  0
Checks:                  0 / 0, -
Transferred:            50 / 50, 100%
Elapsed time:          1.3s

Überprüfen Sie nach Abschluss der Übertragung die Protokolldatei auf etwaige Fehler:

cat /tmp/rclone.log

Nächste Schritte

Eine vollständige Referenz aller rclone-Flags und -Optionen finden Sie in der Offiziellen rclone-Dokumentation.