Iceberg, Delta, Hudi: Der Katalog entscheidet, nicht das Format

Schwerpunkt: Daten & Analytics

Lakehouse-Formate im Bankalltag: Warum der Katalog oft wichtiger ist als das Tabellenformat: Iceberg, Delta und Hudi versprechen Time Travel, Schema Evolution und Offenheit. Ob das im Prüfungsfall trägt, entscheidet sich häufig weniger am Format als an Retention-Konzept und Katalog.

von Wolf Erlewein, Domain Lead Data Strategy & Data Culture, b.telligent

Wer in einer Bank ein Tabellenformat wählt, entscheidet mehr als über eine Dateistruktur. Er legt fest, wie reproduzierbar ein Meldewesen-Stand ist, wie teuer ein Plattformwechsel wird und wie sich Löschpflichten mit Aufbewahrungspflichten vertragen. Iceberg, Delta und Hudi bieten alle ACID-Transaktionen und Versionierung auf Objektspeicher. Die Unterschiede liegen im Detail und lassen sich prüfen. Es kommt dabei darauf an, unter welchen Bedingungen eine Funktion gilt.

Time Travel: Fähigkeit ist keine Garantie

Alle drei Formate erlauben Abfragen auf historische Stände. Es kommt auf die Retention an, also auf die Frist, nach der alte Stände bereinigt werden. Bei Delta gelten standardmäßig 30 Tage für das Transaktionslog (Log-Retention) und sieben Tage für die Datendateien (File-Retention), beides konfigurierbar. Nach VACUUM sind ältere Stände weg. Iceberg entfernt Snapshots über expire_snapshots, Hudi über Cleaner und Archivierung. Time Travel über Jahre gibt es nirgends von selbst. Iceberg kann Stichtagsstände wie Quartalsmeldungen per Tag gezielt schützen.

Audit und Löschpflichten

Die DSGVO verlangt die Löschung personenbezogener Daten, sobald der Zweck entfällt und keine Rechtsgrundlage mehr besteht. Gesetzliche Aufbewahrungspflichten haben aber Vorrang, und die Nachvollziehbarkeit verlangt rekonstruierbare Stände. Löschen und Aufbewahren gelten daher je Datenart und Frist.

Ein logisches DELETE genügt nicht, weil alte Snapshots die Daten weiter enthalten.“

Auch der Schutz hat eine Kehrseite, denn Iceberg-Tags laufen standardmäßig nie ab, lassen sich aber mit einer Ablaufzeit versehen. Retention und Löschprozess gehören deshalb in ein dokumentiertes Konzept, abgestimmt zwischen Fachbereich, Datenschutz und Plattformbetrieb. Die technische Retention folgt dabei den fachlichen Aufbewahrungs- und Löschfristen statt der Defaults.

Schema Evolution und Compaction

Iceberg identifiziert Spalten über IDs; Umbenennen und Löschen sind reine Metadatenoperationen, auch die Partitionierung lässt sich ohne Neuschreiben ändern. Delta bietet das über Column Mapping, das ist aber nicht gratis; Change-Data-Feed-Konsumenten und Streaming-Leser müssen mitgeprüft werden. Kleine Dateien sind in CDC-Szenarien der Normalfall und bremsen Abfragen. Compaction fasst sie zu größeren Dateien zusammen. Delta bietet dafür OPTIMIZE, Iceberg eine Prozedur, die man selbst orchestrieren muss; Hudi bringt Table Services mit.

Engines und Lock-in

Iceberg punktet mit der breitesten Herstellerabdeckung, Delta ist der Standard in Databricks und Microsoft Fabric, während Hudi seine Stärken in Spark- und Flink-basierten Streaming-Architekturen ausspielt. Abstraktionsschichten wie Delta UniForm oder Apache XTable übersetzen Metadaten zwar zwischen den Formaten, verschieben den Vendor Lock-in aber lediglich eine Ebene höher in den Katalog. Denn im Katalog entscheiden sich Zugriffsrechte, Data Lineage und Governance-Policies. Wer den Katalog wechselt, migriert nicht bloß Dateien, sondern das gesamte Berechtigungskonzept. Zudem unterscheiden sich Iceberg-Funktionen je nach Engine – der Support für Version 3 variiert bei den Anbietern spürbar.

Vier Fragen vor der Formatwahl

• Bevor die Formatdebatte beginnt, sollten vier Fragen beantwortet sein:
• Welche Stichtage müssen wie lange reproduzierbar sein?
• Wer verantwortet Retention und Bereinigung, und wo ist das dokumentiert?
• Wie wird nachgewiesen, dass Löschungen physisch erfolgt sind?
• Welcher Katalog hält Berechtigungen und Lineage, und wie portabel ist er?

Fazit

Welches Format das richtige ist, hängt von der Architektur-Strategie ab:

• Iceberg: ideal bei heterogenen Engines, der Notwendigkeit zur Stichtagsreproduktion und häufigen Schemaänderungen.
• Delta Lake: die pragmatische Wahl in Databricks- oder Microsoft-Fabric-zentrierten Architekturen.
• Hudi: eine genaue Prüfung wert, wenn viele Upserts in einer eigenbetriebenen Spark/Flink-Umgebung anfallen.

Auf einer geschlossenen Einzelplattform bleibt das Tabellenformat oft nur eine Implementierungs­ent­schei­dung. Wenn es jedoch um aufsichtsrelevante Nachweise, den Datenschutz und die Wahlfreiheit beim nächsten Plattformwechsel geht, entscheiden das Retention-Konzept, die Katalog-Architektur und die Löschprozesse, ob Time Travel und Audit im Prüfungsfall standhalten. Das ist primär eine Governance-Aufgabe – die Toolwahl kommt danach. Wolf Erlewein, b.telligent/dk