Databricks Open-Source-Veröffentlichung des Unity Catalog, um mit Snowflake zu konkurrieren
Einführung und Hintergrund
Databricks hat bekannt gegeben, dass es seinen Unity Catalog als Open Source freigibt. Dies geschieht nur wenige Tage, nachdem der Konkurrent Snowflake angekündigt hat, seinen Polaris-Katalog ebenfalls als Open Source zu veröffentlichen.
Der Unity Catalog wurde im Juni 2022 eingeführt und später mit Okera erweitert. Er war bisher ein proprietäres Governance-Angebot mit zentraler Zugriffskontrolle, Überwachung, Datenherkunft und Datenentdeckungsfunktionen innerhalb der Databricks-Workspaces.
Snowflake und der Polaris-Katalog
Snowflake stellte den Polaris-Katalog auf seiner Konferenz vor und kündigte an, ihn innerhalb von drei Monaten als Open Source freizugeben. Polaris bietet ähnliche Funktionen wie der Unity Catalog und basiert auf dem Open-Source-Daten-Tabellenformat Apache Iceberg.
Hyoun Park, Chef-Analyst bei Amalgam Insights, sieht in diesen Ankündigungen den Wettbewerb zwischen Databricks und Snowflake um die Aufmerksamkeit von Unternehmen. Durch die Positionierung des Unity Catalog als Open Source vor Polaris möchte Databricks als erster Anbieter eines Open-Source-Datenkatalogs wahrgenommen werden.
Apache 2.0-Lizenz und universelle Schnittstelle
Databricks hat den Unity Catalog unter der Apache 2.0-Lizenz freigegeben. Diese Lizenz ermöglicht es den Nutzern, den Code kostenlos zu modifizieren und zu verteilen.
Die Open-Source-Veröffentlichung bietet eine universelle Schnittstelle, die Daten in jedem Format und in jeder Rechenumgebung unterstützt. Benutzer können Tabellen mit Delta Lake, Apache Iceberg und Apache Hudi-Clients über Delta Lake UniForm lesen. Die Open-Source-Version unterstützt auch die Iceberg REST Catalog und die Schnittstellenstandards von Hive Metastore (HMS).
Vorteile der API-Öffnung
Der Unity Catalog wird weiterhin eine einheitliche Governance für KI-Vermögenswerte wie Machine Learning-Modelle und generative KI-Tools bieten. Stewart Bond, Forschungsvizepräsident von IDC, erklärte, dass die Öffnung der APIs des Unity Catalogs offenen Zugang zu Informationen über Daten in der Databricks-Umgebung bietet. Dieser Schritt unterstützt die Vereinheitlichung der Datenintelligenz, sodass Datenverbraucher, Ingenieure und Führungskräfte alle Unternehmensdaten entdecken, verwalten und regeln können, ohne mehrere Tools verwenden zu müssen.
Steven Dickens, Practice Lead für Hybrid Cloud bei The Futurum Group, betonte, dass dieser Ansatz die Anbieterbindung eliminiert. Dies ermöglicht es Unternehmen, die besten Werkzeuge und Plattformen für ihre Bedürfnisse auszuwählen und gleichzeitig eine konsistente Governance und Sicherheit über ihren Datenbestand zu gewährleisten.
Ein Wettlauf, um als Open Source angesehen zu werden
Die Open-Source-Veröffentlichung des Unity Catalogs, besonders kurz nach Snowflakes Ankündigung zum Polaris-Katalog, wird von Analysten als Wettlauf gesehen, um als Open Source anerkannt zu werden und Datenkatalogbenutzer zu gewinnen. Dickens sieht diesen Schritt von Databricks als Herausforderung für Rivalen wie Snowflake, Teradata und Dremio. Durch die Betonung der Interoperabilität und des Engagements für Open Source kann Databricks eine breitere Palette von Kundenbedürfnissen bedienen und die Reibung bei der Kompatibilität von Datenformaten reduzieren.
Bond wies darauf hin, dass der Erfolg des Open-Source-Unity Catalogs davon abhängt, wie viele Metadaten über konkurrierende Plattformen externen Prozessen zur Verfügung gestellt werden. Unity ist noch ein sehr technischer Katalog. Die Open-Source-Veröffentlichung könnte Innovationen in benutzerfreundlicheren Geschäftserfahrungen beschleunigen und Unity wettbewerbsfähiger machen.
Fazit
Die Entscheidung von Databricks, den Unity Catalog als Open Source freizugeben, ist ein strategischer Schritt. Damit positioniert sich Databricks als führender Anbieter von Datenkataloglösungen. Durch die Betonung von Interoperabilität und Governance in einem Open-Source-Rahmen soll dieser Schritt den Wettbewerb und die Innovation im Bereich Datenmanagement vorantreiben. Unternehmen profitieren von einer breiteren Auswahl an Werkzeugen und Plattformen, während sie gleichzeitig eine einheitliche Datenverwaltung und Sicherheit gewährleisten können.
