Dataverse trifft Fabric: Wie zwei mächtige Plattformen neue Dimensionen der Datenverarbeitung und -analyse eröffnen

In unserer modernen, datengetriebenen Welt sind Plattformen, die verschiedene Anwendungen und Technologien zusammenführen, von unschätzbarem Wert, da sie Effizienz, Flexibilität, Sicherheit und tiefere Einblicke in Daten bieten. Zwei solcher Plattformen sind die Microsoft Power Platform mit Dataverse und Fabric. Power Platform, mit Dataverse als zentralem Datenspeicher und unterschiedlichen Low-Code-Lösungen wie Power Apps und Power Automate, bildet das Rückgrat von Dynamics 365 und diversen anderen Geschäftsanwendungen. Sie stellt eine robuste und skalierbare Infrastruktur bereit, die sowohl Transaktions- als auch Stammdaten effizient verwaltet und dabei die Entwicklung von benutzerdefinierten Anwendungen und die Automatisierung von Workflows unterstützt. Fabric hingegen ist Microsofts cloudbasierte Datenanalyse- und KI-Plattform der nächsten Generation, die Data Lakes, Data Warehouses, Datenbankdienste und leistungsstarke Analysetools zu einer integrierten Erfahrung vereint.

Obwohl Dataverse und Fabric unterschiedliche Schwerpunkte haben, eröffnet ihre Verknüpfung ein breites Spektrum an neuen Möglichkeiten für Unternehmen. In diesem Beitrag werde ich erläutern, wie die Kombination von Microsoft Dataverse und Microsoft Fabric neue Dimensionen der Datenanalyse eröffnet. Bevor wir die Vorteile dieser Synergie betrachten, werfen wir zunächst einen genaueren Blick auf drei native Integrationsmöglichkeiten zur Verknüpfung dieser beiden Plattformen:

1. Dataverse TDS Endpunkt

Das TDS (Tabular Data Stream) ist ein Protokoll auf Anwendungsebene, das für die Übertragung von T-SQL-Anfragen und Antworten zwischen dem Datenbank-Server und Clients verwendet wird. Es bietet die Möglichkeit, auf Dataverse-Daten direkt als externe Tabellen in Fabric zuzugreifen. Die SQL-Verbindung des Dataverse-Endpunkts verwendet das Dataverse-Sicherheitsmodell für den Datenzugriff. Die Abfrage von Daten für alle Dataverse-Tabellen, auf die ein Benutzer Zugriff hat, ist möglich.

Diese Methode eignet sich besonders für kleine Datenmengen oder Transaktionsdaten. Aufgrund der zusätzlichen Kommunikationsschicht ist jedoch mit einer höheren Latenzzeit zu rechnen, insbesondere bei vielen gleichzeitigen oder komplexen Abfragen großer Datenmengen. Um die Leistung zu optimieren, empfiehlt es sich, Abfragen so zu gestalten, dass nur die notwendigen Daten abgerufen werden.

2. Azure Synapse Link für Dataverse

Azure Synapse Link für Dataverse ermöglicht eine nahtlose Integration zwischen Dataverse und Fabric. Diese Verbindungsoption bietet leistungsstarke Funktionen für die Datenanalyse und -verarbeitung, indem sie die ausgewählten Dataverse-Tabellen kontinuierlich im CSV-Format exportiert. Diese werden dann in einem Azure Data Lake Storage Gen2 zwischengespeichert. Im Anschluss sorgt ein Spark-Job in Azure Synapse für die Transformierung dieser Daten in das Delta-Parquet-Format.

Der Synapse Link bietet zwei Varianten: Standard und Inkrementell. Bei der Standard-Replikation, werden alle Dataverse-Datensätze, unabhängig von Änderungen, in Fabric übertragen. Der inkrementelle Link kopiert hingegen nur Änderungen (Create, Update, Delete), was effizienter ist. Diese Option ist für große Datenmengen geeignet, erfordert jedoch zusätzliche Azure-Ressourcen.

3. Fabric Link für Dataverse

Der Fabric Link ist die direkteste Verbindung und ermöglicht, Daten aus Dataverse nahtlos in Fabric Data Lakes zu streamen. Dies reduziert die Latenzzeiten erheblich und stellt sicher, dass Daten nahezu in Echtzeit verfügbar sind. Daten, die über den Fabric Link gestreamt werden, werden in Microsoft OneLake gespeichert und automatisch in das Delta-Parquet-Format konvertiert. Änderungen an den Daten in Dataverse werden kontinuierlich in Fabric aktualisiert, wodurch sichergestellt wird, dass die Daten immer auf dem neuesten Stand sind.

Es ist die leistungsfähigste Option, setzt aber auch Fabric-Premium-Kapazitäten voraus. Diese Kapazitäten sind in verschiedenen Größen erhältlich, die von F2 bis F2048 reichen, wobei jede SKU (Stock Keeping Unit) unterschiedliche Ressourcen für Rechenleistung und Speicherplatz bietet. Kleinere SKUs erfordern zusätzliche Lizenzen wie Power BI Pro oder Premium Per User, während größere SKUs eine umfassendere Nutzung ohne zusätzliche Lizenzanforderungen ermöglichen. Welche Fabric-Lizenz sich besser eignet, hängt vom Anwendungsfall und der Datenmenge ab. Die Wahl der richtigen Verbindungsmethode entscheidet sich je nach Datenmenge, Leistungsanforderungen und Budgetbeschränkungen. Während die ersten beiden Optionen kostengünstiger sind, bietet der Fabric Link die beste Leistung und Flexibilität.

Use Cases und Mehrwert der Verknüpfung

• Von Datensilos zu handlungsrelevanten Insights: Durch die Verbindung von Dataverse und Fabric werden Dataverse-Tabellen an einem zentralen Ort (Fabric OneLake) verfügbar, ohne dafür ETL-Pipelines oder komplexe Integrationslogiken zu implementieren. Nach der Verknüpfung werden in Fabric ein Lakehouse, ein SQL-Endpunkt sowie ein Power-BI-Dataset für Dataverse-Daten generiert. Dies erleichtert Data Engineers die Zusammenführung von Daten mit bereits in OneLake vorhandenen Daten mithilfe von Spark, Python oder SQL. Diese reichhaltige Datenbasis kann anschließend mit Power-BI-Berichten, Dashboards und KPIs visualisiert werden. Die erstellten Power-BI-Reports können wiederum nahtlos in Dynamics 365 integriert werden, sodass Erkenntnisse direkt in Handlungen umgesetzt werden können.

• Fabric als Datenquelle für virtuelle Tabellen: Fabric kann als Datenquelle für die Erstellung virtueller Tabellen in Dataverse dienen. Dies ermöglicht Benutzern, zusätzliche Datenquellen mühelos in Dataverse zu integrieren und sie in verschiedenen Geschäftsprozessen zu verwenden, ohne die Daten physisch synchronisieren zu müssen.

• Langfristige Datenaufbewahrung und Analysen: Durch die Aktivierung der Langzeitdatenaufbewahrung (Long Term Data Retention) in Dataverse werden historische Daten, die normalerweise gelöscht würden, in einem separaten Data Lake gespeichert. Ist der Fabric-Link aktiviert, lassen sich diese historischen Daten für Trendanalysen, Mustererkennungen und andere fortgeschrittene Analysen in Fabric nutzen.

• Hybride Transaktions- und Analytics-Prozesse: Die Kombination aus CRM-Daten mit Analyse- und KI-Funktionen von Fabric ermöglicht ganzheitliche Einblicke über Unternehmensprozesse hinweg. Prädiktive Modelle von Fabric können beispielsweise genutzt werden, um Verkaufs- und Serviceprozesse zu optimieren, finanzielle Entwicklungen vorherzusagen oder die Lieferkette intelligenter zu steuern.

• Datengesteuerte Innovationen mit KI: Die Datenbestände aus Dataverse können in Verknüpfung mit Daten aus anderen Systemen als Trainingsgrundlage für KI-Modelle dienen. Unternehmen können so branchenspezifische KI-Services entwickeln, um ihre Produktivität zu steigern

Fazit

Die Integration von Dataverse und Fabric ist ein Meilenstein auf dem Weg zum datengesteuerten, intelligenten Unternehmen. Die Verbindung vereint die effiziente Verarbeitung und Verwaltung von Transaktions- und Stammdaten durch Dataverse mit den leistungsstarken Analyse- und KI-Funktionen von Fabric. Diese Symbiose ermöglicht es Unternehmen, die Grenzen zwischen operativen Transaktionsdaten und analytischen Daten vollständig aufzulösen und somit eine einheitliche, umfassende Sicht auf ihre Datenlandschaft zu erhalten. Dies fördert eine schnellere und fundiertere Entscheidungsfindung, da alle relevanten Datenpunkte in Echtzeit verfügbar sind. Wer diese Chance für sich nutzt, wird nicht nur die Effizienz und Effektivität seiner Datenverarbeitung und -analyse maximieren, sondern auch innovative Prozesse entwickeln können, die zu nachhaltigem Erfolg führen.