Welches ETL Tool

[djdf]

Mein Arbeitgeber möchte ein Reporting einführen (Business Intelligence). Wir wollen da klassisches Data Warehousing aufsetzen. Für uns ist Vorgabe, dass es bei uns onPremise mit MS SQL Server laufen soll/muss.
In zwei Tagen haben wir dazu ein Telefonat mit einem Dienstleister, für das ich gern etwas vorbereitet wäre. Meine Frage ist: Mit was setzt man heutzutage ETL für vorgenanntes Szenario um? Reicht dafür auch das in SQL integrierte SSIS aus oder gibt es dafür besseres? (Wie gesagt, bitte keine Cloud)

 

[jonderson]

Nur ein kurzer Kommentar:
In 90% der Fälle wollen Leute die an BI denken das Größte was sie finden auf das Problem schmeißen, ohne zu überlegen, dass so etwas gepflegt und gewartet werden soll.

Vielleicht reicht auch so etwas:
https://www.knime.com/

Aber vermutlich wird es am Ende PowerBI XD

Die große Gefahr bei BI ist oft, dass man glaubt:
Man stellt dort ein BI System hin und dann habe ich BI.
Dass da aber sehr viel Gehirnschmalz hinter steckt, um wirklich sinnvolle Daten aus dem System zu bekommen.

 

[djdf]

Ja, das ist mir bewusst. Wir sind ein mittelständiges Unternehmen, es gibt aber bisher keinerlei Erfahrungen im Unternehmen, außer mir (ich habe vor 10 Jahren mal ein größeres DWH betreut).
Ja, Power BI wird das eigentliche Reporting Frontend, aber es ist schon eine komplexere Reporting-Umgebung zu erwarten. Und da wir eh SQL Server schon im Einsatz haben, soll das die Basis für PowerBI werden. Das DWH seinerzeit war reines T-SQL mit Shell-Skripten gesteuert (hat mich gewundert, dass bei der Größe des DWH nichts anderes eingesetzt wurde).
Wir fangen jetzt an, diese Kompetenzen im Unternehmen aufzubauen, erste Stellen für PowerBI wurden schon besetzt. Es geht aber eben auch um die DWH-Seite. Und da ich Sorge habe, dass meine Kenntnisse etwas eingerostet sind, will ich auf das Gespräch mit dem Dienstleister vorbereitet sein, dass der mir nicht etwas verkauft, was vllt. für ihn am wirtschaftlichsten ist, aber uns nicht hilft.
Knime schaue ich mir trotzdem mal an. Danke.

 

[h00bi]

Wenn ihr bereits Microsoft 365 nutzt, dann bietet sich Power Bi an.
In der Business Premium ist die cloudfreie Power Bi Nutzung enthalten.

Wir haben einen kleinen Workshop mit einem Partnersystemhaus der Telekom gemacht, seither kommen die Teilnehmer damit klar.
Allerdings konnten wir den kompletten Datenunterbau selbst vorbereiten.
Wenn sich ein Dienstleister in eine fremde Datenbank einarbeiten muss, dauert das unter Umständen mehrere Monate und frisst Unsummen an Geld.

Die Datenmengen sind bei uns aber halbwegs überschaubar, wir haben eine 130GB MS-SQL DB und das Power BI Projekt ist um die 150MB groß.

 

[djdf]

Wenn ihr bereits Microsoft 365 nutzt, dann bietet sich Power Bi an.
In der Business Premium ist die cloudfreie Power Bi Nutzung enthalten.
Die Datenmengen sind bei uns aber halbwegs überschaubar, wir haben eine 130GB MS-SQL DB und das Power BI Projekt ist um die 150MB groß.

Ihr macht das ganze ETL also direkt mit PowerBI? Das wird bei uns vermutlich nicht sehr effizient sein, weil wir mehrere Abteilungen haben, die teils auf die gleichen Rohdaten zugreifen wollen aber ihr eigenes Reporting betreiben. Es macht daher schon Sinn, dass wir die Rohdaten bis zu einem gewissen Grad auf- und vorbereiten. Natürlich könnten die Abteilungen dann mit Dataflow und Power Query die Daten für ihre Berichte final zusammenziehen, aber ich denke, wir brauchen eine Zwischenstufe.

 

[h00bi]

Ihr macht das ganze ETL also direkt mit PowerBI?

so gesehen ja.
Unser Einkauf macht neuerdings auch eigene Power-BI Reportings.
Als Datengrundlage für den Einkauf habe ich die Power-BI Datei des Vertriebs entsprechend runtergestutzt als Basisdatei.
Der Einkauf braucht bei uns nur Sales Reportings für die Lieferanten, keine Einkaufsreportings in dem Sinne.
Sie nutzen also die gleiche Datengrundlage.

Wie gesagt, das Datenvolumen ist bei uns sehr klein und die Power-Bi Nutzung ist gerade so aus den Kinderschuhen raus.

Grundsätzlich kannst du deine Rohdaten aber auch in zusätzliche SQL Tabellen schreiben lassen.
Aber wenn du schon grob weißt wer welche Daten als Grundlage braucht und wo die herkommen, bist du doch auf das Meeting schon halbwegs passabel vorbereitet.