TMG | Blog |

Mehr als 1 Million Datensätze verarbeiten – in Excel?!

Mehr als 1 Million Datensätze verarbeiten – in Excel?!

„Excel kommt da an seine Grenzen“ – eine vielfach gehörte Aussage, wenn es um die Analyse von größeren Datenmengen geht. Damit gemeint ist in der Regel entweder die Begrenzung von Tabellenblättern auf rund 1 Mio. Zeilen oder der Versuch, eine große Tabelle mit Informationen anzureichern, wie beispielsweise aus Stammdaten per SVerweis die Materialgruppen in Bewegungsdaten einzubinden.

Nach geduldigem Warten und dem Programm „gut zureden“ kommt dann doch immer das gleiche, gefürchtete Ergebnis:

NICHT VERZAGEN, DAS „DATEN“-MENÜBAND FRAGEN

Die Lösung findet sich im, oft übersehenen, Daten-Menüband von Excel. Man kennt von dort die „Duplikate entfernen“- oder „Text in Spalten“-Funktion. Am linken Ende findet sich aber auch der „Daten abrufen“-Knopf, über den sich Daten aus verschiedensten Informationsquellen in das hinter Excel (und übrigens auch Power BI) steckende ETL*-Tool laden lassen: PowerQuery.
*ETL = Extract, Transform, Load

Mit PowerQuery lassen sich nicht nur Excel, Text, CSV oder ähnliche „klassische“ Datentypen anzapfen, sondern auch Datenbanken, Server, Websites und sogar ganze Ordner.
Und sollten sich die Grunddaten einmal ändern, reicht ein Klick auf „Aktualisieren“, um den aktuellen Datenstand zu laden (sehr praktisch für regelmäßige Reportings).

Einmal geladen, können im PowerQuery-Editor Transformationen ausgeführt werden: Daten filtern, Formate ändern, (ent-)pivotieren, mehrere Datenquellen kombinieren (gut für das eingangs erwähnte Anreicherungsbeispiel) und noch vieles mehr.

Das Beste dabei: Einen Großteil der Funktionen kann man bequem per Knopfdruck über das User Interface nutzen – in den meisten Fällen ist kein Programmieren notwendig. Gleichzeitig wird konsequent unter „Angewendete Schritte“ dokumentiert, welche Änderungen bislang an den Daten vorgenommen wurden – PowerQuery-Abfragen lassen sich also auch sehr viel leichter nachvollziehen als X-Zeilen lange Excel-Formeln.

Sobald alle notwendigen Transformationen vollzogen sind, lässt sich der damit erstellte Datensatz auch ganz einfach wieder ausgeben: entweder als Tabelle oder Pivot-Bericht (inkl. Charts).

 

WIE FUNKTIONIERT DER EINSTIEG IN POWERQUERY?

Dieser Blog-Eintrag ist bewusst kein Tutorial; dazu finden sich online sehr gute Quellen, zumal PowerQuery auch recht intuitiv ist.

Für alle, die im Alltag mit gewissen Excel-Mengen jonglieren, lohnt sich ein 15- bis 20-minütiger Invest in eine solches Online-Tutorial, um die Basics zu verstehen. Den Rest lernt man am besten „on the job“.

Was man erwarten kann, ist eine zuverlässige Lösung, die auch mehrere Millionen Datensätze verarbeiten kann, ohne dass Excel sich aufhängt und auch sehr viel besser performt, als wenn man zehn Minuten lang der SummeWenns-Funktion beim Rechnen zusieht. 😉

PowerQuery – rundum ein absoluter Tipp für jegliche (großen) Daten-Analysen.

Kontaktformular

Wir freuen uns auf das Gespräch mit Ihnen!

Sie sehen gerade einen Platzhalterinhalt von HubSpot. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

Mehr Informationen