DataHub

Ein Datenbestand, beliebig viele Systeme.

Geschäftsdaten kommen selten so an, wie man sie braucht. Produktdaten stecken in ONIX-Dateien von Barsortimentern, Bestellungen im Shop, Kundenstämme im CRM, Abonnements in der Warenwirtschaft — und irgendwo läuft eine Host-Anwendung, die seit zwanzig Jahren zuverlässig ihren Dienst tut. Der DataHub führt diese Bestände zusammen, prüft sie, veredelt sie — und beliefert daraus jedes Partner-System, das sie braucht.

01 — Der Dreischritt

Einlesen, veredeln, verteilen.

Ingestor

einlesen

Quellen sind ONIX, CSV, XML, Excel, REST-APIs, Datenbanken, Host-Exporte und SFTP-Abholungen — Produktdaten ebenso wie Bestellungen, Kundenstämme oder Abonnements. Jede Quelle bekommt eine Definition, kein Einmal-Skript. Eingehende Daten werden gegen ein Schema geprüft, statt blind übernommen.

Transformer

veredeln

Der Kern: aus Rohdaten wird ein normalisierter Datensatz. Werte werden gemappt, zusammengeführt, gerechnet, gekürzt, entschlackt, datiert, nachgeschlagen. Kontrollierte Vokabulare sorgen dafür, dass aus drei Schreibweisen desselben Begriffs am Ende ein Wert wird. Fachliche Regeln — Preise, Steuern, Lieferstatus, Bündel, Abo-Laufzeiten — sind einmal beschrieben und überall wiederverwendbar.

Distributor

verteilen

Aus dem gepflegten Bestand entsteht pro Empfänger genau das Format, das er erwartet: eine CSV für den Marktplatz, eine ONIX-Datei für den Barsortimenter, ein API-Aufruf in den Shop, eine Zielgruppe für das E-Mail-Marketing, ein Auszug für das Berichtswesen. Wer was bekommen hat, wird protokolliert; Voll- und Deltaläufe sind unterscheidbar.

02 — Im Betrieb

Definitionen statt Skripte.

Alles ist eine Definition

Quellen, Transformationen und Ziele sind versionierbare Konfigurationen. Ein neuer Empfänger ist eine neue Definition, keine neue Software.

Workflows statt Handarbeit

Aufgaben werden zu Abläufen verkettet und laufen zeitgesteuert — nachts der Vollabgleich, tagsüber die Deltas.

Nachvollziehbarkeit

Jeder Lauf ist protokolliert: was kam herein, was wurde verändert, was ging hinaus, was schlug fehl.

Fehler sind sichtbar

Validierung beim Einlesen, Benachrichtigung bei Abbrüchen, wiederholbare Läufe. Kein stilles Scheitern.

Kurz gesagt

Der DataHub ist ein flexibles Datenaustauschsystem: Er liest beliebige Formate ein — CSV, JSON, XML, ONIX, REST-Schnittstellen — bringt die Daten in die gewünschte Form und gibt sie in jedem geforderten Format wieder aus.

Jeder Schritt ist eine eigene Aufgabe. Aufgaben lassen sich zu Workflows verketten, die zeitgesteuert laufen oder durch ein Ereignis ausgelöst werden. Neue Quelle, neues Zielformat, neuer Ablauf: eine weitere Definition, keine neue Software.

Laravel · MySQL · dateibasierte Definitionen · zeitgesteuerte Workflows · Betrieb on-premise oder gehostet