DataHub

Ein Datenbestand, beliebig viele Systeme

Ihre Daten liegen dort, wo sie entstehen: Produkte im PIM, Bestellungen im Shop, Kunden im CRM, Abonnements in der Warenwirtschaft. Der DataHub sitzt dazwischen — er liest ein, prüft, mappt und beliefert daraus jedes Partner-System im jeweils erwarteten Format. Vollautomatisch, Nacht für Nacht.

01 — Der Dreischritt

Einlesen, veredeln, verteilen

Ingestor

einlesen

CSV, Excel, JSON, XML, REST-Schnittstellen, Datenbanken, Host-Exporte, SFTP-Abholungen, ONIX: Der DataHub nimmt, was kommt — auch die Datei mit dem eigenwilligen Trennzeichen und der Kodierung von 2003. Jede Quelle bekommt eine wiederverwendbare Definition, und alles Eingehende läuft gegen ein Schema. Eine fehlerhafte Lieferung fällt damit schon beim Import auf — lange bevor sie im Shop sichtbar würde.

Transformer

veredeln

Feld-Mapping, Wertelisten, Umrechnungen, Textbereinigung, Nachschlagetabellen: Hier wird aus Rohdaten ein Datensatz, mit dem ein Shop etwas anfangen kann. Kontrollierte Vokabulare führen drei Schreibweisen desselben Begriffs auf einen Wert zusammen. Fachliche Regeln — Bruttopreise je Steuersatz, Lieferstatus, Bündelauflösung, Abo-Laufzeiten — werden einmal beschrieben und überall wiederverwendet.

Distributor

verteilen

Jeder Empfänger bekommt exakt sein Format: CSV mit seinen Spaltennamen für den Marktplatz, ONIX für den Barsortimenter, API-Aufruf in den Shop, Segment fürs E-Mail-Marketing, Auszug fürs Berichtswesen. Voll- oder Deltalauf, Ablage per SFTP oder direkter Aufruf — und protokolliert, wer wann welchen Datensatz bekommen hat.

02 — Im Betrieb

Gemacht für den Alltag

Alles ist eine Definition

Quellen, Transformationen und Ziele sind versionierbare Konfigurationen. Ein neuer Marktplatz mit eigenem Spaltenschema kostet eine Definition und ist am selben Tag produktiv.

Workflows statt Handarbeit

Einzelne Aufgaben lassen sich zu Workflows verketten, die nach Zeitplan oder auf ein Ereignis hin starten: nachts der Vollabgleich, tagsüber Deltas im Minutentakt, dazwischen ein Lauf, den ein eingehender Webhook auslöst.

Nachvollziehbarkeit

Jeder Lauf ist protokolliert: welche Datei kam herein, welche Regel hat welchen Wert verändert, was ging an wen hinaus. Wenn der Marktplatz einen falschen Preis meldet, lässt sich der Weg dieser Zahl zurückverfolgen.

Fehler sind sichtbar

Validierung beim Einlesen, Benachrichtigung bei Abbrüchen, beliebig wiederholbare Läufe. Jeder fehlgeschlagene Lauf meldet sich von selbst — und lässt sich nach der Korrektur einfach erneut starten.

Kurz gesagt

Der DataHub ist ein flexibles Datenaustauschsystem: Er liest beliebige Formate ein — CSV, JSON, XML, ONIX, REST-Schnittstellen —, bringt die Daten in die gewünschte Struktur und gibt sie in jedem geforderten Format wieder aus.

Jeder Schritt ist eine eigene Aufgabe. Aufgaben lassen sich zu Workflows verketten, die zeitgesteuert laufen oder durch ein Ereignis ausgelöst werden. Neue Quelle, neues Zielformat, neuer Ablauf: eine weitere Definition — dokumentiert, versioniert und für jeden im Team nachvollziehbar.

Laravel · MySQL · dateibasierte Definitionen · zeitgesteuerte Workflows · Betrieb on-premise oder gehostet