Hintergrund

Bevor eine detaillierte inhaltliche Auseinandersetzung mit den Daten stattfindet, müssen diese zunächst ins Simplex4Data geladen werden bzw. diesem bekannt gemacht werden.

Ziel des Rohdatenimport ist es, Rohdaten* in die Datenhaltung des DataWarehouse zu überführen und Informationen zu ihnen zu dokumentieren. Dieser Prozess ist abgeschlossen, wenn die Rohdaten* in Quelltabellen in der Datenbank vorliegen. Das veranschaulicht die folgende Abbildung.

*Mit Rohdaten sind die Daten in ihrem Ausgangszustand gemeint, die in das Simplex importiert werden sollen. Sie sind selten "roh" im Sinne von unbehandelten oder unsortierten Messdaten direkt vom Messgerät, i.d.R. stammen sie aus einem Fachsystem oder einer Open-Data-Quelle und sind wohlformatiert und qualitätsgesichert.

Bild generiert mit Symbolen von iconmonstr

(1) EXTRACT Zunächst werden die Daten in den Container bzw. auf den Server geladen. Dabei werden sie teilweise im Dateisystem des Servers abgelegt.

(2) LOAD Dann werden die als relevant identifizierten Informationen aus den Formaten der Rohdaten herausgelöst und in Quelltabellen geladen.

(3) TRANSFORM Nach einem erfolgreichen Laden liegen die Daten in einer oder mehreren Quelltabellen in der Datenbank des Simplex4Data vor. Nun können die Daten in das envVisio Datenmodell überführt werden. Das geschieht im Konverter.

Die Schritte (1) und (2) können, je nach Format und Datenzugang unterschiedlich komplex sein, denn von ihnen hängt ab, wie gut automatisierbar die beiden Schritte sind. In allen Schritten können und sollen nützliche Hinweise und Fachwissen dokumentiert werden.

Eine Übersicht darüber, welche Daten importiert werden können, findet sich in der Übersicht Import und Export.

Varianten des Imports

Die folgenden Unterseiten enthalten Tutorials zu verschiedenen Arten des Datenzugangs:

1 statische Dokumente

Statische Dokumente können in einer Reihe von Formaten hochgeladen und extrahiert werden.

Beliebig viele Dokumente können nacheinander oder auf einmal hochgeladen werden, auch gezippte Ordner sind möglich.

Dokumente, die mittels Cloud hochgeladen wurden (s.u.) und im "DATA" Bereich des Simplex gespeichert vorliegen, können ausgewählt und extrahiert werden.

-> Wenn die Daten lokal vorliegen, ist das die einfachste Variante

2 webbasierte Datenquellen

Simplex Import kann auch Dienste des OGC API Features-Standards ansteuern und deren Daten automatisiert abfragen.

Ebenfalls kann Simplex eine Download-URL übergeben werden, von wo Simplex dann Daten abruft (z.B. aus einer Cloud). Dazu muss diese URL unmittelbar ein Dokument zur Verfügung stellen.

-> Wenn die Daten an einem dritten Ort liegen, erspart diese Variante überflüssige Datenbewegungen

3 alternative Importe

Es gibt zwei weitere Formen des Imports:

3.1 Upload via Cloud statt via Simplex-Interface

Als optionales Modul des Simplex4Data kann eine Cloudlösung mit installiert werden, siehe den Artikel zur Installation des Simplex4Data.

Über deren Oberfläche können Daten in Dokumentform (z.B. Shapefiles, GML/XML, CSV) in den "DATA"-Bereich des Simplex geladen werden, statt wie in (1) das Interface des Simplex zu verwenden.

Wenn sie vollständig hochgeladen sind, müssen sie noch dem Loader über das Interface (s. Abschnitt 1.2) bekannt gemacht werden.

-> Diese Variante ist nützlich, um Dritten, die keinen Zugang zum Datenmanagement im Simplex4Data erhalten sollen, eine einfache Upload-Möglichkeit für Rohdaten zur Verfügung zu stellen.

3.2 Unmittelbarer Anschluss an die Datenbank

Der Konverter des Simplex4Data beruht auf Quelltabellen. Wie diese Quelltabellen erzeugt wurden, ist für den Konverter und die anschließende Datenhaltung nicht unmittelbar relevant. Dementsprechend kann auch der gesamte Load-Prozess übersprungen werden, wenn die Daten anderweitig in die Datenbank des Simplex4Data gelangen können. Damit fehlen aber wichtige Metadaten.

-> Diese Variante erfordert umfangreiche Fachkenntnisse zu Datenbanken und umfassende Rechte auf dem Server, auf dem Simplex4Data läuft. Sie ist nur in Ausnahmefällen möglich.