Import webbasierter Datenquellen

Start

Daten können nur in Quellen geladen werden. Deswegen muss zunächst eine vorhandene Quelle ausgewählt oder eine neue erzeugt werden

Navigation

Ausgangspunkt ist das Feld "Data" innerhalb einer Quelle.

Über den Knopf " + Daten importieren" kann der Import begonnen werden. Das Interface stellt eine Reihe von Möglichkeiten bereit, um Rohdaten in Simplex4Data einzubinden.

Für den Umgang mit webbasierten Datenquellen ist die Option "DOWNLOAD" relevant. Hier gibt es zwei Optionen.

1 Einen OGC-API konformen Dienst einbinden

Simplex Import kann auch Dienste des OGC API Features-Standards ansteuern und deren Daten automatisiert abfragen.

1.0 Voraussetzungen

  • Die Datenquelle muss den OGC API-Features - Part 1: Core unterstützen.
  • Es können nur Daten des Typs "Feature" importiert werden (d.h. keine Tilesets, keine Coverages, keine Karten, etc.)
  • Die Datenquelle muss JSON oder GeoJSON liefern können

1.1 URL angeben

Es kann wahlweise die URL einer einzelnen Collection oder die Quell-URL eines ganzen Dienstes angegeben werden. In diesem Fall werden alle dort auffindbaren Collections geladen.

Als Beispiel kann der umfassende Demonstrator des Open Source - Projekts Pygeoapi genutzt werden, der unter https://demo.pygeoapi.io/stable seine Haupt-URL hat.

1.2 Organisation der generierten Datenblobs

Simplex4Data generiert nun für jede angegebene bzw. im Dienst gefundene Collection einen Datenblob. Dabei werden einige Metadaten möglichst mit aufgenommen. Unter anderem werden die drei unten abgebildeten Datenblobs generiert.

Für Details zu dieser Struktur und den Begriffen, siehe die Seite zur Verwaltung der Importe.

1.3 Daten (automatisch) in Quelltabellen laden

Details dazu sind auf der Seite zum Laden der Daten in Quelltabellen zu finden.

Die als Datenblobs gespeicherten Collections können einzeln ausgewählt und geladen werden. Simplex4Data lädt alle Daten der Collection herunter und in eine Quelltabelle hinein. Für die genannten Beispiele sieht die Datenübersicht nach abgeschlossenem Import beispielsweise folgendermaßen aus:

2 Eine Download-URL zu statischen Daten übergeben

2.0 Voraussetzungen

  • Die Datenquelle muss unmittelbar statische Dokumente (auch als zips o.ä.) zum Download bereitstellen. Die Funktionalität kann keinen "Download"-Button finden. Es ist die URL anzugeben, welche den Download direkt startet (siehe Beispiel in 2.1).
  • Unterstützt werden die Formate (Geo)JSON, CSV, shapefiles, XML/GML und txt

2.1 URL angeben

Als Beispiel werden die Ortsteile Berlins als GeoJSON verwendet, welche über die Seite der Open Data Informationsstelle Berlin erreichbar sind. Sie können unter der URL https://tsb-opendata.s3.eu-central-1.amazonaws.com/ortsteile/lor_ortsteile.geojson heruntergeladen werden.

Das könnte mittels Browser geschehen. Dann würden die Daten lokal heruntergeladen und müssten als statische Dokumente ins Simplex4Data importiert werden.

Alternativ kann auch direkt die genannte URL übergeben werden:

2.2 Organisation der generierten Datenblobs

Simplex4Data lädt die Dokumente, die er unter der URL findet, herunter, und analysiert sie ebenso, wie er das für hochgeladene Dokumente macht, inklusive des Versuchs, Strukturen durch Unterordner durch Datensätze abzubilden.

Im vorliegenden Beispiel generiert er für das eine gefundene Dokument einen Datenblob. Das GeoJSON ist nun auf dem Server gespeichert, die weiteren Schritt entsprechen exakt denen des Umgangs mit hochgeladenen Dokumenten.

Für Details zu dieser Struktur und den Begriffen, siehe die Seite zur Verwaltung der Importe.

2.3 Daten (automatisch) in Quelltabellen laden

Details dazu sind auf der Seite zum Laden der Daten in Quelltabellen zu finden.