Table of Contents

beschleunigter Datenimport

Informationen

  • Kategorien: Kernel | Schnittstellen | Import / Export (Standard)
  • Version: 19.0.0.8042
  • Veröffentlichungsdatum: Freitag, 19. Februar 2016
  • Entwickler: Götzen
  • Benötigt Datenbankänderung: Nein
  • Betreff: beschleunigter Datenimport

Beschreibung

Der Import wurde hinsichtlich der Ausführungszeit optimiert.

Beim alten Import wurde für jedes Schlüsselfeld und jeden zu Importierenden Datensatz, eine Anfrage an die Datenbank gesendet, um das zu diesem Schlüssel passende pit-FM Objekt zu suchen. Dies machte den Import mit großen Datenmengen sehr langsam, da jede extra Datenbankanfrage auch extra Zeit kostet.

Um dieses Problem zu lösen, wird beim neuen Import ein „2 Pass“ Verfahren angewendet. D.h. die Daten werden 2 mal aus der Quelle gelesen.

Im ersten Durchlauf werden die Daten gesammelt, sodass man am Ende für jedes Schlüsselfeld eine Liste von zu suchenden pit-FM Objekten hat. Mit dieser Liste können wir nun mit einem Mal (für jeden Schlüssel) alle benötigen pit-FM aus der Datenbank laden.

Im zweiten Durchlauf erfolgt der eigentliche Import. Bei diesem müssen nun keine Anfragen mehr an die Datenbank gesendet werden. Dies führt zu einer erhebliche Performanceoptimierung.

Am Aufbau der Importbeschreibungsdatei (*.cid Datei) hat sich nichts geändert.

Weiterhin ist es nun beim Import möglich, als Importschlüssel auch zusammengesetzte komplexe Attribute zu verwenden.

Beispiel: Bei einem Import/Update von Räumen kann man diese nun mit der Liegenschaftsnummer, der Gebäudenummer, der Etagennummer und der Raumnummer eindeutig identifizieren. Die Schlüsselfelder wären in diesem Falle: Raumnummer, ref_Ebene.Nummer, ref_Ebene.ref_Gebauede.Nummer, ref_Ebene.ref_Gebauede.ref_Liegenschaft.Nummer

Um dies zu realisieren, werden diese Felder einfach als Schlüsselfeld gekennzeichnet.

Achtung: Wenn einzelne Werte dieses zusammengesetzten Schlüssels in der Quelle leer sind, kann dies unter Umständen zu unerwarteten Ergebnissen führen. Daher ist es sinnvoll, die Quelldaten vor dem Import auf korrekte Importschlüssel zu überprüfen.