Um auch aus unsauberen Quelldateien Daten extrahieren zu können, kann zum Beispiel das Verhalten bei fehlenden oder überzähligen Spalten definiert werden.
Nach oben zur Funktions-Übersicht

Log-Dateien und Drucklisten sind typische Beispiele für Textdateien, die nicht dafür ausgelegt sind, aus diesen wieder Daten auszulesen. Durch einfach definier­bare Filter können überflüssige Zeilen entfernt und aus den Daten­zeilen die gewünschten Daten extrahiert werden.
Nach oben zur Funktions-Übersicht

Daten können – auch unter Linux – direkt aus Excel-Dateien extrahiert werden. Viele Probleme die durch den Datenaustausch per Excel-Datei entstehen, können mit ETL-inside kompensiert werden.
Nähere Informationen dazu finden Sie in Excel Datenrettung.
Nach oben zur Funktions-Übersicht

CrossTable sind besonders in Excel sehr beliebt, um Daten, die von zwei Faktoren abhängen, übersichtlich darzustellen. Der Aufbau dieser Tabellen ist für eine Weiter­verarbeitung meist ungeeignet. Ein spezieller Transformations-Service von ETL-inside wandelt CrossTable in normale Tabellen um, die dann beliebig weiter­verarbeitet werden können.
Nähere Informationen finden Sie auf der Seite CrossTable.
Nach oben zur Funktions-Übersicht

Die Kreativität bei der Angabe von Datum und Uhrzeit kennt keine Grenzen (Notationen nach Ländern) – oft werden in einem Dokument die Angaben in unterschiedlichen Notationen vorgenommen. ETL-inside erkennt in der Voreinstellung 100 Notationen nach deutscher, amerikanischer und ISO-Norm.
Für jede Spalte können jedoch auch explizit Formate angegeben werden.
Nach oben zur Funktions-Übersicht

Aus Texten wie " 3,75- Euro" wird die Zahl -3,75 ermittelt. Auch das Dezimal­trennzeichen – Komma oder Punkt – wird soweit möglich automatisch bestimmt. Nur wenn der Wert nicht eindeutig ist, muss durch den Benutzer das Dezimal­trennzeichen definiert werden. So kann es sich bei "7.000" um den Wert 7 (USA) oder 7000 (Deutschland) handeln. Wird kein Defaul­twert gesetzt, werden Reihen gesondert behandelt, bei denen das Ergebnis nicht eindeutig ist. Datenqualität bildet bei ETL-inside die höchste Prämisse.
Nach oben zur Funktions-Übersicht

Besonders für die korrekte Briefanrede ist es notwendig, nur bestimmte Namensbestandteile in der richtigen Reihenfolge und mit korrekter Groß-/Kleinschreibung zu nennen.
Die Online-Demo 'Namen und Anrede' zeigt unter anderem, wie aus frei eingegebenen Namen Briefanreden erstellt werden.
Nach oben zur Funktions-Übersicht

Oft fehlt zu einem Namen die Angabe Herr/Frau, so dass eine persönliche Briefanrede wie "Sehr geehrte Frau Müller-Lüdenscheid" nicht erstellt werden kann. In ETL-inside wurde die Vornamen-Datenbank 'Kunigunde' integriert, so dass für knapp 10.000 Vornamen das Geschlecht mit hoher Sicherheit automatisch bestimmt werden kann.
Nach oben zur Funktions-Übersicht

Egal, ob die Ortsnamen beispielsweise nur in Großbuchstaben vorliegen oder beim Tippen zu viele Leerzeichen etc. eingefügt wurden, ETL-inside normiert diese auf Basis einer Datenbank und definierten Regeln, so dass auch internationale Ortsnamen in der Anschrift normiert angegeben werden können.
Nach oben zur Funktions-Übersicht

Das Datenbankfeld "Straßenname" enthält meistens nicht nur den Straßennamen, sondern alle möglichen Zusatzangaben. ETL-inside normiert beispielsweise die Angabe "SCHützenstr.52 a- 54c   2.Etage" gemäß DIN 5008:2005 nach "Schützenstr. 52a - 54c // 2. Etage".
Auf einzelne Komponenten kann ebenfalls direkt zugegriffen werden.
Selbstverständlich werden auch Postfach-Angaben erkannt und normiert.
Nach oben zur Funktions-Übersicht

Deutsche Telefonnummern werden gegen eine Vorwahl-Datenbank geprüft und in ein definierbares, einheitliches Format normiert.
Nach oben zur Funktions-Übersicht

Für jede Spalte können Skripte angegeben werden, die den jeweiligen Zellen­inhalt ändern bzw. prüfen. Von einfachen mathe­matischen Funktionen wie "

max(spalte_a, spalte_b)

" bis hin zu komplexen Programmen ist alles möglich. Der Anwender hat dabei die Wahl, ob er Skripte in Python oder JavaScript verfasst.
In Java können eigene Services zur Validierung und Konvertierung implementiert werden.
Nach oben zur Funktions-Übersicht

Platzhalter in SQL-Abfragen können durch aktuelle Zelleninhalte ersetzt werden. Dies ermöglichst sehr flexible und komplexe Überprüfungen auf Basis von Datenbankinhalten.
Beispiel: Aus einem ERP-System stammen Bauteil­nummern und aktuelle Preise aller Ersatzteile. In das Zielsystem sollen jedoch nur die Reihen eingefügt werden, deren Bauteile bekannt sind, jedoch kein Preis vorliegt.
Ein SQL-Statement mit Platzhaltern kann diese Bedingung für jede Reihe prüfen. Gültige Reihen landen somit im Zielsystem, ungültige werden zum Beispiel in einer HTML-Datei protokolliert und zusätzlich in eine separate Datenbanktabelle weggeschrieben.
Nach oben zur Funktions-Übersicht

Ein interaktives Beispiel, das aus einer editierbaren CSV-Datei ausliest und auf Knopfdruck beispielhaft sehr einfache Excel- und PDF-Dokumente erzeugt sowie fehlerhafte Zeilen in diversen Fehler­protokollen und Reports aufführt, finden Sie unter Online-Demos / ETL.
Nach oben zur Funktions-Übersicht

Fähigkeiten und Eigenschaften verschiedener Datenbanksysteme unterscheiden sich stark voneinander:
Einige kennen für Date, Time und Timestamp spezielle Datentypen, andere kennen nur Timestamp.
Auch die Bezeichnung der Datentypen unterscheidet sich – Real, Float und Double sind Beispiele dafür.

Wird im ETL-inside für eine Spalte datenbank­unabhängig der Typ "byte" definiert, so wird in SQL-Server eine Spalte vom Typ "tinyint", in Oracle "number(1)" und in Access "byte" angelegt. Für den Austausch eines Quell- oder Zielsystems muss in der Benutzer­oberfläche lediglich das Datenbanksystem spezifiziert werden.

Ob eine Tabelle von Oracle nach Access oder von SQL-Server nach Oracle kopiert wird, ändert nichts an der Konfigura­tions­datei. Durch das Auslesen von Meta­informationen der Datenbank­treiber können auch Spalten­eigenschaften wie PrimaryKey und Nullable bestimmt werden – ohne daten­bank­spezifische SQL-Abfragen. So bietet ETL-inside Ihnen die Voraussetzung für Portierbarkeit und niedrigen (Um)Schulungsaufwand.
Bei Bedarf können natürlich auch datenbankspezifische SQL-Anweisungen verwendet werden.
Nach oben zur Funktions-Übersicht

Daten können zum Beispiel aus Dateien oder SQL-Server ausgelesen, mit Bestellnummern aus Access verglichen und um aktuelle Preise aus Oracle ergänzt werden.
So können Daten aus unterschiedlichen Datenbanken in einem ETL-Prozess zusammenwirken.
Nach oben zur Funktions-Übersicht

Spalteneigenschaften legen unter anderem fest, welche Transformationen und Prüfungen durchgeführt werden sollen.
Beispiele:

nullToValue ="n/a"	NULL-Werte durch "n/a" ersetzen
trim ="true"	Leerzeichen entfernen. " ein Text " => "ein Text"
type ="date" formatSource="dd/MM/yyyy"	Den Text, der ein Datum im englischer Notation enthält, in ein Datumsobjekt umwandeln
lessEqual ="2004-12-31"	Prüfen, ob das Datum vor dem 31.12.2004 liegt (einschließlich)
primaryKey ="true"	Wird eine Datenbanktabelle erzeugt, setze den PrimaryKey

Nach oben zur Funktions-Übersicht

ETL-inside kann Verzeichnisse beobachten und ETL-Prozesse durchführen, sobald neue Dateien in dieses Verzeichnis geschrieben wurden. Der Inhalt der Datei kann zum Beispiel in eine Datenbank geschrieben und die Datei anschließend in einen Archiv-Ordner verschoben werden. Anschließend wird eine eMail mit dem HTML-Report des durchgeführten Import-Vorgangs verschickt.
Nach oben zur Funktions-Übersicht

ETL-inside kann eMail-Postfächer (POP3) beobachten und ETL-Prozesse automatisch starten, sobald neue eMails mit Datendateien als Attachment an das Postfach geschickt werden.
Nach oben zur Funktions-Übersicht

Komplexere Vorgänge erfordern oft die Abarbeitung einzelner ETL-Tasks in einer vorgegebenen Reihenfolge.
 Schritt 1: Neue Ersatzteile in die Staging-Datenbank einfügen
 Schritt 2: Aktuelle Bestandsdaten in die Staging-Datenbank einfügen
 Schritt 3: Mit SQL-Statements Staging-Datenbank auf Konsistenz prüfen
 Schritt 4: Geprüfte Daten der Staging-Datenbank ins Produktivsystem kopieren
Durch dieses Vorgehen wird sichergestellt, dass ins Produktivsystem nur geprüfte Daten gelangen und keine Inkonsistenzen entstehen.
Nach oben zur Funktions-Übersicht

Durch die reihenbasierte Verarbeitung ein- und ausgehender Daten können beliebig große Dateien und Datenbanktabellen verarbeitet werden. Nur Excel und PDF-Dateien werden systembedingt zuerst komplett im Arbeitsspeicher generiert und danach gespeichert. Die Grenze für diese Dateiarten bestimmt der freie Hauptspeicher des Systems.
Nach oben zur Funktions-Übersicht

ETL-inside wurde komplett in Java entwickelt und ist somit zum Beispiel unter Windows und Linux lauffähig.
Unter Windows sorgt eine exe-Startdatei dafür, dass sich ETL-inside wie alle anderen Windows­programme verhält - es kann durch einen Doppelklick gestartet werden, besitzt ein Desktop-Icon und erscheint im Taskmanager als eigener Prozess.
Nach oben zur Funktions-Übersicht

Für die Standard- und Professional-Editition können Sie beliebig viele Konfigurationsdateien für beliebig viele Projekte selbst erstellen oder anpassen.
Selbstverständlich konfigurieren wir ETL-inside gerne für Sie, sodass Sie eine fertige Lösung für Ihr Projekt erhalten.

Die Projekt-Edition enthält die Lizenz für mindestens eine eine Konfigurationsdatei. Weitere Konfigurationen - beispielweise zur Verarbeitung neuer Quellformate - müssen zusätzlich erworben werden.
Sie können diese selbst erstellen oder von uns erstellen lassen.

Wir beraten Sie gerne, welches Modell für Sie günstiger ist.
Nach oben zur Funktions-Übersicht