CSV
CSV steht für Comma-Separated Values (durch Komma getrennte Werte) und ist ein Textformat. Es bietet einen sehr einfachen Weg zur Datenspeicherung, bei dem jeder Datensatz in der Tabelle einer Textlinie entspricht und die gelisteten Werte nacheinander, durch Komma getrennt, aufgelistet werden.
CSV ist tatsächlich Standard im Datenaustausch und somit erlauben viele Anwendungen den Datenexport im CSV Format. Die Dateien können sehr groß werden. Unsere Anwendungen können beides, nämlich Lesen und Schreiben, im CSV Streamingmodus, sodass wir niemals ganz große Dateien in den Speicher laden müssen. Das heißt zudem, dass wir riesige CSV Dateien, selbst einige GB große Dateien, mit Leichtigkeit handhaben können. Wir begrenzen die Dateigröße noch nicht einmal. Die größeren Dateien benötigen länger in der Herstellung, aber wir können grundsätzlich jede Dateigröße verarbeiten.
Das CSV Parsing ist sehr einfach. Parsing sämtlicher Varianten ist gar nicht so schwierig.
Wenn ein Wert selbst Kommas enthält, wie es innerhalb eines Textes vorkommt, dann muss der Wert zitiert werden. Aufgrund seines einfachen Formats schreiben es viele Anwendungen zwangsläufig in geringfügig unterschiedlicher Weise. Manche zitieren jeden einzelnen Wert, manche zitieren nur die Werte, welche Kommas enthalten, manche zitieren alle textliche Werte usw. Es gibt unterschiedliche Kodierungs-Anführungszeichen. Manchen Anwendungen gehen verschachtelte Anführungszeichen mit Rückwärtsschrägstrich voraus, manche benutzen zwei Anführungsstriche, einer nach dem anderen. CSV Dateiwerte können tatsächlich mit einem anderen Zeichen als einem Komma begrenzt werden. Es wird oft ein TAB-Zeichen benutzt (ASCII-Wert 9). Abhängig davon, ob ein Windows oder ein Linux/Unix/Mac System die Datei schreibt, können die Zeilen mit zwei Zeichen (ASCII 13, dann 10) oder mit einem einzelnen Zeichen (ASCII 10) geschrieben werden. Sie sollten keine mehrzeiligen Textdaten in CSV Dateien speichern, weil diese dann vorzeitig ein Ende des Datensatzes erkennen.
Wir haben unseren eigenen CSV Parser entwickelt und benutzen eine umfangreiche Testsuite, um sicherzugehen, dass dieser die bekanntesten und unterschiedlichsten CSV Dateien unserer Benutzer verarbeiten kann. Auch wenn das CSV Format keine Metadaten-Felder enthält, können wir dennoch die Daten analysieren und den optimalen Datentyp jedes Feldes bestimmen.