CSV
CSV est un format de fichier texte, raccourci pour les valeurs séparées par des virgules. C'est un moyen très simple de stocker des données, où chaque enregistrement de table est sur une ligne et les valeurs sont répertoriées les unes après les autres avec une virgule entre les deux.
CSV est une norme de facto dans l'échange de données et de nombreuses applications permettent l'exportation de données au format CSV. Ces fichiers peuvent devenir très volumineux. Nos applications peuvent à la fois lire et écrire des fichiers CSV en mode streaming, nous n'avons donc jamais à charger des fichiers volumineux entiers en mémoire - cela signifie également que nous pouvons facilement gérer d'énormes fichiers CSV, des fichiers de plusieurs gigaoctets. Nous n'imposons même aucune limite de taille de fichier. Les fichiers plus volumineux prendront plus de temps à traiter, mais nous pouvons généralement gérer n'importe quelle taille de fichier.
L'analyse CSV est très simple. Analyser toutes les variantes possibles n'est pas du tout trivial.
Lorsqu'une valeur contient elle-même des virgules, comme c'est le cas dans un texte, la valeur doit être entre guillemets. Étant un format si simple, inévitablement de nombreuses applications l'écrivent d'une manière légèrement différente. Certains citent chaque valeur, certains ne citent que des valeurs contenant des virgules, d'autres citent toutes les valeurs textuelles, etc. Les valeurs des fichiers CSV peuvent en fait être délimitées par un caractère différent de la virgule - souvent le caractère TAB est utilisé (valeur ASCII 9). Selon que le système Windows ou Linux / Unix / Mac écrit le fichier, les lignes peuvent être écrites par deux caractères (ASCII 13, puis 10) ou un seul caractère (ASCII 10). Vous ne devez pas stocker de données texte multiligne dans des fichiers CSV, car vous détecterez prématurément la fin de l'enregistrement.
Nous avons développé notre propre analyseur CSV et utilisons une riche suite de tests pour nous assurer qu'il gère les différences courantes dans les fichiers CSV de nos utilisateurs. Même si le format CSV ne contient pas de métadonnées avec des types de champs, nous analysons les données et déterminons le type de données optimal de chaque champ.