CSV
CSV é um formato de arquivo de texto, atalho para valores separados por vírgula. É uma maneira muito simples de armazenar dados, onde cada registro da tabela está em uma linha e os valores são listados um após o outro, com vírgulas no meio.
CSV é um padrão de fato na troca de dados e muitos aplicativos permitem a exportação de dados em formato CSV. Esses arquivos podem crescer muito. Nossos aplicativos podem ler e gravar CSV no modo de streaming, então nunca precisamos carregar um arquivo grande inteiro na memória - isso também significa que podemos lidar facilmente com arquivos CSV enormes, arquivos com muitos gigabytes de tamanho. Nós nem mesmo impomos qualquer limite no tamanho do arquivo. Arquivos maiores demoram mais para serem processados, mas geralmente podemos lidar com qualquer tamanho de arquivo.
Analisar CSV é muito fácil. Analisar todas as variantes possíveis não é nada trivial.
Quando um valor contém vírgulas, como é o caso em um texto, o valor deve ser colocado entre aspas. Por ser um formato tão simples, inevitavelmente muitos aplicativos o escrevem de uma maneira ligeiramente diferente. Alguns citam cada valor, alguns citam apenas valores contendo vírgulas, alguns citam todos os valores textuais, etc. Existem aspas de codificação diferenciadas - alguns aplicativos precedem aspas aninhadas com caracteres de barra invertida, alguns usam dois caracteres de aspas, um após o outro. Os valores do arquivo CSV podem, de fato, ser delimitados com um caractere diferente de vírgula - frequentemente o caractere TAB é usado (valor ASCII 9). Dependendo se o sistema Windows ou Linux / Unix / Mac grava o arquivo, as linhas podem ser escritas por dois caracteres (ASCII 13, depois 10) ou um único caractere (ASCII 10). Você não deve armazenar dados de texto de várias linhas em arquivos CSV, porque você detectará prematuramente o fim do registro.
Desenvolvemos nosso próprio analisador CSV e empregamos um rico conjunto de testes para garantir que ele lida com diferenças comuns em arquivos CSV que nosso usuário possui. Mesmo que o formato CSV não contenha metadados com tipos de campo, nós analisamos os dados e determinamos o tipo de dados ideal para cada campo.