Como dividir uma enorme planilha CSV do Excel em arquivos separados

O Microsoft Excel é excelente em muitas tarefas do dia-a-dia. Mas de vez em quando você encontra uma de suas deficiências: o tamanho de uma planilha. Abordamos como tornar uma planilha do Excel menor ou dividir um grande arquivo CSV em vários arquivos e temos vários métodos para você escolher.

Por que dividir um CSV grande em vários arquivos?

Pode-se ponderar sobre a necessidade de dividir extensos documentos do Microsoft Excel em várias partes mais gerenciáveis, principalmente considerando que o Excel impõe uma restrição ao número máximo de linhas em uma única planilha, que equivale a 1.048.576.

Embora impressionante, exceder um milhão de linhas pode ser mais alcançável do que inicialmente previsto, especialmente ao concluir operações específicas, como a utilização de grandes arquivos CSV para campanhas de marketing por correio eletrônico. Nesses casos, a importação de grandes quantidades de endereços de e-mail pode representar desafios significativos em termos de gerenciamento e organização de grandes conjuntos de dados. Além disso, encontrar um arquivo CSV com um limite de linhas excedido de fontes externas apresenta outras complicações a serem consideradas.

Se você se deparar com essa situação, recomendo examinar essas cinco estratégias para dividir um documento CSV ou Excel substancial em partes mais gerenciáveis.

Não tem um arquivo CSV grande à mão, mas quer jogar junto em casa? Estou usando o COVID-19 Open Research Dataset nos exemplos, que você pode baixar e usar também.

Divida arquivos CSV usando um programa

Duas ferramentas respeitáveis ​​para dividir arquivos CSV podem ser encontradas no mercado de software. No entanto, é importante observar que, embora esses aplicativos sejam eficazes, eles podem ocasionalmente encontrar restrições de memória, o que é um problema comum nesses programas.

Divisor CSV enorme grátis

O Free Huge CSV Splitter é um aplicativo elementar projetado para dividir arquivos de valores separados por vírgulas (CSV) sem nenhuma funcionalidade complexa. Para iniciar o processo, os usuários devem fornecer o arquivo CSV específico que desejam particionar, especificar a contagem de linhas desejada e, posteriormente, clicar em “Dividir arquivo”. A contagem de linhas serve como determinante para o número final de documentos de saída gerados pelo software.

CSV Splitter

O CSV Splitter serve como uma opção alternativa para usuários que buscam uma abordagem simplificada e refinada para processar grandes quantidades de dados em formato separado por vírgulas. Sua função principal permanece consistente com a de seu concorrente, permitindo a fragmentação eficiente de arquivos csv em unidades menores com base em parâmetros definidos pelo usuário, como contagem de linhas. O design elegante e a operação perfeita contribuem para uma experiência mais refinada para aqueles que navegam por conjuntos de dados complexos.

Use um arquivo em lote

A seguir, em nossa agenda, criaremos um arquivo de lote programável que nos permitirá processar os dados CSV em partes gerenciáveis, adaptando cada bloco de acordo com requisitos específicos. Essa abordagem permite maior flexibilidade e controle sobre a saída gerada pelo script.

 @echo off

setlocal ENABLEDELAYEDEXPANSION

REM Edit this value to change the name of the file that needs splitting. Include the extension.

SET BFN=HCAHPSHospital.csv

REM Edit this value to change the number of lines per file.

SET LPF=2500

REM Edit this value to change the name of each short file. It will be followed by a number indicating where it is in the list.

SET SFN=HosptialSplitFile

REM Do not change beyond this line.

SET SFX=%BFN:~-3%

SET /A LineNum=0

SET /A FileNum=1

For /F "delims==" %%l in (%BFN%) Do (

SET/A LineNum\+=1

echo %%l >> %SFN%!FileNum!.%SFX%

if !LineNum! EQU !LPF! (

SET/A LineNum=0

SET/A FileNum\+=1

)

)

endlocal

Pause

Para que o arquivo batch funcione corretamente, uma série de configurações devem ser feitas antes da execução. Vou elucidar a finalidade de cada diretiva dentro do script, permitindo a flexibilidade de ajustá-las de acordo com as especificações do seu arquivo de lote específico, bem como o resultado desejado.

Para utilizar a ferramenta de software, é necessário especificar um arquivo CSV que requer processamento, inserindo seu caminho na variável “BFN”.

Para restringir o número de linhas em um arquivo recém-gerado, deve-se especificar o valor para a variável chamada “LPF”, que significa “Limiting Precision Factor.

A nomenclatura revisada acima mencionada, denotada como “SET SFN=” foi implementada para designar a mais recente iteração de segmentos de dados individuais dentro da infraestrutura de armazenamento de nossa rede.

Depois de inserir todas as informações necessárias, navegue até “Arquivo” seguido de “Salvar como”. Na janela seguinte, atribua um nome ao arquivo e escolha um local para salvá-lo. Em seguida, clique em"Salvar", após o qual é necessário selecionar o documento de texto salvo recentemente. A partir daí, pressionando a tecla “F2” permitirá renomear o arquivo de “.txt” para “.bat”. Quando solicitado, confirme a ação clicando em “OK”. Esse processo permite dividir seu extenso arquivo CSV em vários arquivos de saída menores.

Use um script do PowerShell para dividir um arquivo CSV

O PowerShell oferece uma solução eficiente para executar operações de rotina, pois é particularmente adequado para lidar com tarefas complexas de manipulação e processamento de dados, incluindo gerenciamento de arquivos e diretórios, configuração do sistema e automação de processos repetitivos. Seus recursos avançados o tornam uma ferramenta poderosa que complementa os recursos tradicionais de script em lote, fornecendo maior flexibilidade, extensibilidade e aprimoramentos de desempenho em comparação com arquivos em lote simples.

O script atual divide com eficiência arquivos extensos de valores separados por vírgula (CSV) em porções mais gerenciáveis.

Execute as seguintes etapas para acessar o Windows PowerShell em um sistema baseado no Windows:1. Pressione as teclas “CTRL + X” em seu teclado simultaneamente para abrir o Windows Power Menu.2. Nas opções exibidas no menu, selecione “PowerShell”.3. Caso o “PowerShell” não esteja disponível como opção, navegue até o Menu Iniciar e faça uma busca usando as palavras-chave “powershell”. Uma vez localizado, clique no resultado superior para iniciá-lo.

Agora, copie e cole o seguinte script:

 $InputFilename = Get-Content 'C:\file\location'

$OutputFilenamePattern = 'output_done_'

$LineLimit = 50000

$line = 0

$i = 0

$file = 0

$start = 0

while ($line-le $InputFilename.Length) {

if ($i-eq $LineLimit-Or $line-eq $InputFilename.Length) {

$file\+\+

$Filename = "$OutputFilenamePattern$file.csv"

$InputFilename[$start..($line-1)] | Out-File $Filename -Force

$start = $line;

$i = 0

Write-Host "$Filename"

}

$i\+\+;

$line\+\+

} 

O script requer que um arquivo CSV seja inserido como sua primeira linha de código, seguido pela execução. Ele gerará vários arquivos CSV menores dentro do diretório designado do usuário, com base nas especificações fornecidas. Neste caso, os arquivos de saída serão nomeados de acordo com o padrão “output\ done\ ” e salvos na pasta onde está localizado o CSV original. Porém, se desejado, a convenção de nomenclatura pode ser modificada ajustando a variável “$OutputFilenamePattern”.

Você pode encontrar o script original em SPJeff.

Divida um CSV grande usando o Power Pivot

O método anterior para dividir um extenso arquivo de valores separados por vírgula (CSV) em partes menores não o desintegra totalmente. Em vez disso, ele permite importar o vasto documento CSV para o Microsoft Excel e empregar o aplicativo Power Pivot como meio de contornar a restrição nos limites de linha definidos pelo próprio Excel. Consequentemente, os usuários são capazes de manipular os dados dentro do software sem serem limitados por tais limitações.

Você consegue isso criando um link de dados para o arquivo CSV e, em seguida, usando o Power Pivot para gerenciar o conteúdo. Para obter uma explicação completa e tutorial, leia blog de Jose Barreto detalhando o processo.

Em essência, Barreto demonstrou proficiência em gerar uma tabela dinâmica que acomoda até 8,5 milhões de linhas sem nenhuma dificuldade. Conforme ilustrado na ilustração a seguir, um exemplo atual mostra uma utilização de aproximadamente 2 milhões de linhas no Microsoft Excel.

Embora o processo em questão não fragmente o arquivo CSV em partes menores, ele fornece um substituto atraente-a capacidade de operar no CSV no Microsoft Excel. Para aqueles que buscam orientação adicional, pode-se explorar a utilização de uma tabela dinâmica como meio de conduzir a análise de dados.

Divida CSV Grande Online Usando CSV Dividido

Também existem serviços online que dividem seu grande arquivo CSV em pedaços menores. Uma dessas opções é Split CSV, um divisor de CSV on-line gratuito.

Dividir um arquivo CSV pode ser uma maneira eficaz de gerenciar um grande conjunto de dados, principalmente ao lidar com uma quantidade significativa de dados relacionados à pandemia de COVID-19 em andamento. Uma ferramenta conhecida como “Split CSV” é uma opção que permite aos usuários dividir seus arquivos em partes menores e mais gerenciáveis, especificando o número desejado de linhas por bloco. Embora essa abordagem tenha sido útil para lidar com esses conjuntos de dados, minha experiência pessoal foi limitada devido à ausência de um arquivo CSV grande adequado no momento do teste. Consequentemente, o desempenho real e a confiabilidade do Split CSV podem variar dependendo das circunstâncias individuais.

O recurso CSV dividido também oferece opções avançadas para uma taxa de assinatura nominal. Você tem a flexibilidade de utilizar um delimitador personalizado, selecionar formatos de arquivo específicos para exportação, eliminar caracteres indesejados nos documentos gerados e eliminar conteúdo duplicado.

Divida seus arquivos CSV em partes facilmente gerenciáveis

Aqui estão cinco métodos para fragmentar seus arquivos de valores separados por vírgula (CSV), facilitando seu manuseio. Cada técnica tem diferentes velocidades de processamento e limites de capacidade de arquivo, exigindo tentativa e erro para determinar qual método é mais adequado para você. Notavelmente, essas abordagens de divisão de CSV funcionam efetivamente no Windows 10 e no Windows Server, permitindo que os usuários empreguem o utilitário de trituração de CSV online em uma variedade de plataformas, incluindo macOS e Linux.