Jak podzielić ogromny arkusz kalkulacyjny CSV Excel na osobne pliki

Microsoft Excel doskonale radzi sobie z wieloma codziennymi zadaniami. Ale od czasu do czasu napotykasz jedną z jego wad: rozmiar arkusza kalkulacyjnego. Omówiliśmy, jak zmniejszyć arkusz kalkulacyjny programu Excel lub podzielić duży plik CSV na wiele plików, i mamy kilka metod do wyboru.

Po co dzielić duży plik CSV na wiele plików?

Można zastanawiać się nad koniecznością podzielenia obszernych dokumentów Microsoft Excel na kilka łatwiejszych do zarządzania części, zwłaszcza biorąc pod uwagę, że Excel nakłada ograniczenie na maksymalną liczbę wierszy w jednym arkuszu, co odpowiada 1 048 576.

Choć imponujące, przekroczenie miliona wierszy może być bardziej osiągalne niż początkowo przewidywano, szczególnie podczas wykonywania określonych operacji, takich jak wykorzystanie dużych plików CSV do kampanii marketingowych poczty elektronicznej. W takich przypadkach importowanie ogromnych ilości adresów e-mail może stanowić poważne wyzwanie w zakresie zarządzania i organizowania dużych zbiorów danych. Ponadto napotkanie pliku CSV z przekroczonym limitem wierszy ze źródeł zewnętrznych wiąże się z dalszymi komplikacjami, które należy wziąć pod uwagę.

Jeśli znajdziesz się w takiej sytuacji, polecam przeanalizowanie tych pięciu strategii dzielenia obszernego dokumentu CSV lub Excela na łatwiejsze do zarządzania części.

Nie masz pod ręką dużego pliku CSV, ale chcesz zagrać w domu? W przykładach korzystam z COVID-19 Open Research Dataset, który można pobrać i wykorzystać zbyt.

Podziel pliki CSV za pomocą programu

Na rynku oprogramowania można znaleźć dwa renomowane narzędzia do dzielenia plików CSV. Należy jednak zauważyć, że chociaż te aplikacje są skuteczne, czasami mogą napotkać ograniczenia pamięci, co jest powszechnym problemem w przypadku takich programów.

Darmowy ogromny rozdzielacz CSV

Free Huge CSV Splitter to elementarna aplikacja przeznaczona do dzielenia plików z wartościami rozdzielanymi przecinkami (CSV) bez żadnych skomplikowanych funkcji. Aby zainicjować proces, użytkownicy muszą podać konkretny plik CSV, który chcą podzielić na partycje, określić żądaną liczbę wierszy, a następnie kliknąć „Podziel plik”. Liczba wierszy służy jako wyznacznik ostatecznej liczby dokumentów wyjściowych generowanych przez oprogramowanie.

Rozdzielacz CSV

CSV Splitter służy jako alternatywna opcja dla użytkowników poszukujących usprawnionego i udoskonalonego podejścia do przetwarzania dużych ilości danych w formacie rozdzielanym przecinkami. Jego podstawowa funkcja pozostaje spójna z funkcjami konkurencji, umożliwiając efektywną fragmentację plików csv na mniejsze jednostki w oparciu o parametry zdefiniowane przez użytkownika, takie jak liczba wierszy. Elegancki wygląd i bezproblemowa obsługa zapewniają bardziej dopracowane wrażenia dla osób poruszających się po złożonych zbiorach danych.

Użyj pliku wsadowego

Następnym punktem naszego programu będzie utworzenie programowalnego pliku wsadowego, który umożliwi nam przetwarzanie danych CSV w możliwych do zarządzania porcjach, przy jednoczesnym dostosowaniu każdej porcji do określonych wymagań. Takie podejście pozwala na większą elastyczność i kontrolę nad danymi wyjściowymi generowanymi przez skrypt.

 @echo off

setlocal ENABLEDELAYEDEXPANSION

REM Edit this value to change the name of the file that needs splitting. Include the extension.

SET BFN=HCAHPSHospital.csv

REM Edit this value to change the number of lines per file.

SET LPF=2500

REM Edit this value to change the name of each short file. It will be followed by a number indicating where it is in the list.

SET SFN=HosptialSplitFile

REM Do not change beyond this line.

SET SFX=%BFN:~-3%

SET /A LineNum=0

SET /A FileNum=1

For /F "delims==" %%l in (%BFN%) Do (

SET/A LineNum\+=1

echo %%l >> %SFN%!FileNum!.%SFX%

if !LineNum! EQU !LPF! (

SET/A LineNum=0

SET/A FileNum\+=1

)

)

endlocal

Pause

Aby plik wsadowy działał poprawnie, przed wykonaniem należy wykonać szereg konfiguracji. Wyjaśnię cel każdej dyrektywy w skrypcie, umożliwiając elastyczne dostosowanie ich zgodnie ze specyfikacjami konkretnego pliku wsadowego, a także pożądanego wyniku.

Aby skorzystać z narzędzia programowego, konieczne jest określenie pliku CSV, który wymaga przetworzenia, poprzez wpisanie jego ścieżki w zmiennej „BFN”.

Aby ograniczyć liczbę wierszy w nowo generowanym pliku, należy określić wartość zmiennej o nazwie „LPF”, co oznacza „Limiting Precision Factor”.

Wspomniana wcześniej zmieniona nomenklatura, oznaczona jako „SET SFN=”, została wdrożona w celu oznaczenia najnowszej iteracji poszczególnych segmentów danych w infrastrukturze pamięci masowej naszej sieci.

Po wprowadzeniu wszystkich niezbędnych informacji przejdź do „Plik”, a następnie „Zapisz jako”. W kolejnym oknie nadaj plikowi nazwę i wybierz lokalizację do zapisania. Następnie kliknij „Zapisz”, po czym wymagane jest wybranie ostatnio zapisanego dokumentu tekstowego. Następnie naciśnięcie klawisza „F2” umożliwi zmianę nazwy pliku z „.txt” na „.bat”. Po wyświetleniu monitu potwierdź akcję, klikając „OK”. Ten proces umożliwia podzielenie obszernego pliku CSV na wiele mniejszych plików wyjściowych.

Użyj skryptu PowerShell, aby rozbić plik CSV

PowerShell oferuje wydajne rozwiązanie do wykonywania rutynowych operacji, ponieważ szczególnie dobrze nadaje się do obsługi złożonych zadań manipulacji i przetwarzania danych, w tym zarządzania plikami i katalogami, konfiguracji systemu i automatyzacji powtarzalnych procesów. Jego zaawansowane funkcje sprawiają, że jest to potężne narzędzie, które uzupełnia tradycyjne możliwości skryptów wsadowych, zapewniając większą elastyczność, rozszerzalność i ulepszenia wydajności w porównaniu z prostymi plikami wsadowymi.

Obecny skrypt wydajnie dzieli obszerne pliki z wartościami rozdzielanymi przecinkami (CSV) na łatwiejsze do zarządzania części.

Wykonaj następujące kroki, aby uzyskać dostęp do programu Windows PowerShell w systemie opartym na systemie Windows: 1. Naciśnij jednocześnie klawisze „CTRL + X” na klawiaturze, aby otworzyć menu zasilania systemu Windows.2. Z opcji wyświetlanych w menu wybierz „PowerShell”.3. Jeśli „PowerShell” nie jest dostępny jako opcja, przejdź do menu Start i przeprowadź wyszukiwanie za pomocą słów kluczowych „powershell”. Po zlokalizowaniu kliknij najwyższy wynik, aby go uruchomić.

Teraz skopiuj i wklej następujący skrypt:

 $InputFilename = Get-Content 'C:\file\location'

$OutputFilenamePattern = 'output_done_'

$LineLimit = 50000

$line = 0

$i = 0

$file = 0

$start = 0

while ($line-le $InputFilename.Length) {

if ($i-eq $LineLimit-Or $line-eq $InputFilename.Length) {

$file\+\+

$Filename = "$OutputFilenamePattern$file.csv"

$InputFilename[$start..($line-1)] | Out-File $Filename -Force

$start = $line;

$i = 0

Write-Host "$Filename"

}

$i\+\+;

$line\+\+

} 

Skrypt wymaga wprowadzenia pliku CSV jako pierwszego wiersza kodu, a następnie wykonania. Wygeneruje wiele mniejszych plików CSV w wyznaczonym katalogu użytkownika, w oparciu o dostarczone specyfikacje. W takim przypadku pliki wyjściowe zostaną nazwane zgodnie ze wzorcem „wyjście\gotowe\” i zapisane w folderze, w którym znajduje się oryginalny plik CSV. Jednak w razie potrzeby konwencję nazewnictwa można zmodyfikować, dostosowując zmienną „$OutputFilenamePattern”.

Oryginalny skrypt można znaleźć na SPJeff.

Podziel duży plik CSV za pomocą dodatku Power Pivot

Powyższa metoda dzielenia obszernego pliku z wartościami rozdzielanymi przecinkami (CSV) na mniejsze części nie powoduje jego całkowitej dezintegracji. Zamiast tego umożliwia zaimportowanie obszernego dokumentu CSV do programu Microsoft Excel i wykorzystanie aplikacji Power Pivot jako środka do obejścia ograniczeń dotyczących limitów wierszy określonych przez sam program Excel. W związku z tym użytkownicy mogą manipulować danymi w oprogramowaniu bez ograniczeń związanych z takimi ograniczeniami.

Można to osiągnąć, tworząc łącze danych do pliku CSV, a następnie używając dodatku Power Pivot do zarządzania zawartością. Aby uzyskać pełne wyjaśnienie i samouczek, przeczytaj [blog Jose Barreto](https://docs.microsoft.com/en-gb/archive/blogs/josebda/loading-csvtext-files-with-more-than-a-million-wiersze do programu Excel) szczegółowo opisujący proces.

Zasadniczo Barreto wykazał się biegłością w generowaniu tabeli przestawnej, która bez żadnych trudności mieści do 8,5 miliona wierszy. Jak pokazano na załączonej ilustracji, aktualny przykład pokazuje wykorzystanie około 2 milionów wierszy w programie Microsoft Excel.

Chociaż omawiany proces nie dzieli pliku CSV na mniejsze części, zapewnia on atrakcyjny substytut — możliwość operowania na pliku CSV w programie Microsoft Excel. Osoby poszukujące dodatkowych wskazówek mogą skorzystać z tabeli przestawnej jako sposobu przeprowadzania analizy danych.

Podziel duży plik CSV online za pomocą podzielonego pliku CSV

Istnieją również usługi online, które dzielą duży plik CSV na mniejsze części. Jedną z takich opcji jest Split CSV , darmowy rozdzielacz CSV online.

Podział pliku CSV może być skutecznym sposobem zarządzania dużym zbiorem danych, szczególnie w przypadku znacznej ilości danych związanych z trwającą pandemią COVID-19. Narzędzie znane jako „Podziel plik CSV” to jedna z opcji, która pozwala użytkownikom dzielić pliki na mniejsze, łatwiejsze w zarządzaniu części, określając żądaną liczbę wierszy na porcję. Chociaż to podejście było podobno przydatne w obsłudze takich zestawów danych, moje osobiste doświadczenie było ograniczone ze względu na brak odpowiedniego dużego pliku CSV w czasie testowania. W związku z tym rzeczywista wydajność i niezawodność Split CSV mogą się różnić w zależności od indywidualnych okoliczności.

Funkcja Split CSV oferuje również zaawansowane opcje za symboliczną opłatę abonamentową. Masz swobodę korzystania z dostosowanego ogranicznika, wybierania określonych formatów plików do eksportu, usuwania niepożądanych znaków w generowanych dokumentach i eliminowania zduplikowanych treści.

Podziel swoje pliki CSV na łatwe do zarządzania części

Oto pięć metod fragmentacji archiwów z wartościami rozdzielanymi przecinkami (CSV), ułatwiających ich obsługę. Każda technika ma inne prędkości przetwarzania i ograniczenia pojemności plików, co wymaga prób i błędów w celu określenia, która metoda jest dla Ciebie najlepsza. Warto zauważyć, że te metody dzielenia plików CSV działają skutecznie zarówno w systemie Windows 10, jak i Windows Server, umożliwiając użytkownikom korzystanie z internetowego narzędzia do niszczenia plików CSV na różnych platformach, w tym macOS i Linux.