Cách Chia Nhỏ File CSV Lớn Thành Nhiều File Nhỏ Hơn

Tại Sao Cần Chia Nhỏ File CSV Lớn?

Bạn có thể tự hỏi: “Tại sao tôi cần chia nhỏ một file Excel lớn thành nhiều file nhỏ hơn?” Đây là một câu hỏi thú vị, đặc biệt là khi Excel có giới hạn số hàng là 1.048.576.

Hơn một triệu hàng nghe có vẻ rất nhiều. Tuy nhiên, việc đạt đến giới hạn này dễ dàng hơn bạn nghĩ, đặc biệt là trong một số công việc nhất định. Ví dụ, nếu bạn đang làm marketing qua email, bạn có thể nhập một file CSV chứa hàng triệu địa chỉ email. Vấn đề duy nhất là, làm thế nào để quản lý một bảng tính với số lượng địa chỉ lớn như vậy? Hơn nữa, nếu ai đó gửi cho bạn một file CSV đã vượt quá giới hạn (từ một chương trình khác)?

Nếu bạn gặp phải vấn đề này, hãy xem xét năm cách sau để chia nhỏ một file CSV hoặc Excel lớn thành nhiều file nhỏ hơn.

Bạn không có file CSV lớn nhưng muốn thử nghiệm tại nhà? Tôi sử dụng Bộ dữ liệu Nghiên cứu Mở COVID-19 trong các ví dụ, bạn cũng có thể tải xuống và sử dụng.

1. Sử Dụng Chương Trình Để Chia Nhỏ File CSV

Có nhiều chương trình hữu ích để chia nhỏ file CSV. Dưới đây là hai chương trình tốt nhất. Tuy nhiên, hãy lưu ý rằng, khi chương trình hoạt động, đôi khi chúng gặp phải vấn đề về bộ nhớ, một vấn đề phổ biến đối với các chương trình chia nhỏ CSV.

Free Huge CSV Splitter

Free Huge CSV Splitter là một công cụ chia nhỏ CSV cơ bản. Bạn nhập file CSV bạn muốn chia nhỏ, số dòng bạn muốn sử dụng, và sau đó chọn Chia File. Số dòng quyết định số lượng file đầu ra bạn sẽ có.

CSV Splitter

csv splitter chia file lớn

CSV Splitter là công cụ thứ hai. Nó cung cấp chức năng tương tự như Free Huge CSV Splitter, nhưng với thiết kế hơi hiện đại hơn. Nó chia nhỏ CSV của bạn thành các đoạn nhỏ nhanh chóng, cho phép bạn xác định số dòng bạn muốn sử dụng.

2. Sử Dụng File Batch

Tiếp theo, tạo một file batch có thể lập trình. Bạn có thể sử dụng file batch để xử lý CSV thành các đoạn nhỏ hơn, tùy chỉnh file để cung cấp các đoạn khác nhau.

Mở một tài liệu văn bản mới, sau đó sao chép và dán đoạn mã sau:

@echo off
setlocal ENABLEDELAYEDEXPANSION
REM Chỉnh sửa giá trị này để thay đổi tên file cần chia nhỏ. Bao gồm cả phần mở rộng.
SET BFN=HCAHPSHospital.csv
REM Chỉnh sửa giá trị này để thay đổi số dòng mỗi file.
SET LPF=2500
REM Chỉnh sửa giá trị này để thay đổi tên của mỗi file ngắn. Nó sẽ được theo sau bởi một số chỉ ra vị trí của nó trong danh sách.
SET SFN=HosptialSplitFile
REM Không thay đổi sau dòng này.
SET SFX=%BFN:~-3%
SET /A LineNum=0
SET /A FileNum=1
For /F "delims==" %%l in (%BFN%) Do (
SET /A LineNum+=1
echo %%l >> %SFN%!FileNum!.%SFX%
if !LineNum! EQU !LPF! (
SET /A LineNum=0
SET /A FileNum+=1
)
)
endlocal
Pause

Bạn cần cấu hình file batch trước khi chạy. Tôi sẽ giải thích từng lệnh làm gì, và bạn có thể thay đổi để phù hợp với kích thước file batch của bạn cũng như yêu cầu đầu ra.

• “SET BFN=” nên chỉ đến CSV bạn cần chia nhỏ
• “SET LPF=” là số hàng bạn muốn giới hạn cho file mới của bạn
• “SET SFN=” là phương án đặt tên mới cho các file đã chia nhỏ

Sau khi nhập các biến của bạn, vào File > Lưu Dưới Dạng. Chọn một tên file, và chọn Lưu. Sau đó, chọn file văn bản mới của bạn và nhấn F2 để đổi tên. Thay thế phần mở rộng .txt bằng .bat và nhấn OK khi cảnh báo xuất hiện. Bây giờ, bạn có thể chia nhỏ file CSV lớn của mình thành các file đầu ra nhỏ hơn.

3. Sử Dụng Script PowerShell Để Chia Nhỏ File CSV

Bạn có thể sử dụng file batch cho nhiều công việc hàng ngày. Nhưng script PowerShell nhanh hơn, đặc biệt là cho loại xử lý và phân chia này.

Script sau đây nhanh chóng cắt file CSV lớn của bạn thành các file nhỏ hơn.

Trước tiên, nhấn CTRL + X để mở Menu Quyền Lực của Windows, sau đó chọn PowerShell. Nếu PowerShell không phải là tùy chọn, nhập powershell trong thanh tìm kiếm của Menu Bắt Đầu và chọn Kết Quả Tốt Nhất.

Bây giờ, sao chép và dán script sau:

$InputFilename = Get-Content 'C:filelocation'
$OutputFilenamePattern = 'output_done_'
$LineLimit = 50000
$line = 0
$i = 0
$file = 0
$start = 0
while ($line -le $InputFilename.Length) {
if ($i -eq $LineLimit -Or $line -eq $InputFilename.Length) {
$file++
$Filename = "$OutputFilenamePattern$file.csv"
$InputFilename[$start..($line-1)] | Out-File $Filename -Force
$start = $line;
$i = 0
Write-Host "$Filename"
}
$i++;
$line++
}

Thay thế vị trí file trong dòng đầu tiên bằng file CSV của bạn, sau đó chạy script. Script sẽ xuất các file CSV nhỏ hơn trong thư mục người dùng của bạn. Ví dụ, các file CSV của tôi nằm ở C:UsersGavin với tên file output_done_1.csv. Bạn có thể thay đổi tên đầu ra bằng cách thay đổi dòng $OutputFilenamePattern = ‘outputdone‘.

script powershell chia nhỏ file excel csv nhỏ hơn

Bạn có thể tìm script gốc tại SPJeff.

4. Sử Dụng Power Pivot Để Chia Nhỏ File CSV Lớn

Giải pháp cuối cùng của bạn để chia nhỏ một file CSV lớn thành các phần nhỏ hơn thực ra không phải là chia nhỏ nó. Thay vào đó, nó cho phép bạn tải file CSV lớn của bạn vào Excel và sử dụng công cụ Power Pivot để mở nó. Đúng vậy; bạn có thể bỏ qua giới hạn dòng của Excel và quản lý file trong chương trình.

sử dụng power pivot để chia nhỏ csv excel

Bạn đạt được điều này bằng cách tạo một liên kết dữ liệu đến file CSV, sau đó sử dụng Power Pivot để quản lý nội dung. Để có lời giải thích và hướng dẫn đầy đủ, hãy đọc blog của Jose Barreto chi tiết về quy trình.

Nói ngắn gọn, Barreto tạo một Bảng Pivot sử dụng “lên đến 8,5 triệu hàng mà không gặp vấn đề gì cả.” Hình ảnh trên đến từ bài đăng trên blog, cho thấy tổng số 2 triệu hàng đang được sử dụng trong Excel.

Hãy nhớ rằng, quy trình này không chia nhỏ CSV thành các đoạn nhỏ. Tuy nhiên, nó có nghĩa là bạn có thể thao tác với CSV trong Excel, một giải pháp thay thế rất hữu ích. Nếu bạn cần thêm mẹo, hãy tìm hiểu cách sử dụng Bảng Pivot để phân tích dữ liệu.

5. Chia Nhỏ File CSV Lớn Trực Tuyến Bằng Split CSV

Cũng có các dịch vụ trực tuyến chia nhỏ file CSV lớn của bạn thành các phần nhỏ hơn. Một lựa chọn như vậy là Split CSV, một công cụ chia nhỏ CSV trực tuyến miễn phí.

chia nhỏ csv trực tuyến công cụ chia nhỏ

Split CSV xử lý bộ dữ liệu COVID-19 một cách tốt đẹp, chia nó thành các đoạn nhỏ hữu ích. Giống như các công cụ khác, bạn xác định số dòng cho mỗi file và để nó chia nhỏ. Tuy nhiên, tôi không có file CSV lớn để thử nghiệm, vì vậy trải nghiệm của bạn có thể khác.

Split CSV cũng bao gồm các tùy chọn cao cấp. Với một khoản phí thuê bao, bạn có thể sử dụng dấu phân cách tùy chỉnh, chọn một số loại file đầu ra, loại bỏ một số ký tự khỏi các file đầu ra, và xóa các dòng trùng lặp.