CSV大文件的处理（以ngsim数据为例）：分割、导入与合并
逗號分隔值（Comma-Separated Values，CSV，有時也稱為字符分隔值，因為分隔字符也可以不是逗號），其文件以純文本形式存儲表格數據（數字和文本）。純文本意味著該文件是一個字符序列，不含必須像二進制數字那樣被解讀的數據。CSV文件由任意數目的記錄組成，記錄間以某種換行符分隔；每條記錄由字段組成，字段間的分隔符是其它字符或字符串，最常見的是逗號或制表符。通常，所有記錄都有完全相同的字段序列。通常都是純文本文件[1]。
直接用Excel打開CSV文件有時候會出錯，而且如果CSV文件記錄數過多（超過Excel最大行數1,048,576和最大列數16,384的限制），導入Excel會出現未完全加載的問題。ngsim數據CSV文件大小為1.5G左右，一共11,850,526行。下面以ngsim數據為例，介紹我遇到的問題及解決辦法。
問題一：Excel直接打開數據行列未分開。如圖1.1所示。
圖1.1?
?
解決辦法：
1. 新建Excel工作表，點擊數據、自文本，然后選擇CSV文件導入，如圖1.2。此時會彈出文本導入向導對話框，如圖1.3。
圖1.2?
圖1.32. 選中分隔符號，導入起始行設為1，勾選數據包含標題，如圖1.4所示。
圖1.4?
?
3. 勾選分隔符號，下面會有預覽，如圖1.5。
圖1.5?
?
4. 點擊預覽中的某一列，可以設置列數據格式，設置完后點擊完成。如圖1.6.
圖1.6?
?
5. 選擇數據的放置位置，然后點擊確定。如圖1.7。
圖1.7?
?
6. 發現提示無法放入一個表格中，先點擊確定。如圖1.8行列已分開。
圖1.8?
?
問題二：數據超出一個Excel工作表行數限制，未完全加載。
解決辦法：CSV分割。
使用CSV分割器，無需安裝，雙擊打開即可。只需選擇需要分割的文件和想要分割的行數，即可一鍵分割。如圖1.9.
圖1.9?
?
分割完后，再按照問題一的解決方法將CSV文件導入Excel表格，然后用Excel表格對數據進行必要的處理。
CSV分割器下載鏈接：https://download.csdn.net/download/qq_43080446/12034382
問題三：如何確定CSV文件有多少行？由于CSV文件行數過多時，Excel表格不能完全顯示。
解決辦法：
1. 使用Visual Studio打開，可以看到CSV文件的總行數。
2. 使用Matlab導入數據，如圖2.0。可能會卡頓，不太建議。
圖2.0?
?
3. 其他文本處理軟件，如notepad++等。
問題四：如何快速合并多個CSV文件為一個？
解決辦法：
1. 快捷鍵win+R調出運行窗口，輸入cmd調出命令窗口。
2. 輸入cd /d 多個 CSV文件所在的文件夾路徑[2]。如圖2.1.
圖2.1?
?
3. 輸入copy *.csv all.csv ,即可將所有的csv文件復制到一個文件里邊[3]。如圖2.2.
圖2.2?
4. 也可以參考https://blog.csdn.net/weixin_39664337/article/details/99679656的方法。
參考文獻
?
總結
以上是生活随笔為你收集整理的CSV大文件的处理（以ngsim数据为例）：分割、导入与合并的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Matlab xlim ylim zli
- 下一篇： RTK、IMU、RT3000