Linux服務(wù)器下數(shù)據(jù)傳輸

簡(jiǎn)述

最近做有關(guān)大數(shù)據(jù)分析的項(xiàng)目，需要從服務(wù)器上下載數(shù)據(jù)，本能的想到用xftp來(lái)進(jìn)行文件傳輸，這多方便啊，有圖有真相，嘗試連接了以下，失敗，服務(wù)器的ftp服務(wù)沒(méi)有開(kāi)啟……好吧，畢竟不是自己的服務(wù)器，只能從xshell下手，果然學(xué)習(xí)的進(jìn)步都是因?yàn)樾枨蟀　?/p>

查了下，一般都用scp，但是那是在linux系統(tǒng)之間進(jìn)行文件數(shù)據(jù)傳輸?shù)?#xff0c;要是windows與linux/unix之間進(jìn)行跨平臺(tái)傳輸還需要裝額外的終端，搞笑，從來(lái)都是能不裝就不裝，能不配就不配的好吧，咱都用最方便的。

linux與windows之間的數(shù)據(jù)傳輸可以參看下面這片博客：

scp命令在linux和windows之間互傳文件

正常軌跡下的用法也是有的：

Linux下scp的用法

但是還有更方便的方法securtCRT下的sc和rc命令。

SC與RC

sc：linux服務(wù)器發(fā)送文件到本地send client，客戶(hù)端下載；

rc：linux服務(wù)器接收文件來(lái)自本地receive client，客戶(hù)端上傳；

命令的格式也很簡(jiǎn)單：

下載：

1	$ sz subdata-ab

上傳：

1

rz

是不是很任性，輸入完命令之后會(huì)直接跳出windows本地文件目錄對(duì)話(huà)框，鼠標(biāo)點(diǎn)擊啊，確定啊，一鍵式傻瓜操作，等進(jìn)度條走到底就好了。

大文件傳輸

額，可是，歡樂(lè)總是不能持久，在下載的時(shí)候竟然被警告說(shuō)文件超過(guò)4G，下載失敗，這我就不高興了，你以為你是U盤(pán)啊，超過(guò)4G就拒絕啊，沒(méi)辦法，繼續(xù)搜羅，原來(lái)只要將大文件分割以下就好了，這就用到了split和cat兩個(gè)命令了。

先看一下我要下載的文件大小：

12	$ ll trajectory_beijing_new.txt-rw-rw-r-- 1 liyang liyang 15030758508 May??5??2016 trajectory_beijing_new.txt

算算，差不多13個(gè)G吧，大數(shù)據(jù)真可怕，一個(gè)txt就這么大，簡(jiǎn)直就是藍(lán)光高清大片啊。

split分割

通過(guò)split可以將文件分割成我們想要的數(shù)量或大小：

按大小分

1 2 3

$ split -b 3G trajectory_beijing_new.txt subdata- $ ls trajectory_beijing_new.txt subdata-aa subdata-ab subdata-ac subdata-ad subdata-ae

這里-b就是按大小分的意思，大小可以直接加單位，G/M/K，人家可以識(shí)別出來(lái)的，在后面就是被分割的文件名或者路徑，最后就是分割后文件的前綴了。

按行數(shù)分

123	$ split -1 10 trajectory_new.txt subdata-$ lstrajectory_new.txt subdata-aa subdata-ab subdata-ac

如果有需求，還有很多參數(shù)可以設(shè)置，比如想要用數(shù)字作為文件后綴：

1 2 3

$ split -d -1 10 trajectory_new.txt subdata- $ ls trajectory_new.txt subdata-00 subdata-01 subdata-02

cat合并

分完還要合并啊，雖然我在windows上用不到，但是有分總有合，也試了一下，差不多就是正則匹配一下，合成一個(gè)。

1	$ cat subdata-a* > data

當(dāng)然，我是在windows上合并的，同樣可以通過(guò)cmd來(lái)進(jìn)行文件的合并

1 2 3 4 5 6

E:\ADA>copy /b subdata-aa+subdata-ab+subdata-ac+subdata-ad+subdata-ae trajectory_beijing_new.txt subdata-aa subdata-ab subdata-ac subdata-ad subdata-ae

注意/b，要是沒(méi)有加這個(gè)，在合并后目標(biāo)文件的末尾會(huì)有一個(gè)終止符，/b意思指這是二進(jìn)制文件，就不會(huì)有終止符啦。

總結(jié)

以上是生活随笔為你收集整理的lrzsz传输超过4G文件需要拆分(使用split指令)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。