1、查看系統訪問日志(實時)

tail --lines=100 -f /var/log/secure

2、按列合并文件

paste?file1?file2 >combind.txt

3、按行合并文件

cat file1?file2 >combind.txt

4、Linux：使用awk命令獲取文本的某一行，某一列

1)、打印文件的第一列(域)???????????? ? ? ： awk '{print $1}' filename

2)、打印文件的前兩列(域)?????????????? ? ： awk '{print $1,$2}' filename

3)、打印完第一列，然后打印第二列? ： awk '{print $1 $2}' filename

4)、打印文本文件的總行數?????????? ? ?? ： awk 'END{print NR}' filename

5)、打印文本第一行????????????????????????? ：awk 'NR==1{print}' filename

6)、打印文本第二行第一列??????????????? ：sed -n "2, 1p" filename | awk 'print $1'

7)、輸出包含某個字符串的行??????????? ：awk -F: '/chr1/'?filename >chr1.bed

5、替換字符

#替換ruby為bird

sed -n '/ruby/p' ab | sed 's/ruby/bird/g'

6、掛載硬盤

##先查新插入的硬盤，一般是最后一個

fdisk -l

##mount

mount -t vfat /dev/sda /mnt/usb

##若是NTFS格式，用下面命令

mount -t ntfs-3g /dev/sda /mnt/usb

7、統計文件行數

de>wc - l file1 file2de>

8、搜索含特定字符串的行并輸出

使用-n的時候將只打印包含模板的行。/etc/?|??-n???root:x:::root:/root:/bin/bash

9、添加路徑

以bash為例：1)打開配置文件?vi?~/.bash_profile???2)找到PATH變量?3)如將?~/bin?目錄添加到PATH中?則可以編輯文件?將PATH的值改成?PATH?=?$PATH;~/bin;??4)保存退出?5)使用source命令刷新加載的.bash_profile?(source?~/.bash_profile)

如果是為所有用戶添加的變量還可以編輯?/etc/profile?文件?方式同上。

10、查看文件夾下文件的大小

du -h --max-depth=1 work/testing

11、同步與復制

###將原pub3(現pub5)下的所有文件同步到CentOS7的pub3中

rsync -avrtopgL? --max-size? --progress /pub5/ /pub3

rsync -avrtopgL? --progress /mnt/USB/pub3/mysql /pub3/mysql

###Linux rsync實現斷點續傳

rsync -rP --rsh=ssh /home/oracle/TestDB/ oracle@192.168.1.173:/home/oracle/TestDB

利用cp(速度會更快一點)

cp -Rvun /media/New\ Volume/gbdb_Bei /media/SeagateBackupDrive/pub3/

cp -Rvun /media/New\ Volume/mysql /media/SeagateBackupDrive/pub3/

12、按關鍵詞合并文件

join [options] file1 file2

http://www.cnblogs.com/mfryf/p/3402200.html

http://www.cnblogs.com/giraffe/p/3193085.html

第一：兩個文件的交集，并集

前提條件：每個文件中不得有重復行

1. 取出兩個文件的并集(重復的行只保留一份)

2. 取出兩個文件的交集(只留下同時存在于兩個文件中的文件)

3. 刪除交集，留下其他的行

1.?cat file1 file2 | sort | uniq > file3

2. cat file1 file2 | sort | uniq -d > file3

3. cat file1 file2 | sort | uniq -u > file3

第二：兩個文件合并

一個文件在上，一個文件在下

cat file1 file2 > file3

一個文件在左，一個文件在右

paste file1 file2 > file3

第三：一個文件去掉重復的行：

sort file |uniq

注意：重復的多行記為一行，也就是說這些重復的行還在，只是全部省略為一行！

sort file |uniq -u

上面的命令可以把重復的行全部去掉，也就是文件中的非重復行！

具體細節可以查看，cat，sort，uniq等命令的詳細介紹

14、 Sort

sort -t $'\t' -k1,1 -k2,2n -V input.txt > Sorted.txt

分解：

-t $'\t' ? ? ? ? ?： ? ?tab分隔

-k1,1 -k2,2n ： ? ?按第一和第二列(數字)正序排序

-V ? ? ? ? ? ? ? ?： ? ?按?de >1 2 10de>排序，而不是de >1 10 2de>

http://stackoverflow.com/questions/17430470/sort-a-tab-delimited-file-based-on-column-sort-command-bash

15、如何只拷貝目錄結構,不拷貝里面的文件

find -maxdepth 5 -type d-exec mkdir -p ?/outfolder/\{\} \;複製目前目錄之下的所有子目錄結構，但是不包含目錄中的檔案。

將目錄結構複製到?/destination/path/you/want 之下

-maxdepth 選項設定複製子目錄的最大深度

-type d 設定只搜尋目錄名稱

http://dodgelin.blogspot.com/2011/04/linux.html

16、grep用法詳解[root@www?~]#?grep?[-acinv]?[--color=auto]?'搜尋字符串'?filename

選項與參數：-a?：將?binary?文件以?text?文件的方式搜尋數據-c?：計算找到?'搜尋字符串'?的次數-i?：忽略大小寫的不同，所以大小寫視為相同-n?：順便輸出行號-v?：反向選擇，亦即顯示出沒有?'搜尋字符串'?內容的那一行！--color=auto?：可以將找到的關鍵詞部分加上顏色的顯示喔！http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2856896.html

轉載本文請聯系原作者獲取授權，同時請注明本文來自劉洪波科學網博客。

鏈接地址：http://blog.sciencenet.cn/blog-97949-1138078.html

上一篇：PHP7升級后Mysql報錯的解決方案

下一篇：從一則招聘啟事看生物信息研究者應掌握的十種能力

總結

以上是生活随笔為你收集整理的linux去重文件第一列,科学网—Linux实用命令 - 刘洪波的博文的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。