沒辦法，公司的要求，還有，一些山寨爬蟲完全不夠我們運維人員的感覺，

一天爬蟲搞個三四十萬的LOG，那我只好干了。。

人家GOOGLE，BAIDU，一天大約也就五六千吧。。

有一個小的SSH技巧，是判斷SSH命令執(zhí)行成功與否，是否有返回值，不用IF,而直接用||和&&。

~~~~~~~~~~~~~~~~~~~~~

$?變量會被賦值為0，反之，賦值為-1。通過判斷$?變量的方式確實可以滿足我們的要求，但是需要用if判斷，要寫腳本，比較繁瑣，有沒有比較方便的命令呢。哈，肯定有的噻。

shell中還提供了快捷操作符: && 和 ||

// 此時存在/tmp/xxxx文件，執(zhí)行了&&后面的命令 # ls /tmp/xxxx && echo '/tmp/xxxx exits' /tmp/xxxx /tmp/xxxx exits// 此時存在/tmp/xxxx文件，不執(zhí)行 || 后面的命令 # ls /tmp/xxxx || echo '/tmp/xxxx exits' /tmp/xxxx

我們對上例可以這么分析，&& 簽名的命令執(zhí)行成功就執(zhí)行后面的命令，|| 前面的命令執(zhí)行失敗才執(zhí)行后面的命令。

~~~~~~~~~~

#/bin/shtime_inter_minute=50000 alert_count=85000000 head_count=20 log_path="/xxx/xxx/log.log" last_time=`date "-d -${time_inter_minute} minute" '+%d/%b/%G:%H:%M:%S'`now_time=`date '+%d/%b/%G:%H:%M:%S'` now_time_str="[${now_time}" last_time_str="[${last_time}" echo "start time: " $last_time echo "end time: " $now_time echo "alert_count: " $alert_countshell_out=`awk -v a=$last_time_str -v b=$now_time_str '$4 > a && $4 < b' $log_path|awk '{print $1}'|sort |uniq -c | sort -nr|head -10` arra=($shell_out) echo ${arra[@]}for i in "${!arra[@]}"; doif [ `expr $i \% 2` -eq 0 ] ;thenif [ ${arra[$i]} -gt $alert_count ] && [ ${arra[$i+1]} != "xx.xx.xx.xx" ] ; then/sbin/iptables -vnL|grep ${arra[$i+1]} && echo ${arra[$i+1]} "have added"/sbin/iptables -vnL|grep ${arra[$i+1]} || /sbin/iptables -I INPUT -s ${arra[$i+1]} -j DROPfifi done

這個IP好過分喲

總結(jié)

以上是生活随笔為你收集整理的来一个可能防止恶意采集和爬虫的SH的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。