#!/bin/sh

source_dir=/home/minelab/data/DATA

source_file_name=userinfo_00_au_1_out

source_file=$source_dir/$source_file_name

#source_file=test.src

out_dir=/home/minelab/liweibo/daV

out_file_name=basic_satic.txt

out_file=$out_dir/result/$out_file_name

out_id_file_name=id_count.list

out_id_file=$out_dir/result/$out_id_file_name

rm -rf $out_file

rm -rf $out_id_file

##進(jìn)行大v用戶基礎(chǔ)數(shù)據(jù)統(tǒng)計(jì)###

#統(tǒng)計(jì)所有微博總數(shù)#

echo "#微博總數(shù)：">>$out_file

cat $source_file | wc -l >> $out_file

#統(tǒng)計(jì)用戶總數(shù),發(fā)布微博最多的用戶和最少的用戶#

cat $source_file | awk -F'\t' '{print $16}' | sort | uniq -c | sort -r -n | sed 's/^ *//g' | awk '{print $2"\

\t"$1}'> $out_id_file

echo "#用戶總數(shù)：">> $out_file

wc -l $out_id_file | awk '{print $1}'>> $out_file

#統(tǒng)計(jì)發(fā)布微博最多的用戶#

echo "#發(fā)布微博最多的用戶id：">>$out_file

head -n  $out_id_file >> $out_file

#統(tǒng)計(jì)發(fā)布微博最少的用戶#

echo "#發(fā)布微博最少的用戶id:">>$out_file

tail -n  $out_id_file >> $out_file