主題：用新浪微博API積累了微博廣場的1.4萬條數(shù)據(jù)，我選擇了21個字段輸出為TXT文件，想用Python稍微處理一下，統(tǒng)計(jì)一下這1.4萬條微博里面表情使用情況，統(tǒng)計(jì)結(jié)構(gòu)在最后。

無聊的時候用了下新浪JAVA版的API，對JAVA還不熟悉，但是稍微改一下還是沒問題的，數(shù)據(jù)保存為TXT文件，再用Python處理，JAVA部分很簡單，Python部分只涉及到表情的正則提取，都不好意思寫出來了。

1、調(diào)用新浪JAVA API下載微博廣場數(shù)據(jù)
步驟思路：
初始化API的Weibo類，設(shè)置Token后，設(shè)置下載間隔，然后重復(fù)調(diào)用getPublicTimeline()函數(shù)就可以了，下面是主要類的代碼：
這個不是完整的代碼，沒有初始化暫停間隔，可以掠過，很簡單。

View Code 1 class WriteWeiboData{
2 private int n;
3 public WriteWeiboData(int count)
4 {
5 this.n=count;
6 }
7 public void Start(){
8 System.setProperty("weibo4j.oauth.consumerKey", Weibo.CONSUMER_KEY);
9 System.setProperty("weibo4j.oauth.consumerSecret", Weibo.CONSUMER_SECRET);
10 try {
11 //獲取前20條最新更新的公共微博消息
12 Weibo weibo = new Weibo();
13 //weibo.setToken(args[0],args[1]);
14 weibo.setToken("keystring", "keyscrect");
15 for(int i=0;i<this.n;i++){
16 System.out.print("Start to get weibo data num "+(i+1)+"\n");
17 List<Status> statuses =weibo.getPublicTimeline();
18 for (Status status : statuses) {
19 SaveData(status);
20 }
21 try{
22 System.out.print("Success to get weibo data num "+(i+1)+"\n");
23 System.out.print("Sleep for 30 seconds");
24 Thread.sleep(30000);
25 }catch(Exception ee){
26 System.out.print("Sleep Error");
27 }
28 }
29 } catch (WeiboException e) {
30 e.printStackTrace();
31 }
32 }
33 public void SaveData(Status status){
34 //Return data format:
35 //created_at,id,text,source,mid
36 //user:id,screen_name,name,provience,city,location,description,url,domain,gender,
37 //followers_count,friends_count,statuses_count,favourites_count,created_at,verified
38 //annotations:server_ip
39 try{
40 User user=status.getUser();
41 FileWriter fw=new FileWriter("F:/Sina.txt",true);
42 fw.write(status.getCreatedAt()+"\t"+status.getId()+"\t"+status.getText()+"\t"+
43 status.getSource()+"\t"+status.getMid()+"\t"+
44 user.getId()+"\t"+user.getScreenName()+"\t"+user.getName()+"\t"+
45 user.getProvince()+"\t"+user.getCity()+"\t"+user.getLocation()+"\t"+
46 user.getDescription()+"\t"+user.getURL()+"\t"+user.getUserDomain()+"\t"+
47 user.getGender()+"\t"+user.getFollowersCount()+"\t"+user.getFriendsCount()+"\t"+
48 user.getStatusesCount()+"\t"+user.getFavouritesCount()+"\t"+user.getCreatedAt()+"\t");
49 fw.write("\n");
50 fw.close();
51 }
52 catch(Exception e){
53 System.out.print("IO Error");
54 }
55 }
56 }

2、數(shù)據(jù)格式：

要取得數(shù)據(jù)就是微博內(nèi)容，先練一下手玩玩。

3、Python處理數(shù)據(jù)
目標(biāo)：查看微博用戶表情使用情況，暫時只分性別，如果積累了合適的數(shù)據(jù)后可以分析各個時間段人們愛用哪種表情。
步驟：
$ 讀取TXT文件，遞歸處理每一行
$ 單獨(dú)提取出微博字段，正則提取表情字段，同時把性別提取出來，放到一個dict里面，dict的格式是：表情/女性使用頻率/男性使用頻率，遞歸處理，累積頻率
$ 把結(jié)果寫入到文件
注意：Python正則提取中文部分，先解碼成unicode編碼，再正則提取，表情的標(biāo)志是[]，雖有誤差，但無大礙。
代碼：
__collection函數(shù)是處理函數(shù)，返回處理結(jié)果(dict)

View Code 1 class EmotionFrequent():
2 infoFile='F:/Sina.txt'
3 def __init__(self):
4 pass
5 def __collection(self):
6 f=open(self.infoFile)
7 d=dict()
8 n=1
9 for line in f.readlines():
10 if line.strip()=='' or line.strip()=='\n':
11 pass
12 cols=line.split('\t')
13 if len(cols)<20:
14 continue
15 n+=1
16 es=[]
17 #if cols[2].find('[')!=-1 and cols[2].find(']')!=-1:
18 info=cols[2]
19 for i in re.findall(r'\[\S+?\]',info.decode('utf-8')):
20 data=i[1:-1].encode('utf-8')
21 if d.has_key(data):
22 if cols[14]=='f':
23 d[data][0]+=1
24 d[data][2]+=1
25 else:
26 d[data][1]+=1
27 d[data][2]+=1
28 else:
29 if cols[14]=='f':
30 d[data]=[1,0,1]
31 else:
32 d[data]=[0,1,1]
33 print 'Total records num '+str(n)
34 return d
35 pass
36 def WriteDict(self):
37 d=self.__collection()
38 f=open('F:/keys.txt','w')
39 for k in d:
40 f.write(k+'\t')
41 f.write(str(d[k][0])+'\t')
42 f.write(str(d[k][1])+'\t')
43 f.write(str(d[k][2])+'\n')
44 f.close()
45 pass
46 def Run(self):
47 self.WriteDict()
48 pass

腳本運(yùn)行結(jié)果：

把結(jié)果放到EXCEL里面重新排序，得到如下結(jié)果：

至于怎么解讀這個結(jié)果，有沒有意義，各有各的想法

5、今晚才把正則認(rèn)真看了一下，雖然很久之前就知道應(yīng)該掌握正則表達(dá)式

6、沒有寫博客的習(xí)慣，寫得難看見諒。

晚安

轉(zhuǎn)載于:https://www.cnblogs.com/Lannik/archive/2011/10/21/2219776.html

總結(jié)

以上是生活随笔為你收集整理的Python 新浪微博 各种表情使用频率的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。