你们要的代码来了
總第111篇
前言
上一篇文章發(fā)出后，大家反響還不錯，文章的閱讀量也是我公眾號歷史閱讀量最高的一篇（截至目前閱讀已經(jīng)1124啦），在其他平臺發(fā)布以后閱讀量已經(jīng)超過5w了，果真還是平臺的影響力大。
上一篇文章中之所以沒帶代碼主要是因為我只想寫一篇數(shù)據(jù)分析報告，咱們平常給領(lǐng)導看數(shù)據(jù)分析報告，肯定也不會把Sql代碼、Python代碼放在PPT中，給老板講述每一行Sql代碼是什么意思，所以就沒有放代碼。
但是大家都很愛學習，都想要代碼學習學習，所以今天就專門來一篇講講代碼。
在開始具體的代碼講解之前，我需要說明一下關(guān)于菊粉人數(shù)中摩羯座人數(shù)最多這個結(jié)論的一些爭議，有人評論說微博用戶如果不設(shè)置年齡的話，默認就是1月1，也就是摩羯座，所以摩羯座人數(shù)比較多。先來看兩張圖：
通過上面幾張截圖來看的話，如果未設(shè)置年齡時，并不會默認顯示成摩羯座，所以應該就不存在大家說的那種情況。
還有所在地和家鄉(xiāng)是可以選擇則其他的，性別、年齡、星座是不可以選擇其他。我們本次就是要獲取這幾個字段。
本篇主要分為三個部分：
數(shù)據(jù)獲取
數(shù)據(jù)預處理
可視化圖表制作
數(shù)據(jù)抓取
先講講數(shù)據(jù)抓取的邏輯，最終目的就是要找到pick王菊的人都是哪些人，剛開始想的是直接抓取王菊的粉絲列表，但是后來發(fā)現(xiàn)微博數(shù)據(jù)有限制，只能抓取少量的粉絲列表，所以這個方案行不通，只能換下一個。
在小歪大佬的建議下，決定抓取王菊微博留言下面的用戶，因為這些用戶是和王菊有過互動的，要比那些只關(guān)注沒有互動（這里的互動只指評論這一動作）的用戶粉的程度要大，更有代表性。
所以最終的一個數(shù)據(jù)抓取思路就是：通過獲取微博評論下的用戶，然后進而獲取用戶基本信息，具體實現(xiàn)代碼如下：
獲取每條微博評論url
我們先隨便點擊一條微博的評論進去，看看我們要的字段都在哪里。
可以看到，有評論text，以及每一條text對應的user_id，找到了字段位置，我們再來看看這些字段對應url是什么，有什么規(guī)律。
微博評論url
通過查看這個urlhttps://m.weibo.cn/api/comments/show?id=4248590911655823&page=1，我們大概可以猜出，id前面的部分https://m.weibo.cn/api/comments/show?應該是所有微博評論都一樣的，id值是唯一的，每一個id對應一條微博，而page是表示一條微博的評論存放在多頁里面，經(jīng)過驗證確實如此，而且page最大值就是100，100以后就不返回數(shù)據(jù)了。
所以接下來我們的目標就是獲取每條微博對應的唯一id值。回到用戶主頁，
可以看到每條微博的發(fā)布時間，以及微博id,也就是只需要解析用戶主頁url就可以得到該用戶的每條微博對應的id值。url = https://m.weibo.cn/api/container/getIndex?uid=1773294041&luicode=10000011&lfid=100103type%3D1%26q%3D%E7%8E%8B%E8%8F%8A&featurecode=20000320&containerid=1076031773294041
獲取到每條微博的id值以后，我們就可以獲取到每條微博評論的url，具體代碼如下：
#導入相關(guān)庫 import requests import jsoncomment_parameter = []#用來存放weibo_id值 comment_url = []#用來存放weibo_url#獲取每條微博的id值 url = 'https://m.weibo.cn/api/container/getIndex?uid=1773294041&luicode=10000011&lfid=100103type%3D1%26q%3D%E7%8E%8B%E8%8F%8A&\featurecode=20000320&type=uid&value=1773294041&containerid=1076031773294041'c_r = requests.get(url) for i in range(2,11):c_parameter = (json.loads(c_r.text)["data"]["cards"][i]["mblog"]["id"])comment_parameter.append(c_parameter)#獲取每條微博評論url c_url_base = 'https://m.weibo.cn/api/comments/show?id=' for parameter in comment_parameter:for page in range(1,101):#提前知道每條微博只可抓取前100頁評論c_url = c_url_base + str(parameter) + "&page=" + str(page)comment_url.append(c_url)獲取每個user_id和comment
上面獲取到每條微博評論的url以后，我們就可以直接請求對應的url，然后把user_id和text解析出來即可，實現(xiàn)代碼如下：
user_id = []#用來存放user_id comment = []#用來存放comment for url in comment_url:u_c_r = requests.get(url)try:for m in range(0,9):#提前知道每個url會包含9條用戶信息one_id = json.loads(u_c_r.text)["data"]["data"][m]["user"]["id"]user_id.append(one_id)one_comment = json.loads(u_c_r.text)["data"]["data"][m]["text"]comment.append(one_comment)except:pass獲取containerid
獲取到了user_id以后，我們再來看看我們想要獲取的字段在哪，如下圖，
知道了我們想要獲取的字段在哪以后，再看看這些字段對應的url是什么？
用戶信息對應url
看到這個url以后我們又可以猜測，每個用戶信息對應的url應該只有value&containerid這兩個值是不一樣的，其他都是一樣的，經(jīng)驗證，缺失如此，且value值就是user_id，containerid是另外一個唯一值，所以我們接下來的目標是獲取每個用戶對應的containerid。具體實現(xiàn)代碼如下：containerid = [] user_base_url = "https://m.weibo.cn/api/container/getIndex?type=uid&value=" for id in set(user_id):#需要對user_id去重containerid_url = user_base_url + str(id)try:con_r = requests.get(containerid_url)one_containerid = json.loads(con_r.text)["data"]['tabsInfo']['tabs'][0]["containerid"]containerid.append(one_containerid)except:containerid.append(0)
獲取用戶基本信息
知道了user_id以及containerid,我們就可以唯一確定一個用戶的基本信息，具體實現(xiàn)代碼如下：
#這里需要設(shè)置headers以及cookie模擬登陸 feature = []#存放用戶基本信息 id_lose = []#存放請求失敗id user_agent = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36" headers = {"User-Agent":user_agent} m = 1 for num in zip(user_id,containerid):url = "https://m.weibo.cn/api/container/getIndex?uid="+str(num[0])+"&luicode=10000011&lfid=100103type%3D1%26q%3D&featurecode=20000320&type=uid&value="+str(num[0])+"&containerid="+str(num[1])try:r = requests.get(url,headers = headers,cookies = cookie)feature.append(json.loads(r.text)["data"]["cards"][1]["card_group"][1]["item_content"].split(" ?"))print("成功第{}條".format(m))m = m + 1time.sleep(1)#設(shè)置睡眠一秒鐘，防止被封except:id_lose.append(num[0])#將featrue建立成DataFrame結(jié)構(gòu)便于后續(xù)分析 user_info = pd.DataFrame(feature,columns = ["性別","年齡","星座","國家城市"])
最后的結(jié)果如下表：
可以看到，年齡和星座為空，并不是摩羯座，且當年齡和星座為空時，所在地就會錯位到年齡列，接下來就做一些數(shù)據(jù)預處理。
數(shù)據(jù)清洗
數(shù)據(jù)清洗邏輯如下：
對于國家列為空，星座列不空且不包含座字，則認為是國家城市名，則把星座列賦值給國家城市列
對于國家列為空，星座列也為空，年齡列不為空且不包含歲或座字，則把年齡列賦值給國家城市列
對于星座列為空，但是年齡列包含座字，則把年齡列賦值給星座列
對于星座列不包含座的，全部賦值為“未知”
對于年齡列不包含歲的，全部賦值為“999歲”(為便于后續(xù)好篩選)
對于國家列為空的，全部賦值為“其他”
具體代碼如下：
圖表制作
主要講講這篇報告中涉及到的圖表的制作，上一篇文章中的圖表我是用的BDP做的，因為BDP做出來的要比python做出來的美觀，而且方便，所以我就用了BDP，這篇主要是講代碼，所以就給大家用python實現(xiàn)一遍。
詞云圖制作
詞云圖制作是先把一大段話進行分詞，分成若干個詞語，然后對詞語進行計數(shù)，最后挑選出出現(xiàn)次數(shù)比較大的那些詞,繪制在同一張圖上，且出現(xiàn)次數(shù)越多，字體顯示越大，最終效果圖如下：
當然了，最后結(jié)果只是右半部分，左半部分是為了對比后期PS加上去的。具體實現(xiàn)代碼如下：import fool from collections import Counter from PIL import Image,ImageSequence ? from wordcloud import WordCloud,ImageColorGenerator#因留言結(jié)構(gòu)比較亂，所以先保存到本地做進一步處理 #刪除掉一些html元素 pd.DataFrame(comment).to_csv(r"C:\Users\zhangjunhong\Desktop\comment.csv")#處理完以后再次載入進來 comment_data = pd.read_excel(r"C:\Users\zhangjunhong\Desktop\comment.xlsx")#將數(shù)據(jù)轉(zhuǎn)換成字符串 text = (",").join(comment_data[0])#進行分詞 cut_text = ' '.join(fool.cut(text))#將分詞結(jié)果進行計數(shù) c = Counter(cut_text) c.most_common(500)#挑選出詞頻最高的500詞#將結(jié)果導出到本地進行再一次清洗,刪除無意義的符號詞 pd.DataFrame(c.most_common(500)).to_excel(r"C:\Users\zhangjunhong\Desktop\fenci.xlsx")#導入背景圖，這里選擇菊姐頭像 image = Image.open('C:/Users/zhangjunhong/Desktop/圖片1.png')#將圖片信息轉(zhuǎn)換成數(shù)組形式 graph = np.array(image) #設(shè)置詞云參數(shù) #參數(shù)分別是指定字體、背景顏色、最大的詞的大小、使用給定圖作為背景形狀 ? wc = WordCloud(font_path = "C:\\Windows\\Fonts\\simkai.ttf", background_color = 'White', max_words = 150, mask = graph) ?fp = pd.read_csv(r"C:\Users\zhangjunhong\Desktop\da200.csv",encoding = "gbk")#讀取詞頻文件 ? name = list(fp.name)#詞 ? value = fp.time#詞的頻率 ? dic = dict(zip(name, value))#詞以及詞頻以字典形式存儲 ?#根據(jù)給定詞頻生成詞云 wc.generate_from_frequencies(dic) image_color = ImageColorGenerator(graph) ?plt.imshow(wc) ? plt.axis("off")#不顯示坐標軸 ? plt.show()#保存結(jié)果到本地 wc.to_file('C:/Users/zhangjunhong/Desktop/wordcloud.jpg')
這里分詞沒有用jieba分詞，而是用了fool，據(jù)稱是最準確的中文分詞包，github地址：https://github.com/rockyzhengwu/FoolNLTK。
餅圖繪制
餅圖就很簡單了，代碼如下:
繪制男女比例的餅圖 user_info1["性別"].value_counts(normalize = True).plot.pie(title = "菊粉男女分布",autopct='%.2f') 菊粉男女分布柱狀圖繪制
先對年齡進行分區(qū)間，然后再進行統(tǒng)計繪制，代碼如下
#將把年齡從字符串變成數(shù)字 user_info1["age_1"] = [int(age[:-1]) for age in user_info1["年齡"]]#對年齡進行分組 bins = (0,10,20,25,30,100,1000)#將年齡進行區(qū)間切分 cut_bins = pd.cut(user_info1["age_1"],bins = bins,labels = False) ax = cut_bins[cut_bins < 5].value_counts(normalize =True).plot.bar(title = "菊粉年齡分布")#將大于100歲的過濾掉 ax.set_xticklabels(["0-10歲","10-20歲","20-25歲","25-30歲","30+"],rotation = 0) 菊粉年齡分布地圖繪制
#導入相關(guān)庫 import matplotlib.pyplot as plt import matplotlib from matplotlib.patches import Polygon from mpl_toolkits.basemap import Basemap from matplotlib.collections import PatchCollection#將省份和城市進行分列 country_data = pd.DataFrame([country.split(" ") for country in user_info1["國家城市"]],columns = ["省份","城市"])#將國家和城市與user表合并 user_data = pd.merge(user_info1,country_data,left_index = True,right_index = True,how = "left")#按省份進行分組計數(shù) shengfen_data = user_data.groupby("省份")["性別"].count().reset_index().rename(columns = {"性別":"人次"})#需要先對各省份地址進行經(jīng)緯度解析 #導入解析好的省份經(jīng)緯度信息 location = pd.read_table(r"C:\Users\zhangjunhong\Desktop\latlon_106318.txt",sep = ",")#將省份數(shù)據(jù)和經(jīng)緯度進行匹配 location_data = pd.merge(shengfen_data,location[["關(guān)鍵詞","地址","谷歌地圖緯度","谷歌地圖經(jīng)度"]],left_on = "省份",right_on = "關(guān)鍵詞",how = "left")#進行地圖可視化 #創(chuàng)建坐標軸 fig = plt.figure(figsize=(16,12)) ax ?= fig.add_subplot(111)#需要提前下載中國省份地圖的.shp #指明.shp所在路徑進行導入 basemap = Basemap(llcrnrlon= 75,llcrnrlat=0,urcrnrlon=150,urcrnrlat=55,projection='poly',lon_0 = 116.65,lat_0 = 40.02,ax = ax) basemap.readshapefile(shapefile = "C:/Users/zhangjunhong/Desktop/CHN_adm/CHN_adm1",name = "china")#定義繪圖函數(shù) def create_great_points(data):lon ? = np.array(data["谷歌地圖經(jīng)度"])lat ? = np.array(data["谷歌地圖緯度"])pop ? = np.array(data["人次"],dtype=float)name = np.array(data["地址"])x,y = basemap(lon,lat)for lon,lat,pop,name in zip(x,y,pop,name):basemap.scatter(lon,lat,c = "#778899",marker = "o",s = pop*10)plt.text(lon,lat,name,fontsize=10,color = "#DC143C")#在location_data上調(diào)用繪圖函數(shù) create_great_points(location_data)plt.axis("off")#關(guān)閉坐標軸 plt.savefig("C:/Users/zhangjunhong/Desktop/itwechat.png")#保存圖表到本地 plt.show()#顯示圖表 菊粉全國分布上面地圖繪制主要是用的Python中的Basemap庫，解析地理位置用的XGeocoding_v2。
Top省份和Top城市就是兩個柱狀圖，制作方式和上面的年齡分布類似。
樹地圖繪制
星座顯示的這種可視化形式叫做樹地圖，主要用的squarify庫，實現(xiàn)如下：
import squarify # 創(chuàng)建數(shù)據(jù) xingzuo = user_info1["星座"].value_counts(normalize = True).index size = user_info1["星座"].value_counts(normalize = True).values rate = np.array(["34%","6.93%","5.85%","5.70%","5.62%","5.31%","5.30%","5.24%","5.01%","4.78%","4.68%","4.36%"])# 繪圖 colors = ['steelblue','#9999ff','red','indianred','green','yellow','orange'] plot = squarify.plot(sizes = size, # 指定繪圖數(shù)據(jù)label = xingzuo, # 指定標簽color = colors, # 指定自定義顏色alpha = 0.6, # 指定透明度value = rate, # 添加數(shù)值標簽edgecolor = 'white', # 設(shè)置邊界框為白色linewidth =3 # 設(shè)置邊框?qū)挾葹?) # 設(shè)置標簽大小 plt.rc('font', size=10) # 設(shè)置標題大小 plt.title('菊粉星座分布',fontdict = {'fontsize':12})# 去除坐標軸 plt.axis('off') # 去除上邊框和右邊框刻度 plt.tick_params(top = 'off', right = 'off') 菊粉星座分布自定義詞云圖
上面從各個字段介紹了菊粉的特質(zhì)，最后該來個總結(jié)了，總結(jié)的形式很多，還是選擇詞云圖的形式，只不過這里不需要進行分詞，直接手動輸入你要顯示的詞，以及詞的權(quán)重（頻次）即可，具體代碼如下：
image = Image.open('C:/Users/zhangjunhong/Desktop/圖片1.png')#作為背景形狀的圖 ? graph = np.array(image) ? #參數(shù)分別是指定字體、背景顏色、最大的詞的大小、使用給定圖作為背景形狀 ? wc = WordCloud(font_path = "C:\\Windows\\Fonts\\simkai.ttf", background_color = 'White', max_words = 150, mask = graph) ?name = ["女性","摩羯座","20歲","21歲","22歲","23歲","24歲","25歲","廣州","杭州","成都","武漢","長沙","上海","北京","海外","美國","深圳"] value = [20,20,10,10,10,10,10,10,10,10,10,10,10,10,10,10,10,10]#詞的頻率 dic = dict(zip(name, value))#詞頻以字典形式存儲 ? wc.generate_from_frequencies(dic)#根據(jù)給定詞頻生成詞云 image_color = ImageColorGenerator(graph) ? plt.imshow(wc) ? plt.axis("off")#不顯示坐標軸 ? plt.show() wc.to_file('C:/Users/zhangjunhong/Desktop/wordcloud.jpg') 菊粉畫像總結(jié)
- 上一篇： 爬了菊姐的两万条评论，竟发现菊粉都是这样
- 下一篇： Sklearn参数详解—Adaboost