Selenium爬携程酒店评论+jieba数据分析实战
如果你想使用最少的時(shí)間相對客觀的了解一樣事物,那么最好的方式就是快速收集大量的關(guān)于它的評價(jià),然后迅速地找出這些評價(jià)中的關(guān)鍵信息。
而這道題目,有兩個(gè)特別大的難點(diǎn):1.如何快速收集大量的評論;2.如何迅速的從大量評論中抽取關(guān)鍵信息。
基于python語言的爬蟲技術(shù)和文本分析技術(shù)剛好可以克服這兩大困難,幫助我們更快更客觀的了解某樣事物。接下來,我們使用python的Selenium和jieba對攜程某酒店網(wǎng)頁的評論進(jìn)行抓取和分析。請大家搬好小板凳。
爬取評論數(shù)據(jù)
Selenium模擬瀏覽器
selenium是python中一個(gè)具有模擬瀏覽器操作功能的package。隨著反爬蟲技術(shù)日益強(qiáng)大,網(wǎng)頁數(shù)據(jù)多數(shù)通過js和Ajax動(dòng)態(tài)加載,簡單的網(wǎng)頁解析很難拿到關(guān)鍵數(shù)據(jù)。selenium的作用就發(fā)揮出來,它可以模擬瀏覽器向服務(wù)器發(fā)送請求,服務(wù)器將數(shù)據(jù)返回并加載到瀏覽器端后,我們就這樣輕松的繞過了各種復(fù)雜的js解析過程,拿到那些動(dòng)態(tài)加載的數(shù)據(jù)。
下面就是如何通過selenium模擬谷歌瀏覽器的一段代碼,需要強(qiáng)調(diào)的是chromedriver的版本(下載地址)一定要和chrome的版本對應(yīng),比如筆者的chrome版本是71.0.3578.98(正式版本),則chromedriver對應(yīng)版本是2.45,而且chromedriver下載完成后,解壓后的chromedriver.exe 需放在chrome的應(yīng)用文件夾內(nèi)。
def generate_chrome():chromedrive
總結(jié)
以上是生活随笔為你收集整理的Selenium爬携程酒店评论+jieba数据分析实战的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Leetcode每日必刷题库第2题,如何
- 下一篇: Leetcode每日必刷题库第3题,如何