EvolutionaryEventGraph

項(xiàng)目地址：https://github.com/liuhuanyong/SequentialEventExtration
Evolutionary Event Graph based on Travel note crawled from XieCheng，基于50W攜程出行攻略的順承事件抽取與事件圖譜構(gòu)建.

項(xiàng)目來(lái)源

目前,以謂詞性短語(yǔ)作為事件表示的方法方興未艾,針對(duì)特定領(lǐng)域,構(gòu)建起特定領(lǐng)域的順承事件圖譜,可以支持事件推理,基于事件的意圖識(shí)別與推薦等多項(xiàng)運(yùn)用.
本項(xiàng)目將從出行領(lǐng)域展開(kāi)進(jìn)行實(shí)驗(yàn).

項(xiàng)目構(gòu)成

本項(xiàng)目由兩個(gè)部分的組成,具體包括語(yǔ)料的獲取以及基于語(yǔ)料的事件挖掘兩個(gè)部分,具體項(xiàng)目目錄包括:
news_spider:基于scrapy的游記采集腳本
event_graph:基于依存句法與順承模式的順承事件抽取腳
image:游記順承事件圖譜效果圖

一 出行領(lǐng)域語(yǔ)料的獲取

語(yǔ)料來(lái)源:攜程出行攻略

時(shí)間范圍:2018年7月14日之前

采集方式:使用scrapy編寫(xiě)爬蟲(chóng)腳本進(jìn)行抓取

采集規(guī)模:共采集505767篇，量級(jí)50W

采集腳本目錄:news_spider/travelspider

語(yǔ)料舉例:

107330 一路向南——第二篇相逢南通（自駕游） - 游記攻略【攜程攻略】107331 彩云之南—云上的蜜月之旅 - 麗江游記攻略【攜程攻略】107332 甘肅游記之瑪曲郎木寺 - 碌曲游記攻略【攜程攻略】107333 拍客白沙行 - 舟山游記攻略【攜程攻略】107334 九華山-沐浴在佛恩下的XXX - 九華山游記攻略【攜程攻略】107335 墾丁夏季活動(dòng) - 墾丁游記攻略【攜程攻略】107336 行走在臺(tái)灣（向隅版）---世外桃源之我們的家（九份民宿） - 九份游記攻略【攜程攻略】107337 衛(wèi)賽節(jié)馬來(lái)西亞行 - 馬六甲州游記攻略【攜程攻略】107338 藍(lán)天下的嘉峪關(guān) - 嘉峪關(guān)游記攻略【攜程攻略】107339 人生一定要登一次雪山---都日峰 - 四川游記攻略【攜程攻略】107340 八月，青海湖不遠(yuǎn) - 海北游記攻略【攜程攻略】107341 #冬季北京# 帝都極冷天去首富的酒店避避寒 - 北京游記攻略【攜程攻略】107342 圣地西藏 - 青海湖游記攻略【攜程攻略】107343 孩子，媽媽想讓你見(jiàn)識(shí)更多的繁華世界 - 深圳游記攻略【攜程攻略】107344 頂級(jí)奢華，舍我其誰(shuí)！ - 澳門游記攻略【攜程攻略】107345 旅行、不需要走遠(yuǎn)！美景就在身邊 - 江門游記攻略【攜程攻略】107346 安安靜靜，不言不語(yǔ)都是好風(fēng)景 - 廈門游記攻略【攜程攻略】107347 邂逅則天故里 行走美麗利州 體驗(yàn)師帶你看中國(guó)女兒節(jié) - 廣元游記攻略【攜程攻略】107348 臺(tái)灣，可以這樣玩--15日環(huán)島自由行全記錄 - 臺(tái)北游記攻略【攜程攻略】107349 讓我記憶深刻的廈門--詳細(xì)版 - 廈門游記攻略【攜程攻略】107350 上海地鐵站 - 上海游記攻略【攜程攻略】107351 逃離霧霾，帶著“馬拉多納”去騰沖 - 騰沖游記攻略【攜程攻略】107352 在我心上用力地開(kāi)一 - 四川游記攻略【攜程攻略】107353 冬季到鄱陽(yáng)湖邊的余干縣看鳥(niǎo)，多張美圖記錄環(huán)湖游全過(guò)程 - 余干游記攻略【攜程攻略】107354 2014.十一沈陽(yáng)，本溪老邊溝，楓葉大道，丹東，不走重復(fù)路，古跡，景色5日窮游 - 沈陽(yáng)游記攻略【攜程攻略】107355 庫(kù)不齊老牛灣之戶外行走 - 庫(kù)布齊沙漠游記攻略【攜程攻略】

二 基于出行語(yǔ)料的順承事件圖譜構(gòu)建

1, 順承事件的抽取

event_extract.py, 思想步驟如下:

輸入游記文本

對(duì)游記進(jìn)行長(zhǎng)句切分

基于構(gòu)造的順承關(guān)系模板,進(jìn)行順承前后部分提取, 轉(zhuǎn)入4)

對(duì)3)得到的部分進(jìn)行短句處理,轉(zhuǎn)入5)

對(duì)4)得到的短句進(jìn)行謂詞性短語(yǔ)提取

對(duì)5)得到的謂詞性短語(yǔ)向上匯聚,得到一個(gè)長(zhǎng)句的謂詞性短語(yǔ)有序集合

對(duì)6)步驟得到的謂詞性短語(yǔ)集合,以滑窗方式構(gòu)造順承關(guān)系事件對(duì)

對(duì)步驟7)得到的順承事件對(duì)進(jìn)行匯總,最終得到順承事件庫(kù)

對(duì)8)進(jìn)行事件進(jìn)行整合,去除過(guò)低頻次的事件,構(gòu)造標(biāo)準(zhǔn)順承關(guān)系庫(kù)

2, 順承事件圖譜的展示

10)使用VIS插件進(jìn)行順承關(guān)系圖譜構(gòu)建與展示, event_graph.py
11)由于VIS作為一個(gè)封裝的JS庫(kù),因此生成的順承圖譜在項(xiàng)目中暫時(shí)設(shè)置到500,見(jiàn)travel_event_graph.html

三 順承關(guān)系圖譜效果

1) 總體圖譜樣式

以500個(gè)順承事件, 進(jìn)行順承事件圖譜展示,結(jié)果是一張事件網(wǎng)絡(luò),這是一個(gè)大的順承關(guān)系圖譜,由眾多小子圖譜構(gòu)成

2) 去麗江子圖譜

該子圖譜圍繞"去麗江旅游"這一出行事件為核心形成的事件群:

3) 飛機(jī)路線子圖譜

該子圖譜顯示了選擇飛機(jī)進(jìn)行出行形成的事件序列

4) 火車路線子圖譜

該子圖譜顯示了選擇火車進(jìn)行出行形成的事件序列

5) 訂酒店事件圖譜

該子圖譜描述了一個(gè)"預(yù)定酒店不愉快事件",從預(yù)定到失望到總結(jié),在這條順承事件鏈表現(xiàn)出來(lái)

6) 做飯事件圖譜

該子圖譜表示了一個(gè)"做飯"場(chǎng)景下的順承事件,感覺(jué)也很有意思

總結(jié)

該項(xiàng)目只是一個(gè)基于50W文章領(lǐng)域語(yǔ)料,運(yùn)用簡(jiǎn)單提取方式形成的順承關(guān)系圖譜demo,還有很多不足

該項(xiàng)目目前是形成了事件節(jié)點(diǎn)為326781個(gè), 順承事件對(duì)為543580條,分別為30W和50W的圖譜規(guī)模

對(duì)于謂詞性短語(yǔ)進(jìn)行事件表示是事件表示的一種方式,本方法只采用VOB關(guān)系進(jìn)行提取,這種方式還有待改進(jìn)

以3)得到的結(jié)果中,還存在大量噪聲,這一方面準(zhǔn)確率受依存句法的準(zhǔn)確性限制,另一方面該依存關(guān)系可能還相對(duì)單一,不夠準(zhǔn)確

在構(gòu)造順承事件序列的方法,本項(xiàng)目采用的是長(zhǎng)句為單位下的滑窗方式進(jìn)行構(gòu)造,這個(gè)方式還有待改進(jìn)

基于目前形成的順承關(guān)系圖譜還有待于進(jìn)一步挖掘,可以在此基礎(chǔ)上完成更多有價(jià)值的信息挖掘

Question?

send mail to lhy_in_blcu@126.com
項(xiàng)目地址：https://github.com/liuhuanyong/SequentialEventExtration
If any question about the project or me ,see https://liuhuanyong.github.io/

總結(jié)

以上是生活随笔為你收集整理的基于携程游记的出行领域顺承事件图谱项目的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。