《中国近代史纲要》考试过关?Python帮你划重点
作者 | blmoistawinde, 西南某高校學(xué)森一枚,喜歡有意思的數(shù)據(jù)挖掘分析。希望給世界帶來些清新空氣~
來源 | 數(shù)據(jù)森麟(ID:shujusenlin)
打開查分界面,我看到我的“中國近現(xiàn)代史綱要”一欄露出了難看的臉色。
這時,一個程序突然自告奮勇:“不就是這種簡單的考試嗎?讓我學(xué)一下你們的課本,我也能夠上考場! (  ̄ー ̄)”
我把我的課本文本輸入給它。不到一分鐘以后,它對我說:“我學(xué)完了,來考我吧。”
雖然也只是在考前突擊了兩天,但我對它如此之快的速度還是深感嫉妒。我問:“你知道孫中山先生都干了哪些事情嗎?”
“發(fā)動護(hù)法運(yùn)動、就任臨時大總統(tǒng)、讓位于袁世凱”
“不錯嗎,你是怎么做到的?”
“讓我給你細(xì)細(xì)講來吧……”
準(zhǔn)備工作
程序:“首先引入一些必要的庫,然后我加載doc為1840—1919年中國大事的那一段段文本做個簡單的示例,這部分代碼就不用我列出來了吧。”
旁白:這里使用harvesttext庫進(jìn)行文本挖掘,它的許多功能能夠使得文本分析的流程變得更加輕松。前面的“用python分析《三國演義》中的社交網(wǎng)絡(luò)”一文也使用了這一工具。
ht = HarvestText()
sentences = ht.cut_sentences(doc)
有哪些重要對象
“重要對象,一般都是一些專有名詞。我可以利用自然語言處理中的命名實(shí)體識別技術(shù)就能夠識別出這樣的一些對象,比如:人名、地名、機(jī)構(gòu)名還有其他專有名詞等。”
HarvestText中包裝精簡了pyhanlp中的命名實(shí)體識別接口,讓我們來使用它找到近代史中的重要對象吧。
entity_type_dict = {}
for i, sent in enumerate(sentences):
? ?entity_type_dict0 = ht.named_entity_recognition(sent)
? ?for entity0, type0 in entity_type_dict0.items():
? ? ? ?entity_type_dict[entity0] = type0
for entity in list(entity_type_dict.keys())[:10]:
? ?print(entity, entity_type_dict[entity])
中國 地名
鴉片戰(zhàn)爭 其他專名
五四運(yùn)動 其他專名
英國 地名
南京 地名
望廈 其他專名
黃埔 地名
不平等條約 其他專名
洪秀全 人名
金田 地名
把找到的實(shí)體登錄,我們就可以統(tǒng)計他們出現(xiàn)的次數(shù),通過詞頻來判斷它們的重要性。
ht.add_entities(entity_type_dict = entity_type_dict)
inv_index = ht.build_index(sentences)
counts = ht.get_entity_counts(sentences,inv_index)
print(pd.Series(counts).sort_values(ascending=False).head())
中國 ? ? 21
清政府 ? ? 6
日本 ? ? ?5
孫中山 ? ? 4
英國 ? ? ?3
dtype: int64
我:“這個分析確實(shí)有用,看著這些詞我就聯(lián)想到了,在1840—1919年的中國,清政府面對外敵的屈辱,以及孫中山先生為代表的有識之士的努力。但是考試不是單考這些對象,關(guān)鍵要考和它們有關(guān)的知識點(diǎn)啊。”
程序:“別著急,對于知識點(diǎn),我也有辦法找到。”
有哪些重要知識點(diǎn)
程序:“你們說的重要知識點(diǎn),可以認(rèn)為是包含了那些重要對象的事件或者事實(shí)吧。對于你們?nèi)祟?#xff0c;事實(shí)可能就是自然語言描述的一句話。不過對于我們程序,我們要用一種標(biāo)準(zhǔn)清晰的結(jié)構(gòu)來表示它。三元組組成的知識圖譜就是一種解決方案。”
三元組就是類似(主語,謂詞,賓語)的結(jié)構(gòu),比如:
[‘清政府’, ‘簽訂’, ‘天津條約’]
[‘袁世凱’, ‘復(fù)辟’, ‘帝制’]
[‘孫中山’, ‘就任’, ‘臨時大總統(tǒng)’]
我:“有點(diǎn)意思,三個詞基本就能凝練地表達(dá)一句話中的主要事實(shí)了。但是你只有文本作為輸入,你要怎么從中提取出這樣的三元組呢?”
程序:“上面已經(jīng)提到三元組有(主語,謂詞,賓語)的結(jié)構(gòu)。你要是英語/語文課學(xué)得好的話,應(yīng)該會聯(lián)想到主語、謂語、賓語這些語法概念吧?而我就可以使用依存句法分析技術(shù)從文本中獲得這些句法信息。”
分析大致是這樣的:
可以看到,從主謂關(guān)系和動賓關(guān)系,我們就能夠自然地得到我們需要的三元組[‘袁世凱’, ‘復(fù)辟’, ‘帝制’]。
保留更多的信息,比如修飾主語的形容詞,能夠讓三元組的意思更加完整。我們可以利用別的關(guān)系來擴(kuò)充事實(shí):
原來我們只會得到[‘孫中山’, ‘就任’, ‘大總統(tǒng)’]。現(xiàn)在利用定中關(guān)系,我們就知道“臨時”一詞修飾“大總統(tǒng)”,我們就能夠得到[‘孫中山’, ‘就任’, ‘臨時大總統(tǒng)’]這個更完整的事實(shí)了。
我:“emmm…我的英語學(xué)得不好,這些語法看得有點(diǎn)頭暈。”
程序:“好吧 (¬_¬),不過把它包裝成接口以后,我們就可以很簡單地使用這個技術(shù)了。現(xiàn)在讓我們用它來找到課本里的重要知識點(diǎn):”
ht2 = HarvestText()
SVOs = []
for i, sent in enumerate(sentences):
? ?SVOs += ht2.triple_extraction(sent.strip())
print("\n".join(" ".join(tri) for tri in SVOs[5:10]))
英法聯(lián)軍 發(fā)動 侵略中國
清政府 簽訂 天津條約
清政府 簽訂 北京條約
慈禧太后 掌握 清王朝政權(quán)
這是中國半殖民地半封建社會 形成 中國資本主義產(chǎn)生時期
程序:“怎么樣?要不考慮下次考試讓我?guī)湍銊澲攸c(diǎn)?”
我:“有的三元組看起來還挺不錯的,但是有的感覺有點(diǎn)奇怪啊。”
程序:“不要在意這些細(xì)節(jié)……那是因為你們給我寫的算法還有很多提升空間嗎,但總體質(zhì)量還是不錯的。”
“有了這些結(jié)構(gòu)化的知識,我就可以接著建立知識圖譜,‘掌握’這些知識之間的聯(lián)系。”
知識圖譜長什么樣呢?它可以理解為實(shí)體之間的網(wǎng)絡(luò),網(wǎng)絡(luò)之間的連邊就是實(shí)體之間的聯(lián)系,做出一張圖來直觀地感受下:
fig = plt.figure(figsize=(12,8),dpi=100)
g_nx = nx.DiGraph()
labels = {}
for subj, pred, obj in SVOs:
? ?g_nx.add_edge(subj,obj)
? ?labels[(subj,obj)] = pred
pos=nx.spring_layout(g_nx)
nx.draw_networkx_nodes(g_nx, pos, node_size=300)
nx.draw_networkx_edges(g_nx,pos,width=4)
nx.draw_networkx_labels(g_nx,pos,font_size=10,font_family='sans-serif')
nx.draw_networkx_edge_labels(g_nx, pos, labels , font_size=10, font_family='sans-serif')
plt.axis("off")
plt.show()
現(xiàn)在,上考場吧
“現(xiàn)在我學(xué)會了這些知識,就可以建立起問答系統(tǒng),回答一些問題。出幾個問題來考考我吧?”
問答系統(tǒng)的具體實(shí)現(xiàn)思路可以見我的另一篇博客:https://blog.csdn.net/blmoistawinde/article/details/86556844
QA = NaiveKGQA(SVOs, entity_type_dict=entity_type_dict)
questions = ["孫中山干了什么事?","清政府簽訂了哪些條約?","誰復(fù)辟了帝制?"]
for question0 in questions:
? ?print("問:"+question0)
? ?print("答:"+QA.answer(question0))
問:孫中山干了什么事?
答:讓位于袁世凱、發(fā)動護(hù)法運(yùn)動、就任臨時大總統(tǒng)
問:清政府簽訂了哪些條約?
答:天津條約、北京條約
問:誰復(fù)辟了帝制?
答:袁世凱
回答得相當(dāng)不錯。盡管當(dāng)下這些問題是我特地挑選出來的,確定知識庫里有正確的答案。不過當(dāng)技術(shù)發(fā)展完善,或許有一天,它真的能夠走上考場,取得不錯的成績呢。
本文故事純屬虛構(gòu),近綱考砸卻是真事。不過我會感謝這門課教給我的歷史教訓(xùn),還有帶給我的本文寫作靈感。
原文公眾號后臺回復(fù)“考試”可以獲取代碼地址
(本文為 AI科技大本營轉(zhuǎn)載文章,轉(zhuǎn)載請微信聯(lián)系原作者。)
征稿推薦閱讀
PDF翻譯神器,再也不擔(dān)心讀不懂英文Paper了
Facebook增強(qiáng)版LASER開源:零樣本遷移學(xué)習(xí),支持93種語言
啥是佩奇排名算法
網(wǎng)絡(luò)爬蟲的法律邊界
Caicloud 開源 Nirvana:讓 API 從對框架的依賴中涅槃重生
程序員有話說 | 那個拒絕加班的程序員后來怎么樣了
告別摩拜
6大改進(jìn):盤點(diǎn)以太坊的2018冒險之旅
不難!月薪 50K大牛,悉心整理程序員必備技能!
總結(jié)
以上是生活随笔為你收集整理的《中国近代史纲要》考试过关?Python帮你划重点的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 降维分析:人类发展指数法(IFI法)
- 下一篇: python 条件循环赋值_python