#anthor jiqunpeng

#time 20121124

import urllib

import re

def gethtml(url): #從url中讀取html內(nèi)容

page = urllib.urlopen(url)

html = page.read()

page.close()

return html

def getdictionary(html): #匹配成語

reg = "(.*?)"

diclist = re.compile(reg).findall(html)

return diclist

def getitemsite():#手工把每個字母開頭的頁面數(shù)統(tǒng)計下來

itemsite = {}#申明為空字典

itemsite["a"] = 3

itemsite["b"] = 21

itemsite["c"] = 19

itemsite["d"] = 18

itemsite["e"] = 2

itemsite["f"] = 14

itemsite["g"] = 13

itemsite["h"] = 15

itemsite["j"] = 23

itemsite["k"] = 6

itemsite["l"] = 15

itemsite["m"] = 12

itemsite["n"] = 5

itemsite["o"] = 1

itemsite["p"] = 6

itemsite["q"] = 16

itemsite["r"] = 8

itemsite["s"] = 26

itemsite["t"] = 12

itemsite["w"] = 13

itemsite["x"] = 16

itemsite["y"] = 35

itemsite["a"] = 21

return itemsite

if __name__== "__main__":

dicfile = open("dic.txt","w+")#保存成語的文件

domainsite = "http://chengyu.itlearner.com/list/"

itemsite = getitemsite()

for key,values in itemsite.items():

for index in range(1,values+1):

site = key +"_"+str(index)+".html"

dictionary = getdictionary(gethtml(domainsite+site))

for dic in dictionary:

dicfile.write(dic[2]+"@@cy\n")#標記為成語，分詞時使用

print key+'字母成語抓取完畢'

dicfile.close()

print '全部成語抓取完畢'

總結(jié)

以上是生活随笔為你收集整理的python判断成语_python正则表达式抓取成语网站的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。