數(shù)據(jù)提取之JSON與JsonPATH

JSON(JavaScript Object Notation)是一種輕量級的數(shù)據(jù)交換格式，它是的人們很容易的進(jìn)行閱讀和編寫。同時也方便了機(jī)器進(jìn)行解析和生成。適用于進(jìn)行數(shù)據(jù)交互的場景，比如網(wǎng)站前臺與后臺之間的數(shù)據(jù)交互。

JSON和XML的比較可謂不相上下。

Python2.7中自帶了JSON模塊，直接import json就可以使用了。
官方博客：http://docs.python.org/library/json.html

Json在線解析網(wǎng)站：http://www.json.cn/#

JSON

json簡單說就是javascript中的對象和數(shù)組，所以這兩種結(jié)構(gòu)就是對象和數(shù)據(jù)兩種結(jié)構(gòu)，通過這兩種結(jié)構(gòu)可以表示各種復(fù)雜的結(jié)構(gòu)。

對象：對象在js中表示為{}括起來的內(nèi)容，數(shù)據(jù)結(jié)構(gòu)為{key:value,key:value,...}的鍵值對的結(jié)構(gòu)，在面向?qū)ο蟮恼Z言中，key為對象的屬性，value為對應(yīng)的屬性值，所以很容易理解，取值方法為對象.key獲取屬性值，這個屬性值的類型可以是數(shù)字、字符串、數(shù)組、對象這幾種。

數(shù)組：數(shù)組在js中是中括號[]括起來的內(nèi)容，數(shù)據(jù)結(jié)構(gòu)為["Python", "javascript", "C++",..]，取值方式和所有語言中一樣，使用索引獲取，字段值的類型可以是數(shù)字、字符串、數(shù)組、對象幾種。

import json

json模塊提供了四個功能：dumps、dump、loads、load,用于字符串和python數(shù)據(jù)類型鍵進(jìn)行轉(zhuǎn)換。

1、json.loads()

把json格式字符串解碼轉(zhuǎn)換成Python對象從json到Python的類型轉(zhuǎn)化對照如下：

#json_loads.pyimport jsonstrList = '[1, 2, 3, 4]'strDict = '{"city":"北京", "name":"大貓"}'json.loads(strList) for str in strList:print(str) #[1, 2, 3, 4] json.loads(strDict) #json數(shù)據(jù)自動按Unicode存儲 #{u'city': u'\u5317\u4eac', u'name': u'\u5927\u732b'}

2、json.dumps()

實現(xiàn)python類型轉(zhuǎn)化為json字符串，返回一個str對象。把一個Python對象編碼轉(zhuǎn)換成Json字符串，從python原始類型向json類型轉(zhuǎn)化對照表如下：

#json_dumps.py#-*- coding:utf-8 -*-import json import chardetlistStr = [1, 2, 3, 4] tupleStr = (1, 2, 3, 4) dictStr = {"city":"北京", "name":"大貓"}print(type(json.dumps(listStr))) # '[1, 2, 3, 4]'print(type(json.dumps(tupleStr))) # '[1, 2, 3, 4]'#注意，json.dumps()序列化時默認(rèn)使用ascii編碼 #添加參數(shù) ensure_ascii = False,禁用ascii編碼，按utf-8編碼 #chardet.detect()返回字典，其中confidence是檢測精確度。print(json.dumps(dictStr)) #'{"city":"\\u5317\\u4eac", "name":"\\u5927\\u5218"}'print(chardet.detect(json.dumps(dictStr)))print(json.dumps(dictStr, ensure_ascii=False))print(chardet.detect(json.dumps(dictStr, ensure_ascii=False)))

?

chardet是一個非常優(yōu)秀的編碼識別模塊，可通過pip安裝

3. json.dump()

將Python內(nèi)置類型序列化為json對象后寫入文件

#json_dump.pyimport jsonlistStr = [{"city":"北京"}, {"name":"大劉"}]json.dump(listStr, open("listStr.json", "w"), ensure_ascii=False)dictStr = {"city":"北京", "name":"大劉"} json.dump(dictStr.open("dictStr.json", "w"), ensure_ascii=False)

?

4.json.load()

讀取文件中json形式的字符串元素轉(zhuǎn)化成python類型

#-*- coding:utf-8 -*-import jsonstrList = json.load(open("listStr.json")) print strList # [{u'city': u'\u5317\u4eac'}, {u'name': u'\u5927\u5218'}] strDict = json.load(open("dictStr.json")) print strDict # {u'city': u'\u5317\u4eac', u'name': u'\u5927\u5218'}

?

JsonPath

JsonPath是一種信息抽取類庫，是從JSON文檔中抽取指定信息的工具，提供多種原因?qū)崿F(xiàn)保本：JavaScript/Python/PHP和Java

JsonPath對于JSON來說，相當(dāng)于XPATH對于XML

下載地址：https://pypi.python.org/pypi/jsonpath
安裝方法：點擊Download URL鏈接下載jsonpath,解壓之后執(zhí)行python setup.py install
官方文檔：http://goessner.net/articles/JsonPath

JsonPath與XPath語法對比：

Json結(jié)構(gòu)清晰，可讀性高，復(fù)雜度低，非常容易匹配，下表中對應(yīng)了XPath的用法。

XpathJSONPath描述

/	$	跟節(jié)點
.	@	現(xiàn)行節(jié)點
/	. or []	取子節(jié)點
..	n/a	就是不管位置，選擇所有符合條件的條件
*	*	匹配所有元素節(jié)點
[]	[]	迭代器標(biāo)示(可以在里面做簡單的迭代操作，如數(shù)組下標(biāo)，根據(jù)內(nèi)容選值等)
&#124	[,]	支持迭代器中做多選
[]	?()	支持過濾操作
n/a	()	支持表達(dá)式計算
()	n/a	分組，JsonPath不支持

實例：

我們以拉勾網(wǎng)城市JSON文件http://www.lagou.com/lbs/getAllCitySearchLabels.json為例，獲取所有城市。

#-*- coding:utf-8 -*-import urllib2 import json import jsonpath import chardeturl = "http://www.lagou.com/lbs/getAllCitySearchLabels.json" request = urllib2.Request(url)response = urllib2.urlopen(request)html = response.read()#把json格式字符串轉(zhuǎn)換成python對象 jsonobj = json.loads(html)#從根節(jié)點開始，匹配name節(jié)點 citylist = jsonpath.jsonpath(jsonobj, '$..name')print citylist print(type(citylist))fp = open('city.json', 'w')content = json.dumps(citylist, ensure_ascii=False) print content fp.write(content.encode('utf-8'))fp.close()

?

注意事項：

json.loads()是把Json格式字符串解碼轉(zhuǎn)換成Python對象，如果在json.loads的時候出錯，要注意被解碼的Json字符的編碼。

如果傳入的字符串的編碼不是UTF-8的話，需要制定字符編碼的參數(shù):encoding

dataDict = json.loads(jsonStrGBK);

• dataJsonStr是JSON字符串，假設(shè)其編碼本身是非UTF-8的話而是GBK的，那么上述代碼會導(dǎo)致出錯，改為對應(yīng)的。

dataDict = json.loads(jsonStrGBK, encoding="GBK")

• 如果dataJsonStr通過encoding指定了合適的編碼，但是其中又包含了其它編碼的字符，則需要先去將dataJsonStr轉(zhuǎn)換為Unicode,然后再指定編碼格式調(diào)用json.loads()

dataJsonStrUni = data.JsonStr.decode("GB2312") dataDict = json.loads(dataJsontrUni, encoding="GB2312")

字符串編碼轉(zhuǎn)換

這是程序員最苦逼的地方，什么亂碼之類的幾乎都是由漢字引起的。
其實編碼問題很好搞定，只要記住一點：

任何平臺的任何編碼，都能和Unicode互相轉(zhuǎn)換。

UTF-8與GBK互相轉(zhuǎn)換，那就先把UTF-8轉(zhuǎn)換成Unicode，再從Unicode轉(zhuǎn)換成GBK，反之同理。

# 這是一個 UTF-8 編碼的字符串 utf8Str = "你好地球"# 1. 將 UTF-8 編碼的字符串 轉(zhuǎn)換成 Unicode 編碼 unicodeStr = utf8Str.decode("UTF-8")# 2. 再將 Unicode 編碼格式字符串 轉(zhuǎn)換成 GBK 編碼 gbkData = unicodeStr.encode("GBK")# 1. 再將 GBK 編碼格式字符串 轉(zhuǎn)化成 Unicode unicodeStr = gbkData.decode("gbk")# 2. 再將 Unicode 編碼格式字符串轉(zhuǎn)換成 UTF-8 utf8Str = unicodeStr.encode("UTF-8")

decode的作用是將其它編碼的字符串轉(zhuǎn)換成Unicode編碼
encode的作用是將Unicode編碼轉(zhuǎn)換成其他編碼的字符串
一句話：UTF-8是對Unicode字符集記性編碼的一種編碼格式

參考鏈接：https://www.cnblogs.com/miqi1992/category/1105419.html

轉(zhuǎn)載于:https://www.cnblogs.com/moying-wq/p/11570013.html

總結(jié)

以上是生活随笔為你收集整理的Python爬虫(十三)_JSON模块与JsonPath的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。