Python3 爬虫学习笔记 C11【数据储存系列 — MongoDB】
Python3 爬蟲學(xué)習(xí)筆記第十一章 —— 【數(shù)據(jù)儲存系列 — MongoDB】
文章目錄
- 【11.1】關(guān)于 MongoDB
- 【11.2】MongoDB 基本操作語句
- 【11.3】連接 MongoDB
- 【11.4】指定數(shù)據(jù)庫
- 【11.5】指定集合
- 【11.6】插入數(shù)據(jù)
- 【11.6】數(shù)據(jù)查詢
- 【11.7】數(shù)據(jù)計數(shù)
- 【11.8】數(shù)據(jù)排序
- 【11.9】數(shù)據(jù)偏移
- 【11.10】更新數(shù)據(jù)
- 【11.11】刪除數(shù)據(jù)
【11.1】關(guān)于 MongoDB
MongoDB 屬于非關(guān)系型數(shù)據(jù)庫，即 NoSQL（Not Only SQL），NoSQL 是基于鍵值對的，不需要經(jīng)過 SQL 層的解析，數(shù)據(jù)之間沒有耦合性，性能極高，非關(guān)系型數(shù)據(jù)庫分為以下幾種：
- 鍵值存儲數(shù)據(jù)庫：Redis、Voldemort、Oracle BDB 等；
- 列存儲數(shù)據(jù)庫：Cassandra、HBase、Riak 等；
- 文檔型數(shù)據(jù)庫：CouchDB、MongoDB 等；
- 圖形數(shù)據(jù)庫：Neo4J、InfoGrid、Infinite Graph 等。
【11.2】MongoDB 基本操作語句
# 創(chuàng)建數(shù)據(jù)庫（如果數(shù)據(jù)庫不存在就創(chuàng)建數(shù)據(jù)庫, 存在就切換到指定的數(shù)據(jù)庫） use DATABASE_NAME# 查看所有數(shù)據(jù)庫 show dbs# 查看當(dāng)前所在數(shù)據(jù)庫 db# 刪除當(dāng)前數(shù)據(jù)庫 db.dropDatabase()# 刪除集合 db.COLLECTION_NAME.drop()# 創(chuàng)建集合 db.createCollection("COLLECTION_NAME")# 插入文檔 db.COLLECTION_NAME.insert(document) db.COLLECTION_NAME.save(document) # 更新文檔 db.COLLECTION_NAME.update()# 刪除文檔 db.COLLECTION_NAME.remove()# 查詢文檔 db.COLLECTION_NAME.find(query, projection)【11.3】連接 MongoDB
連接 MongoDB 需要導(dǎo)入 pymongo 庫，使用 MongoClient() 方法，向其傳入地址參數(shù) host 和 端口參數(shù) port 即可
import pymongoclient = pymongo.MongoClient(host='localhost', port=27017)也可以直接傳入 MongoDB 的連接字符串：
import pymongoclient = pymongo.MongoClient('mongodb://localhost:27017/')【11.4】指定數(shù)據(jù)庫
使用以下語句皆可指定一個名為 spiders 的數(shù)據(jù)庫：
db = client.spiders db = client['spiders']【11.5】指定集合
MongoDB 的每個數(shù)據(jù)庫包含多個集合（collection），類似于關(guān)系型數(shù)據(jù)庫 MySQL 中的數(shù)據(jù)表，使用以下語句皆可指定一個名為 students 的集合：
collection = db.students collection = db['students']【11.6】插入數(shù)據(jù)
import pymongoclient = pymongo.MongoClient(host='localhost', port=27017) db = client.spiders collection = db.students students = {'id': '17110105','name': 'TRHX','age': 20,'gender': 'male' } result = collection.insert(students) print(result)在 spiders 數(shù)據(jù)庫的 students 集合里，新建一條學(xué)生數(shù)據(jù)，該數(shù)據(jù)以字典形式表示，調(diào)用 collection 的 insert() 方法插入數(shù)據(jù)，在 MongoDB 中，每條數(shù)據(jù)都有一個_id 屬性來唯一標(biāo)識。如果沒有顯式指明該屬性，MongoDB 會自動產(chǎn)生一個 ObjectId 類型的_id 屬性。insert() 方法會在執(zhí)行后返回 _id 值，在 MongoDB 數(shù)據(jù)庫里面可以看到已經(jīng)成功插入數(shù)據(jù)，輸出結(jié)果：
5d6f1a4b57b65e1547bb3c24進(jìn)階操作：同時插入多條數(shù)據(jù)，以列表形式傳遞：
import pymongoclient = pymongo.MongoClient(host='localhost', port=27017) db = client.spiders collection = db.students students1 = {'id': '17110105','name': 'TRHX','age': 20,'gender': 'male' } students2 = {'id': '17110106','name': 'AAAA','age': 22,'gender': 'male' } result = collection.insert([students1, students2]) print(result)輸出結(jié)果：
[ObjectId('5d6f2be3cd1721962218a709'), ObjectId('5d6f2be3cd1721962218a70a')]PyMongo 3.x 及以上版本中，推薦使用 insert_one() 和 insert_many() 方法來分別插入單條記錄和多條記錄，示例：
插入單條記錄
import pymongoclient = pymongo.MongoClient(host='localhost', port=27017) db = client.spiders collection = db.students students = {'id': '17110105','name': 'TRHX','age': 20,'gender': 'male' } result = collection.insert_one(students) print(result) print(result.inserted_id)返回的是 InsertOneResult 對象，調(diào)用其 inserted_id 屬性獲取_id：
<pymongo.results.InsertOneResult object at 0x0000020ED91A5608> 5d6f73940fe700c5a7ac19f0插入多條記錄
import pymongoclient = pymongo.MongoClient(host='localhost', port=27017) db = client.spiders collection = db.students students1 = {'id': '17110105','name': 'TRHX','age': 20,'gender': 'male' } students2 = {'id': '17110106','name': 'AAAA','age': 22,'gender': 'male' } result = collection.insert_many([students1, students2]) print(result) print(result.inserted_ids)返回的類型是 InsertManyResult，調(diào)用 inserted_ids 屬性可以獲取插入數(shù)據(jù)的_id 列表：
<pymongo.results.InsertManyResult object at 0x0000021698DD36C8> [ObjectId('5d6f68598fa881c69b2e0006'), ObjectId('5d6f68598fa881c69b2e0007')]【11.6】數(shù)據(jù)查詢
事先已經(jīng)創(chuàng)建好 spiders 數(shù)據(jù)庫和 students 集合，包含以下數(shù)據(jù)：
_id:ObjectId("5d6f95d40828142f1dc35fa5") id:"17110105" name:"TRHX" age:20 gender:"male"_id:ObjectId("5d6f95d40828142f1dc35fa6") id:"17110106" name:"AAA" age:20 gender:"male"_id:ObjectId("5d6f95d40828142f1dc35fa7") id:"17110107" name:"BBB" age:19 gender:"female"_id:ObjectId("5d6f95d40828142f1dc35fa8") id:"17110108" name:"CCC" age:22 gender:"male"查詢方法一：利用 find_one() 或 find() 方法進(jìn)行查詢， find_one() 查詢得到的是單個結(jié)果，find() 則返回一個生成器對象
import pymongoclient = pymongo.MongoClient(host='localhost', port=27017) db = client.spiders collection = db.students result = collection.find_one({'name': 'TRHX'}) print(result)查詢 name 為 TRHX 的數(shù)據(jù)，返回一個字典類型：
{'_id': ObjectId('5d6f95d40828142f1dc35fa5'), 'id': '17110105', 'name': 'TRHX', 'age': 20, 'gender': 'male'}查詢方法二：根據(jù) ObjectId 查詢，查詢時需要使用 bson 庫里面的 objectid：
import pymongo from bson.objectid import ObjectIdclient = pymongo.MongoClient(host='localhost', port=27017) db = client.spiders collection = db.students result = collection.find_one({'_id': ObjectId('5d6f95d40828142f1dc35fa7')}) print(result)查詢結(jié)果：
{'_id': ObjectId('5d6f95d40828142f1dc35fa7'), 'id': '17110107', 'name': 'BBB', 'age': 19, 'gender': 'female'}使用 find() 方法查詢多條數(shù)據(jù)：
import pymongoclient = pymongo.MongoClient(host='localhost', port=27017) db = client.spiders collection = db.students results = collection.find({'gender': 'male'}) print(results) for result in results:print(result)find() 方法返回一個生成器對象，遍歷得到所有數(shù)據(jù)，每條數(shù)據(jù)都是字典類型：
<pymongo.cursor.Cursor object at 0x00000191F69AAA90> {'_id': ObjectId('5d6f95d40828142f1dc35fa5'), 'id': '17110105', 'name': 'TRHX', 'age': 20, 'gender': 'male'} {'_id': ObjectId('5d6f95d40828142f1dc35fa6'), 'id': '17110106', 'name': 'AAA', 'age': 20, 'gender': 'male'} {'_id': ObjectId('5d6f95d40828142f1dc35fa8'), 'id': '17110108', 'name': 'CCC', 'age': 22, 'gender': 'male'}在查詢條件中加入比較符號進(jìn)行查詢，以下代碼實現(xiàn)了年齡大于等于20的數(shù)據(jù)查詢：
import pymongoclient = pymongo.MongoClient(host='localhost', port=27017) db = client.spiders collection = db.students results = collection.find({'age': {'$gte': 20}}) for result in results:print(result)符號 $gte 表示大于等于，查詢結(jié)果如下：
{'_id': ObjectId('5d6f95d40828142f1dc35fa5'), 'id': '17110105', 'name': 'TRHX', 'age': 20, 'gender': 'male'} {'_id': ObjectId('5d6f95d40828142f1dc35fa6'), 'id': '17110106', 'name': 'AAA', 'age': 20, 'gender': 'male'} {'_id': ObjectId('5d6f95d40828142f1dc35fa8'), 'id': '17110108', 'name': 'CCC', 'age': 22, 'gender': 'male'} 附表：各種比較符號| $lt | 小于 | {‘a(chǎn)ge’: {’$lt’: 20}} |
| $gt | 大于 | {‘a(chǎn)ge’: {’$gt’: 20}} |
| $lte | 小于等于 | {‘a(chǎn)ge’: {’$lte’: 20}} |
| $gte | 大于等于 | {‘a(chǎn)ge’: {’$gte’: 20}} |
| $ne | 不等于 | {‘a(chǎn)ge’: {’$ne’: 20}} |
| $in | 在范圍內(nèi) | {‘a(chǎn)ge’: {’$in’: [20, 23]}} |
| $nin | 不在范圍內(nèi) | {‘a(chǎn)ge’: {’$nin’: [20, 23]}} |
在查詢條件中加入功能符號進(jìn)行查詢，以下代碼用正則匹配實現(xiàn)了對名字以 T 開頭的學(xué)生數(shù)據(jù)的查詢：
import pymongoclient = pymongo.MongoClient(host='localhost', port=27017) db = client.spiders collection = db.students results = collection.find({'name': {'$regex': '^T.*'}}) for result in results:print(result)查詢結(jié)果：
{'_id': ObjectId('5d6f95d40828142f1dc35fa5'), 'id': '17110105', 'name': 'TRHX', 'age': 20, 'gender': 'male'} 附表：各種功能符號| $regex | 匹配正則表達(dá)式 | {‘name’: {’$regex’: ‘^T.*’}} | name 以 T 開頭 |
| $exists | 屬性是否存在 | {‘name’: {’$exists’: True}} | name 屬性存在 |
| $type | 類型判斷 | {‘a(chǎn)ge’: {’$type’: ‘int’}} | age 的類型為 int |
| $mod | 數(shù)字模操作 | {‘a(chǎn)ge’: {’$mod’: [5, 0]}} | 年齡模 5 余 0 |
| $text | 文本查詢 | {‘KaTeX parse error: Expected '}', got 'EOF' at end of input: text': {'search’: ‘Mike’}} | text 類型的屬性中包含 Mike 字符串 |
| $where | 高級條件查詢 | {’$where’: ‘obj.fans_count == obj.follows_count’} | 自身粉絲數(shù)等于關(guān)注數(shù) |
其他操作：https://docs.mongodb.com/manual/reference/operator/query/
【11.7】數(shù)據(jù)計數(shù)
調(diào)用 count() 方法可以統(tǒng)計查詢結(jié)果有多少條數(shù)據(jù)，輸出結(jié)果為一個整數(shù)：
import pymongoclient = pymongo.MongoClient(host='localhost', port=27017) db = client.spiders collection = db.students result = collection.find({'name': {'$regex': '^T.*'}}).count() print(result)【11.8】數(shù)據(jù)排序
調(diào)用 sort() 方法，向其傳入排序的字段及升降序標(biāo)志即可完成排序：
import pymongoclient = pymongo.MongoClient(host='localhost', port=27017) db = client.spiders collection = db.students ascending = collection.find().sort('name', pymongo.ASCENDING) descending = collection.find().sort('name', pymongo.DESCENDING) print('升序排列：', [result['name'] for result in ascending]) print('降序排列：', [result['name'] for result in descending])輸出結(jié)果：
升序排列： ['AAA', 'BBB', 'CCC', 'TRHX'] 降序排列： ['TRHX', 'CCC', 'BBB', 'AAA']【11.9】數(shù)據(jù)偏移
利用 skip() 方法偏移幾個位置，就可以跳過前幾條數(shù)據(jù)，獲取偏移量之后的幾個數(shù)據(jù)；利用 limit() 方法指定獲取前幾條數(shù)據(jù)：
import pymongoclient = pymongo.MongoClient(host='localhost', port=27017) db = client.spiders collection = db.students ascending = collection.find().sort('name', pymongo.ASCENDING).skip(1) descending = collection.find().sort('name', pymongo.DESCENDING).limit(2) print('升序排列（偏移量為1，獲取后三條數(shù)據(jù)）：', [result['name'] for result in ascending]) print('降序排列（限制獲取前兩條數(shù)據(jù)）：', [result['name'] for result in descending])輸出結(jié)果：
升序排列（偏移量為1，獲取后三條數(shù)據(jù)）： ['BBB', 'CCC', 'TRHX'] 降序排列（限制獲取前兩條數(shù)據(jù)）： ['TRHX', 'CCC']【11.10】更新數(shù)據(jù)
使用 update() 方法，指定更新的條件和更新后的數(shù)據(jù)即可：
import pymongoclient = pymongo.MongoClient(host='localhost', port=27017) db = client.spiders collection = db.students condition = {'name': 'TRHX'} student = collection.find_one(condition) student['age'] = 18 result = collection.update(condition, student) print(result)該代碼將 name 為 TRHX 的 age 改為了 18，返回結(jié)果仍然是字典形式，ok 代表執(zhí)行成功，nModified 代表影響的數(shù)據(jù)條數(shù)：
{'n': 1, 'nModified': 1, 'ok': 1.0, 'updatedExisting': True}進(jìn)階操作：使用 $set 操作符對數(shù)據(jù)進(jìn)行更新，指定更新的條件和更新后的數(shù)據(jù)即可，這樣做的好處是：只更新指定的 student 字典內(nèi)存在的字段，如果原先還有其他字段，則不會更新，也不會刪除；如果不用 $set ，則會把之前的數(shù)據(jù)全部用 student 字典替換，如果原本存在其他字段，則會被刪除
import pymongoclient = pymongo.MongoClient(host='localhost', port=27017) db = client.spiders collection = db.students condition = {'name': 'TRHX'} student = collection.find_one(condition) student['age'] = 18 result = collection.update(condition, {'$set': student}) print(result)和插入數(shù)據(jù)的 insert() 方法一樣，在 PyMongo 3.x 版本里，推薦使用 update_one() 和 update_many() 方法
import pymongoclient = pymongo.MongoClient(host='localhost', port=27017) db = client.spiders collection = db.students condition = {'name': 'TRHX'} student = collection.find_one(condition) student['age'] = 19 result = collection.update_one(condition, {'$set': student}) print(result) print(result.matched_count, result.modified_count)注意：update_one() 方法不能直接傳入修改后的字典，只能使用 {'$set': student} 的形式傳入，可以調(diào)用 matched_count 和 modified_count 屬性，獲取匹配的數(shù)據(jù)條數(shù)和影響的數(shù)據(jù)條數(shù)：
<pymongo.results.UpdateResult object at 0x00000235A1684508> 1 1使用update_many() 方法可以將所有符合條件的數(shù)據(jù)都更新：
import pymongoclient = pymongo.MongoClient(host='localhost', port=27017) db = client.spiders collection = db.students condition = {'age': {'$gt': 18}} result = collection.update_many(condition, {'$set': {'age': 25}}) print(result) print(result.matched_count, result.modified_count)匹配所有年齡大于 18 的數(shù)據(jù)，更新條件為將這些所有滿足條件的年齡都設(shè)置成 25，輸出結(jié)果如下：
<pymongo.results.UpdateResult object at 0x00000285CECC45C8> 4 4【11.11】刪除數(shù)據(jù)
調(diào)用 remove() 方法并指定刪除的條件，此時符合條件的所有數(shù)據(jù)均會被刪除
import pymongoclient = pymongo.MongoClient(host='localhost', port=27017) db = client.spiders collection = db.students result = collection.remove({'name': 'CCC'}) print(result)輸出結(jié)果：
{'n': 1, 'ok': 1.0}同樣的，在 PyMongo 3.x 版本里，推薦使用 delete_one() 和 delete_many() 方法
import pymongoclient = pymongo.MongoClient(host='localhost', port=27017) db = client.spiders collection = db.students result = collection.delete_one({'name': 'AAA'}) print(result) print(result.deleted_count) result = collection.delete_many({'gender': 'female'}) print(result.deleted_count)調(diào)用 deleted_count 屬性可以獲取刪除的數(shù)據(jù)條數(shù)，輸出結(jié)果：
<pymongo.results.DeleteResult object at 0x0000024441B245C8> 1 1PyMongo 官方文檔：http://api.mongodb.com/python/current/api/pymongo/collection.html
總結(jié)
以上是生活随笔為你收集整理的Python3 爬虫学习笔记 C11【数据储存系列 — MongoDB】的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 招行汽车分期申请条件 招行汽车分期为何被
- 下一篇： Python 数据分析三剑客之 Pand