上節課我們學習了如何用 pyquery 提取 HTML 中的信息，但是當我們成功提取了數據之后，該往哪里存放呢？

用文本文件當然是可以的，但文本存儲不方便檢索。有沒有既方便存，又方便檢索的存儲方式呢？

當然有，本課時我將為你介紹一個文檔型數據庫 —— MongoDB。

MongoDB 是由 C++ 語言編寫的非關系型數據庫，是一個基于分布式文件存儲的開源數據庫系統，其內容存儲形式類似 JSON 對象，它的字段值可以包含其他文檔、數組及文檔數組，非常靈活。

在這個課時中，我們就來看看 Python 3 下 MongoDB 的存儲操作。

1.準備工作

在開始之前，請確保你已經安裝好了 MongoDB 并啟動了其服務，同時安裝好了 Python 的 PyMongo 庫。

MongoDB 的安裝方式可以參考：https://cuiqingcai.com/5205.html，安裝好之后，我們需要把 MongoDB 服務啟動起來。

注意：這里我們為了學習，僅使用 MongoDB 最基本的單機版，MongoDB
還有主從復制、副本集、分片集群等集群架構，可用性可靠性更好，如有需要可以自行搭建相應的集群進行使用。

啟動完成之后，它會默認在本地 localhost 的 27017 端口上運行。

接下來我們需要安裝 PyMongo 這個庫，它是 Python 用來操作 MongoDB 的第三方庫，直接用 pip3 安裝即可：pip3 install pymongo。

更詳細的安裝方式可以參考：https://cuiqingcai.com/5230.html。

安裝完成之后，我們就可以使用 PyMongo 來將數據存儲到 MongoDB 了。

2.連接 MongoDB

連接 MongoDB 時，我們需要使用 PyMongo 庫里面的 MongoClient。一般來說，我們只需要向其傳入 MongoDB 的 IP 及端口即可，其中第一個參數為地址 host，第二個參數為端口 port（如果不給它傳遞參數，則默認是 27017）：

import pymongo client = pymongo.MongoClient(host='localhost', port=27017)

這樣我們就可以創建 MongoDB 的連接對象了。

另外，MongoClient 的第一個參數 host 還可以直接傳入 MongoDB 的連接字符串，它以 mongodb 開頭，例如：

client = MongoClient('mongodb://localhost:27017/')

這樣也可以達到同樣的連接效果。

3.指定數據庫

MongoDB 中可以建立多個數據庫，接下來我們需要指定操作其中一個數據庫。這里我們以 test 數據庫作為下一步需要在程序中指定使用的例子：

db = client.test

這里調用 client 的 test 屬性即可返回 test 數據庫。當然，我們也可以這樣指定：

db = client['test']

這兩種方式是等價的。

4.指定集合

MongoDB 的每個數據庫又包含許多集合（collection），它們類似于關系型數據庫中的表。

下一步需要指定要操作的集合，這里我們指定一個名稱為 students 的集合。與指定數據庫類似，指定集合也有兩種方式：

collection = db.students

或是

collection = db['students']

5.插入數據

接下來，便可以插入數據了。我們對 students 這個集合新建一條學生數據，這條數據以字典形式表示：

student = {'id': '20170101','name': 'Jordan','age': 20,'gender': 'male' }

新建的這條數據里指定了學生的學號、姓名、年齡和性別。接下來，我們直接調用 collection 的 insert 方法即可插入數據，代碼如下：

result = collection.insert(student) print(result)

在 MongoDB 中，每條數據其實都有一個 _id 屬性來唯一標識。如果沒有顯式指明該屬性，MongoDB 會自動產生一個 ObjectId 類型的 _id 屬性。insert() 方法會在執行后返回_id 值。

運行結果如下：

5932a68615c2606814c91f3d

當然，我們也可以同時插入多條數據，只需要以列表形式傳遞即可，示例如下：

student1 = {'id': '20170101','name': 'Jordan','age': 20,'gender': 'male' }student2 = {'id': '20170202','name': 'Mike','age': 21,'gender': 'male' }result = collection.insert([student1, student2]) print(result)

返回結果是對應的_id 的集合：

[ObjectId('5932a80115c2606a59e8a048'), ObjectId('5932a80115c2606a59e8a049')]

實際上，在 PyMongo 中，官方已經不推薦使用 insert 方法了。但是如果你要繼續使用也沒有什么問題。目前，官方推薦使用 insert_one 和 insert_many 方法來分別插入單條記錄和多條記錄，示例如下：

student = {'id': '20170101','name': 'Jordan','age': 20,'gender': 'male' }result = collection.insert_one(student) print(result) print(result.inserted_id)

運行結果如下：

<pymongo.results.InsertOneResult object at 0x10d68b558> 5932ab0f15c2606f0c1cf6c5

與 insert 方法不同，這次返回的是 InsertOneResult 對象，我們可以調用其 inserted_id 屬性獲取_id。

對于 insert_many 方法，我們可以將數據以列表形式傳遞，示例如下：

student1 = {'id': '20170101','name': 'Jordan','age': 20,'gender': 'male' }student2 = {'id': '20170202','name': 'Mike','age': 21,'gender': 'male' }result = collection.insert_many([student1, student2]) print(result) print(result.inserted_ids)

運行結果如下：

<pymongo.results.InsertManyResult object at 0x101dea558> [ObjectId('5932abf415c2607083d3b2ac'), ObjectId('5932abf415c2607083d3b2ad')]

該方法返回的類型是 InsertManyResult，調用 inserted_ids 屬性可以獲取插入數據的 _id 列表。

6.查詢

插入數據后，我們可以利用 find_one 或 find 方法進行查詢，其中 find_one 查詢得到的是單個結果，find 則返回一個生成器對象。示例如下：

result = collection.find_one({'name': 'Mike'}) print(type(result)) print(result)

這里我們查詢 name 為 Mike 的數據，它的返回結果是字典類型，運行結果如下：

<class 'dict'> {'_id': ObjectId('5932a80115c2606a59e8a049'), 'id': '20170202', 'name': 'Mike', 'age': 21, 'gender': 'male'}

可以發現，它多了 _id 屬性，這就是 MongoDB 在插入過程中自動添加的。

此外，我們也可以根據 ObjectId 來查詢，此時需要調用 bson 庫里面的 objectid：

from bson.objectid import ObjectIdresult = collection.find_one({'_id': ObjectId('593278c115c2602667ec6bae')}) print(result)

其查詢結果依然是字典類型，具體如下：

{'_id': ObjectId('593278c115c2602667ec6bae'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}

如果查詢結果不存在，則會返回 None。

對于多條數據的查詢，我們可以使用 find 方法。例如，這里查找年齡為 20 的數據，示例如下：

results = collection.find({'age': 20}) print(results) for result in results:print(result)

運行結果如下：

<pymongo.cursor.Cursor object at 0x1032d5128> {'_id': ObjectId('593278c115c2602667ec6bae'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'} {'_id': ObjectId('593278c815c2602678bb2b8d'), 'id': '20170102', 'name': 'Kevin', 'age': 20, 'gender': 'male'} {'_id': ObjectId('593278d815c260269d7645a8'), 'id': '20170103', 'name': 'Harden', 'age': 20, 'gender': 'male'}

返回結果是 Cursor 類型，它相當于一個生成器，我們需要遍歷獲取的所有結果，其中每個結果都是字典類型。

如果要查詢年齡大于 20 的數據，則寫法如下：

results = collection.find({'age': {'$gt': 20}})

這里查詢的條件鍵值已經不是單純的數字了，而是一個字典，其鍵名為比較符號 $gt，意思是大于，鍵值為 20。

我將比較符號歸納為下表：

另外，還可以進行正則匹配查詢。例如，查詢名字以 M 開頭的學生數據，示例如下：

results = collection.find({'name': {'$regex': '^M.*'}})

這里使用 $regex 來指定正則匹配，^M.* 代表以 M 開頭的正則表達式。

我將一些功能符號歸類為下表：

關于這些操作的更詳細用法，可以在 MongoDB 官方文檔找到： https://docs.mongodb.com/manual/reference/operator/query/。

7.計數

要統計查詢結果有多少條數據，可以調用 count 方法。我們以統計所有數據條數為例：

count = collection.find().count() print(count)

我們還可以統計符合某個條件的數據：

count = collection.find({'age': 20}).count() print(count)

運行結果是一個數值，即符合條件的數據條數。

8.排序

排序時，我們可以直接調用 sort 方法，并在其中傳入排序的字段及升降序標志。示例如下：

results = collection.find().sort('name', pymongo.ASCENDING) print([result['name'] for result in results])

運行結果如下：

['Harden', 'Jordan', 'Kevin', 'Mark', 'Mike']

這里我們調用 pymongo.ASCENDING 指定升序。如果要降序排列，可以傳入 pymongo.DESCENDING。

9.偏移

在某些情況下，我們可能只需要取某幾個元素，這時可以利用 skip 方法偏移幾個位置，比如偏移 2，就代表忽略前兩個元素，得到第 3 個及以后的元素：

results = collection.find().sort('name', pymongo.ASCENDING).skip(2) print([result['name'] for result in results])

運行結果如下：

['Kevin', 'Mark', 'Mike']

另外，我們還可以用 limit 方法指定要取的結果個數，示例如下：

results = collection.find().sort('name', pymongo.ASCENDING).skip(2).limit(2) print([result['name'] for result in results])

運行結果如下：

['Kevin', 'Mark']

如果不使用 limit 方法，原本會返回 3 個結果，加了限制后，就會截取兩個結果返回。

值得注意的是，在數據量非常龐大的時候，比如在查詢千萬、億級別的數據庫時，最好不要使用大的偏移量，因為這樣很可能導致內存溢出。此時可以使用類似如下操作來查詢：

from bson.objectid import ObjectId collection.find({'_id': {'$gt': ObjectId('593278c815c2602678bb2b8d')}})

這時需要記錄好上次查詢的 _id。

10.更新

對于數據更新，我們可以使用 update 方法，指定更新的條件和更新后的數據即可。例如

condition = {'name': 'Kevin'} student = collection.find_one(condition) student['age'] = 25 result = collection.update(condition, student) print(result)

這里我們要更新 name 為 Kevin 的數據的年齡：首先指定查詢條件，然后將數據查詢出來，修改年齡后調用 update 方法將原條件和修改后的數據傳入。

運行結果如下：

{'ok': 1, 'nModified': 1, 'n': 1, 'updatedExisting': True}

返回結果是字典形式，ok 代表執行成功，nModified 代表影響的數據條數。

另外，我們也可以使用 $set 操作符對數據進行更新，代碼如下：

result = collection.update(condition, {'$set': student})

這樣可以只更新 student 字典內存在的字段。如果原先還有其他字段，則不會更新，也不會刪除。而如果不用 $set 的話，則會把之前的數據全部用 student 字典替換；如果原本存在其他字段，則會被刪除。

另外，update 方法其實也是官方不推薦使用的方法。這里也分為 update_one 方法和 update_many 方法，用法更加嚴格，它們的第 2 個參數需要使用 $ 類型操作符作為字典的鍵名，示例如下：

condition = {'name': 'Kevin'} student = collection.find_one(condition) student['age'] = 26 result = collection.update_one(condition, {'$set': student}) print(result) print(result.matched_count, result.modified_count)

上面的例子中調用了 update_one 方法，使得第 2 個參數不能再直接傳入修改后的字典，而是需要使用 {’$set’: student} 這樣的形式，其返回結果是 UpdateResult 類型。然后分別調用 matched_count 和 modified_count 屬性，可以獲得匹配的數據條數和影響的數據條數。

運行結果如下：

<pymongo.results.UpdateResult object at 0x10d17b678> 1 0

我們再看一個例子：

condition = {'age': {'$gt': 20}} result = collection.update_one(condition, {'$inc': {'age': 1}}) print(result) print(result.matched_count, result.modified_count)

這里指定查詢條件為年齡大于 20，然后更新條件為 {’$inc’: {‘age’: 1}}，表示年齡加 1，執行之后會將第一條符合條件的數據年齡加 1。

運行結果如下：

<pymongo.results.UpdateResult object at 0x10b8874c8> 1 1

可以看到匹配條數為 1 條，影響條數也為 1 條。

如果調用 update_many 方法，則會將所有符合條件的數據都更新，示例如下：

condition = {'age': {'$gt': 20}} result = collection.update_many(condition, {'$inc': {'age': 1}}) print(result) print(result.matched_count, result.modified_count)

這時匹配條數就不再為 1 條了，運行結果如下：

<pymongo.results.UpdateResult object at 0x10c6384c8> 3 3

可以看到，這時所有匹配到的數據都會被更新。

11.刪除

刪除操作比較簡單，直接調用 remove 方法指定刪除的條件即可，此時符合條件的所有數據均會被刪除。

示例如下：

result = collection.remove({'name': 'Kevin'}) print(result)

運行結果如下：

{'ok': 1, 'n': 1}

另外，這里依然存在兩個新的推薦方法 —— delete_one 和 delete_many，示例如下：

result = collection.delete_one({'name': 'Kevin'}) print(result) print(result.deleted_count) result = collection.delete_many({'age': {'$lt': 25}}) print(result.deleted_count)

運行結果如下：

<pymongo.results.DeleteResult object at 0x10e6ba4c8> 1 4

delete_one 即刪除第一條符合條件的數據，delete_many 即刪除所有符合條件的數據。它們的返回結果都是 DeleteResult 類型，可以調用 deleted_count 屬性獲取刪除的數據條數。

12.其他操作

另外，PyMongo 還提供了一些組合方法，如 find_one_and_delete、find_one_and_replace 和 find_one_and_update，它們分別用于查找后刪除、替換和更新操作，其使用方法與上述方法基本一致。

另外，我們還可以對索引進行操作，相關方法有 create_index、create_indexes 和 drop_index 等。

關于 PyMongo 的詳細用法，可以參見官方文檔：http://api.mongodb.com/python/current/api/pymongo/collection.html。

另外，還有對數據庫和集合本身等的一些操作，這里不再一一講解，可以參見官方文檔：http://api.mongodb.com/python/current/api/pymongo/。

總結

以上是生活随笔為你收集整理的第10讲：高效存储 MongoDB 的用法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。