python数据库操作nosql_用Python写一个NoSQL数据库
Set Up
下面是我們服務(wù)器所需的一些樣板代碼：
"""NoSQL database written in Python"""
# Standard library imports
import socket
HOST = 'localhost'
PORT = 50505
SOCKET = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
STATS = {
'PUT': {'success': 0, 'error': 0},
'GET': {'success': 0, 'error': 0},
'GETLIST': {'success': 0, 'error': 0},
'PUTLIST': {'success': 0, 'error': 0},
'INCREMENT': {'success': 0, 'error': 0},
'APPEND': {'success': 0, 'error': 0},
'DELETE': {'success': 0, 'error': 0},
'STATS': {'success': 0, 'error': 0},
}
很容易看到， 上面的只是一個(gè)包的導(dǎo)入和一些數(shù)據(jù)的初始化。
Set up(Cont'd)
接下來我會(huì)跳過一些代碼， 以便能夠繼續(xù)展示上面準(zhǔn)備部分剩余的代碼。 注意它涉及到了一些尚不存在的一些函數(shù)， 不過沒關(guān)系， 我們會(huì)在后面涉及。 在完整版(將會(huì)呈現(xiàn)在最后)中， 所有內(nèi)容都會(huì)被有序編排。 這里是剩余的安裝代碼：
COMMAND_HANDERS = {
'PUT': handle_put,
'GET': handle_get,
'GETLIST': handle_getlist,
'PUTLIST': handle_putlist,
'INCREMENT': handle_increment,
'APPEND': handle_append,
'DELETE': handle_delete,
'STATS': handle_stats,
}
DATA = {}
def main():
"""Main entry point for script"""
SOCKET.bind(HOST, PORT)
SOCKET.listen(1)
while 1:
connection, address = SOCKET.accept()
print('New connection from [{}]'.format(address))
data = connection.recv(4096).decode()
command, key, value = parse_message(data)
if command == 'STATS':
response = handle_stats()
elif command in ('GET', 'GETLIST', 'INCREMENT', 'DELETE'):
response = COMMAND_HANDERS[command](key)
elif command in (
'PUT',
'PUTLIST',
'APPEND', ):
response = COMMAND_HANDERS[command](key, value)
else:
response = (False, 'Unknown command type {}'.format(command))
update_stats(command, response[0])
connection.sandall('{};{}'.format(response[0], response[1]))
connection.close()
if __name__ == '__main__':
main()
我們創(chuàng)建了 COMMAND_HANDLERS, 它常被稱為是一個(gè) 查找表 (look-up table) . COMMAND_HANDLERS 的工作是將命令與用于處理該命令的函數(shù)進(jìn)行關(guān)聯(lián)起來。 比如說， 如果我們收到一個(gè) GET 命令， COMMAND_HANDLERS[command](key) 就等同于說 handle_get(key) . 記住，在 Python 中, 函數(shù)可以被認(rèn)為是一個(gè)值，并且可以像其他任何值一樣被存儲(chǔ)在一個(gè) dict 中。
在上面的代碼中， 雖然有些命令請(qǐng)求的參數(shù)相同，但是我仍決定分開處理每個(gè)命令。 盡管可以簡(jiǎn)單粗暴地強(qiáng)制所有的 handle_ 函數(shù)接受一個(gè) key 和一個(gè) value , 但是我希望這些處理函數(shù)條理能夠更加有條理， 更加容易測(cè)試，同時(shí)減少出現(xiàn)錯(cuò)誤的可能性。
注意 socket 相關(guān)的代碼已是十分極簡(jiǎn)。 雖然整個(gè)服務(wù)器基于 TCP/IP 通信， 但是并沒有太多底層的網(wǎng)絡(luò)交互代碼。
最后還須需要注意的一小點(diǎn): DATA 字典， 因?yàn)檫@個(gè)點(diǎn)并不十分重要， 因而你很可能會(huì)遺漏它。 DATA 就是實(shí)際用來存儲(chǔ)的 key-value pair, 正是它們實(shí)際構(gòu)成了我們的數(shù)據(jù)庫(kù)。
Command Parser
下面來看一些 命令解析器 (command parser) , 它負(fù)責(zé)解釋接收到的消息：
def parse_message(data):
"""Return a tuple containing the command, the key, and (optionally) the
value cast to the appropriate type."""
command, key, value, value_type = data.strip().split(';')
if value_type:
if value_type == 'LIST':
value = value.split(',')
elif value_type == 'INT':
value = int(value)
else:
value = str(value)
else:
value = None
return command, key, value
這里我們可以看到發(fā)生了類型轉(zhuǎn)換 (type conversion). 如果希望值是一個(gè) list, 我們可以通過對(duì) string 調(diào)用 str.split(',') 來得到我們想要的值。 對(duì)于 int, 我們可以簡(jiǎn)單地使用參數(shù)為 string 的 int() 即可。 對(duì)于字符串與 str() 也是同樣的道理。
Command Handlers
下面是命令處理器 (command handler) 的代碼. 它們都十分直觀，易于理解。 注意到雖然有很多的錯(cuò)誤檢查， 但是也并不是面面俱到, 十分龐雜。 在你閱讀的過程中，如果發(fā)現(xiàn)有任何錯(cuò)誤請(qǐng)移步 這里 進(jìn)行討論.
def update_stats(command, success):
"""Update the STATS dict with info about if executing *command* was a
*success*"""
if success:
STATS[command]['success'] += 1
else:
STATS[command]['error'] += 1
def handle_put(key, value):
"""Return a tuple containing True and the message to send back to the
client."""
DATA[key] = value
return (True, 'key [{}] set to [{}]'.format(key, value))
def handle_get(key):
"""Return a tuple containing True if the key exists and the message to send
back to the client"""
if key not in DATA:
return (False, 'Error: Key [{}] not found'.format(key))
else:
return (True, DATA[key])
def handle_putlist(key, value):
"""Return a tuple containing True if the command succeeded and the message
to send back to the client."""
return handle_put(key, value)
def handle_putlist(key, value):
"""Return a tuple containing True if the command succeeded and the message
to send back to the client"""
return handle_put(key, value)
def handle_getlist(key):
"""Return a tuple containing True if the key contained a list and the
message to send back to the client."""
return_value = exists, value = handle_get(key)
if not exists:
return return_value
elif not isinstance(value, list):
return (False, 'ERROR: Key [{}] contains non-list value ([{}])'.format(
key, value))
else:
return return_value
def handle_increment(key):
"""Return a tuple containing True if the key's value could be incremented
and the message to send back to the client."""
return_value = exists, value = handle_get(key)
if not exists:
return return_value
elif not isinstance(list_value, list):
return (False, 'ERROR: Key [{}] contains non-list value ([{}])'.format(
key, value))
else:
DATA[key].append(value)
return (True, 'Key [{}] had value [{}] appended'.format(key, value))
def handle_delete(key):
"""Return a tuple containing True if the key could be deleted and the
message to send back to the client."""
if key not in DATA:
return (
False,
'ERROR: Key [{}] not found and could not be deleted.'.format(key))
else:
del DATA[key]
def handle_stats():
"""Return a tuple containing True and the contents of the STATS dict."""
return (True, str(STATS))
有兩點(diǎn)需要注意： 多重賦值 (multiple assignment) 和代碼重用. 有些函數(shù)僅僅是為了更加有邏輯性而對(duì)已有函數(shù)的簡(jiǎn)單包裝而已， 比如 handle_get 和 handle_getlist . 由于我們有時(shí)僅僅是需要一個(gè)已有函數(shù)的返回值，而其他時(shí)候卻需要檢查該函數(shù)到底返回了什么內(nèi)容， 這時(shí)候就會(huì)使用 多重賦值 。
來看一下 handle_append . 如果我們嘗試調(diào)用 handle_get 但是 key 并不存在時(shí)， 那么我們簡(jiǎn)單地返回 handle_get 所返回的內(nèi)容。 此外， 我們還希望能夠?qū)?handle_get 返回的 tuple 作為一個(gè)單獨(dú)的返回值進(jìn)行引用。 那么當(dāng) key 不存在的時(shí)候， 我們就可以簡(jiǎn)單地使用 return return_value .
如果它 確實(shí)存在 ， 那么我們需要檢查該返回值。并且， 我們也希望能夠?qū)?handle_get 的返回值作為單獨(dú)的變量進(jìn)行引用。 為了能夠處理上述兩種情況，同時(shí)考慮需要分開處理結(jié)果的情形，我們使用了多重賦值。 如此一來， 就不必書寫多行代碼， 同時(shí)能夠保持代碼清晰。 return_value = exists, list_value = handle_get(key) 能夠顯式地表明我們將要以至少兩種不同的方式引用 handle_get 的返回值。
How Is This a Database?
上面的程序顯然并非一個(gè) RDBMS, 但卻絕對(duì)稱得上是一個(gè) NoSQL 數(shù)據(jù)庫(kù)。它如此易于創(chuàng)建的原因是我們并沒有任何與 數(shù)據(jù) (data) 的實(shí)際交互。 我們只是做了極簡(jiǎn)的類型檢查，存儲(chǔ)用戶所發(fā)送的任何內(nèi)容。 如果需要存儲(chǔ)更加結(jié)構(gòu)化的數(shù)據(jù)， 我們可能需要針對(duì)數(shù)據(jù)庫(kù)創(chuàng)建一個(gè) schema 用于存儲(chǔ)和檢索數(shù)據(jù)。
既然 NoSQL 數(shù)據(jù)庫(kù)更容易寫， 更容易維護(hù)，更容易實(shí)現(xiàn)， 那么我們?yōu)槭裁床皇侵皇褂?mongoDB 就好了? 當(dāng)然是有原因的， 還是那句話，有得必有失， 我們需要在 NoSQL 數(shù)據(jù)庫(kù)所提供的數(shù)據(jù)靈活性 (data flexibility) 基礎(chǔ)上權(quán)衡數(shù)據(jù)庫(kù)的可搜索性 (searchability).
Querying Data
假如我們上面的 NoSQL 數(shù)據(jù)庫(kù)來存儲(chǔ)早前的 Car 數(shù)據(jù)。 那么我們可能會(huì)使用 VIN 作為 key, 使用一個(gè)列表作為每列的值， 也就是說, 2134AFGER245267 = ['Lexus', 'RX350', 2013, Black] . 當(dāng)然了， 我們已經(jīng)丟掉了列表中每個(gè)索引的 涵義 (meaning) . 我們只需要知道在某個(gè)地方索引 1 存儲(chǔ)了汽車的 Model , 索引 2 存儲(chǔ)了 Year.
糟糕的事情來了， 當(dāng)我們想要執(zhí)行先前的查詢語句時(shí)會(huì)發(fā)生什么? 找到 1994 年所有車的顏色將會(huì)變得噩夢(mèng)一般。 我們必須遍歷 DATA 中的 每一個(gè)值 來確認(rèn)這個(gè)值是否存儲(chǔ)了 car 數(shù)據(jù)亦或根本是其他不相關(guān)的數(shù)據(jù)， 比如說檢查索引 2, 看索引 2 的值是否等于 1994，接著再繼續(xù)取索引 3 的值. 這比 table scan 還要糟糕，因?yàn)樗粌H要掃描每一行數(shù)據(jù)，還需要應(yīng)用一些復(fù)雜的規(guī)則來回答查詢。
NoSQL 數(shù)據(jù)庫(kù)的作者當(dāng)然也意識(shí)到了這些問題，(鑒于查詢是一個(gè)非常有用的 feature) 他們也想出了一些方法來使得查詢變得不那么 “遙不可及”。一個(gè)方法是結(jié)構(gòu)化所使用的數(shù)據(jù)，比如 JSON, 允許引用其他行來表示關(guān)系。 同時(shí)， 大部分 NoSQL 數(shù)據(jù)庫(kù)都有名字空間 (namespace) 的概念， 單一類型的數(shù)據(jù)可以被存儲(chǔ)在數(shù)據(jù)庫(kù)中該類型所獨(dú)有的 "section" 中，這使得查詢引擎能夠利用所要查詢數(shù)據(jù)的 "shape" 信息。
當(dāng)然了，盡管為了增強(qiáng)可查詢性已經(jīng)存在 (并且實(shí)現(xiàn)了)了一些更加復(fù)雜的方法， 但是在存儲(chǔ)更少量的 schema 與增強(qiáng)可查詢性之間做出妥協(xié)始終是一個(gè)不可逃避的問題。 本例中我們的數(shù)據(jù)庫(kù)僅支持通過 key 進(jìn)行查詢。 如果我們需要支持更加豐富的查詢， 那么事情就會(huì)變得復(fù)雜的多了。
Summary
至此, 希望 "NoSQL" 這個(gè)概念已然十分清晰。 我們學(xué)習(xí)了一點(diǎn) SQL, 并且了解了 RDBMS 是如何工作的。 我們看到了如何從一個(gè) RDBMS 中檢索數(shù)據(jù) (使用 SQL 查詢 (query)). 通過搭建了一個(gè)玩具級(jí)別的 NoSQL 數(shù)據(jù)庫(kù), 了解了在可查詢性與簡(jiǎn)潔性之間面臨的一些問題， 還討論了一些數(shù)據(jù)庫(kù)作者應(yīng)對(duì)這些問題時(shí)所采用的一些方法。
即便是簡(jiǎn)單的 key-value 存儲(chǔ)， 關(guān)于數(shù)據(jù)庫(kù)的知識(shí)也是浩瀚無窮。雖然我們僅僅是探討了其中的星星點(diǎn)點(diǎn), 但是仍然希望你已經(jīng)了解了 NoSQL 到底指的是什么， 它是如何工作的， 什么時(shí)候用比較好。
22/2<12
總結(jié)
以上是生活随笔為你收集整理的python数据库操作nosql_用Python写一个NoSQL数据库的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 惠普台式机 bios怎么进 惠普台式电脑
- 下一篇： python时间序列滞后命令_如何在Py