最全总结 | 聊聊 Python 数据处理全家桶(Sqlite篇)
1. 前言
Sqlite 是一種?嵌入式數據庫,數據庫就是一個文件,體積很小,底層由 C 語言編寫,經常被集成到移動應用程序中
事實上,Python?內置了 sqlite3 模塊,不需要安裝任何依賴,就可以直接操作 Sqlite 數據庫
2. 準備
和 Python 操作 Mysql 類似,操作 Sqlite?主要包含下面 2?種方式:
sqlite3 + 原生 SQL
SQLAlchemy +?ORM
3. sqlite3 + 原生 SQL
由于 Python 內置了 sqlite3 模塊,這里直接導入就可以使用了
#?導入內置模塊sqlite3 import?sqlite3首先,我們使用 sqlite3?的 connnect() 方法創建一個數據庫連接對象,如果數據庫不存在,就自動在對應目錄下新建一個數據庫文件
#?創建數據庫連接對象,如果數據庫不存在,就自動新建一個數據庫文件 #?還可以指定其他參數,包含:超時時間self.conn?=?sqlite3.connect(self.path_db)然后,通過數據庫連接對象獲取一個操作數據庫的 游標實例
#?獲取操作數據庫的游標對象 self.cursor?=?self.conn.cursor()接著,使用數據庫連接對象執行創建表的 SQL 語句,在數據庫內新建一張表
#?創建表 SQL_CREATE_TABLE?=?'''CREATE?TABLE?IF?NOT?EXISTS?PEOPLE(ID?INT?PRIMARY?KEY?????NOT?NULL,NAME???????????TEXT????NOT?NULL,AGE????????????INT?????NOT?NULL);'''def?create_db_table(self):"""初始化表:return:"""self.conn.execute(SQL_CREATE_TABLE)接下來,我們通過增刪改查來操作數據表
1、新增
同樣以新增單條數據和多條數據為例
對于單條數據的插入,只需要編寫一條插入的 SQL 語句,然后作為參數執行上面數據庫連接對象的?execute(sql) 方法,最后使用數據庫連接對象的 commit() 方法將數據提交到數據庫中
#?插入一條數據 SQL_INSERT_ONE_DATA?=?"INSERT?INTO?PEOPLE(id,name,age)?VALUES(3,'xag',23);"def?insert_one(self):"""新增一條數據"""try:self.conn.execute(SQL_INSERT_ONE_DATA)#?必須要提交,才能正確執行self.conn.commit()except?Exception?as?e:self.conn.rollback()print('插入一條記錄失敗,回滾~')需要注意的是,插入操作經常會因為主鍵原因導致新增異常,所以需要捕獲異常,執行回滾操作
使用數據庫連接對象的?executemany() 方法,傳入插入的 SQL 語句及?位置變量列表,可以實現一次插入多條數據
#?插入多條數據(3個變量,包含:id、name、value) SQL_INSERT_MANY_DATA?=?'INSERT?INTO?PEOPLE?(id,name,age)?VALUES(?,?,?);'#?待插入的數據 self.data?=?[(4,?'張三',?11),?(5,?'李四',?12),?(6,?'王五',?13)]def?insert_many(self,?data):"""新增多條數據"""try:self.conn.executemany(SQL_INSERT_MANY_DATA,?data)self.conn.commit()except?Exception?as?e:self.conn.rollback()print('插入多條記錄失敗,回滾~')2、查詢
查詢分為 2 步,分別是:
通過游標對象執行查詢的 SQL 語句
調用游標對象的方法獲取查詢結果
比如:
要獲取所有數據,可以使用游標對象的 fetchall() 方法
要獲取第一條滿足條件的數據,可以使用 fetchone() 方法
另外,fetchmany(num)?可以查詢固定數量的數據
#?查詢的SQL語句 SQL_QUERY_ONE_DATA?=?"SELECT?*?FROM?PEOPLE?WHERE?id={}"def?query_one(self,?id):"""查詢一條數據:param?id::return:"""self.cursor.execute(SQL_QUERY_ONE_DATA.format(id))#?fetchone():查詢第一條數據# fetchall():查詢所有數據#?fetchmany(1):查詢固定的數量的數據result?=?self.cursor.fetchall()print(type(result))print(result)3、更新
和 新增操作 類似,更新操作也是通過數據庫連接對象去執行更新的 SQL?語句,最后執行提交操作,將數據真實更新到數據表中
以更新某一條記錄為例
#?更新數據 SQL_UPDATE_ONE_DATA?=?"UPDATE?PEOPLE?SET?NAME?=?'{}',AGE={}?where?id?=?{}"def?update_one(self,?id,?name,?age):"""修改一條記錄:param?id::param?name::param?age::return:"""sql_update?=?SQL_UPDATE_ONE_DATA.format(name,?age,?id)print(sql_update)self.conn.execute(sql_update)self.conn.commit()4、刪除
刪除操作同查詢、新增操作類似,只需要執行刪除的?SQL 語句即可
以刪除某一條記錄為例
#?刪除數據 SQL_DEL_ONE_DATA?=?"DELETE?FROM?PEOPLE?where?id?={}"def?del_one(self,?id):"""通過id去刪除一條數據"""sql_del?=?SQL_DEL_ONE_DATA.format(id)self.conn.execute(sql_del)self.conn.commit()最后,我們同樣需要將游標對象和數據庫連接對象,資源釋放
def?teardown(self):#?關閉游標和數據庫連接,避免資源浪費self.cursor.close()self.conn.close()4.?SQLAlchemy + ORM
使用 SQLAlchemy 操作 sqlite 數據庫同樣先需要安裝依賴庫
#?安裝依賴包 pip3?install?sqlalchemy通過內置方法?declarative_base()?創建一個基礎類 Base
然后,自定義一個 Base 類的子類,內部通過定義靜態變量指定表名、表的字段
from?sqlalchemy?import?Column,?Integer,?String,?create_engine from?sqlalchemy.ext.declarative?import?declarative_base#?基礎類 Base?=?declarative_base()#?自定義的表 class?People(Base):#?表名__tablename__?=?'people'#?定義字段id?=?Column(Integer,?primary_key=True)name?=?Column(String)age?=?Column(Integer)def?__repr__(self):"""便于打印結果:return:"""return?"<People(id:{},name:{},age:{})".format(self.id,?self.name,?self.age)接著,通過?SQLAlchemy 的?create_engine(sqlite數據庫路徑)?方法中創建數據庫連接對象
格式為:sqlite:///數據庫相對路徑
#?創建數據庫連接 engine?=?create_engine('sqlite:///./xh.db',?echo=True)最后,通過數據庫引擎在數據庫中創建表結構,并實例化一個 數據庫會話對象
PS:數據庫會話對象內置的方法非常方便我們進行增刪改查操作
#?創建表結構 # checkfirst:判斷表是否存在,如果存在,就不重復創建 Base.metadata.create_all(engine,?checkfirst=True)#?實例化會話 self.session?=?sessionmaker(bind=engine)()這樣所有的準備工作已經完成,接下來可以進行增刪改查操作了
1、新增
新增操作同樣以新增一條和多條記錄為例,它們分別對應會話對象的 add()、add_all() 方法
對于一條記錄的新增操作,只需要實例化一個?People 對象,執行上面的會話對象的 add(instance) 和?commit()?兩個方法,即可以將數據插入到數據表中
def?add_one_data(self):"""新增一條數據"""#?創建一個表的實例對象people?=?People(name='xag1',?age=24)self.session.add(people)#?必須提交,才能更新到數據庫中self.session.commit()如果需要一次插入多條數據,只需要調用 add_all(列表數據)?即可
def?add_datas(self,?data):"""新增多條數據:return:"""self.session.add_all(data)self.session.commit()2、查詢
查詢數據表的操作對應會話對象的 query() 方法
同時,還可以結合?all()、first()、filter_by(限制條件)?級聯方法限制要查詢的數據
以查詢所有記錄和根據 id 查詢一條記錄為例
def?query_one_data(self,?id):"""通過id去查詢一條數據:param?id::return:"""#?通過id去查詢數據,取第一條people?=?self.session.query(People).filter_by(id=id).first()print(people)print(type(people))def?query_all(self):"""查詢所有數據:return:"""peoples?=?self.session.query(People).all()print(peoples)print(type(peoples))3、更新
更新操作一般做法是:
query 查詢出待更新的對象
直接更新對象中的數據
使用會話對象提交修改,完成更新操作
需要指出的是,這里也可以使用內置方法 update() ,對上面的更新操作進行簡寫
def?update2(self,?id,?name,?age):"""更新記錄方法2:param?id::param?name::param?age::return:"""self.session.query(People).filter_by(id=id).update({People.name:?name,?People.age:?age})self.session.commit()4、刪除
和更新操作一樣,刪除操作也有兩種實現方式
第一種方式的思路是,先查詢,后刪除,最后提交會話完成刪除操作
以按照 id 刪除某一條記錄為例:
def?del_one_data1(self,?id):"""刪除一條數據方法1:param?id::return:"""people_temp?=?self.session.query(People).filter_by(id=id).first()#?判斷是否為空if?people_temp?is?not?None:self.session.delete(people_temp)self.session.commit()else:print('此條記錄不存在,刪除失敗!')需要注意的是,查詢的結果必須判斷是否為空,否則直接執行刪除操作,可以會拋出異常
另外一種方式是,直接使用級聯函數將上面的刪除操作進行簡寫
同樣,這種刪除操作需要捕獲異常,避免查詢的結果為空的情況
最后,完成所有操作之后,我們需要結束會話、銷毀數據庫引擎
def?teardown(self):"""釋放資源:return:"""#?結束會話self.session.close()#?銷毀引擎self.engine.dispose()5.最后
本篇文章通過一張表的增刪改查,詳細講解了 Python 操作 sqlite 的兩種使用方式
我已經將文中全部源碼上傳到后臺,關注公眾號后回復「 813?」即可獲得全部源碼
如果你覺得文章還不錯,請大家?三連一下,因為這將是我持續輸出更多優質文章的最強動力!
推薦閱讀:入門:?最全的零基礎學Python的問題? |?零基礎學了8個月的Python??|?實戰項目?|學Python就是這條捷徑干貨:爬取豆瓣短評,電影《后來的我們》?|?38年NBA最佳球員分析?|? ?從萬眾期待到口碑撲街!唐探3令人失望? |?笑看新倚天屠龍記?|?燈謎答題王?|用Python做個海量小姐姐素描圖?|碟中諜這么火,我用機器學習做個迷你推薦系統電影趣味:彈球游戲? |?九宮格? |?漂亮的花?|?兩百行Python《天天酷跑》游戲!AI:?會做詩的機器人?|?給圖片上色?|?預測收入?|?碟中諜這么火,我用機器學習做個迷你推薦系統電影小工具:?Pdf轉Word,輕松搞定表格和水印!?|?一鍵把html網頁保存為pdf!|??再見PDF提取收費!?|?用90行代碼打造最強PDF轉換器,word、PPT、excel、markdown、html一鍵轉換?|?制作一款釘釘低價機票提示器!?|60行代碼做了一個語音壁紙切換器天天看小姐姐!|年度爆款文案1).臥槽!Pdf轉Word用Python輕松搞定!2).學Python真香!我用100行代碼做了個網站,幫人PS旅行圖片,賺個雞腿吃3).首播過億,火爆全網,我分析了《乘風破浪的姐姐》,發現了這些秘密?4).80行代碼!用Python做一個哆來A夢分身?5).你必須掌握的20個python代碼,短小精悍,用處無窮?6).30個Python奇淫技巧集?7).我總結的80頁《菜鳥學Python精選干貨.pdf》,都是干貨?8).再見Python!我要學Go了!2500字深度分析!9).發現一個舔狗福利!這個Python爬蟲神器太爽了,自動下載妹子圖片 點閱讀原文,領AI全套資料!總結
以上是生活随笔為你收集整理的最全总结 | 聊聊 Python 数据处理全家桶(Sqlite篇)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 网络通信技术基础
- 下一篇: python车流量检测车流统计车辆计数y