當前位置：首頁 > 编程语言 > python >内容正文

python

Python学习笔记:第三方模块2

發布時間：2025/3/15 python 31 豆豆

生活随笔收集整理的這篇文章主要介紹了 Python学习笔记:第三方模块2 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

前言

最近在學習深度學習，已經跑出了幾個模型，但Pyhton的基礎不夠扎實，因此，開始補習Python了，大家都推薦廖雪峰的課程，因此，開始了學習，但光學有沒有用，還要和大家討論一下，因此，寫下這些帖子，廖雪峰的課程連接在這里：廖雪峰
Python的相關介紹，以及它的歷史故事和運行機制，可以參見這篇：python介紹
Python的安裝可以參見這篇：Python安裝
Python的運行模式以及輸入輸出可以參見這篇：Python IO
Python的基礎概念介紹，可以參見這篇：Python 基礎
Python字符串和編碼的介紹，可以參見這篇：Python字符串與編碼
Python基本數據結構：list和tuple介紹，可以參見這篇：Python list和tuple
Python控制語句介紹：ifelse，可以參見這篇：Python 條件判斷
Python控制語句介紹：循環實現，可以參見這篇：Python循環語句
Python數據結構：dict和set介紹Python數據結構dict和set
Python函數相關：Python函數
Python高階特性：Python高級特性
Python高階函數：Python高階函數
Python匿名函數：Python匿名函數
Python裝飾器：Python裝飾器
Python偏函數：Python偏函數
Python模塊：Python模塊
Python面向對象編程（1）：Python面向對象
Python面向對象編程（2）：Python面向對象（2）
Python面向對象編程（3）：Python面向對象（3）
Python面向對象編程（4）：Pyhton面向對象（4）
Python面向對象高級編程（上）：Python面向對象高級編程（上）
Python面向對象高級編程（中上）：Python面向對象高級編程（中上）
Python面向對象高級編程（中下）：Python面向對象高級編程（中下）
Python面向對象高級編程（完）：Python面向對象高級編程（完）
Python錯誤調試（起）：Python調試：起
Python錯誤調試（承）：Python調試：承
Python錯誤調試（轉）：Python調試：轉
Python錯誤調試（合）：python調試：合
Python文件IO編程：Python文件IO
Python文件IO編程2：Python文件IO2
Python文件IO編程3：PYthon文件IO3
Python進程和線程（起）：Python進程和線程起
Python進程和線程（承）：Python進程和線程承
Python進程和線程（轉）：Python進程和線程轉
Python進程和線程（合）：Python進程和線程合
Python正則表達式：Python正則表達式
Python學習筆記:常用內建模塊1：Python學習筆記：常用內建模塊1
Python學習筆記:常用內建模塊2：Python學習筆記：常用內建模塊2
Python學習筆記:常用內建模塊3：Python學習筆記：常用內建模塊3
Python學習筆記:常用內建模塊4：Python學習筆記: 常用內建模塊4
Python學習筆記:常用內建模塊5：Python學習筆記: 常用內建模塊5
Python學習筆記:常用內建模塊6:Python學習筆記：常用內建模塊6
Python學習筆記:第三方模塊1：Python常用第三方模塊

Chardet

字符串編碼一直是令人非常頭疼的問題，尤其是我們在處理一些不規范的第三方網頁的時候。雖然Python提供了Unicode表示的str和bytes兩種數據類型，并且可以通過encode()和decode()方法轉換，但是，在不知道編碼的情況下，對bytes做decode()不好做。
對于未知編碼的bytes，要把它轉換成str，需要先“猜測”編碼。猜測的方式是先收集各種編碼的特征字符，根據特征字符判斷，就能有很大概率“猜對”。
當然，我們肯定不能從頭自己寫這個檢測編碼的功能，這樣做費時費力。chardet這個第三方庫正好就派上了用場。用它來檢測編碼，簡單易用。

安裝chardet

如果安裝了Anaconda，chardet就已經可用了。否則，需要在命令行下通過pip安裝：

$ pip install chardet

如果遇到Permission denied安裝失敗，請加上sudo重試。

使用chardet

當我們拿到一個bytes時，就可以對其檢測編碼。用chardet檢測編碼，只需要一行代碼：

>>> chardet.detect(b'Hello, world!') {'encoding': 'ascii', 'confidence': 1.0, 'language': ''}

檢測出的編碼是ascii，注意到還有個confidence字段，表示檢測的概率是1.0（即100%）。

我們來試試檢測GBK編碼的中文：

>>> data = '離離原上草，一歲一枯榮'.encode('gbk') >>> chardet.detect(data) {'encoding': 'GB2312', 'confidence': 0.7407407407407407, 'language': 'Chinese'}

檢測的編碼是GB2312，注意到GBK是GB2312的超集，兩者是同一種編碼，檢測正確的概率是74%，language字段指出的語言是’Chinese’。

對UTF-8編碼進行檢測：

>>> data = '離離原上草，一歲一枯榮'.encode('utf-8') >>> chardet.detect(data) {'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}

我們再試試對日文進行檢測：

>>> data = '最新の主要ニュース'.encode('euc-jp') >>> chardet.detect(data) {'encoding': 'EUC-JP', 'confidence': 0.99, 'language': 'Japanese'}

可見，用chardet檢測編碼，使用簡單。獲取到編碼后，再轉換為str，就可以方便后續處理。

chardet支持檢測的編碼列表請參考官方文檔支持的碼。

psutil

用Python來編寫腳本簡化日常的運維工作是Python的一個重要用途。在Linux下，有許多系統命令可以讓我們時刻監控系統運行的狀態，如ps，top，free等等。要獲取這些系統信息，Python可以通過subprocess模塊調用并獲取結果。但這樣做顯得很麻煩，尤其是要寫很多解析代碼。

在Python中獲取系統信息的另一個好辦法是使用psutil這個第三方模塊。顧名思義，psutil = process and system utilities，它不僅可以通過一兩行代碼實現系統監控，還可以跨平臺使用，支持Linux／UNIX／OSX／Windows等，是系統管理員和運維小伙伴不可或缺的必備模塊。

安裝psutil

如果安裝了Anaconda，psutil就已經可用了。否則，需要在命令行下通過pip安裝：

$ pip install psutil

如果遇到Permission denied安裝失敗，請加上sudo重試。

獲取CPU信息

我們先來獲取CPU的信息：

>>> import psutil >>> psutil.cpu_count() # CPU邏輯數量 4 >>> psutil.cpu_count(logical=False) # CPU物理核心 2 # 2說明是雙核超線程, 4則是4核非超線程統計CPU的用戶／系統／空閑時間：>>> psutil.cpu_times() scputimes(user=10963.31, nice=0.0, system=5138.67, idle=356102.45)再實現類似top命令的CPU使用率，每秒刷新一次，累計10次：>>> for x in range(10): ... psutil.cpu_percent(interval=1, percpu=True) ... [14.0, 4.0, 4.0, 4.0] [12.0, 3.0, 4.0, 3.0] [8.0, 4.0, 3.0, 4.0] [12.0, 3.0, 3.0, 3.0] [18.8, 5.1, 5.9, 5.0] [10.9, 5.0, 4.0, 3.0] [12.0, 5.0, 4.0, 5.0] [15.0, 5.0, 4.0, 4.0] [19.0, 5.0, 5.0, 4.0] [9.0, 3.0, 2.0, 3.0]

獲取內存信息

使用psutil獲取物理內存和交換內存信息，分別使用：

>>> psutil.virtual_memory() svmem(total=8589934592, available=2866520064, percent=66.6, used=7201386496, free=216178688, active=3342192640, inactive=2650341376, wired=1208852480) >>> psutil.swap_memory() sswap(total=1073741824, used=150732800, free=923009024, percent=14.0, sin=10705981440, sout=40353792)

返回的是字節為單位的整數，可以看到，總內存大小是8589934592 = 8 GB，已用7201386496 = 6.7 GB，使用了66.6%。

而交換區大小是1073741824 = 1 GB。

獲取磁盤信息

可以通過psutil獲取磁盤分區、磁盤使用率和磁盤IO信息：
···

psutil.disk_partitions() # 磁盤分區信息
[sdiskpart(device=’/dev/disk1’, mountpoint=’/’, fstype=’hfs’, opts=’rw,local,rootfs,dovolfs,journaled,multilabel’)]
psutil.disk_usage(‘/’) # 磁盤使用情況
sdiskusage(total=998982549504, used=390880133120, free=607840272384, percent=39.1)
psutil.disk_io_counters() # 磁盤IO
sdiskio(read_count=988513, write_count=274457, read_bytes=14856830464, write_bytes=17509420032, read_time=2228966, write_time=1618405)
···
可以看到，磁盤’/’的總容量是998982549504 = 930 GB，使用了39.1%。文件格式是HFS，opts中包含rw表示可讀寫，journaled表示支持日志。

獲取網絡信息

psutil可以獲取網絡接口和網絡連接信息：

>>> psutil.net_io_counters() # 獲取網絡讀寫字節／包的個數 snetio(bytes_sent=3885744870, bytes_recv=10357676702, packets_sent=10613069, packets_recv=10423357, errin=0, errout=0, dropin=0, dropout=0) >>> psutil.net_if_addrs() # 獲取網絡接口信息 {'lo0': [snic(family=<AddressFamily.AF_INET: 2>, address='127.0.0.1', netmask='255.0.0.0'), ...],'en1': [snic(family=<AddressFamily.AF_INET: 2>, address='10.0.1.80', netmask='255.255.255.0'), ...],'en0': [...],'en2': [...],'bridge0': [...] } >>> psutil.net_if_stats() # 獲取網絡接口狀態 {'lo0': snicstats(isup=True, duplex=<NicDuplex.NIC_DUPLEX_UNKNOWN: 0>, speed=0, mtu=16384),'en0': snicstats(isup=True, duplex=<NicDuplex.NIC_DUPLEX_UNKNOWN: 0>, speed=0, mtu=1500),'en1': snicstats(...),'en2': snicstats(...),'bridge0': snicstats(...) }

要獲取當前網絡連接信息，使用net_connections()：

>>> psutil.net_connections() Traceback (most recent call last):... PermissionError: [Errno 1] Operation not permittedDuring handling of the above exception, another exception occurred:Traceback (most recent call last):... psutil.AccessDenied: psutil.AccessDenied (pid=3847)

你可能會得到一個AccessDenied錯誤，原因是psutil獲取信息也是要走系統接口，而獲取網絡連接信息需要root權限，這種情況下，可以退出Python交互環境，用sudo重新啟動：

$ sudo python3 Password: ****** Python 3.6.3 ... on darwin Type "help", ... for more information. >>> import psutil >>> psutil.net_connections() [sconn(fd=83, family=<AddressFamily.AF_INET6: 30>, type=1, laddr=addr(ip='::127.0.0.1', port=62911), raddr=addr(ip='::127.0.0.1', port=3306), status='ESTABLISHED', pid=3725),sconn(fd=84, family=<AddressFamily.AF_INET6: 30>, type=1, laddr=addr(ip='::127.0.0.1', port=62905), raddr=addr(ip='::127.0.0.1', port=3306), status='ESTABLISHED', pid=3725),sconn(fd=93, family=<AddressFamily.AF_INET6: 30>, type=1, laddr=addr(ip='::', port=8080), raddr=(), status='LISTEN', pid=3725),sconn(fd=103, family=<AddressFamily.AF_INET6: 30>, type=1, laddr=addr(ip='::127.0.0.1', port=62918), raddr=addr(ip='::127.0.0.1', port=3306), status='ESTABLISHED', pid=3725),sconn(fd=105, family=<AddressFamily.AF_INET6: 30>, type=1, ..., pid=3725),sconn(fd=106, family=<AddressFamily.AF_INET6: 30>, type=1, ..., pid=3725),sconn(fd=107, family=<AddressFamily.AF_INET6: 30>, type=1, ..., pid=3725),...sconn(fd=27, family=<AddressFamily.AF_INET: 2>, type=2, ..., pid=1) ]

獲取進程信息

通過psutil可以獲取到所有進程的詳細信息：

>>> psutil.pids() # 所有進程ID [3865, 3864, 3863, 3856, 3855, 3853, 3776, ..., 45, 44, 1, 0] >>> p = psutil.Process(3776) # 獲取指定進程ID=3776，其實就是當前Python交互環境 >>> p.name() # 進程名稱 'python3.6' >>> p.exe() # 進程exe路徑 '/Users/michael/anaconda3/bin/python3.6' >>> p.cwd() # 進程工作目錄 '/Users/michael' >>> p.cmdline() # 進程啟動的命令行 ['python3'] >>> p.ppid() # 父進程ID 3765 >>> p.parent() # 父進程 <psutil.Process(pid=3765, name='bash') at 4503144040> >>> p.children() # 子進程列表 [] >>> p.status() # 進程狀態 'running' >>> p.username() # 進程用戶名 'michael' >>> p.create_time() # 進程創建時間 1511052731.120333 >>> p.terminal() # 進程終端 '/dev/ttys002' >>> p.cpu_times() # 進程使用的CPU時間 pcputimes(user=0.081150144, system=0.053269812, children_user=0.0, children_system=0.0) >>> p.memory_info() # 進程使用的內存 pmem(rss=8310784, vms=2481725440, pfaults=3207, pageins=18) >>> p.open_files() # 進程打開的文件 [] >>> p.connections() # 進程相關網絡連接 [] >>> p.num_threads() # 進程的線程數量 1 >>> p.threads() # 所有線程信息 [pthread(id=1, user_time=0.090318, system_time=0.062736)] >>> p.environ() # 進程環境變量 {'SHELL': '/bin/bash', 'PATH': '/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:...', 'PWD': '/Users/michael', 'LANG': 'zh_CN.UTF-8', ...} >>> p.terminate() # 結束進程 Terminated: 15 <-- 自己把自己結束了

和獲取網絡連接類似，獲取一個root用戶的進程需要root權限，啟動Python交互環境或者.py文件時，需要sudo權限。

psutil還提供了一個test()函數，可以模擬出ps命令的效果：$ sudo python3 Password: ****** Python 3.6.3 ... on darwin Type "help", ... for more information. >>> import psutil >>> psutil.test() USER PID %MEM VSZ RSS TTY START TIME COMMAND root 0 24.0 74270628 2016380 ? Nov18 40:51 kernel_task root 1 0.1 2494140 9484 ? Nov18 01:39 launchd root 44 0.4 2519872 36404 ? Nov18 02:02 UserEventAgent root 45 ? 2474032 1516 ? Nov18 00:14 syslogd root 47 0.1 2504768 8912 ? Nov18 00:03 kextd root 48 0.1 2505544 4720 ? Nov18 00:19 fseventsd _appleeven 52 0.1 2499748 5024 ? Nov18 00:00 appleeventsd root 53 0.1 2500592 6132 ? Nov18 00:02 configd ...

小結

psutil使得Python程序獲取系統信息變得易如反掌。
psutil還可以獲取用戶信息、Windows服務等很多有用的系統信息，具體請參考psutil的官網：https://github.com/giampaolo/psutil

virtualenv

在開發Python應用程序的時候，系統安裝的Python3只有一個版本：3.4。所有第三方的包都會被pip安裝到Python3的site-packages目錄下。
如果我們要同時開發多個應用程序，那這些應用程序都會共用一個Python，就是安裝在系統的Python 3。如果應用A需要jinja 2.7，而應用B需要jinja 2.6怎么辦？
這種情況下，每個應用可能需要各自擁有一套“獨立”的Python運行環境。virtualenv就是用來為一個應用創建一套“隔離”的Python運行環境。

首先，我們用pip安裝virtualenv：

$ pip3 install virtualenv

然后，假定我們要開發一個新的項目，需要一套獨立的Python運行環境，可以這么做：

第一步，創建目錄：Mac:~ michael$ mkdir myproject Mac:~ michael$ cd myproject/ Mac:myproject michael$

第二步，創建一個獨立的Python運行環境，命名為venv：

Mac:myproject michael$ virtualenv --no-site-packages venv Using base prefix '/usr/local/.../Python.framework/Versions/3.4' New python executable in venv/bin/python3.4 Also creating executable in venv/bin/python Installing setuptools, pip, wheel...done.

命令virtualenv就可以創建一個獨立的Python運行環境，我們還加上了參數–no-site-packages，這樣，已經安裝到系統Python環境中的所有第三方包都不會復制過來，這樣，我們就得到了一個不帶任何第三方包的“干凈”的Python運行環境。

新建的Python環境被放到當前目錄下的venv目錄。有了venv這個Python環境，可以用source進入該環境：

Mac:myproject michael$ source venv/bin/activate (venv)Mac:myproject michael$

注意到命令提示符變了，有個(venv)前綴，表示當前環境是一個名為venv的Python環境。

下面正常安裝各種第三方包，并運行python命令：

(venv)Mac:myproject michael$ pip install jinja2 ... Successfully installed jinja2-2.7.3 markupsafe-0.23 (venv)Mac:myproject michael$ python myapp.py ...

在venv環境下，用pip安裝的包都被安裝到venv這個環境下，系統Python環境不受任何影響。也就是說，venv環境是專門針對myproject這個應用創建的。

退出當前的venv環境，使用deactivate命令：

(venv)Mac:myproject michael$ deactivate Mac:myproject michael$

此時就回到了正常的環境，現在pip或python均是在系統Python環境下執行。

完全可以針對每個應用創建獨立的Python運行環境，這樣就可以對每個應用的Python環境進行隔離。

virtualenv是如何創建“獨立”的Python運行環境的呢？原理很簡單，就是把系統Python復制一份到virtualenv的環境，用命令source venv/bin/activate進入一個virtualenv環境時，virtualenv會修改相關環境變量，讓命令python和pip均指向當前的virtualenv環境。

小結

virtualenv為應用提供了隔離的Python運行環境，解決了不同應用間多版本的沖突問題。

總結

以上是生活随笔為你收集整理的Python学习笔记:第三方模块2的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇：必须声明标量变量 @sum_level。
下一篇： aaynctask控制多个下载进度_使用