常用内建模块
一.datetime
1.模塊導(dǎo)入:
from datetime import datetime
2.獲取當(dāng)前日期和時(shí)間:
>>> now = datetime.now() >>> print(now) 2019-01-13 14:19:38.181000
3.獲取指定日期和時(shí)間:
>>> dt = datetime(2019,1,10,15,0) >>> print(dt) 2019-01-10 15:00:00
4.datetime轉(zhuǎn)換為timestamp
from datetime import datetimenow = datetime.now() print(now.timestamp())
注意:
Python的timestamp是一個(gè)浮點(diǎn)數(shù)。如果有小數(shù)位，小數(shù)位表示毫秒數(shù)。
?
5.timestamp轉(zhuǎn)換為datetime
#本地時(shí)區(qū)時(shí)間 datetime.fromtimestamp(1547360695.313724) #UTC標(biāo)準(zhǔn)時(shí)區(qū)的時(shí)間 print(datetime.utcfromtimestamp(1547360695.313724))
6.str轉(zhuǎn)換為datetime
datetime.strptime('2015-6-1 18:19:59', '%Y-%m-%d %H:%M:%S')
7.datetime轉(zhuǎn)換為str
now = datetime.now() print(now.strftime('%a, %b %d %H:%M'))
8.datetime加減
from datetime import datetime, timedelta now = datetime.now() new_time = now + timedelta(hours=10) print(new_time)
9.本地時(shí)間轉(zhuǎn)換為UTC時(shí)間
from datetime import datetime, timedelta, timezone tz_utc_8 = timezone(timedelta(hours=8)) now = datetime.now() dt = now.replace(tzinfo=tz_utc_8) print(dt)
10.時(shí)區(qū)轉(zhuǎn)換
from datetime import datetime, timedelta, timezone# 強(qiáng)制設(shè)置時(shí)區(qū)為UTC+0:00: utc_dt = datetime.utcnow().replace(tzinfo=timezone.utc) print(utc_dt) # 利用astimezone()將轉(zhuǎn)換時(shí)區(qū)為北京時(shí)間: bj_dt = utc_dt.astimezone(timezone(timedelta(hours=8))) print(bj_dt)
注意:
如果要存儲(chǔ)datetime，最佳方法是將其轉(zhuǎn)換為timestamp再存儲(chǔ)，因?yàn)閠imestamp的值與時(shí)區(qū)完全無(wú)關(guān)
?
?二.collections
1.namedtuple:給tuple屬性命名
from collections import namedtuplePoint = namedtuple('Point', ['x', 'y', 'z'])
p = Point(1,3,9)
print(p.x, p.y, p.z)
2.deque
使用list存儲(chǔ)數(shù)據(jù)時(shí)，按索引訪問(wèn)元素很快，但是插入和刪除元素就很慢了，因?yàn)閘ist是線性存儲(chǔ)，數(shù)據(jù)量大的時(shí)候，插入和刪除效率很低。
deque是為了高效實(shí)現(xiàn)插入和刪除操作的雙向列表，適合用于隊(duì)列和棧:
3.defaultdict
使用dict時(shí)，如果引用的Key不存在，就會(huì)拋出KeyError。如果希望key不存在時(shí)，返回一個(gè)默認(rèn)值，就可以用defaultdict
from collections import defaultdictd = defaultdict(lambda : 'N/A') d['l'] = 100 print(d['l']) print(d['m'])
4.OrderedDict
使用dict時(shí)，Key是無(wú)序的。OrderedDict的Key會(huì)按照插入的順序排列,可以實(shí)現(xiàn)FIFO
from collections import OrderedDictd1 = OrderedDict() d1['a'] = 1 d1['b'] = 2 d1['c'] = 3 print(d1)
輸出:
OrderedDict([('a', 1), ('b', 2), ('c', 3)])
?
5.ChainMap
ChainMap可以把一組dict串起來(lái)并組成一個(gè)邏輯上的dict。ChainMap本身也是一個(gè)dict，但是查找的時(shí)候，會(huì)按照順序在內(nèi)部的dict依次查找
from collections import ChainMap import osdefault_dict = {'platform': os.name} user_select = {'platform': 'posix'}d = ChainMap(user_select, default_dict) print(d['platform'])
如果user_select存在platform就是用該值,否則就使用默認(rèn)的
?
6.Counter
Counter是一個(gè)簡(jiǎn)單的計(jì)數(shù)器
from collections import Counterc = Counter() for ch in 'helloworld':c[ch] += 1print(c)
輸出:
Counter({'l': 3, 'o': 2, 'h': 1, 'e': 1, 'w': 1, 'r': 1, 'd': 1})
?
三.base64
Base64是一種用64個(gè)字符來(lái)表示任意二進(jìn)制數(shù)據(jù)的方法,Base64編碼會(huì)把3字節(jié)的二進(jìn)制數(shù)據(jù)編碼為4字節(jié)的文本數(shù)據(jù)，長(zhǎng)度增加33%，好處是編碼后的文本數(shù)據(jù)可以在郵件正文、網(wǎng)頁(yè)等直接顯示。
如果要編碼的二進(jìn)制數(shù)據(jù)不是3的倍數(shù)，最后會(huì)剩下1個(gè)或2個(gè)字節(jié)怎么辦？Base64用\x00字節(jié)在末尾補(bǔ)足后，再在編碼的末尾加上1個(gè)或2個(gè)=號(hào)，表示補(bǔ)了多少字節(jié)，解碼的時(shí)候，會(huì)自動(dòng)去掉。
示例代碼:
import base64# base64編碼 base64_encode = base64.b64encode(b'52222') # base64安全編碼,會(huì)將可能出現(xiàn)的字符字符+和/替換為-和_ base64_safe_encode = base64.urlsafe_b64encode(b'52222') print(base64_encode) print(base64_safe_encode)# 解碼 print(base64.b64decode(base64_encode)) print(base64.urlsafe_b64decode(base64_safe_encode))
輸出:
b'NTIyMjI='
b'NTIyMjI='
b'52222'
b'52222'
?
四.struct
Python提供了一個(gè)struct模塊來(lái)解決bytes和其他二進(jìn)制數(shù)據(jù)類型的轉(zhuǎn)換
import struct# 變成字節(jié),>表示字節(jié)順序是big-endian，也就是網(wǎng)絡(luò)序，I表示4字節(jié)無(wú)符號(hào)整數(shù) print(struct.pack('>I', 10240099)) # 字節(jié)變成相應(yīng)的數(shù)據(jù)類型,根據(jù)>IH的說(shuō)明，后面的bytes依次變?yōu)镮：4字節(jié)無(wú)符號(hào)整數(shù)和H：2字節(jié)無(wú)符號(hào)整數(shù)。 print(struct.unpack('>IH', b'\xf0\xf0\xf0\xf0\x80\x80'))
五.hashlib
md5/SHA1解密加密
1.md5加密(32位長(zhǎng)度)
import hashlib#加密 md5 = hashlib.md5() md5.update('hello'.encode('utf-8')) print(md5.hexdigest())
2.SHA1(40位長(zhǎng)度)
import hashlibsha1 = hashlib.sha1() sha1.update('hello'.encode('utf-8')) print(sha1.hexdigest())
六.hmac
它通過(guò)一個(gè)標(biāo)準(zhǔn)算法，在計(jì)算哈希的過(guò)程中，把key混入計(jì)算過(guò)程中
import hmachmac_encode = hmac.new(b'salt', b'message', 'MD5') print(hmac_encode.hexdigest())
七.itertools
1.count:會(huì)創(chuàng)建一個(gè)無(wú)限的迭代器,是自然數(shù)序列:
import itertoolsfor i in itertools.count(1):print(i)
2.cycle:會(huì)把傳入的一個(gè)序列無(wú)限重復(fù)下去
import itertoolsfor i in itertools.cycle('abc'):print(i)
3.repeat:負(fù)責(zé)把一個(gè)元素?zé)o限重復(fù)下去，不過(guò)如果提供第二個(gè)參數(shù)就可以限定重復(fù)次數(shù)
4.無(wú)限序列雖然可以無(wú)限迭代下去，但是通常我們會(huì)通過(guò)takewhile()等函數(shù)根據(jù)條件判斷來(lái)截取出一個(gè)有限的序列
?
import itertoolsnatuals = itertools.count(1) ns = itertools.takewhile(lambda x: x <= 10, natuals) print(list(ns))
5.chain: 可以把一組迭代對(duì)象串聯(lián)起來(lái)，形成一個(gè)更大的迭代器
import itertoolsfor i in itertools.chain('abc', 'def'):print(i)
輸出:
a
b
c
d
e
f
?
6.groupby:把迭代器中相鄰的重復(fù)元素挑出來(lái)放在一起
import itertoolsfor key, group in itertools.groupby('AAABBBCCAAA'):print(key, group)
輸出:
A <itertools._grouper object at 0x000001C32D2A3550>
B <itertools._grouper object at 0x000001C32D2DCDA0>
C <itertools._grouper object at 0x000001C32D2A3550>
A <itertools._grouper object at 0x000001C32D2DCD68>
?
八.contextlib(with)
任何對(duì)象，只要正確實(shí)現(xiàn)了上下文管理，就可以用于with語(yǔ)句.要使用with實(shí)現(xiàn)上下文管理是通過(guò)__enter__和__exit__這兩個(gè)方法實(shí)現(xiàn)的
1.通過(guò)類實(shí)現(xiàn):
class Query:def __enter__(self):print('enter')return selfdef query(self, params):print(params)return 100def __exit__(self, exc_type, exc_val, exc_tb):if exc_type:print('error')else:print('exit')with Query() as query:query.query('rorshach')
2.更加簡(jiǎn)便的通過(guò)@contextmanager和yield實(shí)現(xiàn):
from contextlib import contextmanagerclass Query:def query(self, params):print(params)return 100@contextmanager def make_context_query():q = Query()yield qwith make_context_query() as query:query.query('rorshach')
很多時(shí)候，我們希望在某段代碼執(zhí)行前后自動(dòng)執(zhí)行特定代碼，也可以用@contextmanager實(shí)現(xiàn):
from contextlib import contextmanager@contextmanager def tag():print('<h1>')yieldprint('</h1>')#yield沒(méi)有生成值,with語(yǔ)句中就不需要寫as子句了 with tag() as tag:print('hello')
輸出:
<h1>
hello
</h1>
如果出錯(cuò),關(guān)閉對(duì)象示例:
from contextlib import contextmanager from urllib.request import urlopen@contextmanager def closing(thing):try:yield thingfinally:thing.close()with closing(urlopen('http://www.baidu.com')) as page:for line in page:print(line)
九.urllib
1.get請(qǐng)求
from urllib import requestreq = request.Request('http://www.baidu.com/') # 設(shè)置ua req.add_header('User-Agent', 'Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25') with request.urlopen(req) as f:print('Status:', f.status, f.reason)for k, v in f.getheaders():print('%s: %s' % (k, v))print('Data:', f.read().decode('utf-8'))
2.post請(qǐng)求
from urllib import request, parseprint('Login to weibo.cn...') email = input('Email: ') passwd = input('Password: ') login_data = parse.urlencode([('username', email),('password', passwd),('entry', 'mweibo'),('client_id', ''),('savestate', '1'),('ec', ''),('pagerefer', 'https://passport.weibo.cn/signin/welcome?entry=mweibo&r=http%3A%2F%2Fm.weibo.cn%2F') ])req = request.Request('https://passport.weibo.cn/sso/login') req.add_header('Origin', 'https://passport.weibo.cn') req.add_header('User-Agent', 'Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25') req.add_header('Referer', 'https://passport.weibo.cn/signin/login?entry=mweibo&res=wel&wm=3349&r=http%3A%2F%2Fm.weibo.cn%2F')with request.urlopen(req, data=login_data.encode('utf-8')) as f:print('Status:', f.status, f.reason)for k, v in f.getheaders():print('%s: %s' % (k, v))print('Data:', f.read().decode('utf-8'))
十.XML
1.DOM:
DOM會(huì)把整個(gè)XML讀入內(nèi)存，解析為樹(shù)，因此占用內(nèi)存大，解析慢，優(yōu)點(diǎn)是可以任意遍歷樹(shù)的節(jié)點(diǎn)
示例代碼:
from xml.parsers.expat import ParserCreateclass DefaultSaxHandler(object):def start_element(self, name, attrs):print('sax:start_element: %s, attrs: %s' % (name, str(attrs)))def end_element(self, name):print('sax:end_element: %s' % name)def char_data(self, text):print('sax:char_data: %s' % text)xml = r'''<?xml version="1.0"?> <ol><li><a href="/python">Python</a></li><li><a href="/ruby">Ruby</a></li> </ol> '''handler = DefaultSaxHandler() parser = ParserCreate() parser.StartElementHandler = handler.start_element parser.EndElementHandler = handler.end_element parser.CharacterDataHandler = handler.char_data parser.Parse(xml)
2.SAX是流模式，邊讀邊解析，占用內(nèi)存小，解析快，缺點(diǎn)是我們需要自己處理事件
十一.HTMLParser
from html.parser import HTMLParserclass MyHTMLParser(HTMLParser):def handle_starttag(self, tag, attrs):print('<%s>' % tag)def handle_endtag(self, tag):print('</%s>' % tag)def handle_startendtag(self, tag, attrs):print('<%s/>' % tag)def handle_data(self, data):print(data)def handle_comment(self, data):print('<!--', data, '-->')def handle_entityref(self, name):print('&%s;' % name)def handle_charref(self, name):print('&#%s;' % name)parser = MyHTMLParser() parser.feed('''<html> <head></head> <body> <!-- test html parser --><p>Some <a href=\"#\">html</a> HTML?tutorial...<br>END</p> </body></html>''')
?
轉(zhuǎn)載于:https://www.cnblogs.com/itfenqing/p/10275132.html
總結(jié)
- 上一篇： 判断mysql的关键字_mysql中查询
- 下一篇： Louvain、Lpa、Infomap算