Python第九周+第十周

• 筆記
• 第九周作業(yè)
• 第十周期末測試

筆記

數(shù)據(jù)表示→數(shù)據(jù)清洗→數(shù)據(jù)統(tǒng)計→數(shù)據(jù)可視化→數(shù)據(jù)挖掘→人工智能
-數(shù)據(jù)表示：采用合適方式用程序表達數(shù)據(jù)
-數(shù)據(jù)清洗：數(shù)據(jù)歸一化、數(shù)據(jù)轉(zhuǎn)換、異常值處理
-數(shù)據(jù)統(tǒng)計：數(shù)據(jù)概要理解，數(shù)量、分布、中位數(shù)等
-數(shù)據(jù)可視化：直觀展示數(shù)據(jù)內(nèi)涵的方式
-數(shù)據(jù)挖掘：從數(shù)據(jù)分析獲得知識，產(chǎn)生數(shù)據(jù)外的價值
-人工智能：數(shù)據(jù)/語言/圖像/視覺等方面深度分析與決策

數(shù)據(jù)分析
Numpy：表達N維數(shù)組的最基本庫
-Python接口使用，C語言實現(xiàn)，計算速度優(yōu)異
-Python數(shù)據(jù)分析及科學計算的基礎(chǔ)庫，支撐Pandas等
-提供直接的矩陣運算、廣播函數(shù)、線性代數(shù)等功能
Pandas：Python數(shù)據(jù)分析高層次應用庫
-提供了簡單易用的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分析工具
-理解數(shù)據(jù)類型與索引的關(guān)系，操作索引即操作數(shù)據(jù)
-Python最重要的數(shù)據(jù)分析功能庫，基于Numpy開發(fā)
△Series=索引+一維數(shù)據(jù)
△DataFrame=行列索引+二維數(shù)據(jù)
Scipy：數(shù)學、科學和工程計算功能庫
-提供了一批數(shù)學算法及工程數(shù)據(jù)運算功能
-類似MATLAB，可用于如傅里葉變換、信號處理等應用
-Python最主要的科學計算功能庫，基于Numpy開發(fā)
功能：傅里葉變換類、信號處理類、線性代數(shù)類、圖像處理類、稀疏圖壓縮類、稀疏圖運算類、優(yōu)化算法類

數(shù)據(jù)可視化
Matplotlib：高質(zhì)量的二維數(shù)據(jù)可視化功能庫
-提供了超過100種數(shù)據(jù)可視化展示效果
-通過matplotlib.pyplot子庫調(diào)用各可視化效果
-python最主要的數(shù)據(jù)可視化功能庫，基于Numpy開發(fā)
Seaborn：統(tǒng)計類數(shù)據(jù)可視化功能庫
-提供了一批高層次的統(tǒng)計類數(shù)據(jù)可視化展示效果
-主要展示數(shù)據(jù)間分布、分類和線性關(guān)系等內(nèi)容
-基于Matplotlib開發(fā)，支持Numpy和Pandas
Mayavi：三維科學數(shù)據(jù)可視化功能庫
-提供了一批簡單易用的3D科學計算數(shù)據(jù)可視化展示效果
-目前版本是Mayavi2，三維可視化最主要的第三方庫
-支持Numpy、TVTK、Traits、Envisage

文本處理
PyPDF2：用來處理pdf文件的工具集
-提供了一批處理PDF文件的計算功能
-支持獲取信息、分隔/整合文件、加密解密等
-完全Python語言實現(xiàn)，不需要額外依賴，功能穩(wěn)定

#兩個文件整合成一個文件 from PyPDF2 import PdfFileReader, PdfFileMerger merger=PdfFileMerger() input1=open("document1.pdf","rb") input2=open("document2.pdf","rb") merger.append(fileobj=input1,pages=(0,3)) merger.merge(position=2,fileobj=input2,pages=(0,1)) output=open("document-output.pdf","wb") merger.write(output)

NLTK：自然語言文本處理第三方庫
-提供了一批簡單易用的自然語言文本處理功能
-支持語言文本分類、標記、語法句法、語義分析等
-最優(yōu)秀的Python自然語言處理庫

from nltk.corpus import treebank t=treebank.parsed_sents("wsj_0001.mrg")[0] t.draw()

Python-docx：創(chuàng)建或更新Microsoft Word文件的第三方庫
-提供創(chuàng)建或更新.doc.docx等文件的計算功能
-增加并配置段落、圖片、表格、文字等，功能全面

from docx import Document document=Document() document.add_heading("Document Title",0) p=document.add_paragraph("A plain paragraph having some") document.add_page_break() document.save("demo.docx")

機器學習
Scikit-learn：機器學習方法工具集
-提供一批統(tǒng)一化的機器學習方法功能接口
-提供聚類、分類、回歸、強化學習等計算功能
-機器學習最基本且最優(yōu)秀的Python第三方庫
TensorFlow：AlphaGo背后機器學習計算框架
-谷歌公司推動的開源機器學習框架
-將數(shù)據(jù)流圖作為基礎(chǔ)，圖節(jié)點代表運算，邊代表張量
-應用機器學習方法的一種方式，支撐谷歌人工智能應用

import tensorflow as tf init=tf.global_variables_initializer() sess=tf.Session() sess.run(init) res=sess.run(result) print("result:",res) MXNet：基于神經(jīng)網(wǎng)絡(luò)的深度學習計算框架 -提供可擴展的神經(jīng)網(wǎng)絡(luò)及深度學習計算功能 -可用于自動駕駛、機器翻譯、語音識別等眾多領(lǐng)域 -Python最重要的深度學習計算框架

霍蘭德人格分析雷達圖

#HollandRadarDraw import numpy as np import matplotlib.pyplot as plt import matplotlib matplotlib.rcParams['font.family']='SimHei' radar_labels = np.array(['研究型(I)','藝術(shù)型(A)','社會型(S)',\'企業(yè)型(E)','常規(guī)型(C)','現(xiàn)實型(R)']) #雷達標簽 nAttr = 6 data = np.array([[0.40, 0.32, 0.35, 0.30, 0.30, 0.88],[0.85, 0.35, 0.30, 0.40, 0.40, 0.30],[0.43, 0.89, 0.30, 0.28, 0.22, 0.30],[0.30, 0.25, 0.48, 0.85, 0.45, 0.40],[0.20, 0.38, 0.87, 0.45, 0.32, 0.28],[0.34, 0.31, 0.38, 0.40, 0.92, 0.28]]) #數(shù)據(jù)值 data_labels = ('藝術(shù)家', '實驗員', '工程師', '推銷員', '社會工作者','記事員') angles = np.linspace(0, 2*np.pi, nAttr, endpoint=False) data = np.concatenate((data, [data[0]])) angles = np.concatenate((angles, [angles[0]])) fig = plt.figure(facecolor="white") plt.subplot(111, polar=True) plt.plot(angles,data,'o-', linewidth=1, alpha=0.2) plt.fill(angles,data, alpha=0.25) plt.thetagrids(angles*180/np.pi, radar_labels,frac = 1.2) plt.figtext(0.52, 0.95, '霍蘭德人格分析', ha='center', size=20) legend = plt.legend(data_labels, loc=(0.94, 0.80), labelspacing=0.1) plt.setp(legend.get_texts(), fontsize='large') plt.grid(True) plt.savefig('holland_radar.jpg') plt.show()

從Web解析到網(wǎng)絡(luò)空間

網(wǎng)絡(luò)爬蟲
Requests：最友好的網(wǎng)絡(luò)爬蟲功能庫
-提供了簡單易用的類HTTP協(xié)議網(wǎng)絡(luò)爬蟲功能
-支持連接池、SSL、Cookies、HTTP(S)代理等
-Python最重要的頁面級網(wǎng)絡(luò)爬蟲功能庫

import requests r=requests.get("https://api.github.com/user",auth=("user","pass")) r.status_code r.headers["content-type"] r.encoding r.text

此外
Scrapy：優(yōu)秀的網(wǎng)絡(luò)爬蟲框架
-提供了構(gòu)建網(wǎng)絡(luò)爬蟲系統(tǒng)的框架功能，功能半成品
-支持批量和定時網(wǎng)頁爬取、提供數(shù)據(jù)處理流程等
-Python最主要且最專業(yè)的的網(wǎng)絡(luò)爬蟲框架
pyspider：強大的Web網(wǎng)頁爬取系統(tǒng)
-提供了完整的網(wǎng)頁爬取系統(tǒng)構(gòu)建功能
-支持數(shù)據(jù)庫后端、消息隊列、優(yōu)先級、分布式架構(gòu)等
Python最重要的網(wǎng)絡(luò)爬蟲類第三方庫

Web信息提取
Beautiful Soup：HTML和XML的解析庫
-提供了解析HTML和XML等Web信息的功能
-又名beautifulsoup4或bs4，可以加載多種解析引擎
-常與網(wǎng)絡(luò)爬蟲庫搭配使用，如Scrapy、requests等
Re(regular expression)：正則表達式解析和處理功能庫
-提供了定義和解析正則表達式的一批通用功能
-可用于各類場景，包括頂點的Web信息提取
-是Python最重要的標準庫之一，無需安裝

Python-Goose：提取文章類型Web頁面的功能庫
-提供了對Web頁面中文章信息/視頻等元數(shù)據(jù)的提取功能
-針對特定類型Web頁面，應用覆蓋面較廣
-Python最主要的Web信息提取庫

from goose import Goose url="http://www.elmundo.es/elmundo/2012/10/28/espana/1351388909.html" g=Goose({"use_meta_language":False,"target_language":"es"}) article=9.extract(url=url) article.cleaned_text[:150]

Web網(wǎng)站開發(fā)
Django：最流行的Web應用框架
-提供了構(gòu)建Web系統(tǒng)的基本應用框架
-MTV模式：模型（model）、模板（template）、視圖（views）
-Python最重要的Web應用框架，略微復雜的應用框架

Pyramid：規(guī)模適中的Web應用框架
-提供了簡單方便構(gòu)建Web系統(tǒng)的應用框架
-不大不小，規(guī)模適中，適合快速構(gòu)建并適度擴展類應用
-Python產(chǎn)品級Web應用框架，起步簡單可擴展性好

from wsgiref.simple_server import make_server from pyramid.config import Configurator from pyramid.response import Response def hello_world(request):return Response("Hello World!") if __name__=="__main__":with Configurator() as config:config.add_route("hello","/")config.add_view(hello_world,route_name="hello")app=config.make_wsgi_app()server=make_server("0.0.0.0",6543,app)server.server_forever()

Flask：Web應用開發(fā)微框架
-提供了最簡單構(gòu)建Web系統(tǒng)的應用框架
-特點是：簡單、規(guī)模小、快速
-Django>Pyramid>Flask

from flask import Flask app=Flask(__name__) @app.route("/") def hello_world():return "Hello, World!"

網(wǎng)絡(luò)應用開發(fā)
WeRoBot：微信公眾號開發(fā)框架
-提供了解析微信服務器消息及反饋消息的功能
-建立微信機器人的重要技術(shù)手段
aip：百度AI開放平臺接口
-提供了訪問百度AI服務的Python功能接口
-語音、人臉、OCR、NLP知識圖譜、圖像搜索等領(lǐng)域
-Python百度AI應用的最主要方式
MyQR：二維碼生成第三方庫
-提供了生成二維碼的系列功能
-基本二維碼、藝術(shù)二維碼和動態(tài)二維碼

圖形用戶界面
PyQt5：Qt開發(fā)框架的Python接口
-提供了創(chuàng)建Qt5程序的Python API接口
-Qt是非常成熟的跨平臺桌面應用開發(fā)系統(tǒng)，完備GUI
-推薦的Python GUI開發(fā)第三方庫
WxPython：跨平臺GUI開發(fā)框架
-提供了專用于Python的跨平臺GUI開發(fā)框架
-理解數(shù)據(jù)類型與索引的關(guān)系，操作索引即操作數(shù)據(jù)
-Python最重要的數(shù)據(jù)分析功能庫，基于Numpy開發(fā)
PyGObject：使用GTK+開發(fā)GUI的功能庫
-提供了整合GTK+、WebKitGTK+等庫的功能
-GTK+：跨平臺的一種用戶圖形界面GUI框架
-實例：Anaconda采用該庫構(gòu)建GUI

游戲開發(fā)
PyGame：簡單的游戲開發(fā)功能庫
-提供了基于SDL的簡單游戲開發(fā)功能及實現(xiàn)引擎
-理解游戲?qū)ν獠枯斎氲捻憫獧C制及角色構(gòu)建的交互機制
-Python游戲入門最重要的第三方庫
Panda3D：開源、跨平臺的3D渲染和游戲開發(fā)庫
-一個3D游戲引擎，提供Python和C++兩種接口
-支持很多先進特性：法線貼圖、光澤貼圖、卡通渲染等
-由迪士尼和卡尼基梅隆大學共同開發(fā)
cocos2d：構(gòu)建2D游戲和圖形界面交互式應用的框架
-提供了基于OpenGL的游戲開發(fā)圖形渲染功能
-支持GPU加速，采用樹形結(jié)構(gòu)分層管理游戲?qū)ο箢愋?br /> -適用于2D專業(yè)級游戲開發(fā)

虛擬現(xiàn)實
VR Zero：在樹莓派上開發(fā)VR應用的Python庫
-提供大量與VR開發(fā)相關(guān)的功能
-針對樹莓派的VR開發(fā)庫，支持設(shè)備小型化，配置簡單化
-非常適合初學者時間VR開發(fā)及應用
pyovr：Oculus Rift的Python開發(fā)接口
-針對Oculus VR設(shè)備的Python開發(fā)庫
-基于成熟的VR設(shè)備，提供全套文檔，工業(yè)級應用設(shè)備
-Python+虛擬現(xiàn)實領(lǐng)域探索的一種思路
Vizard：基于Python的通用VR開發(fā)引擎
-專業(yè)的企業(yè)級虛擬現(xiàn)實開發(fā)引擎
-提供詳細的官方文檔
-支持多種主流的VR硬件設(shè)備，具有一定通用性

圖形藝術(shù)
Quads：迭代藝術(shù)
-對圖片進行四分迭代，形成像素風
-可以生成動圖或靜圖圖像
-簡單易用，具有很高展示度
ascii_art：ASCII藝術(shù)庫
-將普通圖片轉(zhuǎn)為ASCII藝術(shù)風格
-輸出可以是純文本或彩色文本
-可采用圖片格式輸出
turtle：海龜繪圖體系
Random Art

玫瑰花繪制

import turtle as t # 定義一個曲線繪制函數(shù) def DegreeCurve(n, r, d=1):for i in range(n):t.left(d)t.circle(r, abs(d)) # 初始位置設(shè)定 s = 0.2 # size t.setup(450*5*s, 750*5*s) t.pencolor("black") t.fillcolor("red") t.speed(100) t.penup() t.goto(0, 900*s) t.pendown() # 繪制花朵形狀 t.begin_fill() t.circle(200*s,30) DegreeCurve(60, 50*s) t.circle(200*s,30) DegreeCurve(4, 100*s) t.circle(200*s,50) DegreeCurve(50, 50*s) t.circle(350*s,65) DegreeCurve(40, 70*s) t.circle(150*s,50) DegreeCurve(20, 50*s, -1) t.circle(400*s,60) DegreeCurve(18, 50*s) t.fd(250*s) t.right(150) t.circle(-500*s,12) t.left(140) t.circle(550*s,110) t.left(27) t.circle(650*s,100) t.left(130) t.circle(-300*s,20) t.right(123) t.circle(220*s,57) t.end_fill() # 繪制花枝形狀 t.left(120) t.fd(280*s) t.left(115) t.circle(300*s,33) t.left(180) t.circle(-300*s,33) DegreeCurve(70, 225*s, -1) t.circle(350*s,104) t.left(90) t.circle(200*s,105) t.circle(-500*s,63) t.penup() t.goto(170*s,-30*s) t.pendown() t.left(160) DegreeCurve(20, 2500*s) DegreeCurve(220, 250*s, -1) # 繪制一個綠色葉子 t.fillcolor('green') t.penup() t.goto(670*s,-180*s) t.pendown() t.right(140) t.begin_fill() t.circle(300*s,120) t.left(60) t.circle(300*s,120) t.end_fill() t.penup() t.goto(180*s,-550*s) t.pendown() t.right(85) t.circle(600*s,40) # 繪制另一個綠色葉子 t.penup() t.goto(-150*s,-1000*s) t.pendown() t.begin_fill() t.rt(120) t.circle(300*s,115) t.left(75) t.circle(300*s,100) t.end_fill() t.penup() t.goto(430*s,-1070*s) t.pendown() t.right(30) t.circle(-600*s,35) t.done()

效果圖

第九周作業(yè)

單項選擇題
點擊選項選擇正確答案，每題有且僅有一個正確答案
1
1 分
????????????????????????????????????????????????????????????????????????????????????????????????以下選項不是Python人工智能方向第三方庫的是：????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
A Scikit-Learn
B Seaborn
C MXNet
D TensorFlow
正確答案 B
Seaborn是數(shù)據(jù)可視化第三方庫。
2
1 分
????????????????????????????????????????????????????????????????????????????????????????????????以下選項不是Python游戲開發(fā)方向第三方庫的是：????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
A PyGame
B aip
C cocos2d
D Panda3D
正確答案 B
aip是baidu的人工智能功能Python訪問接口。
3
1 分
????????????????????????????????????????????????????????????????????????????????????????????????以下選項不是Python圖形用戶界面方向第三方庫的是：????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
A Vizard
B PyQt5
C wxPython
D PyGObject
正確答案 A
Vizard是虛擬現(xiàn)實第三方庫。
4
1 分
????????????????????????????????????????????????????????????????????????????????????????????????以下選項不是Python網(wǎng)絡(luò)應用開發(fā)方向第三方庫的是：????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
A aip
B MyQR
C WeRobot
D numpy
正確答案 D
numpy是多維度數(shù)據(jù)處理第三方庫。
5
1 分
????????????????????????????????????????????????????????????????????????????????????????????????以下選項不是Python Web信息提取方向第三方庫的是：????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
A Python-Goose
B Beautiful Soup
C Re
D wxPython
正確答案 D
wxPython是GUI第三方庫。
6
1 分
????????????????????????????????????????????????????????????????????????????????????????????????以下選項不是Python數(shù)據(jù)可視化方向第三方庫的是：????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
A Pyramid
B Seaborn
C Matplotlib
D Mayavi
正確答案 A
Pyramid是Web開發(fā)框架庫。
7
1 分
????????????????????????????????????????????????????????????????????????????????????????????????以下選項不是Python網(wǎng)絡(luò)爬蟲方向第三方庫的是：????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
A Python-Goose
B Scrapy
C pyspider
D Requests
正確答案 A
Python-Goose是Web提取第三方庫。
8
1 分
????????????????????????????????????????????????????????????????????????????????????????????????以下選項不是Python文本處理方向第三方庫的是：????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
A NLTK
B pyovr
C python-docx
D PyPDF2
正確答案 B
pyovr是增強現(xiàn)實開發(fā)庫。
9
1 分
????????????????????????????????????????????????????????????????????????????????????????????????以下選項不是Python數(shù)據(jù)分析方向第三方庫是：????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
A Pandas
B Scrapy
C Numpy
D SciPy
正確答案 B
Scrapy是網(wǎng)絡(luò)爬蟲庫
10
1 分
????????????????????????????????????????????????????????????????????????????????????????????????以下選項不是Python網(wǎng)站開發(fā)框架方向第三方庫的是：????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
A redis-py
B Flask
C Pyramid
D Django
正確答案 A
redis-py是redis數(shù)據(jù)的Python訪問接口。

程序設(shè)計題
1
系統(tǒng)基本信息獲取
描述
獲取系統(tǒng)的遞歸深度、當前執(zhí)行文件路徑、系統(tǒng)最大UNICODE編碼值等3個信息，并打印輸出。????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
輸出格式如下：????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
RECLIMIT:<深度>, EXEPATH:<文件路徑>, UNICODE:<最大編碼值>????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
提示：請在sys標準庫中尋找上述功能。

#作業(yè)第一題參考答案 import sys a = sys.getrecursionlimit() print("RECLIMIT:{}, EXEPATH:{}, UNICODE:{}"\.format(a,sys.executable,sys.maxunicode))

2
二維數(shù)據(jù)表格輸出
描述
tabulate能夠?qū)ΧS數(shù)據(jù)進行表格輸出，是Python優(yōu)秀的第三方計算生態(tài)。????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
參考編程模板中給定的數(shù)據(jù)和代碼，編寫程序，能夠輸出如下風格效果的表格數(shù)據(jù)。

#作業(yè)第二題參考答案 data = [ ["北京理工大學", "985", 2000], \["清華大學", "985", 3000], \["大連理工大學", "985", 4000], \["深圳大學", "211", 2000], \["沈陽大學", "省本", 2000], \] import tabulate from tabulate import tabulate head = [] print(tabulate(data, tablefmt='grid'))

第十周期末測試

1
無空隙回聲輸出
描述
獲得用戶輸入，去掉其中全部空格，將其他字符按收入順序打印輸出。

#期末測試第一題 s=input() for i in s:t = i.replace(" ", "")print(t,end="")

2
文件關(guān)鍵行數(shù)
描述
關(guān)鍵行指一個文件中包含的不重復行。關(guān)鍵行數(shù)指一個文件中包含的不重復行的數(shù)量。????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
統(tǒng)計附件文件中與關(guān)鍵行的數(shù)量。

#期末測試第二題 f = open("latex.log","r").readlines() c = len(set(f)) print("共"+str(c)+"關(guān)鍵行")

3
字典翻轉(zhuǎn)輸出
描述
讀入一個字典類型的字符串，反轉(zhuǎn)其中鍵值對輸出。????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
即，讀入字典key:value模式，輸出value:key模式。

#期末測試第三題 d = eval(input()) if type(d) != dict:print('輸入錯誤') else:s = {}for k in d:s[d[k]] = k #雙重邏輯print(s)

4
《沉默的羔羊》之最多單詞
描述
附件是《沉默的羔羊》中文版內(nèi)容，請讀入內(nèi)容，分詞后輸出長度大于2且最多的單詞。????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
如果存在多個單詞出現(xiàn)頻率一致，請輸出按照Unicode排序后最大的單詞。

#期末測試第四題 import jieba txt=open("沉默的羔羊.txt","r",encoding="utf-8").read() words=jieba.lcut(txt) counts={} for word in words:if len(word)==1:continueelse:counts[word]=counts.get(word,0)+1 items=list(counts.items()) items.sort(key=lambda x:x[1],reverse=True) for i in range(1):word,count=items[i]print("{0}".format(word))

總結(jié)

以上是生活随笔為你收集整理的Python课程第九周笔记及作业+第十周期末测试的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。