python语言数据挖掘python语言数据_Python语言数据挖掘01-环境搭建
本文主要向大家介紹了Python語言數據挖掘01-環境搭建,通過具體的內容向大家展示,希望對大家學習Python語言有所幫助。
Python是數據挖掘的利器,這里自己邊學習邊記錄下過程。以下操作在Windows或Mac系統下均可進行,Linux下暫未測試。
1、PyCharm安裝
Python開發的IDE有很多,這里比較推薦PyCharm。PyCharm有專業版和社區版,兩者均可。安裝后新建test.py測試運行
print?'Hello?Python!'
2、MySQL安裝
官網下載系統對應的版本安裝,安裝完成后在命令提示行輸入"mysql",如果返回歡迎信息,則成功運行。如果命令不被識別,在Windows系統下需要把MySQL路徑加入系統環境變量。Mac也一樣,或者輸入?/usr/local/mysql/bin/mysql?-uroot?-p?然后輸入密碼,進入MySQL。
測試是否安裝成功:
show?databases;
運行結果:
+--------------------+
|?Database???????????|
+--------------------+
|?information_schema?|
|?mysql??????????????|
|?performance_schema?|
|?sys????????????????|
+--------------------+
4?rows?in?set?(0.01?sec)
3、MySQLdb安裝
為了在Python中操作MySQL,需要安裝MySQLdb。Windows系統下直接下載安裝包,或者在PyCharm中添加即可。Mac系統在PyCharm中添加可能會提示錯誤,這時可以在終端中安裝:
sudo?-H?pip?install?MySQL-python
如果提示EnvironmentError:?mysql_config?not?found,則運行一下以下命令
export?PATH=$PATH:/usr/local/mysql/bin
安裝完成后,在PyCharm中測試是否運行正常:
import?MySQLdb
try:
conn=MySQLdb.connect(host='localhost',user='root',passwd='mypassword',db='mysql')
cur=conn.cursor()
cur.execute('select?Host?from?user')
print?cur.fetchall()
cur.close()
conn.close()
except?MySQLdb.Error,e:
print?"Mysql?Error?%d:?%s"?%?(e.args[0],?e.args[1])
運行結果:
(('localhost',),?('localhost',))
這是一個Tuple類型的數據
4、常用Python庫
urllib2??#自帶網絡請求庫
re??#正則表達式
requests??#第三方網絡請求庫,需手動添加
BeautifulSoup??#網頁解析庫,需手動添加
5、初步試驗
功能:從智聯招聘網站上抓取部分數據信息
#encoding=utf-8
import?requests
from?bs4?import?BeautifulSoup
headers={'User-Agent':'Mozilla/5.0?(Macintosh;?Intel?Mac?OS?X?10_12_0)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/50.0.2661.75?Safari/537.36?QQBrowser/4.1.4132.400'}
payload={'jl':'深圳','kw':'python','isadv':'0','sg':'0dfd2337bd8a43168ee25385938feda9','p':'1'}
r=requests.get('http://sou.zhaopin.com/jobs/searchresult.ashx',params=payload,headers=headers)
soup=BeautifulSoup(r.text)
list1=soup.find_all('table')
for?li?in?list1:
jobname=li.find('td',class_='gsmc')
jobsalary=li.find('td',class_='zwyx')
joblocation=li.find('td',class_='gzdd')
if?jobname:
print?jobname.a.string
if?jobsalary:
print?jobsalary.string
if?joblocation:
print?joblocation.string
運行結果:
創游時空網絡科技(深圳)有限公司
8001-10000
深圳
深圳市程序猿教育科技有限公司
4001-6000
深圳?-?龍華新區
深圳市友聯創科技有限公司
6001-8000
深圳?-?龍華新區
本文由職坐標整理并發布,希望對同學們學習Python有所幫助,更多內容請關注職坐標編程語言Python頻道!
總結
以上是生活随笔為你收集整理的python语言数据挖掘python语言数据_Python语言数据挖掘01-环境搭建的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 在 Windows 上部署 gitbli
- 下一篇: python项目之站长素材爬取