1 python數(shù)據(jù)分析概述

• 1.1 概述
• • 數(shù)據(jù)分析的概念
  • 數(shù)據(jù)分析的流程
  • 數(shù)據(jù)分析的應(yīng)用場(chǎng)景
  • • 1. 客戶分析
    • 2. 營銷分析：
    • 3. 社交媒體分析
    • 4. 網(wǎng)絡(luò)安全
    • 5. 設(shè)備管理
    • 6. 交通物流分析
    • 7. 欺詐行為檢測(cè)
• 1.2 熟悉Python數(shù)據(jù)分析的工具
• • Python 數(shù)據(jù)分析優(yōu)勢(shì)
  • Python數(shù)據(jù)分析常用類庫
  • • 1．IPython——科學(xué)計(jì)算標(biāo)準(zhǔn)工具集的組成部分
    • 2．NumPy(Numerical Python)—— Python 科學(xué)計(jì)算的基礎(chǔ)包
    • 3．SciPy——專門解決科學(xué)計(jì)算中各種標(biāo)準(zhǔn)問題域的模塊的集合
    • 4．Pandas——數(shù)據(jù)分析核心庫
    • 5．Matplotlib——繪制數(shù)據(jù)圖表的 Python 庫
    • 6．scikit-learn——數(shù)據(jù)挖掘和數(shù)據(jù)分析工具
    • 7．Spyder——交互式 Python 語言開發(fā)環(huán)境
• 1.3 安裝 Python 的 Anaconda
• • Anaconda
  • 安裝流程
• 1.4 掌握 Jupyter Notebook 常用功能
• • Jupyter Notebook 的打開
  • Jupyter Notebook 的基本功能
  • • 打開并新建一個(gè)Notebook
    • Jupyter Notebook 的界面及其構(gòu)成
    • 編輯界面
    • 快捷鍵
  • Jupyter Notebook 的高級(jí)功能
  • • 1．Markdown
    • 2．導(dǎo)出功能

1.1 概述

數(shù)據(jù)分析的概念

• 廣義的數(shù)據(jù)分析包括狹義數(shù)據(jù)分析和數(shù)據(jù)挖掘。
• 狹義的數(shù)據(jù)分析是指根據(jù)分析目的，采用對(duì)比分析、分組分析、交叉分析和回歸分析等分析方法，對(duì)收集來的數(shù)據(jù)進(jìn)行處理與分析，提取有價(jià)值的信息，發(fā)揮數(shù)據(jù)的作用，得到一個(gè)特征統(tǒng)計(jì)量結(jié)果的過程。
• 數(shù)據(jù)挖掘則是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，通過應(yīng)用聚類、分類、回歸和關(guān)聯(lián)規(guī)則等技術(shù)，挖掘潛在價(jià)值的過程。
  

數(shù)據(jù)分析的流程

數(shù)據(jù)分析的實(shí)例

• 需求分析：數(shù)據(jù)分析中的需求分析也是數(shù)據(jù)分析環(huán)節(jié)的第一步和最重要的步驟之一，決定了后續(xù)的分析的方向、方法。
• 數(shù)據(jù)獲取：數(shù)據(jù)是數(shù)據(jù)分析工作的基礎(chǔ)，是指根據(jù)需求分析的結(jié)果提取，收集數(shù)據(jù)。
• 數(shù)據(jù)預(yù)處理：數(shù)據(jù)預(yù)處理是指對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)合并，數(shù)據(jù)清洗，數(shù)據(jù)變換和數(shù)據(jù)標(biāo)準(zhǔn)化，數(shù)據(jù)變換后使得整體數(shù)據(jù)變?yōu)楦蓛粽R，可以直接用于分析建模這一過程的總稱。
• 分析與建模：分析與建模是指通過對(duì)比分析、分組分析、交叉分析、回歸分析等分析方法和聚類、分類、關(guān)聯(lián)規(guī)則、智能推薦等模型與算法發(fā)現(xiàn)數(shù)據(jù)中的有價(jià)值信息，并得出結(jié)論的過程。
• 模型評(píng)價(jià)與優(yōu)化：模型評(píng)價(jià)是指對(duì)已經(jīng)建立的一個(gè)或多個(gè)模型，根據(jù)其模型的類別，使用不同的指標(biāo)評(píng)價(jià)其性能優(yōu)劣的過程。
• 部署：部署是指將通過了正式應(yīng)用數(shù)據(jù)分析結(jié)果與結(jié)論應(yīng)用至實(shí)際生產(chǎn)系統(tǒng)的過程。

數(shù)據(jù)分析的應(yīng)用場(chǎng)景

1. 客戶分析

• 主要是客戶的基本數(shù)據(jù)信息進(jìn)行商業(yè)行為分析，首先界定目標(biāo)客戶，根據(jù)客戶的需求，目標(biāo)客戶的性質(zhì)，所處行業(yè)的特征以及客戶的經(jīng)濟(jì)狀況等基本信息使用統(tǒng)計(jì)分析方法和預(yù)測(cè)驗(yàn)證法，分析目標(biāo)客戶，提高銷售效率。
• 其次了解客戶的采購過程，根據(jù)客戶采購類型、采購性質(zhì)進(jìn)行分類分析制定不同的營銷策略。
• 最后還可以根據(jù)已有的客戶特征，進(jìn)行客戶特征分析、客戶忠誠分析、客戶注意力分析、客戶營銷分析和客戶收益分析。

2. 營銷分析：

囊括了產(chǎn)品分析，價(jià)格分析，渠道分析，廣告與促銷分析這四類分析。

• 產(chǎn)品分析主要是競(jìng)爭(zhēng)產(chǎn)品分析，通過對(duì)競(jìng)爭(zhēng)產(chǎn)品的分析制定自身產(chǎn)品策略。
• 價(jià)格分析又可以分為成本分析和售價(jià)分析，成本分析的目的是降低不必要成本，售價(jià)分析的目的是制定符合市場(chǎng)的價(jià)格。
• 渠道分析目的是指對(duì)產(chǎn)品的銷售渠道進(jìn)行分析，確定最優(yōu)的渠道配比。
• 廣告與促銷分析則能夠結(jié)合客戶分析，實(shí)現(xiàn)銷量的提升，利潤的增加。

3. 社交媒體分析

以不同社交媒體渠道生成的內(nèi)容為基礎(chǔ)，實(shí)現(xiàn)不同社交媒體的用戶分析，訪問分析，互動(dòng)分析等。同時(shí)，還能為情感和輿情監(jiān)督提供豐富的資料。

• 用戶分析主要根據(jù)用戶注冊(cè)信息，登錄平臺(tái)的時(shí)間點(diǎn)和平時(shí)發(fā)表的內(nèi)容等用戶數(shù)據(jù)，分析用戶個(gè)人畫像和行為特征。
• 訪問分析則是通過用戶平時(shí)訪問的內(nèi)容，分析用戶的興趣愛好，進(jìn)而分析潛在的商業(yè)價(jià)值。
• 互動(dòng)分析根據(jù)互相關(guān)注對(duì)象的行為預(yù)測(cè)該對(duì)象未來的某些行為特征。

4. 網(wǎng)絡(luò)安全

新型的病毒防御系統(tǒng)可使用數(shù)據(jù)分析技術(shù)，建立潛在攻擊識(shí)別分析模型，監(jiān)測(cè)大量網(wǎng)絡(luò)活動(dòng)數(shù)據(jù)和相應(yīng)的訪問行為，識(shí)別可能進(jìn)行入侵的可疑模式，做到未雨綢繆。

5. 設(shè)備管理

通過物聯(lián)網(wǎng)技術(shù)能夠收集和分析設(shè)備上的數(shù)據(jù)流，包括連續(xù)用電、零部件溫度、環(huán)境濕度和污染物顆粒等無數(shù)潛在特征，建立設(shè)備管理模型，從而預(yù)測(cè)設(shè)備故障，合理安排預(yù)防性的維護(hù)，以確保設(shè)備正常作業(yè)，降低因設(shè)備故障帶來的安全風(fēng)險(xiǎn)。

6. 交通物流分析

物流是物品從供應(yīng)地向接收地的實(shí)體流動(dòng)。通過業(yè)務(wù)系統(tǒng)和GPS定位系統(tǒng)獲得數(shù)據(jù)，對(duì)于客戶使用數(shù)據(jù)構(gòu)建交通狀況預(yù)測(cè)分析模型，有效預(yù)測(cè)實(shí)時(shí)路況、物流狀況、車流量、客流量和貨物吞吐量，進(jìn)而提前補(bǔ)貨，制定庫存管理策略。

7. 欺詐行為檢測(cè)

身份信息泄露盜用事件逐年增長(zhǎng)，隨之而來的是欺詐行為和交易的增多。公安機(jī)關(guān)，各大金融機(jī)構(gòu)，電信部門可利用用戶基本信息，用戶交易信息，用戶通話短信信息等數(shù)據(jù)，識(shí)別可能發(fā)生的潛在欺詐交易，做到提前預(yù)防未雨綢繆。

1.2 熟悉Python數(shù)據(jù)分析的工具

Python 數(shù)據(jù)分析優(yōu)勢(shì)

• 語法簡(jiǎn)單精練。對(duì)于初學(xué)者來說，比起其他編程語言，Python更容易上手。
• 有很強(qiáng)大的庫。可以只使用Python這一種語言去構(gòu)建以數(shù)據(jù)為中心的應(yīng)用程序。
• 功能強(qiáng)大。Python是一個(gè)混合體，豐富的工具集使它介于傳統(tǒng)的腳本語言和系統(tǒng)語言之間。Python不僅具備所有腳本語言簡(jiǎn)單和易用的特點(diǎn)，還提供了編譯語言所具有的高級(jí)軟件工程工具。
• 不僅適用于研究和原型構(gòu)建，同時(shí)也適用于構(gòu)建生產(chǎn)系統(tǒng)。研究人員和工程技術(shù)人員使用同一種編程工具，會(huì)給企業(yè)帶來非常顯著的組織效益，并降低企業(yè)的運(yùn)營成本。
• Python是一門膠水語言。Python程序能夠以多種方式輕易地與其他語言的組件“粘接”在一起。

Python數(shù)據(jù)分析常用類庫

1．IPython——科學(xué)計(jì)算標(biāo)準(zhǔn)工具集的組成部分

• 是一個(gè)增強(qiáng)的Python shell，目的是提高編寫、測(cè)試、調(diào)試Python代碼的速度。
• 主要用于交互式數(shù)據(jù)并行處理，是分布式計(jì)算的基礎(chǔ)架構(gòu)。
• 提供了一個(gè)類似于Mathematica的HTML筆記本，一個(gè)基于Qt框架的GUI控制臺(tái)，具有繪圖、多行編輯以及語法高亮顯示等功能。

2．NumPy(Numerical Python)—— Python 科學(xué)計(jì)算的基礎(chǔ)包

• 快速高效的多維數(shù)組對(duì)象 ndarray。
• 對(duì)數(shù)組執(zhí)行元素級(jí)的計(jì)算以及直接對(duì)數(shù)組執(zhí)行數(shù)學(xué)運(yùn)算的函數(shù)。
• 讀寫硬盤上基于數(shù)組的數(shù)據(jù)集的工具。
• 線性代數(shù)運(yùn)算、傅里葉變換，以及隨機(jī)數(shù)生成的功能。
• 將 C、C++、Fortran 代碼集成到 Python 的工具。

3．SciPy——專門解決科學(xué)計(jì)算中各種標(biāo)準(zhǔn)問題域的模塊的集合

SciPy 主要包含了 8 個(gè)模塊，不同的子模塊有不同的應(yīng)用，如插值、積分、優(yōu)化、圖像處理和特殊函數(shù)等。

• scipy.integrate 數(shù)值積分例程和微分方程求解器
• scipy.linalg 擴(kuò)展了由 numpy.linalg 提供的線性代數(shù)例程和矩陣分解功能
• scipy.optimize 函數(shù)優(yōu)化器（最小化器）以及根查找算法
• scipy.signal 信號(hào)處理工具
• scipy.sparse 稀疏矩陣和稀疏線性系統(tǒng)求解器
• scipy.special SPECFUN（這是一個(gè)實(shí)現(xiàn)了許多常用數(shù)學(xué)函數(shù)的 Fortran 庫）的包裝器
• scipy.stats 檢驗(yàn)連續(xù)和離散概率分布、各種統(tǒng)計(jì)檢驗(yàn)方法，以及更好的描述統(tǒng)計(jì)法
• scipy.weave 利用內(nèi)聯(lián) C++代碼加速數(shù)組計(jì)算的工具

4．Pandas——數(shù)據(jù)分析核心庫

• 提供了一系列能夠快速、便捷地處理結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)和函數(shù)。
• 高性能的數(shù)組計(jì)算功能以及電子表格和關(guān)系型數(shù)據(jù)庫（如 SQL）靈活的數(shù)據(jù)處理功能。
• 復(fù)雜精細(xì)的索引功能，以便便捷地完成重塑、切片和切塊、聚合及選取數(shù)據(jù)子集等操作。

5．Matplotlib——繪制數(shù)據(jù)圖表的 Python 庫

• Python的2D繪圖庫，非常適合創(chuàng)建出版物上用的圖表。
• 操作比較容易，只需幾行代碼即可生成直方圖、功率譜圖、條形圖、錯(cuò)誤圖和散點(diǎn)圖等圖形。
• 提供了pylab的模塊，其中包括了NumPy和pyplot中許多常用的函數(shù)，方便用戶快速進(jìn)行計(jì)算和繪圖。
  交互式的數(shù)據(jù)繪圖環(huán)境，繪制的圖表也是交互式的。

6．scikit-learn——數(shù)據(jù)挖掘和數(shù)據(jù)分析工具

• 簡(jiǎn)單有效，可以供用戶在各種環(huán)境下重復(fù)使用。
• 封裝了一些常用的算法方法。
• 基本模塊主要有數(shù)據(jù)預(yù)處理、模型選擇、分類、聚類、數(shù)據(jù)降維和回歸 6 個(gè)，在數(shù)據(jù)量不大的情況下，scikit-learn可以解決大部分問題。

7．Spyder——交互式 Python 語言開發(fā)環(huán)境

• 提供高級(jí)的代碼編輯、交互測(cè)試和調(diào)試等特性。
• 包含數(shù)值計(jì)算環(huán)境。
• 可用于將調(diào)試控制臺(tái)直接集成到圖形用戶界面的布局中。
• 模仿MATLAB的“工作空間”，可以很方便地觀察和修改數(shù)組的值。

1.3 安裝 Python 的 Anaconda

Anaconda

• 預(yù)裝了大量常用 Packages。
• 完全開源和免費(fèi)。
• 額外的加速和優(yōu)化是收費(fèi)的，但對(duì)于學(xué)術(shù)用途，可以申請(qǐng)免費(fèi)的 License。
• 對(duì)全平臺(tái)和幾乎所有Python版本支持。

安裝流程

• 鏈接: 安裝網(wǎng)址：https://www.anaconda.com/products/individual#download-section.
• 選擇合適的版本
  
• 下載安裝包
• 安裝包——“next”——“I agree”——“All Users(requires admin privileges)”——選擇安裝路徑——“Install”——“finish”
  
• 圖片中Add Anaconda to my PATH...建議選擇，可以省去配置環(huán)境變量
  

1.4 掌握 Jupyter Notebook 常用功能

Jupyter Notebook 的打開

上圖提示框千萬不要關(guān)閉，一旦關(guān)閉，Jupyter Notebook將退出

Jupyter Notebook 的基本功能

打開并新建一個(gè)Notebook

“Text File”為純文本型
“Folder” 為文件夾
“Python 3” 表示 Python 運(yùn)行腳本

Jupyter Notebook 的界面及其構(gòu)成

選擇”Python 3”選項(xiàng)，進(jìn)入 Python 腳本編輯界面，Notebook 文檔由一系列單元（Cell）構(gòu)成，主要有兩種形式的單元。

代碼單元。這里是讀者編寫代碼的地方。
Markdown 單元。在這里對(duì)文本進(jìn)行編輯。

編輯界面

編輯模式：用于編輯文本和代碼。


命令模式：用于執(zhí)行鍵盤輸入的快捷命令。

快捷鍵

• “Esc”鍵：進(jìn)入命令模式
• “Y” 鍵：切換到代碼單元
• “M”鍵：切換到 Markdown 單元
• “B”鍵：在本單元的下方增加一單元
• “H”鍵：查看所有快捷命令
• “Shift＋Enter”組合鍵：運(yùn)行代碼

Jupyter Notebook 的高級(jí)功能

1．Markdown

• Markdown 是一種可以使用普通文本編輯器編寫的標(biāo)記語言，通過簡(jiǎn)單的標(biāo)記語法，它可以使普通文本內(nèi)容具有一定的格式。
  標(biāo)題：標(biāo)題是標(biāo)明文章和作品等內(nèi)容的簡(jiǎn)短語句。一個(gè)“#”字符代表一級(jí)標(biāo)題，以此類推。
  

• 列表：列表是一種由數(shù)據(jù)項(xiàng)構(gòu)成的有限序列，即按照一定的線性順序排列而成的數(shù)據(jù)項(xiàng)的集合。
  對(duì)于無序列表，使用星號(hào)、加號(hào)或者減號(hào)作為列表標(biāo)記
  對(duì)于有序列表，則是使用數(shù)字“，”“（一個(gè)空格）”。
  列表：列表是一種由數(shù)據(jù)項(xiàng)構(gòu)成的有限序列，即按照一定的線性順序排列而成的數(shù)據(jù)項(xiàng)的集合。
  對(duì)于無序列表，使用星號(hào)、加號(hào)或者減號(hào)作為列表標(biāo)記
  對(duì)于有序列表，則是使用數(shù)字“，”“（一個(gè)空格）”。
  
  

• 加粗／斜體：前后有兩個(gè)星號(hào)或下劃線表示加粗，前后有 3 個(gè)星號(hào)或下劃線表示斜體。
  
  

• 表格：代碼的第一行表示表頭，第二行分隔表頭和主體部分，從第三行開始，每一行代表一個(gè)表格行；列與列之間用符號(hào)“｜”隔開，表格每一行的兩邊也要有符號(hào)“｜”。
  

• 數(shù)學(xué)公式編輯：LaTeX 是寫科研論文的必備工具， Markdown 單元中也可以使用 LaTeX 來插入數(shù)學(xué)公式。
  在文本行中插入數(shù)學(xué)公式，應(yīng)在公式前后分別加上一個(gè)“$”符號(hào)如果要插入一個(gè)數(shù)學(xué)區(qū)塊，則在公式前后分別加上兩個(gè)“$$”符號(hào)。
  

2．導(dǎo)出功能

• Notebook 還有一個(gè)強(qiáng)大的特性，就是導(dǎo)出功能。可以將 Notebook 導(dǎo)出為多種格式，如HTML、Markdown、reST、PDF（通過 LaTeX）等格式。
  導(dǎo)出功能可通過選擇“File”→“Download as”級(jí)聯(lián)菜單中的命令實(shí)現(xiàn)。
  

總結(jié)

以上是生活随笔為你收集整理的1 python数据分析概述的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。