1 python數(shù)據(jù)分析概述

• 1.1 概述
• • 數(shù)據(jù)分析的概念
  • 數(shù)據(jù)分析的流程
  • 數(shù)據(jù)分析的應用場景
  • • 1. 客戶分析
    • 2. 營銷分析：
    • 3. 社交媒體分析
    • 4. 網(wǎng)絡安全
    • 5. 設備管理
    • 6. 交通物流分析
    • 7. 欺詐行為檢測
• 1.2 熟悉Python數(shù)據(jù)分析的工具
• • Python 數(shù)據(jù)分析優(yōu)勢
  • Python數(shù)據(jù)分析常用類庫
  • • 1．IPython——科學計算標準工具集的組成部分
    • 2．NumPy(Numerical Python)—— Python 科學計算的基礎包
    • 3．SciPy——專門解決科學計算中各種標準問題域的模塊的集合
    • 4．Pandas——數(shù)據(jù)分析核心庫
    • 5．Matplotlib——繪制數(shù)據(jù)圖表的 Python 庫
    • 6．scikit-learn——數(shù)據(jù)挖掘和數(shù)據(jù)分析工具
    • 7．Spyder——交互式 Python 語言開發(fā)環(huán)境
• 1.3 安裝 Python 的 Anaconda
• • Anaconda
  • 安裝流程
• 1.4 掌握 Jupyter Notebook 常用功能
• • Jupyter Notebook 的打開
  • Jupyter Notebook 的基本功能
  • • 打開并新建一個Notebook
    • Jupyter Notebook 的界面及其構(gòu)成
    • 編輯界面
    • 快捷鍵
  • Jupyter Notebook 的高級功能
  • • 1．Markdown
    • 2．導出功能

1.1 概述

數(shù)據(jù)分析的概念

• 廣義的數(shù)據(jù)分析包括狹義數(shù)據(jù)分析和數(shù)據(jù)挖掘。
• 狹義的數(shù)據(jù)分析是指根據(jù)分析目的，采用對比分析、分組分析、交叉分析和回歸分析等分析方法，對收集來的數(shù)據(jù)進行處理與分析，提取有價值的信息，發(fā)揮數(shù)據(jù)的作用，得到一個特征統(tǒng)計量結(jié)果的過程。
• 數(shù)據(jù)挖掘則是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數(shù)據(jù)中，通過應用聚類、分類、回歸和關(guān)聯(lián)規(guī)則等技術(shù)，挖掘潛在價值的過程。
  

數(shù)據(jù)分析的流程

數(shù)據(jù)分析的實例

• 需求分析：數(shù)據(jù)分析中的需求分析也是數(shù)據(jù)分析環(huán)節(jié)的第一步和最重要的步驟之一，決定了后續(xù)的分析的方向、方法。
• 數(shù)據(jù)獲取：數(shù)據(jù)是數(shù)據(jù)分析工作的基礎，是指根據(jù)需求分析的結(jié)果提取，收集數(shù)據(jù)。
• 數(shù)據(jù)預處理：數(shù)據(jù)預處理是指對數(shù)據(jù)進行數(shù)據(jù)合并，數(shù)據(jù)清洗，數(shù)據(jù)變換和數(shù)據(jù)標準化，數(shù)據(jù)變換后使得整體數(shù)據(jù)變?yōu)楦蓛粽R，可以直接用于分析建模這一過程的總稱。
• 分析與建模：分析與建模是指通過對比分析、分組分析、交叉分析、回歸分析等分析方法和聚類、分類、關(guān)聯(lián)規(guī)則、智能推薦等模型與算法發(fā)現(xiàn)數(shù)據(jù)中的有價值信息，并得出結(jié)論的過程。
• 模型評價與優(yōu)化：模型評價是指對已經(jīng)建立的一個或多個模型，根據(jù)其模型的類別，使用不同的指標評價其性能優(yōu)劣的過程。
• 部署：部署是指將通過了正式應用數(shù)據(jù)分析結(jié)果與結(jié)論應用至實際生產(chǎn)系統(tǒng)的過程。

數(shù)據(jù)分析的應用場景

1. 客戶分析

• 主要是客戶的基本數(shù)據(jù)信息進行商業(yè)行為分析，首先界定目標客戶，根據(jù)客戶的需求，目標客戶的性質(zhì)，所處行業(yè)的特征以及客戶的經(jīng)濟狀況等基本信息使用統(tǒng)計分析方法和預測驗證法，分析目標客戶，提高銷售效率。
• 其次了解客戶的采購過程，根據(jù)客戶采購類型、采購性質(zhì)進行分類分析制定不同的營銷策略。
• 最后還可以根據(jù)已有的客戶特征，進行客戶特征分析、客戶忠誠分析、客戶注意力分析、客戶營銷分析和客戶收益分析。

2. 營銷分析：

囊括了產(chǎn)品分析，價格分析，渠道分析，廣告與促銷分析這四類分析。

• 產(chǎn)品分析主要是競爭產(chǎn)品分析，通過對競爭產(chǎn)品的分析制定自身產(chǎn)品策略。
• 價格分析又可以分為成本分析和售價分析，成本分析的目的是降低不必要成本，售價分析的目的是制定符合市場的價格。
• 渠道分析目的是指對產(chǎn)品的銷售渠道進行分析，確定最優(yōu)的渠道配比。
• 廣告與促銷分析則能夠結(jié)合客戶分析，實現(xiàn)銷量的提升，利潤的增加。

3. 社交媒體分析

以不同社交媒體渠道生成的內(nèi)容為基礎，實現(xiàn)不同社交媒體的用戶分析，訪問分析，互動分析等。同時，還能為情感和輿情監(jiān)督提供豐富的資料。

• 用戶分析主要根據(jù)用戶注冊信息，登錄平臺的時間點和平時發(fā)表的內(nèi)容等用戶數(shù)據(jù)，分析用戶個人畫像和行為特征。
• 訪問分析則是通過用戶平時訪問的內(nèi)容，分析用戶的興趣愛好，進而分析潛在的商業(yè)價值。
• 互動分析根據(jù)互相關(guān)注對象的行為預測該對象未來的某些行為特征。

4. 網(wǎng)絡安全

新型的病毒防御系統(tǒng)可使用數(shù)據(jù)分析技術(shù)，建立潛在攻擊識別分析模型，監(jiān)測大量網(wǎng)絡活動數(shù)據(jù)和相應的訪問行為，識別可能進行入侵的可疑模式，做到未雨綢繆。

5. 設備管理

通過物聯(lián)網(wǎng)技術(shù)能夠收集和分析設備上的數(shù)據(jù)流，包括連續(xù)用電、零部件溫度、環(huán)境濕度和污染物顆粒等無數(shù)潛在特征，建立設備管理模型，從而預測設備故障，合理安排預防性的維護，以確保設備正常作業(yè)，降低因設備故障帶來的安全風險。

6. 交通物流分析

物流是物品從供應地向接收地的實體流動。通過業(yè)務系統(tǒng)和GPS定位系統(tǒng)獲得數(shù)據(jù)，對于客戶使用數(shù)據(jù)構(gòu)建交通狀況預測分析模型，有效預測實時路況、物流狀況、車流量、客流量和貨物吞吐量，進而提前補貨，制定庫存管理策略。

7. 欺詐行為檢測

身份信息泄露盜用事件逐年增長，隨之而來的是欺詐行為和交易的增多。公安機關(guān)，各大金融機構(gòu)，電信部門可利用用戶基本信息，用戶交易信息，用戶通話短信信息等數(shù)據(jù)，識別可能發(fā)生的潛在欺詐交易，做到提前預防未雨綢繆。

1.2 熟悉Python數(shù)據(jù)分析的工具

Python 數(shù)據(jù)分析優(yōu)勢

• 語法簡單精練。對于初學者來說，比起其他編程語言，Python更容易上手。
• 有很強大的庫。可以只使用Python這一種語言去構(gòu)建以數(shù)據(jù)為中心的應用程序。
• 功能強大。Python是一個混合體，豐富的工具集使它介于傳統(tǒng)的腳本語言和系統(tǒng)語言之間。Python不僅具備所有腳本語言簡單和易用的特點，還提供了編譯語言所具有的高級軟件工程工具。
• 不僅適用于研究和原型構(gòu)建，同時也適用于構(gòu)建生產(chǎn)系統(tǒng)。研究人員和工程技術(shù)人員使用同一種編程工具，會給企業(yè)帶來非常顯著的組織效益，并降低企業(yè)的運營成本。
• Python是一門膠水語言。Python程序能夠以多種方式輕易地與其他語言的組件“粘接”在一起。

Python數(shù)據(jù)分析常用類庫

1．IPython——科學計算標準工具集的組成部分

• 是一個增強的Python shell，目的是提高編寫、測試、調(diào)試Python代碼的速度。
• 主要用于交互式數(shù)據(jù)并行處理，是分布式計算的基礎架構(gòu)。
• 提供了一個類似于Mathematica的HTML筆記本，一個基于Qt框架的GUI控制臺，具有繪圖、多行編輯以及語法高亮顯示等功能。

2．NumPy(Numerical Python)—— Python 科學計算的基礎包

• 快速高效的多維數(shù)組對象 ndarray。
• 對數(shù)組執(zhí)行元素級的計算以及直接對數(shù)組執(zhí)行數(shù)學運算的函數(shù)。
• 讀寫硬盤上基于數(shù)組的數(shù)據(jù)集的工具。
• 線性代數(shù)運算、傅里葉變換，以及隨機數(shù)生成的功能。
• 將 C、C++、Fortran 代碼集成到 Python 的工具。

3．SciPy——專門解決科學計算中各種標準問題域的模塊的集合

SciPy 主要包含了 8 個模塊，不同的子模塊有不同的應用，如插值、積分、優(yōu)化、圖像處理和特殊函數(shù)等。

• scipy.integrate 數(shù)值積分例程和微分方程求解器
• scipy.linalg 擴展了由 numpy.linalg 提供的線性代數(shù)例程和矩陣分解功能
• scipy.optimize 函數(shù)優(yōu)化器（最小化器）以及根查找算法
• scipy.signal 信號處理工具
• scipy.sparse 稀疏矩陣和稀疏線性系統(tǒng)求解器
• scipy.special SPECFUN（這是一個實現(xiàn)了許多常用數(shù)學函數(shù)的 Fortran 庫）的包裝器
• scipy.stats 檢驗連續(xù)和離散概率分布、各種統(tǒng)計檢驗方法，以及更好的描述統(tǒng)計法
• scipy.weave 利用內(nèi)聯(lián) C++代碼加速數(shù)組計算的工具

4．Pandas——數(shù)據(jù)分析核心庫

• 提供了一系列能夠快速、便捷地處理結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)和函數(shù)。
• 高性能的數(shù)組計算功能以及電子表格和關(guān)系型數(shù)據(jù)庫（如 SQL）靈活的數(shù)據(jù)處理功能。
• 復雜精細的索引功能，以便便捷地完成重塑、切片和切塊、聚合及選取數(shù)據(jù)子集等操作。

5．Matplotlib——繪制數(shù)據(jù)圖表的 Python 庫

• Python的2D繪圖庫，非常適合創(chuàng)建出版物上用的圖表。
• 操作比較容易，只需幾行代碼即可生成直方圖、功率譜圖、條形圖、錯誤圖和散點圖等圖形。
• 提供了pylab的模塊，其中包括了NumPy和pyplot中許多常用的函數(shù)，方便用戶快速進行計算和繪圖。
  交互式的數(shù)據(jù)繪圖環(huán)境，繪制的圖表也是交互式的。

6．scikit-learn——數(shù)據(jù)挖掘和數(shù)據(jù)分析工具

• 簡單有效，可以供用戶在各種環(huán)境下重復使用。
• 封裝了一些常用的算法方法。
• 基本模塊主要有數(shù)據(jù)預處理、模型選擇、分類、聚類、數(shù)據(jù)降維和回歸 6 個，在數(shù)據(jù)量不大的情況下，scikit-learn可以解決大部分問題。

7．Spyder——交互式 Python 語言開發(fā)環(huán)境

• 提供高級的代碼編輯、交互測試和調(diào)試等特性。
• 包含數(shù)值計算環(huán)境。
• 可用于將調(diào)試控制臺直接集成到圖形用戶界面的布局中。
• 模仿MATLAB的“工作空間”，可以很方便地觀察和修改數(shù)組的值。

1.3 安裝 Python 的 Anaconda

Anaconda

• 預裝了大量常用 Packages。
• 完全開源和免費。
• 額外的加速和優(yōu)化是收費的，但對于學術(shù)用途，可以申請免費的 License。
• 對全平臺和幾乎所有Python版本支持。

安裝流程

• 鏈接: 安裝網(wǎng)址：https://www.anaconda.com/products/individual#download-section.
• 選擇合適的版本
  
• 下載安裝包
• 安裝包——“next”——“I agree”——“All Users(requires admin privileges)”——選擇安裝路徑——“Install”——“finish”
  
• 圖片中Add Anaconda to my PATH...建議選擇，可以省去配置環(huán)境變量
  

1.4 掌握 Jupyter Notebook 常用功能

Jupyter Notebook 的打開

上圖提示框千萬不要關(guān)閉，一旦關(guān)閉，Jupyter Notebook將退出

Jupyter Notebook 的基本功能

打開并新建一個Notebook

“Text File”為純文本型
“Folder” 為文件夾
“Python 3” 表示 Python 運行腳本

Jupyter Notebook 的界面及其構(gòu)成

選擇”Python 3”選項，進入 Python 腳本編輯界面，Notebook 文檔由一系列單元（Cell）構(gòu)成，主要有兩種形式的單元。

代碼單元。這里是讀者編寫代碼的地方。
Markdown 單元。在這里對文本進行編輯。

編輯界面

編輯模式：用于編輯文本和代碼。


命令模式：用于執(zhí)行鍵盤輸入的快捷命令。

快捷鍵

• “Esc”鍵：進入命令模式
• “Y” 鍵：切換到代碼單元
• “M”鍵：切換到 Markdown 單元
• “B”鍵：在本單元的下方增加一單元
• “H”鍵：查看所有快捷命令
• “Shift＋Enter”組合鍵：運行代碼

Jupyter Notebook 的高級功能

1．Markdown

• Markdown 是一種可以使用普通文本編輯器編寫的標記語言，通過簡單的標記語法，它可以使普通文本內(nèi)容具有一定的格式。
  標題：標題是標明文章和作品等內(nèi)容的簡短語句。一個“#”字符代表一級標題，以此類推。
  

• 列表：列表是一種由數(shù)據(jù)項構(gòu)成的有限序列，即按照一定的線性順序排列而成的數(shù)據(jù)項的集合。
  對于無序列表，使用星號、加號或者減號作為列表標記
  對于有序列表，則是使用數(shù)字“，”“（一個空格）”。
  列表：列表是一種由數(shù)據(jù)項構(gòu)成的有限序列，即按照一定的線性順序排列而成的數(shù)據(jù)項的集合。
  對于無序列表，使用星號、加號或者減號作為列表標記
  對于有序列表，則是使用數(shù)字“，”“（一個空格）”。
  
  

• 加粗／斜體：前后有兩個星號或下劃線表示加粗，前后有 3 個星號或下劃線表示斜體。
  
  

• 表格：代碼的第一行表示表頭，第二行分隔表頭和主體部分，從第三行開始，每一行代表一個表格行；列與列之間用符號“｜”隔開，表格每一行的兩邊也要有符號“｜”。
  

• 數(shù)學公式編輯：LaTeX 是寫科研論文的必備工具， Markdown 單元中也可以使用 LaTeX 來插入數(shù)學公式。
  在文本行中插入數(shù)學公式，應在公式前后分別加上一個“$”符號如果要插入一個數(shù)學區(qū)塊，則在公式前后分別加上兩個“$$”符號。
  

2．導出功能

• Notebook 還有一個強大的特性，就是導出功能。可以將 Notebook 導出為多種格式，如HTML、Markdown、reST、PDF（通過 LaTeX）等格式。
  導出功能可通過選擇“File”→“Download as”級聯(lián)菜單中的命令實現(xiàn)。
  

總結(jié)

以上是生活随笔為你收集整理的1 python数据分析概述的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。