從數據采集角度來說，都有哪些數據源呢？
這四類數據源包括了：開放數據源、爬蟲抓取、傳感器和日志采集
開放數據源一般是針對行業的數據庫。國內，貴州做了不少大膽嘗試，搭建了云平臺，逐年開放了旅游、交通、商務等領域的數據量
爬蟲抓取，一般是針對特定的網站或 App。如果我們想要抓取指定的網站數據，比如購物網站上的購物評價等，就需要我們做特定的爬蟲抓取。
第三類數據源是傳感器，它基本上采集的是物理信息。比如圖像、視頻、或者某個物體的速度、熱度、壓強等。
最后是日志采集，這個是統計用戶的操作。我們可以在前端進行埋點，在后端進行腳本收集、統計，來分析網站的訪問情況，以及使用瓶頸等
如何使用開放數據源
一個是單位的維度，比如政府、企業、高校；一個就是行業維度，比如交通、金融、能源等領域
如何使用爬蟲做抓取
在 Python 爬蟲中，基本上會經歷三個過程。
1、使用 Requests 爬取內容。我們可以使用 Requests 庫來抓取網頁信息。Requests 庫可以說是 Python 爬蟲的利器，也就是 Python 的 HTTP 庫，通過這個庫爬取網頁中的數據，非常方便，可以幫我們節約大量的時間。
2、使用 XPath 解析內容。XPath 是 XML Path 的縮寫，也就是 XML 路徑語言。它是一種用來確定 XML 文檔中某部分位置的語言，在開發中經常用來當作小型查詢語言。XPath 可以通過元素和屬性進行位置索引。
3、使用 Pandas 保存數據。Pandas 是讓數據分析工作變得更加簡單的高級數據結構，我們可以用 Pandas 保存爬取的數據。最后通過 Pandas 再寫入到 XLS 或者 MySQL 等數據庫中。

總結

以上是生活随笔為你收集整理的数据采集的数据源有哪些？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。