2021SC@SDUSC

PIG在大數據平臺中的位置與作用

題主并沒有上過大數據相關的課程，拿出了一份之前掃盲的時候整理的資料來帶給大家

Pig是一種高級數據語言，運行于HDFS之上，是hadoop上層的衍生架構

主要的幾種大數據架構及其之間的關系如下圖所示

?按照不同功能進行劃分，一些的大數據項目可以如下所示

?由上圖可以看出，Pig是一種查詢平臺，我的資料中還有以下的引用：

簡介：Pig是一種編程語言，它簡化了Hadoop常見的工作任務。Pig可加載數據、表達轉換數據以及存儲最終結果。Pig內置的操作使得半結構化數據變得有意義（如日志文件）。同時Pig可擴展使用Java中添加的自定義數據類型并支持數據轉換。

Pig最大的作用就是對mapreduce算法(框架)實現了一套shell腳本 ，類似我們通常熟悉的SQL語句，在Pig中稱之為Pig Latin，在這套腳本中我們可以對加載出來的數據進行排序、過濾、求和、分組(group by)、關聯(Joining)，Pig也可以由用戶自定義一些函數對數據集進行操作，也就是傳說中的UDF(user-defined functions)。

Pig官方網站>>>

Pig Latin介紹

Pig Latin是一種SQL like語言 ，其功能和SQL類似

Pig源碼獲取

首先訪問Pig官網

?點擊側邊欄的Releases，下拉，找到Download標題，->Downloqd a release now!

點第一個網址https://dlcdn.apache.org/pig

進去后頁面是這樣的

?選擇下載pig-0.17.0-src.tar.gz

下載后是個壓縮文件，解壓后用任意編程軟件打開就行了

核心代碼目錄

根據小組分工，本人接下來將對Pig的數據類型進行分析，代碼集中于/data目錄

?

?

?

?

總結

以上是生活随笔為你收集整理的【软件工程实践】Pig项目1-什么是Pig的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。