day01大數(shù)據(jù)

什么是大數(shù)據(jù)

海量數(shù)據(jù) 文件 mysql 緩存數(shù)據(jù)

怎么進行大數(shù)據(jù)處理 hadoop

• 數(shù)據(jù)怎么存儲 hadoop中的HDFS

• 數(shù)據(jù)怎么計算 （增刪改查）hadoop中的MR

大數(shù)據(jù)特點

Volume：數(shù)據(jù)量大，包括采集、存儲和計算的量都非常大；

Variety：種類和來源多樣化。包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)；

Value：數(shù)據(jù)價值密度相對較低，或者說是浪里淘沙卻又彌足珍貴；

Velocity：數(shù)據(jù)增長速度快，處理速度也快，時效性要求高；

Veracity：數(shù)據(jù)的準確性和可信賴度，即數(shù)據(jù)的質(zhì)量。

大數(shù)據(jù)的方向

etl（采集，清洗，轉(zhuǎn)化，導入） 數(shù)據(jù)倉庫 hadoop的數(shù)據(jù)存儲和計算

數(shù)據(jù)采集：埋點，爬蟲

數(shù)據(jù)清洗：去除空數(shù)據(jù)或重復數(shù)據(jù)

數(shù)據(jù)轉(zhuǎn)化：轉(zhuǎn)化為對應的存儲形式

數(shù)據(jù)存儲：excle，mysql，hadoop

數(shù)據(jù)分析：

數(shù)據(jù)展示：BI

拓展

離線計算

hadoop mr

近實時計算

spark

實時計算

flink

分布式技術(shù)

數(shù)倉工具大部分都采用分布式技術(shù)

將應用或程序分別安裝部署在不同的服務器上統(tǒng)一對外提供服務

• 應用分布式

• 存儲分布式

• 計算分布式

集群

對外提供多個相同服務

zookeeper

分布式協(xié)調(diào)服務

在數(shù)倉領(lǐng)域的場景 協(xié)調(diào)hadoop服務實現(xiàn)高可用

zookeeper特性

• 一致性

• 可靠性

• 順序性

• 原子性

• 實時性

zookeeper機器節(jié)點---多個zookeeper服務之間的角色劃分

• leader--領(lǐng)導者角色 負責管理維護多個zookeeper服務，leader基于內(nèi)部算法選舉產(chǎn)生，超過一般的服務同意則該服務就作為leader服務對外提供zk服務，leader主要處理事務請求（保存，更新，刪除）

• follower--跟隨者角色 處理獲取數(shù)據(jù)請求，定時將當前狀態(tài)告知給leader（心跳機制），參與選舉過程

• observer--觀察者角色 處理查詢請求，不參選舉過程

zookeeper數(shù)據(jù)節(jié)點---zookeeper存儲數(shù)據(jù)時的數(shù)據(jù)模型

• 永久節(jié)點

• 順序永久節(jié)點

• 臨時節(jié)點

• 順序臨時節(jié)點

zookeeper配置

下載安裝包、解壓

tar -zxvf zookeeper-3.4.6.tar.gz mv zookeeper-3.4.6 zookeeper

修改環(huán)境變量，可選操作

vi /etc/profile export ZOOKEEPER_HOME=/export/server/zookeeper export PATH=$PATH:$ZOOKEEPER_HOME/bin

source /etc/profile

修改Zookeeper配置文件

cd zookeeper/conf mv zoo_sample.cfg zoo.cfg

vi zoo.cfg 添加內(nèi)容： dataDir=/export/data/zkdata

最后一行添加

server.1=node1:2888:3888 server.2=node2:2888:3888 server.3=node3:2888:3888

添加每個節(jié)點zk服務編號myid

創(chuàng)建文件夾：

mkdir -p /export/data/zkdata

在data文件夾下新建myid文件，myid的文件內(nèi)容為對應服務器編號：

echo 1 > /export/data/zkdata/myid

分發(fā)安裝包到其他機器

cd /export/server

scp -r zookeeper/ root@node2:$PWD scp -r zookeeper/ root@node3:$PWD

修改其他機器的配置文件

修改myid文件 mkdir -p /export/data/zkdata echo 2 > /export/data/zkdata/myid

mkdir -p /export/data/zkdata echo 3 > /export/data/zkdata/myid

總結(jié)

以上是生活随笔為你收集整理的什么是大数据！！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。