【大数据】大数据的特点
生活随笔
收集整理的這篇文章主要介紹了
【大数据】大数据的特点
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
數據量大
根據IDC作出的估測,數據一直都在以每年50%的速度增長,也就是說每兩年就增長一倍(大數據摩爾定律)。
人類在最近兩年產生的數據量相當于之前產生的全部數據量。
數據量的量級:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
除了1Byte=8bit以外,全是210=10242^{10}=1024210=1024進制。
數據類型繁多
大數據是由結構化數據、半結構化數據和非結構化數據組成的。
- 非結構化數據是數據結構不規則或不完整,沒有預定義的數據模型,不方便用數據庫二維邏輯表來表現的數據。包括所有格式的辦公文檔、文本、圖片、XML, HTML、各類報表、圖像和音頻/視頻信息等等。[1]
- 和普通純文本相比,半結構化數據具有一定的結構性,OEM(Object exchange Model)是一種典型的半結構化數據模型。[2]
- 結構化數據,簡單來說就是數據庫。結合到典型場景中更容易理解,比如企業ERP、財務系統;醫療HIS數據庫;教育一卡通;政府行政審批;其他核心數據庫等。[3]
20%的結構化數據,存儲在數據庫中;剩余80%都是以文件形式存在的非結構化和半結構化數據,日志文件、機器數據等又占據非結構化數據的90%。
處理速度快
從數據的生成到消耗,時間窗口非常小,可用于生成決策的時間非常少。
1秒定律是互聯網進入DT時代對數據處理速度的要求。當然并非嚴格的1秒,只是秒級的時間內給出結果,這也是大數據技術有別于傳統數據技術的重要一點, 時間太長,就失去意義了。這一點也是和傳統的數據挖掘技術有著本質的不同。[4]
價值密度低,商業價值高
以視頻為例,連續不間斷監控過程中,可能有用的數據僅僅有一兩秒,但是具有很高的商業價值。
總結
以上是生活随笔為你收集整理的【大数据】大数据的特点的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 攀爬者(洛谷P5143题题解,Java语
- 下一篇: 【JVM】JVM指令集总结