产品经理学大数据——什么是大数据?(1)
大數(shù)據(jù)是什么?
大數(shù)據(jù)不是一向單一的技術(shù),而是一個(gè)概念,是一套技術(shù),是一個(gè)生態(tài)圈。
對(duì)于大數(shù)據(jù)的概念,不同研究狗從不同角度有不同的定義。
- Gartner認(rèn)為“大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)李和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)”。
- 麥肯錫認(rèn)為“大數(shù)據(jù)指的是大小超出常規(guī)的數(shù)據(jù)庫工具獲取、存儲(chǔ)、管理和分析能力的數(shù)據(jù)集。但它同時(shí)強(qiáng)調(diào),并不是說一定要超過特定TB值的數(shù)據(jù)集才能算是大數(shù)據(jù)”。
- 根據(jù)維基百科的定義,“大數(shù)據(jù)是指無法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合”。I
- DG認(rèn)為:“大數(shù)據(jù)一般會(huì)涉及2中或2中以上數(shù)據(jù)形式,它要手機(jī)超過100TB的數(shù)據(jù),并且是高速實(shí)時(shí)數(shù)據(jù)流;或者是從小數(shù)據(jù)開始,但數(shù)據(jù)每年會(huì)增長(zhǎng)60%以上”
以色列已經(jīng)把所有政府部門的視頻整合到一個(gè)大數(shù)據(jù)管理平臺(tái)上,并在這個(gè)平臺(tái)上開發(fā)了一套智慧安防系統(tǒng)。在這個(gè)系統(tǒng)上,只要把某一個(gè)人的人臉或人的主要特征數(shù)據(jù)輸入系統(tǒng),就能從海量的監(jiān)控記錄中查處同那個(gè)人相關(guān)的視頻片段,并自動(dòng)變成一個(gè)有時(shí)間順序的片子。
大數(shù)據(jù)的四大特征
大數(shù)據(jù)具有4V特征,即Volume(數(shù)據(jù)體量大)、Variety(數(shù)據(jù)類型繁多)、Velocity(數(shù)據(jù)產(chǎn)生的速度快)、Value(數(shù)據(jù)價(jià)值密度低)
大數(shù)據(jù)的商用化
- 最下面的這一層是大數(shù)據(jù)基本問題。解決這四個(gè)問題是大數(shù)據(jù)商用化基礎(chǔ),Hadoop技術(shù)很好地解決了這一層的問題。Hadoop也被認(rèn)為是下一代IT架構(gòu)的基礎(chǔ),將組成逐步替換以關(guān)系型數(shù)據(jù)庫為基礎(chǔ)的傳統(tǒng)系統(tǒng)。
- 中間這一層是關(guān)于訪問權(quán)限的問題。高但是現(xiàn)有的Hadoop技術(shù)還沒有對(duì)數(shù)據(jù)的敏感性提供可行的解決方案。
- 最上面一層是有關(guān)大數(shù)據(jù)質(zhì)量的管理。
從用戶的角度,從大數(shù)據(jù)平臺(tái)的功能性的角度來看,我們把大數(shù)據(jù)平臺(tái)細(xì)分為三個(gè)平臺(tái):大數(shù)據(jù)云平臺(tái)、大數(shù)據(jù)管理平臺(tái)和大數(shù)據(jù)應(yīng)用(分析)平臺(tái)。大數(shù)據(jù)待機(jī)(也叫數(shù)據(jù)交換和共享)包含在大數(shù)據(jù)管理平臺(tái)之中。
- 大數(shù)據(jù)云平臺(tái)是集約化建設(shè)的IT基礎(chǔ)設(shè)施層,為大數(shù)據(jù)處理和應(yīng)用提供統(tǒng)一的基礎(chǔ)支撐服務(wù);
- 大數(shù)據(jù)管理平臺(tái)是數(shù)據(jù)資源層,為大數(shù)據(jù)應(yīng)用提供統(tǒng)一數(shù)據(jù)采集、分析和處理等支持服務(wù);
- 大數(shù)據(jù)應(yīng)用平臺(tái)是業(yè)務(wù)應(yīng)用層,為大數(shù)據(jù)在各領(lǐng)域的應(yīng)用提供綜合服務(wù)。
大數(shù)據(jù)分析
光有大數(shù)據(jù)還不夠。在大數(shù)據(jù)平臺(tái)上存儲(chǔ)了足夠多的數(shù)據(jù)后,我們?cè)撛趺磳⑵浼右岳媚?#xff1f;分析大數(shù)據(jù),并將分析結(jié)果應(yīng)用與決策中才是最重要的事情。
預(yù)測(cè)分析是大數(shù)據(jù)分析領(lǐng)域中的一個(gè)常用模式,它通過分析采集的數(shù)據(jù)來預(yù)測(cè)未來的行為或趨勢(shì)。它根據(jù)事物的過去和現(xiàn)在估計(jì)未來,根據(jù)已知預(yù)測(cè)未知,從而減少對(duì)未來事物認(rèn)識(shí)的不確定性,以用來指導(dǎo)我們的決策行動(dòng),減少?zèng)Q策的盲目性。在大數(shù)據(jù)分析領(lǐng)域,預(yù)測(cè)分析常常與預(yù)測(cè)模型、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘有關(guān)。
處理預(yù)測(cè)分析,還有關(guān)聯(lián)分析。關(guān)聯(lián)分析的目的在于,找出數(shù)據(jù)之間內(nèi)在的聯(lián)系。比如,購物籃分析,即消費(fèi)者常常會(huì)同時(shí)購買哪些產(chǎn)品,從而有助于商家的捆綁銷售。
大數(shù)據(jù)與云計(jì)算的關(guān)系
大數(shù)據(jù)IT架構(gòu)的基本特征,首先必須是可以擴(kuò)展的,因?yàn)閱吸c(diǎn)的技術(shù)無法承受大數(shù)據(jù)的要求。它的高可用性是通過軟件設(shè)計(jì)和架構(gòu)設(shè)計(jì)來實(shí)現(xiàn)的,而不是通過傳統(tǒng)的高性能、高可用的高端設(shè)備來實(shí)現(xiàn)的。所以,從技術(shù)上看,大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。
大數(shù)據(jù)必然無法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理,必須采用分布式架構(gòu)。而云計(jì)算的分布式處理、云存儲(chǔ)和虛擬化技術(shù)為大數(shù)據(jù)提供了IT基礎(chǔ),保證了大數(shù)據(jù)應(yīng)用的高效運(yùn)行。
大數(shù)據(jù)的國(guó)家戰(zhàn)略
政府大數(shù)據(jù)價(jià)值:
- 數(shù)量上,表面上看,BAT擁有數(shù)以億計(jì)的用戶量,阿里巴巴的數(shù)據(jù)容量在100PB左右,而僅一個(gè)北京市政府就擁有幾百個(gè)PB的數(shù)據(jù)容量。當(dāng)前,中央和省級(jí)政務(wù)部門的電子政務(wù)覆蓋率已經(jīng)達(dá)到70%。粗略估算,全國(guó)政府大數(shù)據(jù)加起來至少該有數(shù)百甚至上千個(gè)阿里巴巴的體量。
- 質(zhì)量上,百度擁有龐大的搜索記錄,但這些數(shù)據(jù)較為單一,不進(jìn)行關(guān)聯(lián)引用毫無價(jià)值;騰訊擁有數(shù)億的QQ和微信用戶量以及更龐大的社交數(shù)據(jù),但這些數(shù)據(jù)目前僅局限于營(yíng)銷應(yīng)用;阿里的交易數(shù)據(jù)似乎價(jià)值更高,但也只是局限在電商領(lǐng)域以及外延應(yīng)用。政府大數(shù)據(jù)不同,它涉及工商、水務(wù)、司法、交通、醫(yī)療、教育、通信、金融、地理、氣象、房產(chǎn)、保險(xiǎn)、農(nóng)業(yè)、環(huán)境等領(lǐng)域,數(shù)據(jù)種類多,關(guān)聯(lián)性強(qiáng),統(tǒng)計(jì)規(guī)格較為統(tǒng)一,事關(guān)百姓生活的方方面面,數(shù)據(jù)利用價(jià)值也最高。
政府大數(shù)據(jù)的應(yīng)用:
- 截止2016年初,中國(guó)的智慧城市試點(diǎn)已達(dá)193個(gè),而公開宣布建設(shè)智慧城市超過400個(gè),投資總規(guī)模高達(dá)5000億元。智慧城市的概念包含了智慧政務(wù)、智慧能源、指揮交通、智慧醫(yī)療、智慧環(huán)保等都領(lǐng)域的應(yīng)用,而這些都要依托于大數(shù)據(jù),大數(shù)據(jù)產(chǎn)業(yè)是“智慧”的源泉,是智慧城市的推手。
總結(jié)
以上是生活随笔為你收集整理的产品经理学大数据——什么是大数据?(1)的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 发票清单计算机怎么打印,如何导出自己开的
- 下一篇: mybatis使用map插入数据和Myb