【大数据】学习大数据前需要掌握的知识
一談到大數(shù)據(jù)技術(shù),很多人首先想到的是數(shù)學(xué),大概是因?yàn)閿?shù)字在數(shù)學(xué)體系中穩(wěn)固的位置吧,這也是理所當(dāng)然的。大數(shù)據(jù)時(shí)代已經(jīng)被抄的很熱了,這個(gè)行業(yè)目前已經(jīng)逐漸成熟,想學(xué)習(xí)大數(shù)據(jù)開發(fā)的人越來越多。每天我們?cè)诨ヂ?lián)網(wǎng)都要存留大量的信息,但如何收集、整理這海量的信息,并產(chǎn)生價(jià)值,已經(jīng)是各行各業(yè)都在探索的重要課題,且不說在海量數(shù)據(jù)中挖掘用戶需求,預(yù)測(cè)未來的市場(chǎng)導(dǎo)向,就連政府的政務(wù)數(shù)據(jù)也要云計(jì)算、大數(shù)據(jù)。.
如果有編程背景這是最好的了,會(huì)節(jié)省很多學(xué)習(xí)時(shí)間,更容易理解。因?yàn)榇髷?shù)據(jù)環(huán)境比較復(fù)雜,并不像學(xué)習(xí)編程軟件一樣,機(jī)器安裝一下,跟老師敲幾行代碼就可以了,但大數(shù)據(jù)可就要麻煩多了,至少要準(zhǔn)備好虛擬化的集群環(huán)境,然后又要安裝部署各種計(jì)算框架,所以需要有耐心,有一定解決問題的能力,堅(jiān)持不懈,才有可能學(xué)好大數(shù)據(jù)。
由于工作關(guān)系,在我的周圍存在這兩類人,一是正在學(xué)校學(xué)習(xí)的大學(xué)生,二是在IT公司從事研發(fā)設(shè)計(jì)的工程師。他們?cè)跀?shù)學(xué)學(xué)習(xí)和應(yīng)用方面出現(xiàn)了兩個(gè)極端。在校大學(xué)生,特別是大一、大二的學(xué)生每學(xué)期都有一些諸如數(shù)學(xué)分析、線性代數(shù)、數(shù)論之類數(shù)學(xué)課程,盡管在課堂上可以聽到萊布尼茨和牛頓的糾葛故事、笛卡爾的愛情故事,但是他們往往感到很迷茫,因?yàn)椴恢浪鶎W(xué)的數(shù)學(xué)知識(shí)到底有什么用。對(duì)于IT公司的研發(fā)人員來說,他們?cè)谶M(jìn)入大數(shù)據(jù)相關(guān)崗位前,總是覺得要先學(xué)點(diǎn)數(shù)學(xué),但是茫茫的數(shù)學(xué)世界,哪里才是大數(shù)據(jù)技術(shù)的開頭?
線性代數(shù)這部分?jǐn)?shù)學(xué)知識(shí)與大數(shù)據(jù)技術(shù)開發(fā)的關(guān)系也很密切,矩陣、轉(zhuǎn)置、秩 分塊矩陣、向量、正交矩陣、向量空間、特征值與特征向量等在大數(shù)據(jù)建模、分析中也是常用的技術(shù)手段。
在互聯(lián)網(wǎng)大數(shù)據(jù)中,許多應(yīng)用場(chǎng)景的分析對(duì)象都可以抽象成為矩陣表示,大量Web頁(yè)面及其關(guān)系、微博用戶及其關(guān)系、文本集中文本與詞匯的關(guān)系等等都可以用矩陣表示。比如對(duì)于Web頁(yè)面及其關(guān)系用矩陣表示時(shí),矩陣元素就代表了頁(yè)面a與另一個(gè)頁(yè)面b的關(guān)系,這種關(guān)系可以是指向關(guān)系,1表示a和b之間有超鏈接,0表示a,b之間沒有超鏈接。著名的PageRank算法就是基于這種矩陣進(jìn)行頁(yè)面重要性的量化,并證明其收斂性。
以矩陣為基礎(chǔ)的各種運(yùn)算,如矩陣分解則是分析對(duì)象特征提取的途徑,因?yàn)榫仃嚧砹四撤N變換或映射,因此分解后得到的矩陣就代表了分析對(duì)象在新空間中的一些新特征。所以,奇異值分解SVD、PCA、NMF、MF等在大數(shù)據(jù)分析中的應(yīng)用是很廣泛的。
詳細(xì)內(nèi)容:【大數(shù)據(jù)學(xué)習(xí)】數(shù)學(xué)基礎(chǔ)及應(yīng)用——阿里云大學(xué)
課程主要介紹大數(shù)據(jù)中的數(shù)學(xué)基礎(chǔ):
一、向量、矩陣介紹?
二、向量在游戲引擎中的應(yīng)用
三、矩陣奇異值分解及其應(yīng)用?
四、導(dǎo)數(shù)、梯度介紹?
五、最優(yōu)化方法及其應(yīng)用
阿里云開發(fā)者社區(qū)全面升級(jí),一站式體驗(yàn),用得更爽:(阿里云開發(fā)者社區(qū)首頁(yè))
轉(zhuǎn)載于:https://blog.51cto.com/14377691/2410012
總結(jié)
以上是生活随笔為你收集整理的【大数据】学习大数据前需要掌握的知识的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: BGP 路由表即将突破 768k
- 下一篇: Codeup——问题 H: 部分A+B