大数据时代的发展
今天所產(chǎn)生的數(shù)據(jù)比過去幾年所產(chǎn)生的數(shù)據(jù)大好幾個數(shù)量級，企業(yè)有了能夠輕松訪問和分析數(shù)據(jù)以提高性能的新機(jī)會，如何從數(shù)據(jù)中獲取價值顯得尤為重要，也是大數(shù)據(jù)相關(guān)技術(shù)急需要解決的問題。大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)。數(shù)據(jù)建模不僅僅是任意組織數(shù)據(jù)結(jié)構(gòu)和關(guān)系，還必須與最終用戶的需求和問題聯(lián)系起來，并提供指導(dǎo)，幫助確保正確的數(shù)據(jù)正確使用正確的方法獲得正確的結(jié)果.生命科學(xué)作為21世紀(jì)最重要的科學(xué)分支之一，高性能計算在生命科學(xué)的研究和發(fā)展中起了非常重要的作用。目前，高性能計算在生命科學(xué)領(lǐng)域中的應(yīng)用主要包括：基因測序，分子動力，虛擬篩選。而對于高性能計算在生命科學(xué)領(lǐng)域的主要作用是對實驗儀器測量數(shù)據(jù)處理和分析，分子動力學(xué)模擬以及計算機(jī)輔助藥物設(shè)計類計算。隨著人類基因組計劃的相繼完成，以及各種模式的生物基因組計劃的實施，基因測序技術(shù)也在不斷發(fā)展。同時，關(guān)于生物基因組序列的海量數(shù)據(jù)不斷涌現(xiàn)，因此就需要用通過高性能計算對這些數(shù)據(jù)加以整理和存儲。實驗儀器測量數(shù)據(jù)處理和分析，首先通過實驗儀器對生物分子進(jìn)行測量，使用一些后處理軟件對原始的大量數(shù)據(jù)進(jìn)行處理和分析，然后對序列數(shù)據(jù)進(jìn)行同源及相似性搜尋、比對、序列分析、遺傳發(fā)育分析等，應(yīng)用軟件數(shù)量巨大，各種軟件在同源性分析算法上各有特點，最常用的有BLAST，FASTA，HMMER，ClustalW，DNASTAR，PHYLIP，PAML，PAUP，T-Coffee，EMBOSS等。有對蛋白質(zhì)分子進(jìn)行研究的三維冷凍電鏡方法及結(jié)構(gòu)解析軟件EMAN，SPIDER;利用Xray方法測量用軟件CCP4、ARP/wARP，CNS進(jìn)行解析等;質(zhì)譜儀測序以及后續(xù)處理軟件tandom(X!tandom)等。分子動力學(xué)模擬是在原子水平上利用牛頓經(jīng)典力學(xué)方程模擬分子的運動，隨著高性能計算能力的提高，分子動力學(xué)模擬已經(jīng)成為生物大分子理論研究的有力工具，目前，用于分子動力學(xué)模擬的主要軟件有AMBER ，Charmm，NAMD，Gromacs等，這類應(yīng)用非常適合大規(guī)模并行。計算機(jī)輔助藥物設(shè)計是根據(jù)受體的結(jié)構(gòu)是否已知，分為直接藥物設(shè)計和間接藥物設(shè)計。通過分子模擬軟件分析結(jié)合部位的結(jié)構(gòu)性質(zhì)。然后運用數(shù)據(jù)庫搜尋或者全新藥物分子設(shè)計技術(shù)識別得到分子形狀和理化性質(zhì)與受體作用位點相匹配的分子，合成并測試這些分子的生物活性，經(jīng)過幾輪的循環(huán)，就可以發(fā)現(xiàn)新的先導(dǎo)化合物。因此，計算機(jī)輔助藥物設(shè)計大致包括活性點位分析法，數(shù)據(jù)庫搜尋，全新藥物設(shè)計。根據(jù)計算方法的不同分剛性對接、半柔性對接和柔性對接，應(yīng)用軟件有DOCK ，AutoDock，FlexX，Discovery Studio，ZDOCK，RDOCK，MORDOR等。對海量研究數(shù)據(jù)的生命科學(xué)領(lǐng)域計算，北鯤云可以提供完整的行業(yè)解決方案。不僅如此，北鯤云超算平臺預(yù)安裝了300多款軟件，研究人員在北鯤云超算平臺可以根據(jù)自身的研究需要，隨時啟用已經(jīng)安裝好的軟件，方便快捷。北鯤云超算平臺采用公有云計算資源，最新的CPU及GPU資源，最高可申請100000CPU核心,滿足不同應(yīng)用軟件對高性能計算資源的不同需求。
目標(biāo)
1.掌握大數(shù)據(jù)建模分析與使用方法。
2.掌握大數(shù)據(jù)平臺技術(shù)架構(gòu)。
3.掌握國內(nèi)外主流的大數(shù)據(jù)分析與BI商業(yè)智能分析解決方案。
4.掌握大數(shù)據(jù)分析在搜索引擎、廣告服務(wù)推薦、電商數(shù)據(jù)分析、金融客戶分析方面的應(yīng)用。
5.掌握主流的基于大數(shù)據(jù)Hadoop和Spark、R的大數(shù)據(jù)分析平臺架構(gòu)和實際應(yīng)用。
6.掌握基于Hadoop大數(shù)據(jù)平臺分布式系統(tǒng)平臺應(yīng)用，以及商業(yè)和開源的數(shù)據(jù)分析產(chǎn)品加上Hadoop平臺形成大數(shù)據(jù)分析平臺的應(yīng)用剖析。
7.掌握常見的機(jī)器學(xué)習(xí)算法。
計劃
第一天
? ? 一、大數(shù)據(jù)概述
1.大數(shù)據(jù)及特點分析
2.大數(shù)據(jù)關(guān)健技術(shù)
3.大數(shù)據(jù)計算模式
4.大數(shù)據(jù)應(yīng)用實例? ?
? ? 二、大數(shù)據(jù)處理架構(gòu)Hadoop
1.Hadoop項目結(jié)構(gòu)
2.Hadoop安裝與使用
3.Hadoop集群的部署與使用
4.Hadoop 代表性組件??
1.Hadoop Single Node Cluster
2. Hadoop Multi Node Cluster
? ? 三、分布式文件系統(tǒng)HDFS? ?
1.HDFS體系結(jié)構(gòu)
2.HDFS存儲
3.HDFS數(shù)據(jù)讀寫過程? ?
1.創(chuàng)建與查看HDFS目錄
2.從本地計算復(fù)制文件到HDFS
3.將HDFS文件復(fù)制到本地計算機(jī)
4.復(fù)制與刪除HDFS文件
5.Hadoop HDFS Web瀏覽HDFS
? ? 四、分布式數(shù)據(jù)庫HBase? ?
1.HBase訪問接口
2.HBase數(shù)據(jù)類型
3.HBase實現(xiàn)原理
4.HBase運行機(jī)制
5.HBase應(yīng)用? ?
第二天
? ? 五、MapReduce
1.MapReduce體系結(jié)構(gòu)
2.MapReduce工作流程
3.資源管理調(diào)度框架YARN
4.MapReduce應(yīng)用? ?
? ? 六、Spark
1.Spark生態(tài)與運行架構(gòu)
2.Spark SQL
3.Spark部署與應(yīng)用方式??
1.?Spark 安
2.本地運行pyspark程序
3.在Hadoop YARN 運行pyspark
4.Spark Web UI
? ? 七、IPython Notebook運行Python Spark程序??
1.Anaconda
2.IPython Notebook使用Spark
3.使用IPython Notebook在Hadoop YARN模式運行? ?
1.在不同模式運行IPython Notebook運行Python Spark命令
2.Python 程序開發(fā)
? ? 八、Python Spark集成開發(fā)環(huán)境? ?
1.Python Spark集成開發(fā)環(huán)境部署配置
2.Spark數(shù)據(jù)分析庫MLlib的開發(fā)部署??Spark MLlib應(yīng)用程序示例
第三天
? ? 九、Python Spark決策樹二分類與多分類? ?
1.決策樹原理
2.大數(shù)據(jù)問題
3.決策樹二分類
4.決策樹多分類? ? 1.搜集數(shù)據(jù)
2.數(shù)據(jù)準(zhǔn)備：導(dǎo)入并轉(zhuǎn)換數(shù)據(jù)、提取特征字段、提取標(biāo)簽
3. Python Spark建模，訓(xùn)練模型
4.預(yù)測數(shù)據(jù)
5.評估數(shù)據(jù)，給出評價指標(biāo)并得到評估結(jié)果
? ? 十、Python Spark支持向量機(jī)
1.支持向量機(jī)SVM 原理與算法
2.Python Spark SVM程序設(shè)計??
1.數(shù)據(jù)準(zhǔn)備
2.建立SVM模型，訓(xùn)練模型
3.評估參數(shù)并找出最優(yōu)參數(shù)
4.根據(jù)模型進(jìn)行預(yù)測
? ? 十一、Python Spark 貝葉斯模型? ?
1.樸素貝葉斯模型原理
2.Python Spark貝葉斯模型程序設(shè)計
1.建模貝葉斯模型，并進(jìn)行對參數(shù)估計
2.訓(xùn)練模型，得到最優(yōu)參數(shù)
3.根據(jù)模型進(jìn)行預(yù)測
? ? 十二、Python Spark邏輯回歸
1.邏輯回歸原理
2.Python Spark邏輯回歸程序設(shè)計??
1.Python Spark邏輯回歸建模
2.根據(jù)模型進(jìn)行分類
第四天
? ? 十三、Python Spark回歸分析
1.大數(shù)據(jù)分析
2.數(shù)據(jù)集介紹
3.Python Spark回歸程序設(shè)計? ?
1.數(shù)據(jù)準(zhǔn)備
2.訓(xùn)練回歸模型
3.建立評估指標(biāo)
4.訓(xùn)練回歸模型，并找到最優(yōu)參數(shù)
5.根據(jù)模型進(jìn)行預(yù)測
? ? 十四、Spark ML Pipeline 機(jī)器學(xué)習(xí)流程分類
1.機(jī)器學(xué)習(xí)流程組件：StringIndexer、OneHotEncoder、VectorAssembler等
2.使用Spark ML Pipeline 機(jī)器學(xué)習(xí)流程分類程序設(shè)計??
1.數(shù)據(jù)準(zhǔn)備
2.建立機(jī)器學(xué)習(xí)Pipeline流程
3.使用Pipeline流程訓(xùn)練
4.使用PipelineModel預(yù)測
5.評估模型準(zhǔn)備率
? ? 十五、Python Spark 創(chuàng)建推薦引擎??
1.推薦算法
2.推薦引擎大數(shù)據(jù)分析使用場景
3.推薦引擎設(shè)計? ?
1.搜索數(shù)據(jù)
2.準(zhǔn)備數(shù)據(jù)
3.訓(xùn)練模型
4.使用模型進(jìn)行推薦
? ? 十六、項目實踐
1.日志分析系統(tǒng)與日志挖掘項目實踐
a、Hadoop，Spark，ELK技術(shù)構(gòu)建日志數(shù)據(jù)倉庫
b、互聯(lián)網(wǎng)微博日志分析系統(tǒng)項目
1.推薦系統(tǒng)項目實踐
a、電影數(shù)據(jù)分析與個性化推薦關(guān)聯(lián)分析項目
人工智能是產(chǎn)業(yè)變革的基石，對于不同行業(yè)和場景的智能化改造將成為未來趨勢。安防金融、醫(yī)療、汽車制造業(yè)、智能家居、凈水器維修等領(lǐng)域都是人工智能的發(fā)展方向。未來幾年人工智能有望在語音識別、工業(yè)、輔助醫(yī)療、服務(wù)機(jī)器人、無人駕駛、虛擬現(xiàn)實等前沿領(lǐng)域嶄露頭角，千億級市場盛宴將開啟。由中國人工智能學(xué)會、北京工業(yè)大學(xué)主辦的中國人工智能院長與名師論壇在線舉行。國務(wù)院參事、中國人工智能學(xué)會理事長、中國工程院院士戴瓊海，中國人工智能學(xué)會常務(wù)理事、北京工業(yè)大學(xué)副校長喬俊飛出席開幕式并代表主辦單位致辭。中國人工智能學(xué)會副理事長、中科院自動化所副所長劉成林擔(dān)任主論壇主持嘉賓。《藍(lán)皮書》認(rèn)為，認(rèn)知是人類智能的重要表現(xiàn)，其基石和燃料是規(guī)范化的知識（如概念、屬性和關(guān)系等），基于規(guī)范化知識就可形成對學(xué)習(xí)對象的理解和分類。如13世紀(jì)末雷蒙·盧爾提出的“知識樹”和萊布尼茲提出的“人類知識字母表”就是對知識進(jìn)行規(guī)范的一種努力。對人工智能所涵蓋內(nèi)容分類越細(xì)致周全，明晰不同內(nèi)容之間的邊界和聯(lián)系，對人工智能的理解就越清晰純凈。為此，需要對人工智能不同知識概念有序組織起來，形成規(guī)范化的圖景，由此由點到線、由線到面、由面到體，明晰人工智能宏大復(fù)雜的知識網(wǎng)絡(luò)，《藍(lán)皮書》即為實現(xiàn)這一目標(biāo)的重要嘗試，對人工智能知識點全景化凝練。《藍(lán)皮書》回顧了人工智能于1956年在達(dá)特茅斯啟航后，因為英國政府20世紀(jì)70年代發(fā)布“萊特希爾（Lighthill）報告”和20世紀(jì)80年代神經(jīng)網(wǎng)絡(luò)模型能力受限，使得當(dāng)時人們對人工智能研究產(chǎn)生了質(zhì)疑，人工智能發(fā)展隨即兩次先后墜入了低谷。人工智能兩次進(jìn)入發(fā)展冬天的本質(zhì)原因在于人們對人工智能期望過大以及對新生事物的未來發(fā)展前景難以預(yù)測，當(dāng)時人工智能理論和方法未能產(chǎn)生所承諾的重大影響又進(jìn)一步影響了人工智能的研究環(huán)境。回顧這些發(fā)展歷程中的主要挫折，不難發(fā)現(xiàn)，當(dāng)與信息環(huán)境的變化趨勢不符時，往往就會導(dǎo)致失敗。促使人工智能變化的動力既有來自人工智能研究的內(nèi)部驅(qū)動力，也有來自信息環(huán)境與社會目標(biāo)的外部驅(qū)動力，兩者都很重要，但相比之下，往往后者的動力更加強(qiáng)大。作為一種使能技術(shù)，人工智能天然具有與其他學(xué)科研究進(jìn)行交叉的秉性，從這個意義而言，人工智能可謂“至小有內(nèi)涵，至大可交叉”。 因此，人工智能研究本身以及人工智能人才培養(yǎng)需要融合來自神經(jīng)科學(xué)、腦科學(xué)、物理學(xué)、數(shù)學(xué)、電子工程、生物學(xué)、語言學(xué)、認(rèn)知學(xué)等方面的知識，從而使得研究本身能夠解決更復(fù)雜問題、所培養(yǎng)人才能夠應(yīng)對復(fù)雜問題挑戰(zhàn)。此外，《藍(lán)皮書》還對計算機(jī)課程體系發(fā)展中人工智能知識點演變脈絡(luò)進(jìn)行了梳理，展示了人工智能知識體系從強(qiáng)調(diào)程序設(shè)計、到算法研究以及功能實現(xiàn)的變化過程。
總結(jié)
- 上一篇： jrtplib的使用
- 下一篇： dnastar拼接反向互补序列_反向互补