本文主要查閱了SDCC 2016數(shù)據(jù)庫(kù)峰會(huì)（深圳站）PPT合集后的學(xué)習(xí)筆記，在此記錄。下面的幾個(gè)標(biāo)題是各個(gè)PPT的文件標(biāo)題。

01 金融大數(shù)據(jù)技術(shù)與實(shí)戰(zhàn)-平安科技-王健宗

• 背景

　　3月15日，持續(xù)七天的圍棋“人機(jī)世界大戰(zhàn)” 落下帷幕，谷歌的人工智能機(jī)器人 AlphaGo 以4：1大比分戰(zhàn)勝圍棋世界冠軍李世乭九段。此戰(zhàn)成名的智能機(jī)器人AlphaGo利用“策略網(wǎng)絡(luò)（Policy Network）” 和“值網(wǎng)絡(luò)（Value Network）” 兩大核心深度神經(jīng)網(wǎng)絡(luò)，分析棋盤局面，在可控計(jì)算量的范圍內(nèi)判斷每步下子策略的優(yōu)劣。

• 問題的提出

　　人工智能下一個(gè)進(jìn)軍和顛覆是金融界？智能投顧，是虛擬機(jī)器人基于投資者自身的理財(cái)需求，通過(guò)算法和產(chǎn)品來(lái)完成以往人工提供的理財(cái)顧問服務(wù)。用戶無(wú)需掌握太多市場(chǎng)和金融產(chǎn)品知識(shí)就可以使用該服務(wù)。基于人工智能布局金融大數(shù)據(jù)，具體形式如下：

• 相關(guān)的概念

  • 深度學(xué)習(xí)技術(shù)（擅長(zhǎng)對(duì)非結(jié)構(gòu)化數(shù)據(jù)處理）

    卷積神經(jīng)網(wǎng)絡(luò)（CNN）是人工神經(jīng)網(wǎng)絡(luò)的一種，已成為當(dāng)前語(yǔ)音分析和圖像識(shí)別領(lǐng)域的研究熱點(diǎn)。它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。

    基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)技術(shù)：包括卷積層(特征提取)和降采樣層。可用于圖像識(shí)別（字符識(shí)別、物體識(shí)別）和語(yǔ)音識(shí)別等。利用圖像的空間聯(lián)系是局部的，我們使每個(gè)神經(jīng)元只感受局部的圖像區(qū)域，然后在更高層中，將這些感受不同局部的神經(jīng)元綜合起來(lái)就可以得到全局的信息。

  • 異構(gòu)運(yùn)算體系（ HSA） 在計(jì)算任務(wù)并行性類型基礎(chǔ)上， 將具有相同類型的代碼段劃分到同一子任務(wù)中， 然后根據(jù)不同并行性類型將各子任務(wù)分配到最適合執(zhí)行它的計(jì)算資源上加以執(zhí)行， 達(dá)到使計(jì)算任務(wù)總的執(zhí)行時(shí)間為最小。

    異構(gòu)計(jì)算采用GPU計(jì)算，因?yàn)镚PU具有更強(qiáng)的計(jì)算力和更高的帶寬。相比于CPU，GPU更多的晶體管都用來(lái)做計(jì)算而不是做cache和flow control。

  • 深度學(xué)習(xí)在金融場(chǎng)景中的應(yīng)用

    • 智能推薦（用戶推薦反饋分析、基于深度學(xué)習(xí)的推薦系統(tǒng)設(shè)計(jì)、面向高凈值客戶的精準(zhǔn)推薦）

    • 風(fēng)險(xiǎn)控制（金融產(chǎn)品用戶欺詐行為模式檢測(cè)、虛假信息智能過(guò)濾、基于用戶信用特征的信用評(píng)分體系）

    • 智能問答（智能問答機(jī)器人的語(yǔ)料庫(kù)構(gòu)建、基于深度學(xué)習(xí)的NLP技術(shù)應(yīng)用、自動(dòng)問答智能模型搭建）

    • 社交大數(shù)據(jù)與LBS服務(wù)（ 個(gè)體及群體用戶金融行為分析、群體的金融同質(zhì)性及影響力分析、面向社交群體的LBS服務(wù)）

  • 眾包

    • 定義：一種分布式的問題解決和生產(chǎn)模式。 問題以公開招標(biāo)的方式傳播給未知的決方案提供者群體。用戶(指眾包里的“眾” )典型地組成在線社區(qū)并提交方案。這些最好的方案最后由最先提出問題的一方(眾包人, crowdsourcer)所有,并且群“眾”中勝出的個(gè)人時(shí)會(huì)被獎(jiǎng)勵(lì)。(此定義來(lái)源于“維基百科”)

    • 主要的眾包平臺(tái)：亞馬遜Mturk (AMT)、CrowdFlower、Captricity、微差事、DesignCrowd、豬八戒網(wǎng)等。

      • 亞馬遜Mturk (AMT)，具有面向全球，擁有龐大的用戶群，任務(wù)形式自由多樣等優(yōu)勢(shì)。但是Worker市場(chǎng)水平參差， 準(zhǔn)入門檻較低。
      • CrowdFlower，具有專注數(shù)據(jù)分析細(xì)分領(lǐng)域，提供完善的數(shù)據(jù)眾包服務(wù)優(yōu)勢(shì)。但是服務(wù)更新較慢。
      • Captricity，針對(duì)手寫、掃描、打印等多種文本提供識(shí)別功能，融合了機(jī)器學(xué)習(xí)技術(shù)，提升了眾包結(jié)果的準(zhǔn)確性。但是市場(chǎng)規(guī)模仍然較小。
      • 微差事，借助穩(wěn)固的市場(chǎng)和移動(dòng)眾包的核心獲得迅速發(fā)展，任務(wù)形式簡(jiǎn)單易用， 獲得年輕群體的青睞。但是任務(wù)發(fā)布總量較小。

02-丁奇-SDCC-數(shù)據(jù)庫(kù)系統(tǒng)化實(shí)戰(zhàn)（數(shù)據(jù)庫(kù)運(yùn)維幸福感提升實(shí)戰(zhàn)）

人物介紹：阿里丁奇 RDS 數(shù)據(jù)庫(kù)內(nèi)核組、 MySQL/PG 源碼&運(yùn)維團(tuán)隊(duì) SQLServer 運(yùn)維團(tuán)隊(duì)
（上海/杭州）

• 可靠性

  • 說(shuō)說(shuō)備份
  • 一主一備夠嗎——誤操作
  • 定時(shí)備份夠嗎——恢復(fù)到任意時(shí)間點(diǎn)需求
  • 備份對(duì)不對(duì)——備份驗(yàn)證問題
  • 恢復(fù)過(guò)程對(duì)不對(duì)——新備庫(kù)驗(yàn)證
  • 主備一致性問題
  • 備庫(kù)跟主庫(kù)一致嗎——如何驗(yàn)證、如何修復(fù)
  • 無(wú)法按片修復(fù)的時(shí)候怎么辦——主庫(kù)備份、備庫(kù)重做

• 可用性

  • 備庫(kù)運(yùn)行可靠性
    • 備庫(kù)是否正常工作、延遲及解決
    • apply 線程的各種錯(cuò)誤（1062/1032、myisam表crash， 需要repair、relay解析錯(cuò)誤、找不到主庫(kù)對(duì)應(yīng)binlog）
  • 連接閃斷問題背景（機(jī)器維護(hù)/版本升級(jí) 總要切換）
  • 連接保持解決方案（引入proxy、連接保持、事務(wù)外切換）
  • 自建庫(kù)解決方案（應(yīng)用做異常重連重試、教育開發(fā)！）
  • 雪崩問題背景（剛剛誰(shuí)說(shuō)的重試？一個(gè)超時(shí)重試引發(fā)的血案）
  • 自建庫(kù)解決方案（監(jiān)控+kill）
  • 源碼解決方法（select max_statement_time=1000 ….）
  • ……

• 穩(wěn)定性

  • 資源隔離(進(jìn)程間資源隔離、線程間資源隔離、只讀庫(kù)方案)
  • 基本監(jiān)控及基本判斷

• 可診斷性（鏈路監(jiān)控、審計(jì)日志、審計(jì)日志的實(shí)現(xiàn)方式）

03-張翼-攜程實(shí)時(shí)計(jì)算平臺(tái)實(shí)踐分享 Base

人物介紹： 攜程的大數(shù)據(jù)平臺(tái)負(fù)責(zé)人，關(guān)注大數(shù)據(jù)架構(gòu)領(lǐng)域的發(fā)展， 對(duì)Hadoop，HIVE， HBASE， Spark， Storm等有所研究，致力于大數(shù)據(jù)架構(gòu)和業(yè)務(wù)場(chǎng)景的結(jié)合和落地，通過(guò)數(shù)據(jù)產(chǎn)生業(yè)務(wù)價(jià)值。

04-馬如悅-palo-201604

Palo:MPP-based Interactive SQL Data Warehousing

• Online Data Serving、
  • Palo：大規(guī)模并行分析型數(shù)據(jù)庫(kù)（OLAP）
  • TDB：分布式事務(wù)型數(shù)據(jù)庫(kù)（NewSQL）
  • SimpleDB：高性能（實(shí)時(shí)+批量） KV數(shù)據(jù)庫(kù)
  • Elasticsearch：文本型數(shù)據(jù)查詢和分析數(shù)據(jù)庫(kù)

05-雷海林-mysql備份原理與在TDSQL中的實(shí)踐

人物介紹：騰訊 / TEG / 計(jì)費(fèi)平臺(tái)部。2007年加入騰訊公司，10年以上的Linux后臺(tái)Server開發(fā)經(jīng)驗(yàn)，之前重點(diǎn)負(fù)責(zé)高一致性分布式Cache系統(tǒng)的設(shè)計(jì)開發(fā)(HOLD平臺(tái))，目前是TDSQL的技術(shù)負(fù)責(zé)人。

• 備份的意義和基本原理

  • 主要用來(lái)做數(shù)據(jù)恢復(fù)(錯(cuò)誤的SQL業(yè)務(wù)/數(shù)據(jù)庫(kù)本身的Bug/黑客攻擊/審計(jì)或者測(cè)試，回檔到指定時(shí)間點(diǎn)/DBA睡覺踏實(shí))

  • 備份的基本原理-多引擎的結(jié)構(gòu)。MySQL-server層包括binlog、innodb、其他引擎如MyISAM等、表結(jié)構(gòu).frm文件

  • 備份的基本原理-如何獲取數(shù)據(jù)
    • 核心是一致性全量數(shù)據(jù)+BINLOG位置
    • 離線備份
      • 停機(jī)
      • 鎖表，FLUSH TABLES WITH READ LOCK
    • 在線熱備份
      • 邏輯備份，select獲取一致性數(shù)據(jù)＋BINLOG位置
      • 物理備份，拷貝一致性數(shù)據(jù)文件+BINLOG位置

• mysqldump分析

• FTWRL鎖的分析

• 邏輯復(fù)制的性能優(yōu)化

• xtrabackup原理分析

• 方案對(duì)比和選型建議

• TDSQL目前采用的備份方案

總結(jié)

根據(jù)查閱這些PPT，發(fā)現(xiàn)數(shù)據(jù)庫(kù)系統(tǒng)包含很多內(nèi)容，圍繞可靠性、可用性、穩(wěn)定性和可診斷性的目標(biāo)展開。對(duì)于各個(gè)企業(yè)的數(shù)據(jù)庫(kù)相關(guān)大牛的分享，他們介紹了如何保證數(shù)據(jù)庫(kù)系統(tǒng)的性能以及實(shí)現(xiàn)更強(qiáng)大的功能的數(shù)據(jù)庫(kù)技術(shù)。

總結(jié)

以上是生活随笔為你收集整理的SDCC 2016数据库峰会（深圳站）学习笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。