2019獨角獸企業重金招聘Python工程師標準>>>

????Pivotal是由VMware的Cloud Foundry和EMC的Greenplum等業務分拆并重組而成新公司，其目的是為企業帶來重新構建、嚴格測試過的Hadoop，該公司已將Apache Hadoop 2.2技術融入其新的Pivotal HD 2.0版本中，同時還在該版本中集成了內存數據庫GemFire XD。
????Greenplum的架構采用了MPP(大規模并行處理)。在 MPP 系統中，每個 SMP節點也可以運行自己的操作系統、數據庫等。換言之，每個節點內的 CPU 不能訪問另一個節點的內存。Greenplum 被EMC公司收購，將其整合到EMC云計算戰略中。
????說到底，GemFire 就是 Greenplum的新生。12306就是用了GemFire 這個內存技術。GemFire通過云計算平臺虛擬化技術，將若干X86服務器的內存集中起來，組成最高可達數十TB的內存資源池，將全部數據加載到內存中，進行內存計算。計算過程本身不需要讀寫磁盤，只是定期將數據同步或異步方式寫到磁盤。GemFire在分布式集群中保存了多份數據，任何一臺機器故障，其它機器上還有備份數據，不用擔心數據丟失，而且有磁盤數據作為備份。

--整理于2014、08、16

整體同步并行計算模型(Bulk Synchronous Parallel Computing Model，簡稱BSP模型)，又名大同步模型或BSP模型，由哈佛大學Viliant和牛津大學Bill McColl提出。google Pregel、apapche hama、spark 都基于這個思想.

--2014-08-18 上午

????對于阿里的消息中間件系統，大家所廣泛了解的是 @ 子柳 在《淘寶技術這十年》中介紹的 Notify ，但是從最近的阿里的開源計劃中，我們經常看到 MetaQ / RocketMQ ，在阿里內部 Notify 和 MetaQ 是怎樣的關系？我看到早期的 MetaQ 是采用的 Kafaka 的設計思路，那么可能大家就比較好奇 “ 問什么要重復造輪子 ” ，能不能介紹這個方面的考慮以及所做的工作？
????沈詢： 要講明白這個問題，就需要從產品的實際需求角度入手開始做個介紹了。Notify作為一個已經存在了5年多的消息產品，被廣泛的應用在整個阿里巴巴集團的大部分消息通信領域。它的核心特性是： 提供事務支持、不保證消息順序、消息可能會重復、推模型。
因為淘寶是個交易類網站，所以事務支持的特性能夠非常方便的讓用戶可以快速的依托于Notify完成他們自己的業務邏輯。
????然而，一個產品不可能滿足所有的場景，在當時我們就經常收到一些需要保證消息有序的發送和接收的需求，而這樣的場景對于上來就定位于無序消息投遞的 Notify 來說無異于釜底抽薪。
????而正在我們討論這類需求應該如何被滿足的時候，正好趕上 LinkedIn 的 KafKa 隊列開源，簡單的文件隊列，拉模型，保證順序的特性一下就吸引了我們的目光，在對他的做了整體架構上的Review以后，我們認為這是個非常優雅的模型，因為他足夠簡單，簡單就是最好的~！
????然而里面也有一些特性不是我們所需要的，比如我們主要是面向內部用戶，因此定期輪詢去拉的方式就不適合我們的實際場景需求，并且因為 KafKa 的開發語言是 Scala ，不大利于我們的后續的維護，因此我們借鑒了 Kafka 的核心思路，對其進行了重寫并開源，當然我們還是向 LinkedIn 的 KafKa 做了致敬的， MetaQ 其實是 Metamorphosis 的意思，是Kafka的名作。
????從上面的發展歷程其實也就能夠比較清晰的找到兩個消息隊列產品的不同定位了：
RocketQ(MetaQ) 主要面向消息有序的場景，能夠提供更大的消息堆積能力
Notify，主要面向需要更加安全可靠地交易類場景，無序，推模式。

RocketMQ的前身是Metaq，當 Metaq 3.0發布時，產品名稱改為RocketMQ
MetaQ2.x版本由于依賴了alibaba公司內部其他系統，對于公司外部用戶使用不夠友好，推薦使用3.0版本。

--2014-08-18 下午

官網上https://github.com/LMAX-Exchange/disruptor，這樣介紹disruptor ：High Performance Inter-Thread Messaging Library。 其實disruptor 的定位是單機多核并發框架。而akka 才能做到多機分布式。 回到activemq 在千萬級基本就會出現極限問題，rocketmq貌似是不錯的選擇。

--2014-08-22 上午

akka 的應用

你的需求是自己寫 server cluster 嗎？
①自己寫 server 和 cluster
②自己寫 server，但是不是 cluster
③不自己寫 server 也自己不寫 cluster。
我想第一種需求少的可憐，但這是唯一比較適合 Akka 的系統，第二種則是少數，而且通常都是寫個 socket server 就好了，也沒多大，這樣的需求只需要 JBoss netty，而不是 Akka。第三種應該是最多的，大家都是拿現成的 apache / tomcat / RDBMS / NoSQL / hadoop / rabbitmq / jabber / solr .... 等等來兜，很少有需求需要自己苦幹實幹打造 cluster，尤其現在幾乎是 web 服務的天下，更是如此。

盡管我在用工具方面已經算是有點經驗，但是為了今后能看懂更多的代碼，我還是覺得學習akka跟disruptor的編程思想，是值得付出時間精力的。因為我對純粹的業務邏輯編程已經厭煩了。

Cloudy Akka 如何了？
Akka的商業支持早先被叫作Cloudy Akka. 它包括兩部分：
Akka的集群支持
監控和管理（早先稱為Atmos）
Cloudy Akka已經停止了。集群支持已經被移進了Akka的開源版本中（即將到來的Akka 2.1），而監控和管理（Atmos）現在被重新命名為Typesafe控制臺，是Typesafe Stack（詳見下文）商業合約的一部分。

--2014-08-24 上午

Akka 發布了 2.2 版本的首個里程碑，該版本最大的變化就是使用 Spray.io 替代之前版本的 Netty。兩者都是基于NIO的，性能應該差不多；關鍵的區別還是在于編程范式；Spary.io利用Scala的優美的語法和閉包等支持，可以寫出更加易讀和更少的代碼實現更多的功能；

--2014-08-24 下午

????一般來說，企業如果規模大點，你基本都需要用到3種存儲
對象存儲、文件存儲、塊設備存儲
這3種存儲，有自己特有的應用場景，無法互相取代。到底是3種存儲采用3個軟件來實現，還是用一個軟件來實現3個功能，這個是一直都有爭議的。
3種存儲,用3個軟件,比較符合linux的哲學.不過企業內部維護3套存儲軟件,有點痛苦.
CEPH，野心是最大的，同時提供3種存儲，比gluster還牛，gluster只提供文件存儲和對象存儲。
簡單點說，就是能提供S3（對象存儲），EBS（塊設備存儲），還能把一個目錄mount到本地使用（文件存儲）。

????Swift并不是文件系統或者實時的數據存儲系統，它稱為對象存儲，用于永久類型的靜態數據的長期存儲，這些數據可以檢索、調整，必要時進行更新，稱為amazon s3的開源實現。
至于這三種存儲的詳細介紹，見http://my.oschina.net/liangshao/blog/310335

--2014-09-05 上午

? ? 上面提到了swift（對象存儲）、ceph（三種類型存儲）、glusterfs（三種類型存儲），其實這三者都能與openstack集成。 紅帽更是推出openstack發行版RDO。

--2014-09-05 上午

Apache Ambari
Apache Mesos
Platform MapReduce
StackIQ Rocks+ Big Data
Zettaset Orchestrator

五個hadoop 頂級監控工具

--2014-09-10 上午
Ansible基于Python;相比之下，Puppet和Chef基于Ruby。

神器saltstack，是四神器Puppet、Chef、Ansible和Salt中最漂亮的。

--2014-10-18 上午

　SSL是Netscape開發的專門用戶保護Web通訊的，目前版本為3.0。最新版本的TLS 1.0是IETF(工程任務組)制定的一種新的協議，它建立在SSL 3.0協議規范之上，是SSL 3.0的后續版本。兩者差別極小，可以理解為SSL 3.1，它是寫入了RFC的。?

--2014-10-19 上午

linux下的進程通信手段基本上是從Unix平臺上的進程通信手段繼承而來的。而對Unix發展做出重大貢獻的兩大主力AT&T的貝爾實驗室及BSD（加州大學伯克利分校的伯克利軟件發布中心）在進程間通信方面的側重點有所不同。前者對Unix早期的進程間通信手段進行了系統的改進和擴充，形成了“system V IPC”，通信進程局限在單個計算機內；后者則跳過了該限制，形成了基于套接口（socket）的進程間通信機制。Linux則把兩者繼承了下來。

--2014-11-22 晚上

有人對比了下vsphere跟openstack的 區別，其實vsphere 集合了ESXi Server、vCenter Server等組件。

ESXi Server可以在裸機上直接安裝，俗稱服務虛擬化，英文hypervisor。類似的軟件還有下面這三種。

1、Citrix XenServer(可以裸機直接安裝)

2、Windows Server 2008 Hyper-V(基于宿主機器win server)

3、VMware ESX Server(Vmware 服務器虛擬化第一個產品叫ESX) | ESXI Server(可以裸機直接安裝)

此外，還有較為出名的開源的KVM(基于宿主機器linux server)。

而vcenter是管理多個ESXi Server的軟件。

而openstack沒有自己的一套類似ESXi的東西，但它支持幾乎所有的服務器虛擬化技術，當然包括XenServer Hyper-V ESX Server 或者是KVM。

除此之外，openstack還有一套自己的虛擬管理技術，當然這套管理軟件遠遠比所謂的VCenter Server強大，所以 vmware公司又推了一套競爭方案，名為vCloud。VMware vCloud基礎架構是基于VMware vSphere、VMware vCenter、VMware vCloud Director 和VMware vShield構建的，它實現了既在企業內部交付又通過由vCloud驅動的服務提供商交付的企業級云計算。

還有一個 叫做vSphere Hypervisor，他其實就是免費的vsphere，只有esxi功能， 沒有vcenter功能。

Hypervisor-based跟Containner-based 結合是未來的趨勢。

--2014-12-06 晚上

https://www.zhihu.com/question/30267006

該文大概闡述了app上token的處理方式。其中，關于客戶端的保存，可看下文摘要：

客戶端方面這個除非你有一個非常安全的辦法，比如操作系統提供的隱私數據存儲，那token肯定會存在泄露的問題。比如我拿到你的手機，把你的token拷出來，在過期之前就都可以以你的身份在別的地方登錄。
解決這個問題的一個簡單辦法
1、在存儲的時候把token進行對稱加密存儲，用時解開。
2、將請求URL、時間戳、token三者進行合并加鹽簽名，服務端校驗有效性。
這兩種辦法的出發點都是：竊取你存儲的數據較為容易，而反匯編你的程序hack你的加密解密和簽名算法是比較難的。然而其實說難也不難，所以終究是防君子不防小人的做法。話說加密存儲一個你要是被人扒開客戶端看也不會被噴明文存儲……
方法1它拿到存儲的密文解不開、方法2它不知道你的簽名算法和鹽，兩者可以結合食用。
但是如果token被人拷走，他自然也能植入到自己的手機里面，那到時候他的手機也可以以你的身份來用著，這你就瞎了。
于是可以提供一個讓用戶可以主動expire一個過去的token類似的機制，在被盜的時候能遠程止損。
<del>話說一個人連自己手機都保護不好還談什么安全……</del>

在網絡層面上token明文傳輸的話會非常的危險，所以建議一定要使用HTTPS，并且把token放在post body里。

--2016-01-25 上午

轉載于:https://my.oschina.net/liangshao/blog/302337

總結

以上是生活随笔為你收集整理的IT新潮关键词汇整理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。