Spark编程基础-(二)Scala语言基础
1. Scala語言概述
1.1 計算機的起源
阿隆佐邱奇設計了演算的系統,形式系統。
阿蘭圖靈提出圖靈機。
馮諾依曼是計算機體系結構的奠基者。1945年提出計算機體系結構。
圖1 馮諾依曼體系結構1.2 編程范式
圖2 兩大編程范式命令式語言完全根植于馮諾依曼體系結構的。
函數式編程(或者稱為泛函編程)將計算機中的計算看成是數學上的函數計算。源于演算。
Scala也融合了函數式編程的風格。
在大數據時代,我們要實現的是并行計算。命令式編程中,線程之間會共享一些變量,為了保持變量的一致性,通常采用加鎖機制,但是一旦某個線程加鎖,其它的線程就只能等待,這不能充分發揮多核CPU的優勢。
而在函數式編程中,一般是一旦設定了變量的值,后面就不允許再更改。由于不存在值的更改,也就不需要并發控制,因而可以進行并行處理。
Erlang語言在電信行業使用頻度非常高。
由于Spark是由Scala編寫,因而Spark可以充分利用多核CPU的多線程并發能力。
1.3 Scala簡介
Scala語言是一門類似Java的多范式語言,類似于Java,并且其本身就是在Java基礎上發展起來的。
Scala之父是Martin Odersky,javac就是他開發的。
Scala是一種混合式的編程范式,既包含面向對象編程風格,也包含函數式編程風格。
1.3.1 Scala的特點
(1)兼容現有的所有Java程序
Scala運行在Java虛擬機(JVM)之上的,可以兼容現有的所有Java程序。即,可以將Java類import到Scala中,并通過類調用其方法。
圖3 Scala與Java兼容正因為Scala和Java完全兼容,因而Scala能和Hadoop系統能夠實現融合。
圖4 Scala能夠和Hadoop融合(2)Scala是一門純粹的面向對象語言
也就是Scala中的每一個值都是一個對象。例如下圖,在執行“3+5”時,其實是執行“3”的對象方法“.()”,并傳入的對象“5”。
圖5 Scala是純粹的面向對象的編程語言(3)也是一門函數式語言
圖6 Scala為函數式語言1.4 Scala的安裝
大數據的大部分編程是在Linux環境下,這里只介紹在Linux系統下的安裝。
1.4.1 這里介紹2種安裝JVM方法
(1)使用OpenJDK直接進行安裝
注意Spark、Scala和Java的版本。例如,(Spark 2.1.0) + (Scala 2.11.8) + (Java 7以上)。
(a) JDK安裝
# JDK的安裝 sudo apt-get install openjdk-7-jre openjdk-7-jdk(b)環境變量的配置
vim ~/.bashrc 圖7 bashrc內容?將第一行改為實際安裝路徑。
(c)使配置立即生效
source ~/.bashrc #使變量設置生效(2) 使用命令安裝default-jdk
(a)命令安裝
sudo apt-get install default-jre default-jdk(b)配置環境變量JAVA_HOME
步驟同上
(c)使配置生效
同上
(3) 檢測Java環境是否安裝成功
java -version1.4.2 Scala的安裝
首先到(https://sdkman.io/install)按照步驟安裝skdman。
然后,執行
sdk install scala這樣,我們就可以啟動scala解釋器。
Scala通常是交互式的執行環境,稱為REPL(Read-Eval-Print-Loop)。
1.5 HelloWorld
可以通過不同的方式編寫HelloWorld程序。
1.5.1 交互式方法(Scala解釋器)
(1)直接在交互式環境中編寫代碼
退出交互式Scala解釋器:
(2)運行腳本文件
假設事先已經建好了代碼文件,“Test.scala”
在Scala REPL中執行如下命令運行改代碼文件:
:load 后面是全路徑
然后顯示“Loading...”
然后是代碼文件中的輸出內容。
1.5.2 通過編譯打包的方式運行Scala程序
如果代碼文件中定義了對象,就需要通過編譯去執行。
例如,下圖定義了單例對象
-什么是單例對象?(后面的內容會講的更詳細)
-定義在單例對象中所有的方法都是靜態方法。就是不需要實例化就可以執行。
使用scalac命令進行編譯(編譯的結果為Java字節碼)
使用scala命令運行字節碼文件
-classpath:指scalac生成的“.class”文件位置,即告訴scala到什么位置找“.class”文件。
上行命令表示“.class”就在當前目錄下。
由于Scala與Java是完全兼容的,因此scalac生成的字節碼文件可以完全由Java執行。
使用java命令運行字節碼文件:
“:”是把兩個路徑組合在一起。
由于字節碼是由scalac生成的,此時又是由java執行字節碼文件,因此需要依賴scala的包才能得到正確的結果。
2. Scala基礎知識
2.1 基本數據類型和變量
2.1.1 基本數據類型
Scala的基本數據類型和Java的基本數據類型類似。
圖7 基本數據類型以上的這些數據類型都是類,例如
但是String是一個特例,它是直接使用Java里面的String,也就是使用
java.lang.String來表示字符串。
圖8 每一個數據類型的取值范圍2.1.2 字面量(Literal)
下面給出一些例子,
2.1.3 操作符
圖9 操作符操作符的優先級:
圖10 操作符的優先級2.1.4 操作符定義成方法
每一個操作符其實是調用了其方法,例如
2.1.5 富包裝類
例如,下圖的Int類中只有基本的操作,如果我們要進行“max”的操作,Int對象就會被隱式地、自動地轉換成富包裝類對象。
圖11 基本類型和富包裝類2.1.6 變量
Scala里包含兩種變量(不可變和可變變量)
兩種變量的聲明:
Scala有類型自動推斷機制,所以不需要每次聲明變量時,顯式聲明其類型。
下面的例子是對不可變變量進行重新賦值,系統報錯!
另外,在同一個執行環境中,可以不斷地重復使用同一個變量名,系統會記住最后一次定義的那個變量類型。
2.2 輸入輸出
(下文待續。。。)
?
?
?
?
函數的字面量
?
?
2.3 控制結構
?
?
?
2.4 數據結構
?
?
?
?
?
?
?
?
?
?
?
?
?
?
3. 面向對象編程基礎
?
?
?
?
4. 函數式編程基礎
總結
以上是生活随笔為你收集整理的Spark编程基础-(二)Scala语言基础的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: svg怎么转为jpg格式?
- 下一篇: 乘法逆元(inverse element