日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Spark编程基础-(二)Scala语言基础

發布時間:2024/1/1 编程问答 26 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Spark编程基础-(二)Scala语言基础 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1. Scala語言概述

1.1 計算機的起源

阿隆佐邱奇設計了演算的系統,形式系統。

阿蘭圖靈提出圖靈機。

馮諾依曼是計算機體系結構的奠基者。1945年提出計算機體系結構。

圖1 馮諾依曼體系結構

1.2 編程范式

圖2 兩大編程范式

命令式語言完全根植于馮諾依曼體系結構的。

函數式編程(或者稱為泛函編程)將計算機中的計算看成是數學上的函數計算。源于演算。

Scala也融合了函數式編程的風格。

在大數據時代,我們要實現的是并行計算。命令式編程中,線程之間會共享一些變量,為了保持變量的一致性,通常采用加鎖機制,但是一旦某個線程加鎖,其它的線程就只能等待,這不能充分發揮多核CPU的優勢。

而在函數式編程中,一般是一旦設定了變量的值,后面就不允許再更改。由于不存在值的更改,也就不需要并發控制,因而可以進行并行處理。

Erlang語言在電信行業使用頻度非常高。

由于Spark是由Scala編寫,因而Spark可以充分利用多核CPU的多線程并發能力。

1.3 Scala簡介

Scala語言是一門類似Java的多范式語言,類似于Java,并且其本身就是在Java基礎上發展起來的。

Scala之父是Martin Odersky,javac就是他開發的。

Scala是一種混合式的編程范式,既包含面向對象編程風格,也包含函數式編程風格。

1.3.1 Scala的特點

(1)兼容現有的所有Java程序

Scala運行在Java虛擬機(JVM)之上的,可以兼容現有的所有Java程序。即,可以將Java類import到Scala中,并通過類調用其方法。

圖3 Scala與Java兼容

正因為Scala和Java完全兼容,因而Scala能和Hadoop系統能夠實現融合。

圖4 Scala能夠和Hadoop融合

(2)Scala是一門純粹的面向對象語言

也就是Scala中的每一個值都是一個對象。例如下圖,在執行“3+5”時,其實是執行“3”的對象方法“.()”,并傳入的對象“5”。

圖5 Scala是純粹的面向對象的編程語言

(3)也是一門函數式語言

圖6 Scala為函數式語言

1.4 Scala的安裝

大數據的大部分編程是在Linux環境下,這里只介紹在Linux系統下的安裝。

1.4.1 這里介紹2種安裝JVM方法

(1)使用OpenJDK直接進行安裝

注意Spark、Scala和Java的版本。例如,(Spark 2.1.0) + (Scala 2.11.8) + (Java 7以上)。

(a) JDK安裝

# JDK的安裝 sudo apt-get install openjdk-7-jre openjdk-7-jdk

(b)環境變量的配置

vim ~/.bashrc 圖7 bashrc內容?

將第一行改為實際安裝路徑。

(c)使配置立即生效

source ~/.bashrc #使變量設置生效

(2) 使用命令安裝default-jdk

(a)命令安裝

sudo apt-get install default-jre default-jdk

(b)配置環境變量JAVA_HOME

步驟同上

(c)使配置生效

同上

(3) 檢測Java環境是否安裝成功

java -version

1.4.2 Scala的安裝

首先到(https://sdkman.io/install)按照步驟安裝skdman。

然后,執行

sdk install scala

這樣,我們就可以啟動scala解釋器。

Scala通常是交互式的執行環境,稱為REPL(Read-Eval-Print-Loop)。

1.5 HelloWorld

可以通過不同的方式編寫HelloWorld程序。

1.5.1 交互式方法(Scala解釋器)

(1)直接在交互式環境中編寫代碼

退出交互式Scala解釋器:

(2)運行腳本文件

假設事先已經建好了代碼文件,“Test.scala”

在Scala REPL中執行如下命令運行改代碼文件:

:load 后面是全路徑

然后顯示“Loading...”

然后是代碼文件中的輸出內容。

1.5.2 通過編譯打包的方式運行Scala程序

如果代碼文件中定義了對象,就需要通過編譯去執行。

例如,下圖定義了單例對象

-什么是單例對象?(后面的內容會講的更詳細)

-定義在單例對象中所有的方法都是靜態方法。就是不需要實例化就可以執行。

使用scalac命令進行編譯(編譯的結果為Java字節碼)

使用scala命令運行字節碼文件

-classpath:指scalac生成的“.class”文件位置,即告訴scala到什么位置找“.class”文件。

上行命令表示“.class”就在當前目錄下。

由于Scala與Java是完全兼容的,因此scalac生成的字節碼文件可以完全由Java執行。

使用java命令運行字節碼文件:

“:”是把兩個路徑組合在一起。

由于字節碼是由scalac生成的,此時又是由java執行字節碼文件,因此需要依賴scala的包才能得到正確的結果。

2. Scala基礎知識

2.1 基本數據類型和變量

2.1.1 基本數據類型

Scala的基本數據類型和Java的基本數據類型類似。

圖7 基本數據類型

以上的這些數據類型都是類,例如

但是String是一個特例,它是直接使用Java里面的String,也就是使用

java.lang.String

來表示字符串。

圖8 每一個數據類型的取值范圍

2.1.2 字面量(Literal)

下面給出一些例子,

2.1.3 操作符

圖9 操作符

操作符的優先級:

圖10 操作符的優先級

2.1.4 操作符定義成方法

每一個操作符其實是調用了其方法,例如

2.1.5 富包裝類

例如,下圖的Int類中只有基本的操作,如果我們要進行“max”的操作,Int對象就會被隱式地、自動地轉換成富包裝類對象。

圖11 基本類型和富包裝類

2.1.6 變量

Scala里包含兩種變量(不可變和可變變量)

兩種變量的聲明:

Scala有類型自動推斷機制,所以不需要每次聲明變量時,顯式聲明其類型。

下面的例子是對不可變變量進行重新賦值,系統報錯!

另外,在同一個執行環境中,可以不斷地重復使用同一個變量名,系統會記住最后一次定義的那個變量類型。

2.2 輸入輸出

(下文待續。。。)

?

?

?

?

函數的字面量

?

?

2.3 控制結構

?

?

?

2.4 數據結構

?

?

?

?

?

?

?

?

?

?

?

?

?

?

3. 面向對象編程基礎

?

?

?

?

4. 函數式編程基礎

總結

以上是生活随笔為你收集整理的Spark编程基础-(二)Scala语言基础的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。