運(yùn)行環(huán)境spark-shell

val p=spark.read.json("file:///root/spark-2.1.1-bin-hadoop2.7/examples/src/main/resources/people.json")p.show

方差和標(biāo)準(zhǔn)差
1. 求age平均值

import spark.sql val avgvule= sql("select avg(age) from people").collect.apply(0) (0).asInstanceOf[Double]

2.udf的函數(shù)

def subtraction2(variable:String):Double={ (variable.toDouble-avgvule)*(variable.toDouble-avgvule)}

3.注冊(cè)u(píng)fd函數(shù)

spark.udf.register("square",subtraction2 _)

4.方差運(yùn)行

sql("select sum(square(age))/count(square(age)) as variance from people").createTempView("variance")

5.標(biāo)準(zhǔn)差

sql("select sqrt(*) from variance").show

最近發(fā)現(xiàn) spark sql 自帶了方差和標(biāo)準(zhǔn)差的內(nèi)置函數(shù)，自己重新卻重寫了一次。

總結(jié)

以上是生活随笔為你收集整理的spark-sql 方差和标准差的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。