目錄

• distinct和dropDuplicates的區別聯系
• IDEA下載Git項目
• 解決A master URL must be set in your configuration錯誤
• IntelliJ IDEA（2019版本） 設置控制臺里不顯示INFO信息
• Scala集合：Map、Set、List
• scala使用Range來填充一個集合
• dataframe增加列
• 將記錄中某個值替換成另外一個值
• SPARK-SQL內置函數之時間日期類
• Scala之Calendar,SimpleDateFormat簡單用法
• Window.partitionBy
• Spark查看變量數據類型和Dataframe每列類型
• Scala中 zip或者zipWithIndex的用法
• Spark-SQL之DataFrame操作
• spark 獲取dataframe所有列
• Spark中DataFrame的schema講解
• spark dataframe的時間類型和String類型轉化
• Spark中對Dataframe的union 、unionAll和 unionByName方法說明
• spark的union和join操作演示
• DataFrame的repartition、partitionBy、coalesce區別
• spark編譯問題解決 object apache is not a member of package org
• IDEA錯誤：Cannot start compilation: the output path is not specified for module "Test". Specify the out
• Spark中 = = 、= = =之間的區別
• spark自定義函數之——UDF使用詳解及代碼示例
• Spark之中map與flatMap的區別
• MapReduce基本原理及應用
• DataFrame的apply()、applymap()、map()方法
• spark自定義函數之——UDF使用詳解及代碼示例
• Scala錯誤: 找不到或無法加載主類
• Idea啟動項目報錯:Command line is too long.
• random.nextInt()的用法

distinct和dropDuplicates的區別聯系

distinct數據去重
使用distinct：返回當前DataFrame中不重復的Row記錄。該方法和接下來的dropDuplicates()方法不傳入指定字段時的結果相同。

dropDuplicates：根據指定字段去重
跟distinct方法不同的是，此方法可以根據指定字段去重。

IDEA下載Git項目

參考：https://blog.csdn.net/my_springlove/article/details/80184560

解決A master URL must be set in your configuration錯誤

參考：https://blog.csdn.net/shenlanzifa/article/details/42679577

IntelliJ IDEA（2019版本） 設置控制臺里不顯示INFO信息

參考

Scala集合：Map、Set、List

參考

scala使用Range來填充一個集合

對于支持range方法的集合你可以直接調用range方法，或者創建一個Range對象然后把它轉化為一個目標集合。
參考

dataframe增加列

參考

將記錄中某個值替換成另外一個值

df1 = df1.withColumn("columnA", when($"date_1" === 10000, lit(null)).otherwise($"date_1"))

SPARK-SQL內置函數之時間日期類

參考

Scala之Calendar,SimpleDateFormat簡單用法

參考

Window.partitionBy

參考

Spark查看變量數據類型和Dataframe每列類型

參考

Scala中 zip或者zipWithIndex的用法

參考

Spark-SQL之DataFrame操作

參考

spark 獲取dataframe所有列

dataFrame.schema.fields.map(f =>f.name).toList

Spark中DataFrame的schema講解

參考

spark dataframe的時間類型和String類型轉化

參考

Spark中對Dataframe的union 、unionAll和 unionByName方法說明

參考

spark的union和join操作演示

參考

DataFrame的repartition、partitionBy、coalesce區別

參考

spark編譯問題解決 object apache is not a member of package org

解決：

右鍵工程-open module setting-Libraries-spark-assembly-1.0.0-hadoop1.0.4.jar（添加spark的jar包-保存

IDEA錯誤：Cannot start compilation: the output path is not specified for module “Test”. Specify the out

參考

Spark中 = = 、= = =之間的區別

參考

spark自定義函數之——UDF使用詳解及代碼示例

參考

Spark之中map與flatMap的區別

參考

MapReduce基本原理及應用

參考

DataFrame的apply()、applymap()、map()方法

參考

spark自定義函數之——UDF使用詳解及代碼示例

參考

Scala錯誤: 找不到或無法加載主類

參考

Idea啟動項目報錯:Command line is too long.

參考

random.nextInt()的用法

參考

總結

以上是生活随笔為你收集整理的Scala，Spark和IDEA学习笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。