文章目錄

• 1. 本地安裝spark
• • 1.1 安裝Anaconda
  • 1.2 安裝JDK 1.8
  • 1.3 安裝spark
  • • 1.3.1 安裝spark for hadoop版本
    • 1.3.2 添加環境變量
  • 1.4 安裝hadoop
  • • 1.4.1 下載hadoop
    • 1.4.2 配置環境變量
    • 1.4.3 添加winutils.exe補丁
  • 1.5 安裝pyspark
  • 1.6 使用
  • • 1.6.1 創建sparkContext，注意pycharm使用配置HADOOP_HOME
    • 1.6.2 textfile方式讀取json文件，這種方式都是字符串
    • 1.6.2 spark.read方式讀取json文件，讀取出來之后都是dataframe
    • 1.6.3 接口熟悉：

面對千萬數量級以上50G以上的數據處理，pandas處理數據需要使用chunk分塊方式（內存不夠），使用時間換空間。

1. 本地安裝spark

我們采用local方式安裝spark,集群方式下次介紹。

1.1 安裝Anaconda

略

1.2 安裝JDK 1.8

略

1.3 安裝spark

1.3.1 安裝spark for hadoop版本

下載pre-bulit for hadoop版本

1.3.2 添加環境變量

略

1.4 安裝hadoop

1.4.1 下載hadoop

https://archive.apache.org/dist/hadoop/common/

1.4.2 配置環境變量

略

1.4.3 添加winutils.exe補丁

https://github.com/steveloughran/winutils

將下載好winutils.exe后，將這個文件放入到Hadoop的bin目錄下
給權限,貌似非必要，必要的 話也不是/tmp/Hive:

C:\Hadoop\hadoop-2.7.1\bin\winutils.exe chmod 777 /tmp/Hive

1.5 安裝pyspark

pip install pyspark

1.6 使用

1.6.1 創建sparkContext，注意pycharm使用配置HADOOP_HOME

from pyspark.sql import SparkSession import os os.environ['HADOOP_HOME'] = "C:\\hadoop-2.7.1" print(os.environ['HADOOP_HOME']) spark = SparkSession.builder.config("spark.sql.warehouse.dir","file:///E:/temp").appName("rdd_test").getOrCreate() spark.conf.set("spark.executor.memory", "14g") sc = spark.sparkContext

1.6.2 textfile方式讀取json文件，這種方式都是字符串

raw_data = sc.textFile("file:///F:/employees_singleLine.json") dataset = raw_data.map(lambda line: json_loads_and_extraction(line))def json_loads_and_extraction(line):line = json.loads(line)....下面是提取操作

1.6.2 spark.read方式讀取json文件，讀取出來之后都是dataframe

json文件：每一行都是一個json對象

df = spark.read.json("file:///F:/employees_singleLine.json")

1.6.3 接口熟悉：

https://nbviewer.jupyter.org/github/jkthompson/pyspark-pictures/blob/master/pyspark-pictures.ipynb
https://nbviewer.jupyter.org/github/jkthompson/pyspark-pictures/blob/master/pyspark-pictures-dataframes.ipynb

總結

以上是生活随笔為你收集整理的spark搭建和使用,处理massive文件的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。