Python之pyspark：pyspark的簡介、安裝、使用方法之詳細攻略

?

?

?

目錄

pyspark的簡介

pyspark的安裝

pyspark的使用方法

---

?

?

?

?

pyspark的簡介

? ? ? ? Spark是一個用于大規模數據處理的統一分析引擎。它提供Scala、Java、Python和R中的高級api，以及一個優化的引擎，該引擎支持用于數據分析的通用計算圖。它還支持一組豐富的高級工具，包括用于SQL和DataFrames的Spark SQL、用于機器學習的MLlib、用于圖形處理的GraphX和用于流處理的結構化流。
? ? ? ? Python Packaging，這個自述文件只包含與PySpark安裝的pip相關的基本信息。這個打包目前還處于試驗階段，在未來的版本中可能會有變化(盡管我們會盡力保持兼容性)。使用PySpark需要Spark jar，如果您是從源代碼構建它，請參閱“構建Spark”中的構建器說明。
? ? ? ? Spark的Python打包并不打算取代所有其他用例。這個Python打包版本的Spark適合與現有集群交互(無論是Spark independent、YARN還是Mesos)—但是不包含設置自己的獨立Spark集群所需的工具。您可以從Apache Spark下載頁面下載完整版本的Spark。
? ? ? ? 注意:如果您在Spark獨立集群中使用它，您必須確保版本(包括次要版本)匹配，否則您可能會遇到奇怪的錯誤。
官網：https://spark.apache.org/

pyspark的安裝

pip install pyspark

?

pyspark的使用方法

from pyspark import SparkContext, SparkConf from pyspark.sql.session import SparkSessionconf = SparkConf().setAppName('test_parquet') sc = SparkContext('local', 'test', conf=conf) spark = SparkSession(sc)# parquetFile = r"hdfs://host:port/Felix_test/test_data.parquet" parquetFile = r"data.gz.parquet" df = spark.read.parquet(parquetFile) print(df.first())

?

?

?

?

?

?

?

總結

以上是生活随笔為你收集整理的Python之pyspark：pyspark的简介、安装、使用方法之详细攻略的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。