pyspark 读取本txt 构建RDD
生活随笔
收集整理的這篇文章主要介紹了
pyspark 读取本txt 构建RDD
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
pyspark 讀取本txt 構(gòu)建RDD
#!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Fri Mar 8 18:51:51 2019@author: lg """from pyspark import SparkContext ,SparkConfconf=SparkConf().setAppName("miniProject").setMaster("local[1]") #conf=SparkConf().setAppName("lg").setMaster("spark://192.168.10.182:7077") sc = SparkContext(conf=conf)lines = sc.textFile("data.txt")lineLengths = lines.map(lambda s: len(s))print (lines.collect()) totalLength = lineLengths.reduce(lambda a, b: a + b)sc.stop()posted on 2019-03-08 18:59 luoganttcc 閱讀(...) 評(píng)論(...) 編輯 收藏
《新程序員》:云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作,文字、視頻、音頻交互閱讀總結(jié)
以上是生活随笔為你收集整理的pyspark 读取本txt 构建RDD的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: pyspark rdd 基本操作
- 下一篇: pyspark dataframe基本