pyspark 讀取本txt 構(gòu)建RDD

#!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Fri Mar 8 18:51:51 2019@author: lg """from pyspark import SparkContext ,SparkConfconf=SparkConf().setAppName("miniProject").setMaster("local[1]") #conf=SparkConf().setAppName("lg").setMaster("spark://192.168.10.182:7077") sc = SparkContext(conf=conf)lines = sc.textFile("data.txt")lineLengths = lines.map(lambda s: len(s))print (lines.collect()) totalLength = lineLengths.reduce(lambda a, b: a + b)sc.stop()

posted on 2019-03-08 18:59 luoganttcc 閱讀(...) 評(píng)論(...) 編輯 收藏

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的pyspark 读取本txt 构建RDD的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。