pyspark 讀取本txt 構建RDD

#!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Fri Mar 8 18:51:51 2019@author: lg """from pyspark import SparkContext ,SparkConfconf=SparkConf().setAppName("miniProject").setMaster("local[1]") #conf=SparkConf().setAppName("lg").setMaster("spark://192.168.10.182:7077") sc = SparkContext(conf=conf)lines = sc.textFile("data.txt")lineLengths = lines.map(lambda s: len(s))print (lines.collect()) totalLength = lineLengths.reduce(lambda a, b: a + b)sc.stop()

posted on 2019-03-08 18:59 luoganttcc 閱讀(...) 評論(...) 編輯 收藏

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的pyspark 读取本txt 构建RDD的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。