python spark环境配置,,1、下载如下放在D盘
python spark环境配置,,1、下载如下放在D盘
1、下载如下放在D盘
添加 SPARK_HOME = D:\spark-2.3.0-bin-hadoop2.7。
找到pycharm sitepackage目录
右键点击即可进入目录,将上面D:\spark-2.3.0-bin-hadoop2.7里面有个/python/pyspark目录拷贝到上面的 sitepackage目录
安装 py4j
试验如下代码:
from __future__ import print_functionimport sysfrom operator import addimport os# Path for spark source folderos.environ[‘SPARK_HOME‘] = "D:\spark-2.3.0-bin-hadoop2.7"# Append pyspark to Python Pathsys.path.append("D:\spark-2.3.0-bin-hadoop2.7\python")sys.path.append("D:\spark-2.3.0-bin-hadoop2.7\python\lib\py4j-0.9-src.zip")from pyspark import SparkContextfrom pyspark import SparkConfif __name__ == ‘__main__‘: inputFile = "D:\Harry.txt" outputFile = "D:\Harry1.txt" sc = SparkContext() text_file = sc.textFile(inputFile) counts = text_file.flatMap(lambda line: line.split(‘ ‘)).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b) counts.saveAsTextFile(outputFile)
计算成功即可
python spark环境配置
相关内容
- Python 正则表达式相关问题,,这几天学习pytho
- python+flask 如何实现http接口,,为什么要做这个?mo
- python 获取本机IP的三种方式,,python获取本机
- python自动化测试报告(excel篇),,转:https://
- pythonGUI菜单栏和弹出菜单,,菜单栏代码:from
- Python面向对象的三大属性,,一、封装1、封装的介
- Anaconda部署python环境,,Anaconda安装
- python3中的unicode_escape,,一. 响应的两种方式
- Windows系统同时存在Python2,3两个版本,,具体步骤:1.
- Python(三) list列表(数组),,list基本操作列表
评论关闭