sparkpython的简单介绍

本篇文章给大家谈谈sparkpython，以及对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、学习spark，必须要会python吗
• 2、spark python脚本怎么执行
• 3、最新的spark支持python的什么版本
• 4、如何运行含spark的python脚本
• 5、python的机器学习可以放到spark上面跑吗
• 6、求助，python + spark运行程序出现错误

学习spark，必须要会python吗

使用Spark，Scala不是必须的，Spark有Java、Python、R的API。

但是要想备春培深入仿唯学习，还森隐是建议学习Scala的。

如果你会Scala，Spark都不用怎么学。因为一般的Scala程序就是这么写的，用Spark的区别就是换了一套API而已.

spark python脚本怎么执行

前段时间使用了一下google的博客空间，感觉也很一般，所以现在把那里的几篇文章转过来。

执行python脚本只需要对python文件做如下操作即可码拍郑：迟颂

在python文件里第一行加上#!

/usr/bin/python，即你的python解释器所在的目录。另外还有一种写法是#!

/usr/bin/env

python

编贺饥辑完成python脚本文件后为它加上可执行权限。例如你的python脚本文件叫做runit.py，那么就在shell中输入如下命令：chmod

+x

runit.py

之后直接在shell中输入./runit.py就可以执行你的python程序了。

当然这是在Linux下的操作，如果想在windows下直接执行Python程序，就需要使用py2exe工具将python源程序编译成exe文件了。

最新的spark支持python的什么版本

两种方法：

使用 spark-submit 解释执行python脚本

使用 python 解释执行python脚本

1. 使用Spark-submit解释执行python脚本

python脚本中需要在开头导入spark相关模块，调用时使用spark-submit提交，示例代码如下：

===========================================================

"""odflow.py"""

from pyspark import SparkContext

fileDir = "雀颤游/TripChain3_Demo.txt"

# sc = SparkContext("local", "ODFlow")

sc = SparkContext("spark://ITS-Hadoop10:7077", "ODFlow")

lines = sc.textFile(fileDir)

# python不能直接写多行的lambda表达式，所以要封装在函数中

def toKV(line):

arr = line.split(",")

t = arr[5].split(" ")[1].split(":")

return (t[0]+t[1]+","+arr[11]+","+arr[18],1)

r1 = lines.map( lambda line : toKV(line) ).reduceByKey(lambda a,b: a+b)

# 排序并且存入一个（repartition）文件中洞斗

r1.sortByKey(False).saveAsTextFile("/pythontest/output")

===========================================================

发布命令为：

spark-submit \

--master spark://ITS-Hadoop10:7077 \

odflow.py

2. 使用 python 解释执行python脚本

直接用python执行会出现错误:

ImportError: No module named pyspark

ImportError: No module named py4j.java_gateway

缺少pyspark和py4j这两个模块，这两个包在Spark的安顷销装目录里，需要在环境变量里定义PYTHONPATH，编辑~/.bashrc或者/etc/profile文件均可

vi ~/.bashrc # 或者 sudo vi /etc/profile

# 添加下面这一行

export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH

# 使其生效

source ~/.bashrc # 或者 sudo source /etc/profile

然后关闭终端，重新打开，用python执行即可

python odflow.py

如何运行含spark的python脚本

2~spark$ bin/spark-submit first.py

-----------first.py-------------------------------

from pyspark import SparkConf, SparkContext

conf = SparkConf().setMaster("local").setAppName("My App")

sc = SparkContext(conf = conf)

lines = sc.textFile("first.py")

pythonLines = lines.filter(lambda line: "Python"穗颤团 in line)

print "hello python"

print pythonLines.first()

print pythonLines.first()

print "hello spark!"

---------------------------------------------------

hello python

pythonLines = lines.filter(lambda line: "Python" in line)

pythonLines = lines.filter(lambda line: "Python" in line)

hello spark!

到spark的安装目猜橘录下/bin 下面 spark-submit ***.py 即洞亩可

python的机器学习可以放到spark上面跑吗

可以的。python编写好的算法，或者扩展库吵缺的，比蚂碰轿如sklearn都可以在spark上跑。直接使闷肆用spark的mllib也是可以的，大部分算法都有。

求助，python + spark运行程序出现错误

tmprdd1 = csdnRDD.map(lambda x: (x.split("\t")[2]))

x.split("\t")会产生一个list，有些数据是异常异常，产生的list不一定会有三个元素，所以就弊困会异常退出。

你可以使用csdnRDD.map（lambda x:x.split("\t")）.filter(lambda x:len(x)3) 看看有哪一写异常数据，然后确定如何过滤掉这些异银穗常数据。租搏念

[img]

关于sparkpython和的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。