3-执行flatmap执行扁平化操作
4-执行map转化操作,得到(word,1)
5-reduceByKey将相同Key的Value数据累加操作
6-将结果输出到文件系统或打印
代码:...结果:
[掌握-扩展阅读]远程PySpark环境配置
需求:需要将PyCharm连接服务器,同步本地写的代码到服务器上,使用服务器上的Python解析器执行
步骤:
1-准备PyCharm...的连接
2-需要了解服务器的地址,端口号,用户名,密码
设置自动的上传,如果不太好使,重启pycharm
3-pycharm读取的文件都需要上传到linux...] y=map(fun,[1,2,3,4,5]) #[1, 4, 9, 16, 25]
print(list(map(fun, [1, 2, 3, 4, 5])))
#2-lambda 匿名函数 java...(zip([1, 2, 3,6], [4, 5, 6])))#[1,4],[2,5]
# 语法 lambda表达式语言:【lambda 变量:表达式】
# 列表表达式 [表达式 for 变量 in 可迭代的序列中