在Spark中的Zeppelin上将文件写入远程HDFS的问题,可以通过以下步骤解决:
import org.apache.spark.sql.SparkSession
val spark = SparkSession.builder()
.appName("Write to HDFS")
.master("local[*]") // 这里的master地址需要根据实际情况进行修改
.getOrCreate()
val data = Seq(("John", 25), ("Alice", 30), ("Bob", 35))
val df = spark.createDataFrame(data).toDF("Name", "Age")
df.write
.format("parquet")
.mode("overwrite")
.save("hdfs://<HDFS_MASTER>:<HDFS_PORT>/path/to/output") // 这里的HDFS_MASTER和HDFS_PORT需要替换为实际的地址和端口
在上述代码中,我们使用了SparkSession对象创建了一个DataFrame,并将其写入HDFS。需要注意的是,这里的路径需要指定为HDFS的路径,格式为hdfs://<HDFS_MASTER>:<HDFS_PORT>/path/to/output
。
腾讯云云服务器CVM产品介绍:https://cloud.tencent.com/product/cvm
腾讯云对象存储COS产品介绍:https://cloud.tencent.com/product/cos
请注意,以上答案仅供参考,具体的解决方案可能因实际情况而异。
领取专属 10元无门槛券
手把手带您无忧上云