我的HDFS文件夹中有多个文件，我想在上面循环并运行我的scala转换逻辑。 我正在使用下面的脚本，它在我的使用本地文件的开发环境中工作得很好，但是当我在我的HDFS环境中运行时，它就失败了。val files = new File("hdfs://172.X.X.X:8020/landing/").listFiles.m
浏览 34提问于2021-02-27得票数 0
回答已采纳
1回答
我有一个基本的spark应用程序，我已经用spark的jdbc做了一些其他的调优，但是关系表中的数据仍然是0.5TB和20亿条记录，所以我虽然可以懒惰地加载完整的表，但我正在努力弄清楚如何根据日期有效地分区，并保存到hdfs中，而不会遇到内存问题。由于spark中的jdbc load()将将所有内容加载到内存中，所以我考虑循环遍历数据库查询中的日期，但仍然不知道如何确保内存不会耗尽。
浏览 5提问于2017-06-22得票数 1
3回答
我最近开始使用Scala、HDFS、sbt和Livy。目前我试图创建livy batch。livy批处理日志中。我的星火提交命令在本地.jar文件中运行得非常好。(在cURL中)来说，这也是抛出错误。因此，我在hdfs中转换.jar文件。
浏览 0提问于2018-06-21得票数 1
3回答
我将一个很长的SQL查询存储在一个data.sql文件中。我想在我的Scala代码中执行这个文件。对于sql字符串，我使用spark.sql( sqlQuery )来执行sqlQuery。但是对于.sql文件，我应该如何执行它呢？
非常感谢!
浏览 0提问于2018-05-09得票数 3
1回答
我在处理星火结构的流媒体。另外，我还在与Scala合作。我想将配置文件传递给我的spark应用程序。此配置文件托管在HDFS中。例如；spark { master: "", etc..
kafkaSourcetopic: "
浏览 1提问于2019-05-07得票数 1
回答已采纳
我正在尝试创建一个运行在Scala上的Spark应用程序，它读取位于src/main/resources目录中的.csv文件，并将其保存在本地hdfs实例上。当我在本地运行它时，一切都很有趣，但每当我将其捆绑为.jar文件并将其部署到服务器上时，就会出现问题…… 这是我的代码，位于src/main/scala中，我的数据文件的位置是src/main/reso
浏览 80提问于2019-03-07得票数 4
我正在尝试使用火花流将数据从一个HDFS位置读取到另一个HDFS位置 下面是我在spark-shell上的代码片段 但是我看不到在HDFS输出目录上创建的文件，您能否指出如何在HDFS上加载这些文件scala> sc.stop()
scala> impo
浏览 12提问于2018-12-21得票数 1
回答已采纳
我正在学习如何使用Spark/Scala对HDFS中的文件进行读写。我无法写入HDFS文件，文件已创建，但它是空的。我不知道如何创建一个用于在文件中写入的循环。代码是：import org.apache.spark.SparkConf
import org.a
浏览 1提问于2017-06-15得票数 1
1回答
我是新的星火/scala，需要从hdfs加载一个文件来启动。我在hdfs (/newhdfs/abc.txt)中有一个文件，我可以通过使用hdfs dfs -cat /newhdfs/abc.txt查看我的文件内容
我这样做是为了将文件加载到星火上下文中。spark-shell #It entered into scala console windo
浏览 3提问于2016-09-30得票数 2
回答已采纳
我知道flume和Kafka，但这些都是事件驱动的工具。我不需要它是事件驱动的或实时的，但可能只是一天一次的导入。我已经使用Hadoop语言很长一段时间了，但我正在寻找一种更健壮的，可能是R环境的本机解决方案。
浏览 14提问于2016-09-15得票数 0
回答已采纳
2回答
我使用spark EC2脚本设置了spark集群。我设置了集群，现在正在尝试将一个文件放到HDFS上，这样我就可以让我的集群工作了。JavaRDD<String
浏览 1提问于2015-06-08得票数 0
1回答
我想用pyspark从HDFS读取一个文件。).load("hdfs://localhost:8020/data/file.avro", header=True)使用以下命令：谢谢
编辑：我解决了！问题在etc
浏览 14提问于2022-05-04得票数 0
1回答
我在本地windows ( HDFS ://localhost:54310)路径/tmp/home/下存储了一个CSV文件。我想从HDFS加载这个文件来触发Dataframe。= "hdfs://localhost:54310/tmp/home/mycsv.csv"
spark.sqlC
浏览 2提问于2016-07-31得票数 2
回答已采纳
它包含hdfs文件路径。我想读取这些值，然后读取文件的内容。在没有任何嵌套RDD的情况下，利用并行处理解决这一问题的最佳方法是什么。我正在使用Scala2.11和Spark2.1| value||hdfs://61.81.70.1...|
|hdfs://
浏览 0提问于2017-08-08得票数 0
2回答
我已经构建了一个使用Apache的推荐系统，它的数据集存储在我的项目文件夹中，现在我需要从HDFS访问这些文件。session.read().option("header", true).option("inferSchema", true).csv("hdfs:/
浏览 0提问于2019-06-15得票数 2
回答已采纳
我正在为我的PySpark应用程序编写一个自定义库，它需要对一些CSV文件使用Pandas库进行一些预处理。由于输入文件本身存储在驱动程序中，而不是HDFS中，所以在驱动节点上进行预处理是“假定的”(我认为是这样的)。我在Python运行脚本中所做的工作是spark
浏览 4提问于2019-04-26得票数 0
回答已采纳
我正在处理一堆avro文件，这些文件存储在HDFS中的嵌套目录结构中。这些文件存储在年份/月/日/小时格式目录结构中。我面临的最大问题是它没有告诉我哪个文件不是数据文件。因此，我将不得不在HDFS中扫描1000 s的文件，以确定哪个文件不是数据文件。
是否有更有效的方法来调试&#x
浏览 7提问于2015-11-01得票数 5
回答已采纳
1回答
我在Spark1.6上有多个线程在同一个蜂箱表中写入(使用拼花文件)，当它们试图同时写入时，会在将文件重命名为HDFS的过程中提示一个错误。我正在寻找一个解决方案来绕过这个已知的火花问题。(commands.scala:56)
at org.apache.spark.sql.execution.ExecutedCommand.doExecute(commands.scala:70(DataF
浏览 2提问于2018-12-28得票数 2
我有hdfs格式的文件，有两个选项可以读取：我能知道这两者有什么区别吗
浏览 10提问于2020-06-16得票数 0
1回答
我们有高达8 8GB的文件，其中包含结构化内容，但重要的元数据存储在文件的最后一行，需要附加到每一行内容。使用ReverseFileReader获取最后一行很容易，但这需要文件在磁盘上是静态的，而我无法在现有的Nifi流中找到这样做的方法？在数据流到内容存储库之前，这是可能的吗？
浏览 43提问于2019-06-22得票数 1
回答已采纳
云服务器
ICP备案
对象存储
云点播
云直播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号