上面的页面使用spark将文件从HDFS直接写入到本地文件系统，但在将其转换为RDD之后。 我正在寻找只有Dataframe可用的选项；对于巨大的数据，转换到RDD会消耗资源。
浏览 13提问于2019-05-14得票数 0
2回答
从启动程序。
现在与我混淆，它将mongodb数据存储在本地文件系统上，并将数据从本地文件系统读取到map/reduce中的HDFS，然后再次将其写入mongodb本地文件系统。当我学习HBase时，我们可以将它配置为将它的数据存储在HDFS上，hadoop可以直接在HDFS(map/reduce)上处理它。如何配置<
浏览 5提问于2013-02-14得票数 2
回答已采纳
将过滤后的数据写入文件时遇到问题。在本地文件系统中创建了大约27个文件，但没有输出。下面是使用的代码：val in_df=spark.read.csv("file:///home/Desktop/Project/inputdata.csv").selectExpr("_c0 as Id"，“val as name"，"_c2 as dep
浏览 0提问于2020-07-07得票数 0
1回答
我已经在hive中创建了一个表，需要将csv数据加载到hive表中，但数据在github中(我已经下载并测试它工作正常)我需要直接从URL加载数据是否可以从URL加载数据到hive
像这样的东西是可以工作的
浏览 4提问于2019-05-30得票数 0
我渴望在hadoop计算环境中使用Microsoft R server来处理真正的大数据。它可以很好地处理不大的数据。但是当数据量很大时，它会失败，并出现以下错误：
浏览 0提问于2017-03-23得票数 1
1回答
从连续的物理内存写入硬盘
、、、、
我有一个基于ARM的设备，运行linux，它连接到一个摄像头，我正试图高效地将捕获的帧存储到高清上。我正在开发用户空间，但可以随意修改驱动程序
找到我的文件系统的最佳配置，打开文件并写入其中。我现在使用的是ext4和标
浏览 1提问于2012-12-10得票数 2
从MS-SQL环境进入同样具有spark访问权限的配置单元环境。我已经使用spark和R包sparklyr进行了连接，并且可以使用带有spark连接的R包DBI连接到我们的配置单元集群，并将数据提取到R数据帧中：dbWriteTable(conn
浏览 1提问于2017-09-01得票数 1
从我读过的各种博客中，我了解到HDFS是计算机中存在于本地文件系统之上的另一层。这是我的问题..我在配置文件中添加了一个tmp.dir参数。当namenode守护进程尝试访问datanode时，它是否与单个文件夹对话？？
浏览 2提问于2013-05-29得票数 6
回答已采纳
我将日志文件作为文本存储在HDFS中。当我将日志文件加载到Hive表中时，所有文件都被复制。
我可以避免将所有文本数据存储两次吗？
浏览 1提问于2013-03-07得票数 11
回答已采纳
我目前正在使用PyHive (Python3.6)将数据读取到位于Hive集群之外的服务器，然后使用Python来执行分析。谢谢你的帮忙!
浏览 5提问于2018-12-04得票数 0
我无法在JSON/a.json文件夹位置的本地JSON文件中写入数据。
下面是我的代码。
浏览 0提问于2015-02-23得票数 1
回答已采纳
1回答
我目前有一个脚本，它将csv文件保存在本地，然后将其上传到Google Cloud存储。我希望将此应用程序迁移到Google App Engine，但是我知道您无法直接将文件写入本地文件系统，而这需要直接迁移到Google Cloud存储。老实说，我不确定如何将csv数据直接传递到上传中。非常感谢您的帮助。
浏览 1提问于2018-06-09得票数 0
我有ArrayByte格式的数据，我想将其转换为Spark RDD或DataFrame，这样我就可以将数据以文件的形式直接写入Google存储桶中。我无法将ArrayByte数据直接写入Google bucket。所以寻找这个转换。我的以下代码能够将数据写入本地文件系统，但不能写入Google存储桶
val encrypted
浏览 48提问于2019-11-02得票数 0
回答已采纳
目前，我有多个子进程从分布式文件系统采样数据，并将数据写入本地tfrecords文件(数据集大小超过本地存储)。我的主要训练过程使用TFRecordsDataset & tf.data.Dataset.from_generator在将文件写入磁盘时迭代文件。它是有效的，但是仅仅为了再次读取它而写入磁盘显然不是最优的。我想知道是否有更好的方法可以使用子流程将样本直接<
浏览 17提问于2020-04-05得票数 1
我在本地pc上配置了一个主计算机，在virtualbox中配置了一个工作节点，结果文件已经在worker节点上创建，我想知道为什么发送回主节点。我尝试了--部署模式客户端和--部署模式集群。
我试过一次，然后切换了主/工作者节点，得到了相同的结果。
浏览 0提问于2018-02-28得票数 0
回答已采纳
为什么"FileOutputStream“是Google中的一个受限类？在Google中还有其他使用"FileOutputStream“的方法吗？
浏览 4提问于2013-11-22得票数 1
回答已采纳
1回答
TL:DR或者，是否有一种方法可以将星火数据帧行转换为一组文本键/值对( Scala会理解)？全面问题：
属性文件不是本地的，它位于Databricks集群上。尝试从"dbfs:/“或"/dbfs”读取文件时，在使用scala.io.Source库时找不到文件。我猜Source无法识别Databricks文件系统(？)
浏览 4提问于2020-12-29得票数 1
回答已采纳
当我们在spark中使用show或take或write操作时，所有的数据都会被发送到驱动程序吗？如果不是，那么为什么当我们使用collect时，所有的数据都会流向驱动程序？
浏览 1提问于2020-12-26得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
