1回答
我正在为远程hdfs构建一个local disk cache，当从hdfs读取时，系统将在本地磁盘上缓存文件。我认为这会增加吞吐量。如果从PageCache读取数据，它确实会有很大的改善；但是，如果清除PageCache，则磁盘IO的性能在不同的测试条件下是不稳定的。具体来说，我通过数据库测试了Parquet文件(每个文件100 To )。在这个测试中，除了文件系统接口之外，所有代码都是相同的，包括线程数(一般来说，文件越多，线程越多)。
事实上，具体的测试结果不再重要
浏览 4提问于2022-10-01得票数 0
将火花驱动节点设置为HDFS主节点，将火花工作节点设置为HDFS从节点。
仅使用火花工作节点来设置HDFS群集。HDFS主节点包含在这些工作节点中。p.s:我知道HDFS和Spark是分开的，但是当给定有限的节点数时，可以有一种测试应用程序性能的首选方法？因此，从本质上说，我们应该避免火花驱动节点的I/O成本吗？
浏览 2提问于2017-02-22得票数 0
我的问题是关于性能/最佳实践。我会做我自己的性能测试，但可能有人已经有结果/经验了。
如果没有任何测试，我会说第二个选择是更好/更清洁和更可靠？
浏览 1提问于2016-11-02得票数 5
1回答
Server池及其性能
、、、、
我想测试各种数据存储的性能，即主实例、数据池、HDFS -存储池和ADLS-存储池(通过HDFS分层)。针对池--数据池、HDFS-存储池和ADLS-存储池--我创建了要访问的外部表，如下面的脚本所示。From [dbo].[HDFS_StoragePool_Flights] F
我的测试结果在预期线上吗？我希望至少在数据池选项中获得相当好的
浏览 3提问于2020-07-04得票数 0
我打算在不使用MR.的情况下测试HDFS的性能。Hadoop test jar中有这样的基准测试吗？
谢谢
浏览 0提问于2016-06-01得票数 0
1回答
有没有一种方法可以微调Hadoop配置参数，而不必为每种可能的组合运行测试？我目前在一个8节点的集群上工作，我想优化map reduce任务的性能以及spark性能(在hdfs上运行)。
浏览 0提问于2019-04-20得票数 1
我想在hadoop集群上进行压力/性能测试。为了做到这一点，我遵循了给出的指令。不同之处在于，在教程中，他谈论的是Hadoop0.20.0版本，我试图在Hadoop2.4.0中运行类似的内容。对于在Hadoop上执行IO性能测试，他在教程中告诉我使用TestDFSIO。但我在hadoop的安装中找不到同样的东西。为了找到TestDFSIO，我尝试了以下命令，
jar tf /home/hadoop/share/hadoop/hdfs/h
浏览 5提问于2015-02-24得票数 1
回答已采纳
1回答
我手头有问题，这需要我监控一组正在访问的文件。可以从Hadoop文件系统和Linux机器上的文件系统访问这些文件。对如何做到这一点有什么想法吗？
浏览 2提问于2015-08-28得票数 2
我想生成1000万行的wordcount文件用于性能测试(每行都有相同的句子)。但我不知道如何编码。
你可以给我一个示例代码，直接将文件保存在HDFS中。
浏览 55提问于2020-06-01得票数 2
1回答
我试图理解HDFS将文件分割成块所带来的好处。
我希望通过并发读取多个块来提高并行性所带来的读取性能。但是，我一直在读报纸，说从HDFS到HDFS的读/写实际上比本地文件系统上的单个文件慢。HDFS将文件分割成块会带来什么性能好处？
浏览 0提问于2021-08-30得票数 0
回答已采纳
1回答
我正在使用当前版本的Hadoop，并运行一些TestDFSIO基准测试(V1.8)来比较默认文件系统为HDFS和默认文件系统为S3桶(通过S3a使用)的情况。(例如，在HDFS默认情况下，测试执行时间为50秒，而在默认情况下，测试执行时间为16分钟。)
在每一种情况下，启动的Map任务的数量都是预期的，在这方面没有差别。当然，在运行相同的S3作业时，期望HDFS与亚马逊S3a之间的性能差异是很好的，我想要了解的是，纱线是如何决定它在这些任务期间启动的最大容器的数量的，在
浏览 1提问于2016-03-01得票数 7
回答已采纳
1回答
我知道HDFS块大小是64MB。但是假设我创建了一个新的HDFS文件，并继续向其中写入数据，但一次写入的数据少到只有4KB。这会不会非常低效呢？例如，在本例中，我可以将数据不断累积到一个缓冲区中，直到它达到64MB的大小，然后将其写入HDFS文件，并在清除该缓冲区后重复该过程。
浏览 0提问于2016-06-25得票数 2
我阅读了关于堆栈溢出的几个主题/问题，涉及重新分区/合并性能以及分区的最佳数量(如)。假设我有正确的定义数，我的问题是，在将rdd转换为dataframe时重新划分rdd会是个好主意吗？这里有性能提升吗？
Note1:过滤器通常删除10%的原始数据。
浏览 3提问于2020-09-16得票数 1
我正在寻找一种连接到Hadoop的新文件系统的方法，以测试这个新文件系统与HDFS的性能。我是Hadoop的新手，如果我问错了问题，请随时纠正我。如果有帮助的话，我会使用亚马逊的EMR。
浏览 6提问于2014-06-11得票数 0
回答已采纳
一个典型的数据摄取需求是将数据从RDBMS系统移动到HDFS。我能够使用NiFi提供的GenerateTableFetch和ExecuteSQL处理器在NiFi中构建从关系型数据库到HDFS的数据移动流，对于较小的表，一切工作正常。 ? 但是，我无法测试更大的表的流，因为我使用的是独立的发行版。 有没有人针对类似的需求做过NiFi和SQOOP的性能比较？
浏览 25提问于2019-05-14得票数 3
只是想知道与本地HDFS相比性能如何？它真的准备好生产了吗？它也支持所有hadoop生态系统吗？例如Solr Cloud，Spark，Impala等。
浏览 0提问于2015-11-12得票数 10
3回答
向hawq插入流数据
、、、
我测试了jdbc插入，性能非常差。
之后，我用flume测试了向hdfs写入数据，并在hawq中创建了外部表，但是hawq在flume关闭文件之前无法读取数据。问题是，如果我设置水槽文件滚动非常低(1分钟)，在几天后，文件数量上升，这是不好的hdfs。
浏览 8提问于2016-08-17得票数 0
回答已采纳
2回答
对于两个非常相似的查询，我最终得到了两个非常不同的性能时间。下面是我运行的命令。下面代码中引用的拼图文件大约有50列，在远程HDFS上的大小超过50 on。# Create dataframe
# Create test1://hdfs.host/path&
浏览 22提问于2021-11-23得票数 1
1回答
我正在寻找一个集群模拟器来测试我的Hadoop应用程序(驱动程序，Mappers，还原器，.)。
有什么东西可以模拟HDFS，执行每个虚拟节点的任务？我对性能不太感兴趣，我有一个英特尔核心i7和16 in内存，也许这足以模拟一个小型集群。
浏览 0提问于2017-11-06得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
