1回答
优化磁盘IO
c、optimization、io
它工作得很好，所以是时候开始优化了，目前磁盘IO是最大的瓶颈。
有两种类型的文件正在使用。第一种类型的文件由16位整数组成的流组成，该流必须在I/O之后进行缩放，才能转换为具有物理意义的浮点值。
浏览 5提问于2016-08-19得票数 7
回答已采纳
3回答
如果并行执行，磁盘文件操作会更快吗？
c++、multithreading、performance、winapi、hard-drive
考虑有N个文件要完全写入磁盘(即从所有文件缓冲区刷新)。是磁盘顺序写入64KB数据所需的时间。使用这种逐个方法，我们没有给操作系统任何优化的空间，因为我们定义了必须刷新文件的顺序。在来自OS的一些支持下，可以通过重新安排文件写入和刷新的顺序来实现性能改进，使得考虑到磁盘旋转(即，磁头在磁盘上的当前位置)，重新安排文件操作，以便从几乎不需要旋转的文件操作(即，最接近磁盘磁头的当前位置问题是:操作系统(特别是Windows)是否提供了这样的优化？换句话说，通过在N个线程中并
浏览 2提问于2015-07-15得票数 4
3回答
在VMWare中使用虚拟文件系统有多糟糕？
hard-drive、ntfs、vmware-vsphere、partition
它正在运行一系列我们希望进一步优化的VM:如果VM‘是Windows，将它们的NTFS映像存储到由Linux/VMWare提供的虚拟磁盘(ext3)中，那么我们会受到多大的打击--而不是将主机硬盘的分区格式化为NTFS，以消除转换层和操作系统IO准备的额外水平？
浏览 0提问于2009-04-16得票数 6
1回答
(Ext4)是否同步写入同一磁盘中的不同文件？
filesystems
我正在Linux中开发一个应用程序，它只包括从多个线程写入文件。目前，我从每个线程获取一个互斥锁，然后追加到一个文件中。我想优化我的应用程序的性能，并考虑创建多个文件(让我们调用段)，然后每个线程只需写到它自己的段。此文件类似于预先写日志，仅在应用程序引导期间使用。
我想知道上面是否是优化IO的好策略。是否存在为同一本地磁盘上的写入创建多个文件的开销？
浏览 0提问于2021-12-23得票数 1
1回答
为什么磁盘繁忙的高峰发生在完成一项工作和关闭火花之间？
apache-spark、hadoop、hive、apache-spark-sql、hadoop-yarn
在完成了所有的星火任务之后，我检测到了一个意外的磁盘IO (DISKBUSY尖峰)，但是火花上下文还没有停止--如图2所示，在21:56:47。有人能帮我解释一下，并就如何避免或推迟它提出建议吗？或者火花上下文有一些周期性的异步IO活动可能导致尖峰？谢谢!
给出了在两种情况下运行SparkSQL批处理作业的示例。注意，我将HDFS和Yarn本地文件放在两个不同的磁盘上- yarn_local目录位于每个工作人员的disk1上，而HDFS部署在两个工作节点的disk8s上。每个磁盘都有8T。因此，可以区分H
浏览 1提问于2019-03-18得票数 3
回答已采纳
2回答
在没有写屏障的情况下，磁盘控制器如何处理对同一扇区的并发写入？
linux-kernel、non-deterministic、aio、concurrentmodification
当我使用O_DIRECT|O_ASYNC打开一个文件并对同一磁盘扇区进行两次并发写入时，中间没有fsync或fdatasync，linux磁盘子系统或硬件磁盘控制器是否能保证该磁盘扇区上的最终数据将是第二次写入虽然O_DIRECT确实绕过了OS缓冲区缓存，但数据最终会进入低级IO队列(磁盘调度器队列、磁盘驱动程序队列、硬件控制器的缓存/队列等)。我一直跟踪IO堆栈，直到电梯算法。然后发出disk two disk I
浏览 2提问于2010-12-01得票数 3
回答已采纳
2回答
Linux磁盘文件AIO
linux、aio
根据，至少从编程/应用程序接口的观点来看，可以使用AIO在linux上容易地实现异步磁盘文件io。现在，我不是一个linux程序员，我只是想找到一种简单的方法来支持linux上的异步磁盘文件io，学习它并将其添加到我个人项目所需的异步磁盘io库中。目前，我在windows上使用overlapped io，在非windows平台上使用io worker线程。由于多线程解决方案可能比较棘手，因
浏览 3提问于2011-12-15得票数 10
回答已采纳
2回答
Linux和Windows的IO超时值？
windows、linux、timeout、io
如果磁盘出现问题，磁盘驱动程序通常会重试。例如，有时Linux SCSI驱动程序会从SCSI驱动器获得BUSY状态，然后重新发送IO。上层(如FS)将一直等到: 1.磁盘驱动器无法处理IO错误，直接上报错误。2.磁盘驱动程序仍在重试，但发生超时。谢谢!
浏览 1提问于2011-04-08得票数 7
4回答
如何在发生大量磁盘活动时使Linux GUI“可用”
linux、performance、storage、disk
如果我开始将一个巨大的文件树从一个位置复制到另一个位置，或者如果其他进程开始执行大量磁盘活动，前台应用程序(GUI)就会变慢。例如，假设有一个2 2gb的文件树，其中包含100k个文件。
浏览 0提问于2008-12-24得票数 15
回答已采纳
2回答
如何为elasticsearch模拟高磁盘/ io负载
performance、elasticsearch、io、load、disk
我的任务是制作一个弹性搜索盘/io "hard life“:-)。为了不重复发明轮子-有没有工具可以在elastic上模拟高磁盘负载？哪种类型的查询是磁盘/io最密集的？我看了很多关于如何优化性能的文章和最佳实践，但我的任务实际上是为了elastic而杀死disk/io，并且我在web上没有找到任何有用的开放信息。
提前谢谢你。
浏览 1提问于2020-09-07得票数 0
1回答
异步磁盘IO会影响交换使用吗？
linux、freebsd、swap
当我学习异步磁盘io时，我正在阅读有关从磁盘中服务大型文件的文章，听说它在FreeBSD中比Linux更受支持。
我的问题是:异步磁盘IO是否会影响交换空间的性能，因为交换分区将执行大量磁盘读写操作。我有在Linux(Ubuntu)上工作的合理经验，我更喜欢在应用程序中使用它。
浏览 0提问于2014-06-07得票数 1
回答已采纳
2回答
Linux下如何显示当前磁盘IO队列长度？
linux、io、kernel、block、scheduler
我正在为Linux内核开发一个新的IO调度器。我想看看是否有人知道在Linux中有一个工具可以打印出未完成的IO请求(磁盘IO队列)的总数？谢谢!
浏览 19提问于2012-11-29得票数 14
1回答
针对Amazon EC2 hi1.4xlarge的raid 0优化配置
linux、amazon-ec2、amazon-web-services、mdadm、raid0
我如何知道RAID 0 (mdadm创建选项)在临时驱动器之间的最佳配置是什么？
浏览 0提问于2012-08-01得票数 0
1回答
CentOS 5：%wa太高还是很理想？
mysql、hard-drive、centos5、central-processing-unit、top
我对等待HDD有疑问。我不知道什么是最佳%wa。当150名玩家在线时，%wa为5-15%。这样可以吗?还是我没有配置mysql、php或其他什么东西？
浏览 0提问于2013-03-05得票数 0
1回答
为没有第三方内核的桌面响应优化Linux
kernel、linux-kernel、desktop
默认的linux内核配置(至少在Ubuntu和Arch中)并不像linux或Zen那样优化桌面响应。当CPU或磁盘负载较高时，这些内核与默认内核之间的差异非常明显。
浏览 0提问于2019-04-24得票数 3
回答已采纳
1回答
如何在内核引导命令行上指定多个调度程序？
grub2、io、kernel-parameters、nvme
我们有旋转机械磁盘和NVME存储的系统。我们希望通过取消任何IO调度程序来减少IO的CPU开销。我们希望在Linux命令行上指定这一点；例如，在GRUB_CMDLINE_LINUX中，在文件/etc/default/grub中。elevator=none是否是用于GRUB_CMDLINE_LINUX中NVME存储的正确值？
这两个值都可以在G
浏览 0提问于2018-09-07得票数 1
回答已采纳
1回答
MySQL：“发送数据”与“复制到tmp表”
mysql、query-optimization
我有两个查询，它们做同样的事情，给出相同的结果集，但编写方式不同。看看他们的个人资料，他们几乎需要同样的时间来执行:大约0.075秒。所以，我的问题是：query#1 (在状态“复制到tmp表”中花费执行时间)
SELECT ac.album_category_id, ac.name, ac2.album_category_id, ac2.name, ac
浏览 14提问于2015-09-30得票数 0
3回答
用于监视/proc/diskstats的Python库？
python、linux、io、monitoring
我想通过python程序监视系统IO负载，访问与linux的/proc/diskstats中提供的统计数据类似的统计数据(尽管很明显，跨平台库会很棒)。有没有python库可以用来查询linux上的磁盘IO统计数据？
浏览 1提问于2010-07-25得票数 5
回答已采纳
5回答
Linux:读取一个文件需要多少磁盘I/O？如何将其最小化？
linux、performance、filesystems、hard-drive
因此，检索单个映像通常需要执行10多个磁盘操作。在将目录大小缩小到每个目录下的数百幅图像之后，生成的系统通常仍需要3次磁盘操作来获取映像:一次是将目录元数据读入内存，另一次是将inode加载到内存中，第三个操作是读取file内容。”我假设文件系统目录元数据& inode总是被操作系统缓存在RAM中，而文件读取通常只需要一个磁盘IO。
这是NAS设备特有的“多磁盘IO来读取单个文件”的问题，还是Linux也有相同的问题？我计划运行一个Linux服务
浏览 0提问于2012-01-26得票数 5
回答已采纳
2回答
与网络/IO绑定应用程序的进程相比，在Linux上工作时线程限制是什么？
linux、multithreading
我听说，在多核服务器上的linux下，如果只有一个进程但有多个线程，就不可能达到最好的性能，因为Linux对IO有一些限制，因此在8核服务器上有8个线程的一个进程可能比8个进程慢。更新:我担心除了我自己实现的锁定之外，还有更多与IO相关的问题。在多个线程中执行模拟的网络/磁盘IO没有任何问题吗？
浏览 5提问于2010-08-31得票数 30
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号