腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

SQL调优之性能调优

WHERE column1 = -column2 3 还是可以带来查询性能的优化的。针对专门操作符的调优前面，讲的是关于查询条件的一般规则，在这一节中，将讨论如何使用专门的操作符来改进 SQL 代码的性能。当一些优化器发现查询中存在 OR 操作符时，就不使用索引查询，所以在这种情况下，并且只有在这种情况下，UNION 才比 OR 性能更高。以上是作者对如何提高 SQL 性能的一些总结，这些规则并一定在所有的数据库系统上都能带来性能的提高，但是它们一定不会对数据库的性能带来下降，所以掌握并使用这些规则可以对数据库应用程序的开发有所帮助。本文总结的是一些 SQL 性能调优的比较初级的方面，SQL 调优还包括 Order by，Group by 以及 Index 等等。

2019-12-03

2.6K0

标签:

Tomcat 性能调优之 JVM 调优

因此在对Web 容器( 应用服务器) 的调优中必不可少的是对于 JVM 的调优。对于 JVM 的调优，主要有两个方面考虑：内存大小配置垃圾回收算法选择当然，确切的说，以上两点并不互相独立，内存的大小配置也会影响垃圾回收的执行效率。延迟、吞吐量调优其他 JVM 配置垃圾回收算法对应到的就是不同的垃圾收集器，具体到在 JVM 中的配置，是使用 -XX:+UseParallelOldGC 或者 -XX:+UseConcMarkSweepGC 所谓调优，就是一个不断调整和优化的过程，需要观察、配置、测试再如此重复。有相关经验的朋友欢迎留言补充！说到底，那上面的这些选项是要配置在哪里呢？

纯洁的微笑

2019-05-06

2.4K0

标签:

消息队列 CKafka 版

Spark 性能调优之Shuffle调优

调优概述大多数 Spark 作业的性能主要就是消耗在了 shuffle 环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对 shuffle 过程进行调优。但是也必须提醒大家的是，影响一个 Spark 作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle 调优只能在整个 Spark 的性能调优中占到一小部分而已。调优建议：如果作业可用的内存资源较为充足的话，可以适当增加这个参数的大小（比如96m），从而减少拉取数据的次数，也就可以减少网络传输的次数，进而提升性能。，建议参考后面的几个参数调优，通过 bypass 机制或优化的 HashShuffleManager 来避免排序操作，同时提供较好的磁盘读写性能。

2019-08-08

2K0

标签:

Spark 性能调优之资源调优

Spark的性能调优实际上是由很多部分组成的，不是调节几个参数就可以立竿见影提升作业性能的。笔者根据之前的Spark作业开发经验以及实践积累，总结出了一套Spark作业的性能优化方案。整套方案主要分为开发调优、资源调优、数据倾斜调优、shuffle调优几个部分。开发调优和资源调优是所有Spark作业都需要注意和遵循的一些基本原则，是高性能Spark作业的基础；数据倾斜调优，主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案；shuffle调优，面向的是对本文作为Spark性能优化指南的基础篇，主要讲解资源调优。 2. 资源调优 2.1 调优概述在开发完Spark作业之后，就该为作业配置合适的资源了。这个参数极为重要，如果不设置可能会直接影响你的Spark作业性能。参数调优建议：Spark作业的默认task数量为500-1000个较为合适。

2019-08-07

2.3K0

标签:

Spark 性能调优之开发调优

如果没有对Spark作业进行合理的调优，Spark作业的执行速度可能会很慢，这样就完全体现不出Spark作为一种快速大数据计算引擎的优势来。因此，想要用好Spark，就必须对其进行合理的性能优化。 Spark的性能调优实际上是由很多部分组成的，不是调节几个参数就可以立竿见影提升作业性能的。笔者根据之前的Spark作业开发经验以及实践积累，总结出了一套Spark作业的性能优化方案。整套方案主要分为开发调优、资源调优、数据倾斜调优、shuffle调优几个部分。开发调优和资源调优是所有Spark作业都需要注意和遵循的一些基本原则，是高性能Spark作业的基础；数据倾斜调优，主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案；shuffle调优，面向的是对本文作为Spark性能优化指南的基础篇，主要讲解开发调优。 2. 开发调优 2.1 调优概述 Spark性能优化的第一步，就是要在开发Spark作业的过程中注意和应用一些性能优化的基本原则。

2019-08-07

1.6K0

标签:

Glusterfs性能调优

指定了接收和发送套接字缓冲区大小的最大值，对于小文件小文件请求处理时候效率比较高 net.core.rmem_max=67108864 net.core.wmem_max=67108864 //为自动调优定义每个 net.ipv4.tcp_rmem=33554432 net.ipv4.tcp_wmem=33554432 Gluster参数调优读写性能参数优化 // 打开metadata-cache,打开这个选项可以提高在这尤其会影响小文件的性能，其中大量文件被快速连续地添加/创建。 gluster volume get dht-vol performance.readdir-ahead on // 设置performance.readdir-ahead的内存，默认是10mb，可以适当调大 rep-vol cluster.shd-max-threads 64 //修复的数据快大小，默认是1(1*128k)，默认是按照128K数据快修复，如果需要修复的数据很大，这个默认1太小，可以适当的调大

2022-08-17

3.8K0

标签:

服务器配置

Spark性能调优01-资源调优

理解作业基本原理，是我们进行资源参数调优的基本前提。 3. spark内存管理 (1) spark-1.5.x版本以前使用静态内存管理 ? Executor内存的大小，很多时候直接决定了Spark作业的性能，而且跟常见的JVM OOM异常，也有直接的关联。参数调优建议：每个Executor进程的内存设置4G~8G较为合适。参数调优建议： Executor的CPU core数量设置为2~4个较为合适。参数调优建议： Driver的内存通常来说不设置，或者设置1G左右应该就够了。这个参数极为重要，如果不设置可能会直接影响你的Spark作业性能。参数调优建议： Spark作业的默认task数量为500~1000个较为合适。

2018-09-13

1.8K0

标签:

Alluxio性能调优

本文档介绍了各种调优 Alluxio 性能的技巧和配置。常见性能问题以下是在调整性能时用于解决常见问题的清单：所有节点都在工作吗？检查 Alluxio 集群是否健康。 Master调优 Journal性能调优 Property Default Description alluxio.master.journal.flush.batch.time 5ms Time to worker调优块读取线程池大小 alluxio.worker.network.block.reader.threads.max 属性配置用于处理块读取请求的最大线程数。作业服务调优工作服务能力作业服务限制当前运行的作业总数以控制其资源使用。请注意，单个 CLI 命令（例如 distributedLoad）可以触发创建多个作业，每个文件一个。客户端调优被动缓存被动缓存会导致 Alluxio worker 缓存另一个已缓存在单独 worker 上的数据副本。

从大数据到人工智能

2023-04-03

2.6K0

标签:

SQL 性能调优

我们要做到不但会写SQL,还要做到写出性能优良的SQL,以下为笔者学习、摘录、并汇总部分资料与大家分享！ (译者按: TRUNCATE只在删除全表适用,TRUNCATE是DDL不是DML) （10）尽量多使用COMMIT 只要有可能,在程序中尽量多使用COMMIT, 这样程序的性能得到提高,需求也会因为性能上的差异，关键看你的from和where子句。比如说如果你的where条件中可以通过索引，那显然 select 1 from ... 的性能比 select * from ... 好。也就是说如果某列存在空值，即使对该列建索引也不会提高性能。任何在where子句中使用is null或is not null的语句优化器是不允许使用索引的。仔细检查order by语句以找出非索引项或者表达式，它们会降低性能。

似水的流年

2018-01-18

4.4K0

标签:

MONGODB 性能与调优 -- 内存调优 1

所以这又是一个新的系列，关于MONGODB的优化和调优，下方是一个MONGODB的内存与磁盘的一个大概的架构。 MONGODB的性能与内存的关系可以用三条线来描述 1 FREE MEMORY 2 Response time 3 swap 用语言来描述，如果你的MONGODB所在的服务器上开始使用了SWAP，图画的比较烂，凑活看哈，所以在FREE MEMORY 到达底线的时候，你的response time 就是要高歌一曲的时候，同时配合着你的 SWAP 缓慢崛起，好一副性能问题的三重奏。所以当你看到你的MONGODB 的服务器的 USED SWAP 开始逐步上升，并且你的MONGODB 的相应时间在逐渐的变慢，那么性能问题就已经爆发了。也即使我们俗称的性能问题。

AustinDatabases

2022-04-05

2K0

标签:

云数据库 MongoDB