文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

Oracle 12c新特性之：APPROX_COUNT_DISTINCT 函数

在Oracle 11g中，已经添加APPROX_COUNT_DISTINCT函数，但相关文档中没有体现，用于提高使用DBMS_STATS包收集统计信息时计算不同值（NDV）数量的速度。...Oracle数据库12c（12.1.0.2）中，文档中已经包含了此函数，因此我们可以在应用程序中将其作为支持的SQL函数使用。...SQL> 此查询为我们提供了基于Oracle的读一致性模型的不同值的确切计数。 因此，我们可以看到所有提交的数据，以及当前会话提交的任何未提交的更改。...相比之下，新的APPROX_COUNT_DISTINCT函数不提供准确的结果，但应该给出“可以忽略不计的精确结果”。...Elapsed: 00:00:02.00 SQL> 实际上，APPROX_COUNT_DISTINCT函数旨在处理比这更大的工作负载，因此我们可以创建一个更大的表来测试。

66830

从Approx_Count_Distinct到M7的CPU集成

昨天和朋友交流，联想起Oracle的两个特性，approx_count_distinct 和 SQL in Silicon，从软件到硬件，从典型SQL入手的优化，Oracle一步一步走向细节和性能的极致...在Oracle 12c中，有一个新的函数被引入进来 - approx_count_distinct 。这个函数的作用是，当我们进行Count Distinct计算时，给出一个近似值。...TOM说，这个函数会带来5x ~ 50x的性能提升，精度可以达到97%以上。在不需要绝对精确的返回值时，这个函数可以发挥其显著的功效。 ?...这个估算值不绝对精确，但是在很多情况下足够，又可以极大的节省资源。在很多系统中，COUNT DISTINCT是个常见的操作，如果使用这个函数，则可能带来很好的性能改善。...这让我联想到Oracle的M7处理器，其中的Software / SQL IN Silicon，Oracle进一步将那些常见的COUNT取值SQL固化进了CPU，进一步为用户带来10几倍的性能提升。

1K50
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    如何用ChatGPT优化SQL实现的协同过滤算法

    技术选型：为什么选择ChatGPT辅助优化在众多AI编程助手工具中，我选择了ChatGPT-4作为优化助手，主要基于以下考虑：对自然语言描述的技术问题理解准确能够提供多种解决方案并解释各自的优缺点能够根据反馈迭代改进方案对...item2, APPROX_COUNT_DISTINCT(a.user_id) as common_users, APPROX_COUNT_DISTINCT(a.user_id) /...SQRT(APPROX_COUNT_DISTINCT(b.user_id) * APPROX_COUNT_DISTINCT(c.user_id)) as similarityFROM user_behavior...：ChatGPT在提供多种方案和解释权衡方面表现出色，但需要开发者具备足够的判断力选择最适合的方案近似计算的威力：在推荐系统场景中，2%的准确度损失换来了10倍以上的性能提升，这是合理的权衡分区处理策略...ChatGPT辅助的SQL优化过程，我不仅解决了眼前的性能问题，还学到了多种大数据处理的技术思路。

    15910

    如何为 GPU 提供充足存储：AI 训练中的存储性能与扩展性

    本文旨在通过分析最新的 MLPerf Storage v2.0 测试结果，探讨不同存储系统在大规模 AI 训练中的表现，并帮助读者理解如何根据实际需求选择合适的存储方案。...本文将重点分析共享文件系统这一类别下的结果，为用户在类似场景中的选型提供更具参考价值的结论。...在共享文件系统阵营中，还可以进一步细分为两类： 第一类是基于以太网的系统，包括 Alluxio、JuiceFS 和 Oracle，这些云上系统依赖以太网环境提供分布式存储能力，从而实现高性能存储。...其硬件配置非常高，整体成本较高，能够提供极高的带宽和性能上限。 在展开结果解读之前，有必要说明本文采用的比较视角。...这得益于 IB 网络系统性提供了全链路的极低且高度稳定的延迟。尽管其成本较高，但在延迟敏感型任务中，IB 网络的性能优势依然是不可忽视的。

    25010

    【DB笔试面试671】在Oracle中，如何监控数据库中的非常耗费性能SQL语句？

    题目部分 在Oracle中，如何监控数据库中的非常耗费性能SQL语句？...答案部分 在前边的触发器章节中介绍了如何利用系统触发器监控用户的登陆登出问题，并且可以记录所有的数据库DDL语句，这对数据库的安全审计是非常有帮助的。...接下来介绍一下如何利用SQL的实时监控特性来监控数据库中的非常耗费性能SQL语句。 由于V$SQL_MONITOR和V$SQL_PLAN_MONITOR收集的信息每秒刷新一次，接近实时。...至于消耗小于5秒的CPU或I/O时间的SQL语句一般都是非常高效的，所以不用监控。 考虑到定时任务对Oracle数据库性能的影响，所以，可以通过Oracle的轻量级JOB来实现的。...Oracle的JOB分为一般性的JOB和轻量级的JOB（Lightweight Jobs）。使用轻量级的JOB可以提高JOB的性能。因为轻量级JOB适合于在短时间内执行非常频繁的JOB。

    2.2K50

    Oracle Database 18c 的10大新特性一览

    在 2017 Oracle OpenWorld大会上，关于 Oracle 18c 的一系列新特性已经被披露出来，借助分散在各个会场的公开分享主题和内容、OOW提供的PPT下载，我们和大家抢鲜分享一下 18c...并且由于外部表的数据基本处于静态，更适合使用In-Memory来处理，Oracle声称这一改进将会带来100倍的提升，接下来就要看我们如何将外部表用的更好了。 ?...5.近似查询 - Approximate Query 和 Top-N 近似聚合 这是Oracle 12c 的新特性，经过12.2 的增强，已经非常好用了，可以参考我之前的一篇文章：从Approx_Count_Distinct...而新增的Top-N近似聚合，则可以对类似如下问题进行近似聚合，比如： 上一周，Top 5的Blog文章阅读量； 每个区域Top 50客户的近似消费； Oracle能够以小于 0.5% 的误差率，提供近似聚合...9.基于NVRAM的多级缓存增强 Andrew在多次演讲中提到，Oracle基于NVRAM做了很多研发，现在新特性已经披露，在数据库中NVRAM又被作为一级高性能缓存用于加速数据库，这是非常强大的软硬结合优化

    2.1K110

    Oracle中如何导出存储过程、函数、包和触发器的定义语句？如何导出表的结构？如何导出索引的创建语句？

    今天小麦苗给大家分享的是Oracle中如何导出存储过程、函数、包和触发器的定义语句？如何导出表的结构？如何导出索引的创建语句？。 Oracle中如何导出存储过程、函数、包和触发器的定义语句？...如何导出表的结构？如何导出索引的创建语句？...---- 总体来说有两种方式来获取，第一，利用系统包DBMS_METADATA包中的GET_DDL函数来获取，第二，利用exp或expdp来获取。...下面来看第一种方式，如何利用系统包DBMS_METADATA包中的GET_DDL函数来获取对象的定义语句。...数据泵工具（impdp）提供了SQLFILE的命令行选项，只获取DDL语句，并未真正地执行数据导入。

    7.9K10

    聚合函数Aggregations

    (countDistinct("deptno")).show() 1.4 approx_count_distinct 通常在使用大型数据集时，你可能关注的只是近似值而不是准确值，这时可以使用 approx_count_distinct...empDF.select(approx_count_distinct ("ename",0.1)).show() 1.5 first & last 获取 DataFrame 中指定列的第一个值或者最后一个值...empDF.select(avg("sal")).show() 1.9 数学函数 Spark SQL 中还支持多种数学聚合函数，用于通常的数学计算，以下是一些常用的例子： // 1.计算总体方差、均方差...Scala 提供了两种自定义聚合函数的方法，分别如下： 有类型的自定义聚合函数，主要适用于 DataSet； 无类型的自定义聚合函数，主要适用于 DataFrame。...// 4.用于聚合操作的的初始零值 override def zero: SumAndCount = SumAndCount(0, 0) // 5.同一分区中的 reduce

    1.6K20

    【DB笔试面试436】Oracle中如何导出存储过程、函数、包和触发器的定义语句？如何导出表的结构？如何导出索引的创建语句？

    题目 Oracle中如何导出存储过程、函数、包和触发器的定义语句？如何导出表的结构？如何导出索引的创建语句？...答案 总体来说有两种方式来获取，第一，利用系统包DBMS_METADATA包中的GET_DDL函数来获取，第二，利用exp或expdp来获取。...下面来看第一种方式，如何利用系统包DBMS_METADATA包中的GET_DDL函数来获取对象的定义语句。...等参数），那么可以使用DBMS_METADATA包中的函数SET_TRANSFORM_PARAM(DBMS_METADATA.SESSION_TRANSFORM,'STORAGE',FALSE)来完成，...数据泵工具（impdp）提供了SQLFILE的命令行选项，只获取DDL语句，并未真正地执行数据导入。

    6.3K10

    覆盖迁移工具选型、增量同步策略与数据一致性校验

    1 引言 在当今数据驱动的时代，数据迁移已成为系统迭代、数据库升级、云迁移和架构演进中的关键环节。根据Gartner的调研，超过70%的企业级数据迁移项目因工具选择不当或同步策略缺陷而延期或失败。...数据迁移不仅仅是简单的数据搬运，而是涉及数据一致性保障、业务连续性维护和系统性能优化的复杂系统工程。...本文将深入探讨数据迁移的三个核心环节： 迁移工具的科学选型 增量同步的优化策略 数据一致性的校验机制 通过真实案例、性能数据和可落地的代码方案，为开发者提供从理论到实践的完整解决方案。...与现有系统集成难易度 成本因素 资源消耗比 5% CPU/内存/网络消耗 (2) 主流工具对比评测 我们在生产环境中对以下工具进行了基准测试（源：MySQL 8.0，目标：Kafka集群，1亿条订单记录...建议：在核心业务系统迁移中，预留15%的预算用于数据一致性保障，这将避免95%的后续数据故障成本。

    34210

    HyperLogLog函数在Spark中的高级应用

    本文，我们将介绍 spark-alchemy这个开源库中的 HyperLogLog 这一个高级功能，并且探讨它是如何解决大数据中数据聚合的问题。首先，我们先讨论一下这其中面临的挑战。...在 Spark 中使用近似计算，只需要将 COUNT(DISTINCT x) 替换为 approx_count_distinct(x [, rsd])，其中额外的参数 rsd 表示最大允许的偏差率，默认值为...Databricks 给出的 HLL 性能分析表明，只要最大偏差率大于等于 1%，Spark 的 distinct count 近似计算的运行速度比精确计算高2～8倍。...Spark-Alchemy 简介：HLL Native 函数 由于 Spark 没有提供相应功能，Swoop开源了高性能的 HLL native 函数工具包，作为 spark-alchemy项目的一部分...，本文阐述了预聚合这个常用技术手段如何通过 HyperLogLog 数据结构应用到 distinct count 操作，这不仅带来了上千倍的性能提升，也能够打通 Apache Spark、RDBM 甚至

    3.5K20

    DBA入门之路：学习与进阶之经验谈

    在本周“云和恩墨大讲堂”的培训分享中，我回顾了自己的一些观点和看法，在此分享给大家。 ?...我来稍微解释一下这些观点： 基础重于一切 在学习的过程中，Oracle核心技术的基本知识必须了解，在普遍的概念和功能点上不能留下死角，比如Oracle的LGWR原理，Redo/Undo机制，以及由此而来的各种功能...了解Oracle数据库的核心功能与原理，在应对需求和提供服务时才能做到全面公正，这在起步阶段很重要。...我愿意将我在《Oracle数据库性能优化》一书的序言中提到的一段话再次引用一下： 兴趣 + 勤奋 + 坚持 + 方法 ≈ 成功 很遗憾我不能给以上公式画上"="，但是无关紧要，只要具备了以上因素，我想我们每个人都会离成功不远了...近期文章分享 【往期文章】 DBA入门之路：关于日常工作的建议 三十八载，Oracle伴我同行—记我的职业成长之路 从Approx_Count_Distinct到M7的CPU集成 诊断工具与方法：从OS

    1.3K60

    典型案例：Oracle数据库中超700TB的LOB存储

    前一段就有朋友向我咨询这样的问题，就 Oracle存储大对象（LOB）的能力、性能和成功案例，我咨询了 Oracle ，提供了一个成功案例在此分享给大家。...SecureFiles 是 Oracle Database 11g 的一个新特性，旨在为文件或非结构化数据提供与文件系统媲美的高性能,同时保留 Oracle 数据库 的优势。...可以说SecureFiles 集外部文件与数据库 LOB 方法的优点于一身，可以存储非结构化数据，允许加密、压缩、重复消除等。 下图是Oracle官方文档上给出的性能对比数据： ?...而且，在12c版本中，SecureFiles的压缩等功能获得大幅度的增强，大对象的存储，去重、压缩将更加节省用户的存储资源。 ?...三十八载，Oracle伴我同行—记我的成长之路 从Approx_Count_Distinct到M7的CPU集成 诊断工具与方法：从OS到数据库 Cloud时代DBA的DevOps最佳实践 - SQL

    1.5K40

    MySQL中count(*)、count(主键id)、count(字段)和count(1)那种效率更高？

    在 MySQL 中，COUNT 函数是一个非常常用的聚合函数，它用于计算某列或某表达式在查询结果中出现的次数。...但是，在实际使用过程中，我们可能会遇到不同的 COUNT 函数写法，比如 COUNT(*)、COUNT(主键id)、COUNT(字段) 和 COUNT(1)，这些写法在效率上有何差别呢？...那么，这两种写法的效率如何呢？实际上，在大多数情况下，这两种写法的性能基本相同，因为 MySQL 对它们进行了相同的优化。...这是因为 COUNT(1) 是常量，在大多数情况下都不需要执行计算和类型转换，但是在某些数据库（例如 Oracle）中，COUNT(字段) 的运行会比 COUNT(1) 更快，因为这个字段已经处于缓存状态...在一些数据库中，COUNT(字段) 可能比 COUNT(1) 更快。因此，在实际应用中，我们可以根据具体的情况来选择不同的写法，从而获得更好的查询性能。

    2.4K30

    DBA入门之路：关于日常工作的建议

    今天上午在恩墨学院进行了一个简短的分享，引用了多年前我的一页PPT，其中记录了我对DBA日常工作的建议。...这对于数据库的日常维护是非常重要的，关注重点，从细微变化中察知系统改变，这对于DBA来说是一项重要的素质要求。...而对于Stat和Wait信息，数据库中核心的、常见的指标并不多，作为DBA，可以从你能够列出的常见的10个统计数据、等待事件入手，针对性的进行深入、全面的学习，经过一段时间之后，必然有很多收获； 全面深入的了解应用架构...DBA会特别有帮助，通过关注SQL，进一步了解业务逻辑，通过优化SQL，进一步改善性能，这些都会非常有助于DBA能力的提升； 对于哪些刚刚开始DBA生涯的朋友们，可以借鉴这一条的建议； 撰写系统架构、现状...近期文章分享 【往期文章】 从Approx_Count_Distinct到M7的CPU集成 诊断工具与方法：从OS到数据库 Cloud时代DBA的DevOps最佳实践 - SQL 审核 Oracle Database

    1.3K50

    DBA入门之路：由浅入深的总结学习法

    有很多DBA朋友在入门时总觉得不得路径，长久的徘徊于门外，而过来人的经验又往往高屋建瓴难以落地，两者总觉得难以对接起来，如何才能解决这个问题呢？...SYS_EXPORT_FULL_01" 已于 09:41:33 成功完成 进一步的确认： 通过MOS官网进一步的确认问题，是Oracle DBA的必要技能。...问题源自：DBMS_DATAPUMP.GET_STAUS 的调用。在以下的MOS回复中，可以看到，执行EXPDP的工作是通过DBMS_DATAPUMP包进行的，其中GET_STAUS用于状态获取。...近期文章分享 【往期文章】 Oracle 12c ASM 防火防盗新特性揭秘 DBA入门之路：学习与进阶之经验谈 DBA入门之路：关于日常工作的建议 三十八载，Oracle伴我同行—记我的成长之路 从Approx_Count_Distinct...整合业界顶尖的技术与合作伙伴资源，围绕数据及相关领域，提供解决方案和专业服务。

    1.6K30

    DBA生存指南：以严谨防范事故

    在面对重要操作时的小心谨慎，反复确认；在可能损坏数据操作时心怀警惕，确认无误；唯有充分重视这份数据工作，才能在实践中履险如夷，达成使命。...比如误删除操作这样的事故，直至今天，在很多用户环境中仍然屡见不鲜。 上周在微信大讲堂中还有人提问：是否可以用update user$的方式更改Oracle数据中的用户名？...近期文章 新年贺礼：云和恩墨大讲堂期刊发行 2015 Oracle 十大热门文章精选 Oracle 12c ASM 防火防盗新特性揭秘 DBA入门之路：学习与进阶之经验谈 DBA入门之路：关于日常工作的建议...三十八载，Oracle伴我同行—记我的成长之路 从Approx_Count_Distinct到M7的CPU集成 诊断工具与方法：从OS到数据库 Cloud时代DBA的DevOps最佳实践 - SQL...整合业界顶尖的技术与合作伙伴资源，围绕数据及相关领域，提供解决方案和专业服务。

    1K60
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券