首页
学习
活动
专区
圈层
工具
发布
首页标签大数据

#大数据

腾讯云大数据解决方案,助力客户快速构建企业级数据架构,获取数据时代核心竞争优势

Scala Set深度解析:为什么大数据开发离不开它?

starzy

在Spark里做用户去重,你会用什么?在Flink里做实时UV统计,你会用什么?在ETL里做维度关联,你会用什么?答案都是Set。但很多人用了几年Set,对它的...

1600

ES 0.90 的 percolator 把查询存进索引,再拿文档去问它

岳涛

腾讯云TDP | 官方产研 (已认证)

0.90 的 percolator 先把查询注册到 _percolator 索引,再发文档过去问哪些查询命中。本文按固定标签核对注册与匹配路径、过滤执行哪些查询...

3600

ES 的 LogsDB 和 TSDB 索引里 `text` 字段不再有 norms 了,而且开不回来

岳涛

腾讯云TDP | 官方产研 (已认证)

9.2 起这两种索引模式下 text 字段的 norms 默认关闭。官方 details 里有一句很关键:由于不支持从禁用状态启用,用户将无法在这些索引上开启 ...

4000

Scala ListBuffer深度解析:为什么它是Scala集合体系最聪明的设计?

starzy

很多人用了几年Scala,对ListBuffer的认知还停留在"可变版List"。但如果你真的读过它的源码,会发现这是一个设计极其精妙的类——它不是简单的"可变...

1700

Scala List操作:不可变链表的函数式美学

starzy

Scala的List不是Java的List——它是不可变的链表,是函数式编程的核心数据结构。head/tail递归、模式匹配、::构造,让列表处理从Java的f...

2200

Spark 核心之 Spark-WebUI 详解及日志查看

starzy

摘要:Spark Web UI 是监控、调试和性能调优的核心入口。本文从架构全景出发,逐一详解 7 大核心 Tab(Jobs/Stages/Storage/Ex...

1100

Spark 核心之 ClusterManager 原理剖析

starzy

摘要:你有没有好奇过——为什么 --master spark:// 和 --master yarn 切换如此丝滑?这背后是 Spark 设计中最精妙的抽象层之一...

2700

Scala可变数组操作:ArrayBuffer从入门到精通

starzy

Array是定长的,ArrayBuffer是动态的。当你需要边遍历边添加、边过滤边收集时,ArrayBuffer就是你的首选。它不是ArrayList的翻版,而...

1400

Scala Array操作:从定长数组到ArrayBuffer的完整指南

starzy

Scala的Array就是Java数组的封装,但Scala给它装上了集合操作的"超能力"。索引访问、map/filter、与List互转——让数组处理从Java...

1800

Paimon把LSM搬进湖里的得与失

用户12788355

Paimon 做了一件别的湖格式不太敢做的事,它把 RocksDB 那套 LSM 树整个搬进了湖里。

1200

存量 ES 查询资产怎么批量迁到 SQL:盘点、改写与回归验证的完整方案

野生数据人

【摘要】把日志查询从 Elasticsearch 迁到 Apache Doris,真正的难点不是单条 DSL 怎么翻,而是几十上百条看板、告警规则、排查手册里的...

5410

Apache Doris 基于 Lance 的向量检索深度解析

SelectDB技术团队

在智能驾驶、多模态搜索等场景中,数据规模正在快速增长。一条查询往往不只是“找最相似的几个样本”,还需要同时满足车型、时间、设备、区域等业务条件,并进一步完成关联...

5010

Spark 核心之 YARN-Client 模式:原理、流程与源码级深度拆解

starzy

摘要:YARN-Client 是生产环境中使用最广泛的 Spark 部署模式。它的独特之处在于——Driver 运行在提交客户端,而 ApplicationMa...

5910

营收十亿级中小企业,该怎么跟上 AI 浪潮?

用户12780898

最近不少十亿营收体量的企业老板,都在问同一个问题:AI 这波浪潮,我们这种中小型企业到底该怎么跟上?这个问题我琢磨了很久,今天直白聊聊这件事。

3410

破除数据烟囱,推进政务数据共享

用户12777717

大数据为政府治理变革带来机遇。国家先后出台《促进大数据发展行动纲要》《“十三五” 国家信息化规划》,要求打破信息孤岛,推动跨部门、跨层级数据共享,提升协同治理能...

5510

以用户为中心,构建自服务大数据治理体系

用户12780898

大数据时代,数据平台仍普遍存在数据标准不一、质量差、模型梳理困难等问题,不少管理驾驶舱等应用沦为摆设。金融业较早意识到数据治理的重要性,而大数据平台数据体量更大...

3310

ES 0.90 的三个打分查询,怎样被 function_score 收成一个

岳涛

腾讯云TDP | 官方产研 (已认证)

0.90 早期改分要靠三个查询:custom_boost_factor 乘系数、custom_score 写脚本、custom_filters_score 按过...

12830

ES|QL 有了 `SCORE()`,能给单个条件单独打分了

岳涛

腾讯云TDP | 官方产研 (已认证)

9.3 把 SCORE 函数放进了正式构建。它作用于单个全文函数(比如 match),返回那个条件的分数。配合 METADATA _score,可以在一条查询里...

14430
领券