Yiwenwu

腾讯云

开发者社区

文档建议反馈控制台

首页TVP

LV3

我关注的人

因果推断概览

因果推断(Causal Inference)：是关联分析的一种统计方法，在较大系统内部，试图指定/干预 “因” 而观测影响/改变 “果”的过程，推断变量之间的因...

Yiwenwu 13天前2024-10-22 15:01:13

人工智能

SQL多维分析

早在 1993年，关系数据库之父 E.F.Codd[1] 提出了 OLAP 概念，不遗余力指出面向记录的OLTP关系型数据库从根本上不适合查询分析的需求。

Yiwenwu 2024-07-082024-07-08 10:08:32

腾讯云 BI

SQL查询优化器

一般的，数据库管理系统(DBMS)有通用的架构模型，可分为四个模块：传输通信、查询处理器、执行引擎、存储引擎。其中查询处理器包括查询解析器和查询优化器，而查询优...

Yiwenwu 2024-06-302024-06-30 20:34:03

sql

Lucene索引文件解析

Lucene作为最优秀的开源搜索引擎，内部实现了复杂的架构和算法，用来支撑对海量数据的存储和搜索。Lucene的存储和搜索都与底层的索引文件息息相关，Lucen...

Yiwenwu 2024-05-292024-05-29 10:01:56

lucene、全文检索

大数据组件：Lucene全文索引与搜索

Lucene是一款高性能、可扩展的信息检索工具库，是用于全文检索和搜寻的Java开放源码程序库，最初是由Doug Cutting所撰写，2000年发行了第一个开...

Yiwenwu 2024-05-292024-05-29 10:02:15

全文检索、lucene

超轻量级有限状态机Mini-FSM

有限状态机(Finite State Machine，简称FSM)，表示有限个状态以及在这些状态之间的转移和动作等行为的处理模型。在任何给定的时间点，有限状态机...

Yiwenwu 2024-05-222024-05-22 10:16:34

框架、状态机

统一元数据：数据血缘

数据血缘(Data Lineage)：是数据治理中元数据管理领域下的一个子范畴，是数据的溯源过程，获得数据产生链路，发现数据的关联关系，目的是解决"数据的哲学三...

Yiwenwu 2024-05-112024-05-11 10:26:32

数据开发治理平台 WeData

统一元数据：元模型定义、元数据采集

元数据管理可分为如下5个流程步骤：元模型定义、元数据采集、元数据加工、元数据存储、元数据应用。其中，元模型定义是整个元数据管理的前提和规范，用于定义可管理的元数...

Yiwenwu 2024-05-142024-05-14 09:17:54

腾讯技术创作特训营S6、数据湖计算 DLC、数据开发治理平台 WeData

统一元数据：业界方案设计概览

针对元数据管理系统，各类开源方案在业界层出不穷，本文将列举和对比几个业内比较流行的元数据管理组件：

Yiwenwu 2024-05-172024-05-17 09:13:40

数据开发治理平台 WeData、腾讯技术创作特训营S6

大数据平台：统一元数据管理

元数据管理包括元数据采集、存储、管理及应用等关键环节，是数据治理的基础与核心。但元数据管理实践过程中通常会面临元数据来源众多且分散在不同系统中、元数据类型多样以...

Yiwenwu 2024-05-212024-05-21 10:21:43

数据湖计算 DLC、数据开发治理平台 WeData、腾讯技术创作特训营S6

数据资产管理体系与标准

数据资产管理（DAM，Data Asset Management）是指规划、控制和提供数据及信息资产的一组业务职能，包括开发、执行和监督有关数据的计划、政策、方...

Yiwenwu 2024-05-172024-05-17 09:14:03

大数据处理套件 TBDS、数据开发治理平台 WeData、腾讯技术创作特训营S6

大数据平台：计算资源优化技术&作业诊断

大数据平台的资源管理组件主要针对存储资源与计算资源进行分析优化。前文《大数据平台：资源管理及存储优化技术》主要介绍了存储资源优化，本文主要介绍大数据平台构建过程...

Yiwenwu 2024-05-032024-05-03 18:37:38

大数据处理套件 TBDS、腾讯技术创作特训营S6

SSM(HDFS智能存储管理) 系统剖析

Smart Storage Management (SSM) 项目是Intel开源的HDFS存储管理系统，致力于提供HDFS数据的智能管理方案。SSM有如下几个...

Yiwenwu 2024-05-052024-05-05 10:32:42

腾讯技术创作特训营S6

大数据平台：资源管理及存储优化技术

大数据平台的资源管理组件主要涉及存储资源和计算资源管理两部分，属于大数据平台运维管理系统。基于资源管理系统，大数据平台的开发运维人员能够清晰掌控平台的资源使用情...

Yiwenwu 2024-05-302024-05-30 10:12:06

大数据处理套件 TBDS、腾讯技术创作特训营S6

大数据平台：Ambari集群管理

Ambari是Hortonworks主导发行的开源管理平台，作为Apache顶级项目，Ambari也是最早且最成熟的大数据集群管理开源组件，可类比于Cloude...

Yiwenwu 2024-05-172024-05-17 09:11:52

大数据处理套件 TBDS、腾讯技术创作特训营S6

数据库系统概念

数据库是一个持久数据的集合，是长期储存在计算机内的、有组织的、可共享的、可互相关联查询数据的集合。

Yiwenwu 2024-04-292024-04-29 17:24:58

腾讯技术创作特训营S6

腾讯大数据｜天穹SuperSQL执行核心剖析

1. 数据孤岛：由于历史原因以及不同数据中心的业务差异性，众多异构数据源形成了数据孤岛，导致大量且繁重的人工数据搬迁。与此同时，由于不同国家的数据安全法限制，...

腾讯大数据 2024-04-282024-04-28 11:13:15

优化、大数据、并发、数据、腾讯

Presto CBO统计元数据

Presto：2012年秋季Facebook内部开始研发，2013年正式对外开源。Presto是Facebook用于补充和替代Hive的产品，主要用于实时场景的...

Yiwenwu 2024-05-122024-05-12 16:42:22

大数据处理套件 TBDS、数据湖计算 DLC、数据开发治理平台 WeData、腾讯技术创作特训营S6

Spark CBO统计元数据

Statistics 统计信息，参考：org.apache.spark.sql.catalyst.plans.logical.Statistics

Yiwenwu 2024-04-282024-04-28 09:22:01

大数据处理套件 TBDS、数据湖计算 DLC、数据开发治理平台 WeData、腾讯技术创作特训营S6

Hive CBO优化剖析

Hive是较早的SQL on Hadoop系统，对大数据SQL执行有广泛和深远的影响。它最初由Facebook开发，后来成为Apache软件基金会的一个开源项目...

Yiwenwu 2024-04-272024-04-27 09:26:14

数据开发治理平台 WeData、腾讯技术创作特训营S6、大数据处理套件 TBDS、数据湖计算 DLC

12 下一页

个人简介

腾讯 | 后台开发工程师
腾讯｜后台开发工程师 (已认证)
暂未填写个人简介
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址
广东省 | 深圳市
加入社区时间：2018-02-13

个人成就

获得 174 次赞同
文章被阅读 19.5K 次
文章获得 14 次首页推荐

关注了：1关注者：35

Yiwenwu

因果推断概览

SQL多维分析

SQL查询优化器

Lucene索引文件解析

大数据组件：Lucene全文索引与搜索

超轻量级有限状态机Mini-FSM

统一元数据：数据血缘

统一元数据：元模型定义、元数据采集

统一元数据：业界方案设计概览

大数据平台：统一元数据管理

数据资产管理体系与标准

大数据平台：计算资源优化技术&作业诊断

SSM(HDFS智能存储管理) 系统剖析

大数据平台：资源管理及存储优化技术

大数据平台：Ambari集群管理

数据库系统概念

腾讯大数据｜天穹SuperSQL执行核心剖析

Presto CBO统计元数据

Spark CBO统计元数据

Hive CBO优化剖析

个人简介

个人成就

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐