Apache Kafka 发展至今，已经是一个很成熟的消息队列组件了，也是大数据生态圈中不可或缺的一员。Apache Kafka 社区非常的活跃，通过社区成员不断的贡献代码和迭代项目，使得 Apache Kafka 功能越发丰富、性能越发稳定，成为企业大数据技术架构解决方案中重要的一环。
当前，企业对于数据实时性的需求越来越迫切，因此需要实时数仓来满足这些需求。传统的离线数仓的数据时效性通常为 T+1，并且调度频率以天为单位，无法支持实时场景的数据需求。即使将调度频率设置为每小时，也仅能解决部分时效性要求较低的场景，对于时效性要求较高的场景仍然无法优雅地支撑。因此，实时数据使用的问题必须得到有效解决。实时数仓主要用于解决传统数仓数据时效性较低的问题，通常会用于实时的 OLAP 分析、实时数据看板、业务指标实时监控等场景。
元数据打通数据源、数据仓库、数据应用，记录了数据从产生到消费的完整链路。它包含静态的表、列、分区信息（也就是MetaStore）；动态的任务、表依赖映射关系；数据仓库的模型定义、数据生命周期；以及ETL任务调度信息、输入输出等。
MySQL HeatWave 是 MySQL 数据库的一项新技术，它是由 Oracle 公司开发的，专为云环境下的高性能分析应用而设计。该技术能够显著提升 MySQL 数据库在大规模数据分析场景下的性能和吞吐量，为企业提供更高效、更快速的数据处理能力。本文将介绍 MySQL HeatWave 的原理、特点和应用场景，以及它在数据库领域带来的重要意义。
本文由 PingCAP 研发工程师雷宇分享，主要从宏观角度分析 TiDB 究竟能做什么，创造什么样的价值，以及研发过程中的一些设计立足点。 文章将从四个部分分享：
这是我的学习笔记，大量摘抄网上、书本里的内容，将我自己认为关联度较高的内容呈现上来。
本文将对云端环境中的横向移动技术和相关场景进行深入分析和研究，并给大家展示研究人员在云环境中观察到的一些威胁行为。云端环境中的横向移动可以通过利用云API和对计算实例的访问来实现，而云端级别的访问可能会扩展到后者。
流批一体是一种架构思想，这种思想说的是同一个业务，使用同一个sql逻辑，在既可以满足流处理计算同时也可以满足批处理任务的计算。
本文根据唐彦在【第十三届中国数据库技术大会（DTCC2022）】线上演讲内容整理而成。
实时处理是指从数据产生到根据该数据计算的结果产生之间的这段延迟可以满足业务的需求，假如业务需求是延迟不超过10ms，而你的处理延迟为15ms，就不能算实时处理，而假如业务要求处理数据的延迟为30min，而你的数据可以在20min内计算出来，这也算实时处理。
随着互联网飞速发展，企业业务种类会越来越多，业务数据量会越来越大，当发展到一定规模时，传统的数据存储结构逐渐无法满足企业需求，实时数据仓库就变成了一个必要的基础服务。以维表 Join 为例，数据在业务数据源中以范式表的形式存储，在分析时需要做大量的 Join 操作，降低性能。如果在数据清洗导入过程中就能流式的完成 Join，那么分析时就无需再次 Join，从而提升查询性能。
夏乙 发自 凹非寺 量子位 出品 | 公众号 QbitAI AlphaGo退隐，留下身后一众你追我赶的围棋AI。 比如说前些天在野狐上连斩多名职业选手的新版绝艺“符合预期”，又比如说多年研究国际象棋和
导语：得益于调度单元是通用的SQL语句，SuperSQL能够做到与特定计算引擎解耦，也正因为此原因，SuperSQL只需专注在最优执行计划生成，并根据SQL具体类型选择最佳的计算引擎。 天穹SuperSQL是腾讯自研的跨数据源、跨数据中心、跨计算引擎的大数据SQL引擎，能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需求。在腾讯整个天穹大数据图谱中，负责连接端与存储。 数据源无论是关系型数据库、NoSQL还是大数据系统；数据存储无论是跨集群还是跨数据中心；数据计算无论是报表生成、分析挖掘
本文是《极客时间》-《TiDb极简入门》的学习笔记。传送门：https://time.geekbang.org/opencourse/videointro/100089601
最近在了解国外Firebolt这家公司，对于Firebolt 最初的架构选型和思路是非常认可的。Firebolt 这篇 Paper 核心围绕着这样一个主题：在云数仓领域，对于一家初创公司，如何在人力和资源有限的情况下，怎么能够快速的切入这个这个市场？虽然 FireBolt 本身就有很多技术大牛（比如 Mosha Pasumansky），但是针对数据库所有组件（查询优化器、计算引擎、存储、事务管理器等等）完全从零做，对于初创公司而言，根本不现实。
cxzl25，携程软件技术专家，关注大数据领域生态建设，对分布式计算和存储、调度等方面有浓厚兴趣。
Iaas、K8S、Omega都属于这一层。 计算引擎层 计算引擎层是大数据技术中最活跃的一层，直到今天，仍不断有新的计算引擎被提出。 总体上讲，可按照对时间性能的要求，将计算引擎分为三类： ❑ 批处理：该类计算引擎对时间要求最低，一般处理时间为分钟到小时级别，甚至天级别，它追求的是高吞吐率，即单位时间内处理的数据量尽可能大，典型的应用有搜索引擎构建索引、批量数据分析等。 ❑ 交互式处理：该类计算引擎对时间要求比较高，一般要求处理时间为秒级别，这类系统需要跟人进行交互，因此会提供类SQL的语言便于用户使用，典型的应用有数据查询、参数化报表生成等。 ❑ 实时处理：该类计算引擎对时间要求最高，一般处理延迟在秒级以内，典型的应用有广告系统、舆情监测等。 数据分析层 数据分析层直接跟用户应用程序对接，为其提供易用的数据处理工具。为了让用户分析数据更加容易，计算引擎会提供多样化的工具，包括应用程序API、类SQL查询语言、数据挖掘SDK等。 在解决实际问题时，数据科学家往往需根据应用的特点，从数据分析层选择合适的工具，大部分情况下，可能会结合使用多种工具，典型的使用模式是：首先使用批处理框架对原始海量数据进行分析，产生较小规模的数据集，在此基础上，再使用交互式处理工具对该数据集进行快速查询，获取最终结果。 数据可视化层 数据可视化层是直接面向用户展示结果的一层，由于该层直接对接用户，是展示大数据价值的“门户”，因此数据可视化是极具意义的。考虑到大数据具有容量大、结构复杂和维度多等特点，对大数据进行可视化是极具挑战性的。
这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。
OLAP和OLTP通过ETL衔接。为提升OLAP性能，需在ETL过程进行大量预计算，包括：
最近在跟一位粉丝聊天，聊起来了做离线数仓时该用那些技术栈。于是根据我的经验和参考一些资料于就有本篇文章。在这里我会分享三个案例，仅供参考。
何谓计算引擎，一言以蔽之，就是专门处理数据的程序，在大数据之前，人们用数据库来处理数据，人们常说的SQL，它是一种DSL，它的背后正是数据库的计算引擎，但是数据库的计算和存储通常被集成在一起，统称为数据库引擎。
导读：快手基于Hive构建数据仓库，并把Hive的元数据信息存储在MySql中，随着业务发展和数据增长，一方面对于计算引擎提出了更高的要求，同时也给Hive元数据库的服务稳定性带来了巨大的挑战。本文将主要介绍Hive MetaStore服务在快手的挑战与优化，包括：
AI科技大本营消息，北京时间周一（2月12日）晚间，Google 宣布，在 Google Cloud Platform（GCP）上正式推出Cloud TPUs 测试版服务，帮助研究人员更快地训练和运行机器学习模型 。目前的收费标准为 6.5美元/Cloud TPU/小时，而且供应有限，需要提前申请。 TPU（Tensor Processing Unit）的全名为张量处理单元 ，是 Google 专为机器学习而定制的一款芯片。在去年 5 月 18 日的Google I/O 大会上，Google 正式推出第
随着软件供应链攻击的增加，保护我们的软件供应链变得更加重要。此外，在过去几年中，容器的采用也有所增加。有鉴于此，对容器镜像进行签名以帮助防止供应链攻击的需求日益增长。此外，我们今天使用的大多数容器，即使我们在生产环境中使用它们，也容易受到供应链攻击。在传统的 CI/CD 工作流中，我们构建镜像并将其推入注册中心。供应链安全的一个重要部分是我们构建的镜像的完整性，这意味着我们必须确保我们构建的镜像没有被篡改，这意味着保证我们从注册中心中提取的镜像与我们将要部署到生产系统中的镜像相同。证明镜像没有被篡改的最简单和最好的方法之一（多亏了 Sigstore）是在构建之后立即签名，并在允许它们部署到生产系统之前验证它。这就是 Cosign 和 Kyverno 发挥作用的地方。
一提到大数据，大多数技术人可能会想到它的4V特征：数据量、速度、多样性、价值。但同时也会想到它庞大的技术生态圈——大数据产品的数量非常丰富。
数据湖是一种存储系统，底层包括不同的文件格式及湖表格式，可存储大量非结构化和半结构化的原始数据。
近日，谷歌推出了几项新的聚焦于云安全的谷歌云平台（GCP）增强。这些增强包括云安全命令中心（云SCC）、“谷歌云盔（Google Cloud Armor）”、VPC服务控制等新服务和若干供G Suite管理员使用的新特性。此外，这些增强是谷歌云平台投资的一部分，帮助客户增强他们的企业解决方案以及他们使用的GCP服务的安全性。 借助云安全命令中心，客户可以把安全相关的信息组织到一个控制面板中，谷歌云盔可以阻止DDos攻击及其他威胁。此外，VPC服务控制提供了一种把本地安全策略扩展到谷歌云服务的更好方法，而G
在机器学习服务器中，计算上下文是指处理给定工作负载的计算引擎的物理位置。默认为本地。但是，如果您有多台机器，则可以从本地切换到远程，将以数据为中心的RevoScaleR (R)、revoscalepy (Python)、MicrosoftML (R)和microsoftml (Python)函数的执行推送到另一个系统上的计算引擎。例如，在 R 客户端中本地运行的脚本可以将执行转移到 Spark 集群中的远程机器学习服务器以在那里处理数据。
随着闲鱼业务的发展，用户规模达到数亿级，用户维度的数据指标，达到上百个之多。如何从亿级别的数据中，快速筛选出符合期望的用户人群，进行精细化人群运营，是技术需要解决的问题。业界的很多方案常常需要分钟级甚至小时级才能生成查询结果。本文提供了一种解决大数据场景下的高效数据筛选、统计和分析方法，从亿级别数据中，任意组合查询条件，筛选需要的数据，做到毫秒级返回。
Flink Forward Asia 2022最近在开，有关Flink的讨论，又开始在国内热闹起来。从技术上来说，Flink当然已经是streaming processing的一个标杆了。
在数字化时代，作为基础软件，数据库的自主可控对于企业的数据安全、业务稳定具有重要意义。只有实现“自主可控”才能从根本上保证信息安全，尤其是涉及重大安全的政府和金融领域，对数据安全的要求进一步加强。因此，在互联网安全上升至国家战略层面的背景下，如何在底层基础数据库层面实现自主可控成为云计算厂商不断追求的目标。
导读：2019年5月，美团正式推出新品牌「美团配送」，升级配送开放平台。那你知道支撑美团配送大脑的实时特征平台是如何建设的吗？如何实现每分钟生产千万级的实时特征？如何在70w+QPS的场景下实现4个9响应耗时在50毫秒的需求？本文将为大家介绍配送实时特征平台的发展历程，关键技术和实践经验。
在各行业爆发式增长的云时代，传统IT架构已无法满足企业需求。相比较于传统数据库，国产数据库技术取得了长足进步，也更适用于企业的生产环境和IT系统。 作为腾讯云最早的 MySQL 生态的云数据库，CDB (TencentDB for MySQL) 不仅是腾讯云上规模最大、最受欢迎的数据库产品，同时在腾讯集团内部也承担了微信红包、微信广告、QQ 空间等重量级业务的数据库访问服务。为了保证数据库服务质量，解决原生数据库内核存在的性能、功能、稳定性等方面的问题，CDB 维护了自己的 MySQL 内核分支 TX
静态数据：为了支持决策分析而构建的数据仓库系统，其中存放的大量历史数据就是静态数据。
Spark是一个基于内存的集群计算系统，是一个分布式的计算框架。Spark可以将计算任务分发到多个机器并行计算。目前Spark集成了SQL查询，图处理，机器学习，流处理等，在计算引擎中生态比较健全，所以其适用范围比较广。Spark主要解决计算的并行化，集群资源的管理与分配，容错与恢复，任务的分发与回收管理等问题。
最近数据库行业还是发生一些事情，例如：NebulaGraph获得获得数千万美元的A轮融资，Oracle将在AWS支持MySQL HeatWave服务，VLDB 2022在悉尼举行，来自中国多篇成果被接收，等等，查看原文
Google定制的打机器学习专用晶片称之为TPU（Tensor Processing Unit），Google在其自家称，由于TPU专为机器学习所运行，得以较传统CPU、 GPU降低精度，在计算所需的电晶体数量上，自然可以减少，也因此，可从电晶体中挤出更多效能，每秒执行更复杂、强大的机器学习模组，并加速模组的运用，使得使用者更快得到答案，Google最早是计划用FPGA的，但是财大气粗，考虑到自己的特殊应用，就招了很多牛人来做专用芯片TPU。
各位小伙伴们大家好，我们又见面啦~ 这里是《你问我答》栏目第四期 上周推送了一篇关于腾讯SuperSQL的文章 《「解耦」方能「专注」——腾讯天穹SuperSQL跨引擎计算揭秘》 很多同学对这个项目产生了浓厚的兴趣 本期，我们的专家老师将现身说法 进一步为大家介绍腾讯大数据SQL引擎天穹SuperSQL的性能表现 同时，也会解答小伙伴们关于 腾讯一站式实时计算平台Oceanus 以及分布式 HTAP 数据库管理系统Tbase 的部分疑问 对这些话题感兴趣的同学就快来看看吧！ 01 @旧故里草木深：
作为全球最具权威的IT研究与顾问咨询公司，Gartner报告非常值得从业者研究学习。从中我们可以了解到更多行业、产品、技术发展趋势。近日，数据库领域的重磅报告《Magic Quadrant for Cloud Database Management Systems》悄然出炉。作为数据库领域的重要组成部分，云数据库近些年来发展迅速。2020年，Gartner将魔力象限从Operational Database更名为Cloud Database。从2020年的数据来看，云数据库已占据整体数据库市场份额的40%，且贡献了增长市场的9成以上份额。据Gartner预测，到2022年云数据库营收数据将占据数据库整体市场的半数以上。可以说，云数据库代表着数据库行业的未来。本文将尝试从多角度加以分析，窥视云数据库2021发展变化。文中仅代表个人观点，如有偏颇，欢迎指正。
摘要：实时数仓以提供低延时数据指标为目的供业务实时决策，本文主要介绍基于Flink的广告实时数仓建设，主要包括以下内容：
在《什么的是用户画像》一文中，我们已经知道用户画像对于企业的巨大意义，当然也有着非常大实时难度。那么在用户画像的系统架构中都有哪些难度和重点要考虑的问题呢？
直接与文件系统交互，仅是Spark SQL数据应用常见case之一。Spark SQL另一典型场景是与Hive集成、构建分布式数仓。
在各行业爆发式增长的云时代，传统IT架构已无法满足企业需求。相比较于传统数据库，国产数据库技术取得了长足进步，也更适用于企业的生产环境和IT系统。
Elasticsearch的第一个版本于 2010 年作为分布式可扩展搜索引擎发布，允许用户快速搜索并获得关键见解。十二年的发展和超过 65,000 次提交后，Elasticsearch 继续为用户提供久经考验的解决方案，以解决各种搜索问题。得益于 1,500 多名贡献者（包括数百名 Elastic 全职员工）的努力，Elasticsearch 不断发展以应对搜索领域出现的新挑战。
随着《数据安全法》、《个人信息保护法》等相继出台，数据安全上升到国家安全层面和国家战略层面，数据分类分级已经成为了企业数据安全治理的必选题。然而数据分类分级的实现在行业内有很多痛点，主要体现在如下几点：
Flink Forward是由Apache官方授权，用于介绍Flink社区的最新动态、发展计划以及Flink相关的生产实践经验的会议。2018年12月20日，Flink Forward首次来到中国举办。腾讯TEG数据平台部参加了会议并在会上介绍了腾讯内部基于Flink打造的一站式实时计算平台Oceanus。 一、背景介绍 TEG实时计算团队作为腾讯内部最大的实时数据服务部门，为业务部门提供高效、稳定和易用的实时数据服务。其每秒接入的数据峰值达到了2.1亿条，每天接入的数据量达到了17万亿条，每天的数据增长
NewCDB是在CDB十年技术和产品沉淀的基础上诞生的，腾讯云数据库产品在继承中不断完成突破。
CynosDB产品简介 CynosDB，又称NewCDB，是由腾讯云和TEG基础架构部数据库技术团队联合打造的面向云计算2.0时代的新一代企业级分布式云数据库。在兼容开源数据库MySQL的生态体系下，它重新定义了MySQL分布式架构，从而在单实例极致性能、事务响应延时、存储扩展性以及可用性等关键技术指标上，达到商用级数据库级别；与此同时，它是面向通用硬件进行的软件极致优化，相比商用级数据库，它的性价比非常高，能把云计算共享经济普惠给万千腾讯云用户。 CynosDB名称来源 Cynos源于拉丁语中的Cy
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
