首先提前祝大家中秋快乐，今天我们分享的文章来自云栖大会嘉宾：阿里云专家 封神的分享
大数据前几年各种概念争论很多，NoSQL/NewSQL，CAP/BASE概念一堆堆的，现在这股热潮被AI接过去了。大数据真正落地到车联网，分控，各种数据分析等等具体场景。 概念很高大上，搞得久了就会发现，大部分都还是数据仓库的衍伸，所以我们称呼这个为“新数仓”，我准备写一系列相关的文章，有没有同学愿意一起来的？请联系我。前面有一些相关文章，大家可以看看： 新数仓系列：Hbase周边生态梳理（1） 本文简单梳理下其中一个应用比较广的HBASE的国内开发者现状，可能不全，有更多信息或者纠正的，请给我留言。 1
现如今大量的中小型公司并没有大规模的数据，如果一家公司的数据量超过100T，且能通过数据产生新的价值，基本可以说是大数据公司了 。起初，一个创业公司的基本思路就是首先架构一个或者几个ECS，后面加入MySQL,如果有图片需求还可加入磁盘，该架构的基本能力包括事务、存储、索引和计算力。随着公司的慢慢发展，数据量在不断地增大，其通过MySQL及磁盘基本无法满足需求，只有分布式化。 这个时候MySQL变成了HBase,检索变成了Solr/ES，再ECS提供的计算力变成了Spark。但这也会面临存储量大且存储成本高等问题。
谷歌在2006年的一份研究报告中首次对Bigtable进行了阐述，如果你熟悉Bigtable这个名词，那么：行先是以一种非常独特的方式被索引，随后Bigtable利用行键对数据进行分割，将它们分布到集群中。这句话你应该不陌生。
Micro-Batch Processing：100ms延迟 ，Continuous Processing：1ms延迟
In the past few years, we have seen explosive growth in the cloud database market, with fierce competition between service providers aiming for the top. Notable contenders in this space include AWS Aurora, Alibaba Cloud PolarDB, and Huawei GaussDB.
Hadoop 目前是数据处理的标准工具，其核心组件包含了HDFS（分布式文件系统）、YARN(资源调度平台)、
谢远东，腾讯高级工程师，云原生机器学习社区 Kubeflow Member、 云原生数据编排与加速框架 Fluid（CNCF Sandbox） 核心开发者、Istio Member ，负责腾讯云 TKE 在 AI 场景的研发和支持工作。 彭芳，腾讯云容器产品经理，负责腾讯云 TKE 在存储、安全和云原生etcd服务的产品策划工作。 前言 Fluid 作为基于 Kubernetes 开发的面向云原生存算分离场景下的数据调度和编排加速框架，已于近期完成了 v0.6.0[1] 版本的正式发布。腾讯云容器 TK
谢远东，腾讯高级工程师，云原生机器学习社区 Kubeflow Member、 云原生数据编排与加速框架 Fluid（CNCF Sandbox） 核心开发者、Istio Member ，负责腾讯云 TKE 在 AI 场景的研发和支持工作。
Fluid 作为基于 Kubernetes 开发的面向云原生存算分离场景下的数据调度和编排加速框架，已于近期完成了 v0.6.0 版本的正式发布。腾讯云容器 TKE 团队一直致力于参与 Fluid 社区建设，在最新版本中贡献了以下两大特性：缓存引擎高可用运行时、新增数据缓存引擎实现 GooseFSRuntime 。
“产品使用攻略”、“上云技术实践” 有奖征集啦～ 图片案例名称案例简介使用流计算 Oceanus 和 ES 构建日志分析系统介绍从 mysql 数据库采集数据到流计算服务 Oceanus 进行分析，最后输出到 ElasticSearch 服务的实践。可作为日志搜索场景解决方案使用。使用 MySQL 关联 HBase 维表数据到 ClickHouse介绍结合 MySQL 数据库、流计算 Oceanus、HBase 以及云数据仓库 ClickHouse 来构建实时数仓，并通过流计算 Oceanus 读取 MyS
瞧！ 现场的小伙伴都是在很认真的听讲呢，虽然外面飘着小雨（同时还出着太阳，四不四有点魔性），但是成都技术圈的学习热情，就好像成都辣椒一样火热的，提问根本停不下来啊~
目录： 什么是大数据 Hadoop介绍-HDFS、MR、Hbase 大数据平台应用举例-腾讯 公司的大数据平台架构 “就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的
商品加工引擎是腾讯基于云原生打造的高可用、可扩展、灵活配置的商品处理引擎，融合商品接入、商品加工、商品存储、商品分发、链路监控、商品对账等核心能力，支持近十亿的商品管理和加工，以及腾讯多个核心应用场景。 商品加工引擎提供不同类型的商品录入、商品统一加工、商品信息分发等能力。存储商品数据接近十亿，支持商品加工能力包括：淫秽、色情、迷信、暴力、涉政等内容机器或人工审核，图片转链、视频转链、统一商品理解类目品牌词生成、统一商品标签生成、商品卖点信息生成等等。 系统架构 支持商品统一接入、商品基于自建的组件市场
一、业务背景： 业务方需要搭建一套hbase集群，数据来源是hive表。 集群数据规模：每天4.5kw个key，420亿条左右数据，平均每个key每天1000个记录。每天总数据量1.2T左右，3备份需要存储2年约2.5P。 为响应公司业务上云，通过腾讯云上EMR搭建hbase集群。hive集群是在IDC机房，和普通集群迁移相比，这涉及到跨机房、跨集群的数据迁移，以及hive表数据到hbase集群数据的转换。 二、技术方案步骤 1、IDC机房与EMR网络的联通性验证
实时即未来，最近在腾讯云流计算 Oceanus（Flink) 进行实时计算服务分享给大家~
摘要：Hadoop是一个开源的高效云计算基础架构平台，其不仅仅在云计算领域用途广泛，还可以支撑搜索引擎服务，作为搜索引擎底层的基础架构系统，同时在海量数据处理、数据挖掘、机器学习、科学计算等领域都越来越受到青睐。本文将讲述国外、国内Hadoop的主要应用现状。
前言：9月20日，世界知名的开源软件组织Apache软件基金会（Apache Software Foundation，简称ASF）正式宣布腾讯成为其白金会员。腾讯也是国内首家Apache 软件基金会白金会员。Apache 软件基金会官方高度评价了腾讯在开源领域的贡献，腾讯开源之路再上台阶。 国内首家Apache白金会员 腾讯成众多项目主导成员 ASF致力于为开源项目提供法律和财务等支持的非营利性组织。该基金会目前支持了超过350个开源项目，涵盖大数据、云计算、数据库、网络服务器等领域。目前基金会白金
截止到2020年12月，Phoenix最高只支持到Hbase2.0版本，并不支持更高的版本。而我们采用的是腾讯云HBase，使用的版本是2.2.0版本，我们在使用Phoenix-5.0版本时，发现系统报错，无法正常使用。
参加活动赢取话费和一个月免费会员 点击底部阅读原文，参加PPV课玩转可视化图表，赢取话费和PPV课一个月免费会员，精品课程免费看！ 目录： 什么是大数据 Hadoop介绍-HDFS、MR、Hbase
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本文将您详细介绍如何提取 MySQL 数据与 HBase 数据进行维表关联（流维 join），经过简单聚合分析后存入 Elasticsearch 中。 前置准
实时及未来，最近在腾讯云Oceanus进行实时计算服务，以下为mysql-cdc结合维表hbase到flink到ClickHouse的实践。分享给大家~
作者 | 蔡芳芳 采访嘉宾 | 陈龙 2020 年 9 月，主打云数据仓库产品的硅谷独角兽 Snowflake 正式登陆纳斯达克，首日 IPO 筹资高达 33.6 亿美元，是有记录以来金额最大的软件 IPO，突破了 Uber 2019 年 5 月上市创下的最大规模纪录。 如今，大数据技术早已进入普及期，数据仓库 / 分析领域更是巨头林立，既有传统厂商 Oracle、Teradata，也有开源软件 Hadoop，还有云厂商 AWS Redshift、Google Bigquery，在这样一个竞争环境下
Sqoop是Apache开源项目，用于在Hadoop和关系型数据库之间高效传输大量数据，本文将与您一起实践以下内容：
作者：spiderwu，腾讯 CSIG 高级工程师 本文描述了如何在腾讯云上使用云化后大数据组件来完成实时分析系统的设计和实现，阅读过程中通过对比云 Ckafka、Flink 和 MySQL 等组件的使用差异来体现云化方案的优势。文中以视频直播礼物打赏的场景为例，展示全/半托管服务下开发的便利，便于读者对视频直播系统的设计有一个初步的了解。 1 解决方案描述 1.1 概述 本方案结合腾讯云 CKafka、流计算 Oceanus、私有网络 VPC、商业智能分析 BI 等，对视频直播行业数字化运营进行实时可视
作者 | 贾驰千、余智平 酷家乐中间件团队研发工程师 随着云数据库数量以及成本的迅速增加，数据库成本管理和优化成为了企业所关注的方向。酷家乐针对云数据库做了一系列的深度成本优化动作，收益颇丰。本文为详细介绍~ 供你参考。 一、背景摘要 近年来，随着上云的普遍化，降本成为了备受关注的热门话题。越来越多的企业开始重视云资源的成本优化，FinOps更是横空出世，得到了众多企业的拥抱。 作为全球领先的云设计软件平台和 SaaS 服务提供商，（群核科技）酷家乐的产品都构建在公有云之上，截止目前，我们使用了上
Elastic MapReduce（EMR）是腾讯云提供的云上 Hadoop 托管服务，提供了便捷的 Hadoop 集群部署、软件安装、配置修改、监控告警、弹性伸缩等功能，EMR部署在腾讯云平台（CVM）上，配合消息中间件、CDB等产品为企业提供了一套较为完善的大数据处理方案。如下图所示为EMR系统架构图：
风险无处不在，包括自然灾害以及突发事件等，有时候我们无法预测到一些风险，比如天津港爆炸事件。IT领域也一样，总是有意想不到的事情，风险具有不可预测性，万全之策就是做好灾难应对的各种准备。
下文以腾讯云数据库 MySQL为例，介绍如何充分利用腾讯云的优势，减轻DBA的负担，轻松来搭建数据库。
导语 | 本文描述了如何在腾讯云上使用云化后大数据组件来完成实时分析系统的设计和实现，阅读过程中通过对比云Ckafka、Flink和MySQL等组件的使用差异来体现云化方案的优势。文中以视频直播礼物打赏的场景为例，展示全/半托管服务下开发的便利，便于读者对视频直播系统的设计有一个初步了解。 一、解决方案描述 （一）概述 本方案结合腾讯云CKafka、流计算Oceanus、私有网络VPC、商业智能分析BI等，对视频直播行业数字化运营进行实时可视化分析。分析指标包含观看直播人员的地区分布、各级别会员统计、
2020 年 9 月，主打云数据仓库产品的硅谷独角兽 Snowflake 正式登陆纳斯达克，首日 IPO 筹资高达 33.6 亿美元，是有记录以来金额最大的软件 IPO，突破了 Uber 2019 年 5 月上市创下的最大规模纪录。 如今，大数据技术早已进入普及期，数据仓库 / 分析领域更是巨头林立，既有传统厂商 Oracle、Teradata，也有开源软件 Hadoop，还有云厂商 AWS Redshift、Google Bigquery，在这样一个竞争环境下，成立于 2012 年的 Snowflake 能脱颖而出实属不易。那么，Snowflake 在数仓技术方面有哪些独到之处？其成功的背后又有哪些技术原因和趋势值得关注？
作者颜卫，腾讯高级后台开发工程师，专注于Kubernetes大规模集群管理和资源调度，有过万级集群的管理运维经验。目前负责腾讯云TKE大规模Kubernetes集群的大数据应用托管服务。 大数据的发展历史 大数据技术起源于Google在2004年前后发表的三篇论文，分布式文件系统GFS、分布式计算框架MapReduce和NoSQL数据库系统BigTable，俗称"三驾马车"。在论文发表后，Lucene开源项目的创始人Doug Cutting根据论文原理初步实现了类似GFS和MapReduce的功能。并在20
腾讯云数据仓库PostgreSql TDSQL，PingCAP的TiDB，阿里的OceanBase，华为云DWS，都是HTAP的业内常用数仓，可以一站式解决需求。
上节我们讲了如何利用MapReduce 快速的来查询数据：https://cloud.tencent.com/developer/article/1878432
Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。
作者颜卫，腾讯高级后台开发工程师，专注于Kubernetes大规模集群管理和资源调度，有过万级集群的管理运维经验。目前负责腾讯云TKE大规模Kubernetes集群的大数据应用托管服务。
https://github.com/ApsaraDB/PolarDB-for-PostgreSQL/blob/main/doc/PolarDB-CN/LogIndex.md
近期腾讯云某家大客户的hbase master一直无法启动，经过仔细诊断之后发现是由于hbase的WAL文件非常多（达到15TB），导致hbase在zk的节点（存储WAL文件信息的节点）超过4096*1024 默认大小，无法正常提供服务。因此，hbase master无法正常启动。通过增加zk节点的大小参数，并且优化WAL文件，最终解决该问题。
ClickHouse 优秀的读写处理性能，丰富强大的函数支持，以及灵活的 SQL 查询，支撑了微博广告监控系统的百亿流量请求和复杂业务需求。
腾讯云某客户的开发者反馈，大数据集群的hbase读写非常缓慢。我们使用测试程序，也复现该问题。因此，我们需要对hbase集群进行全面检测。
前面几章说了 腾讯云大数据技术介绍，分别介绍了：大数据的存储，大数据的使用，和 实时并发数据处理。这是一套完整的体系，需要综合的来运用才能体现出商业化的最大价值。
作为腾讯唯一的时序数据库，CTSDB 支撑了腾讯内部20多个核心业务（微信彩票、财付通、云监控、云数据库、云负载等）。
这次迁移算是TBDS集群的第一次完整迁移案例，包括用户的业务数据，平台应用，从项目启动到最后完成迁移差不多耗费了1个月的时间。
相信很多学Java的同学都有想转大数据或者学大数据的想法，但是一看到网上那些大数据的技术栈，就一脸懵逼，什么Hadoop、HDFS、MapReduce、Hive、Kafka、Zookeeper、HBase、Sqoop、Flume、Spark、Storm、Flink等等技术。
作者：spiderwu，腾讯 CSIG 高级工程师 1 解决方案描述 1.1 概述 本方案结合腾讯云 CKafka、流计算 Oceanus、私有网络 VPC、商业智能分析 BI 等，对视频直播行业数字化运营进行实时可视化分析。分析指标包含观看直播人员的地区分布、各级别会员统计、各模块打赏礼物情况、在线人数等。 视频直播场景 1.2 方案架构及优势 根据以上视频直播场景，设计了如下架构图： 架构图 涉及产品列表： 流计算 Oceanus 私有网络 VPC 消息队列 CKafka 云数据库 My
TVP 是腾讯云在开发者生态建设中重要的一部分，在技术专家们的认可和帮助下，腾讯云致力打造云产品、技术专家与用户三位一体的交流平台，促进开发者生态的构建，实现“用科技影响世界”的美好愿景。
Fluid是CNCF基金会旗下云原生环境中数据密集型应用的高效支撑平台，项目自开源发布以来吸引了众多相关方向领域专家和工程师的关注，在大家的积极反馈下社区不断演进。近期 Fluid 0.6 版本正式发布，在该版本中，Fluid 主要新增改善以下三个方面内容：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
