2020年9月11日，在腾讯全球数字生态大会大数据专场上，腾讯云大数据产品副总经理雷小平重磅发布了全链路数据开发平台WeData，同时发布和升级了流计算服务、云数据仓库、ES、企业画像等6款核心产品，进一步优化和提升了腾讯云大数据的全托管能力，助力企业从基础设施层、场景开发层以及行业应用层快速构建一站式大数据平台能力。
9月11日，在腾讯全球数字生态大会大数据专场上，腾讯云大数据产品副总经理雷小平重磅发布了全链路数据开发平台WeData，同时发布和升级了流计算服务、云数据仓库、ES、企业画像等6款核心产品，进一步优化和提升了腾讯云大数据的全托管能力，助力企业从基础设施层、场景开发层以及行业应用层快速构建一站式大数据平台能力。 「 借助WeData，企业数据开发门槛降低60%」 雷小平表示：“构建大数据开发平台是企业数字化转型的关键步骤，然而从数据集成到开发调度等涉及的模块众多，导致整个平台的维护和升级成本非常高
如果单纯从字面上，普通人可能无法理解要把 PB 级的数据迁移到一朵云上，难度有多大。 “这个迁移和简单的复制完全不一样，即便是拷贝，把1PB 的数据复制过来，也需要很长时间。”腾讯云大数据产品架构师李少波说。 少波说的这个正是一个月前他和另外3位同事，一起经历的一场云端迁移战事。 把时针拨到一个月之前，搜狐畅游技术有限公司(简称搜狐畅游)计划在8月初正式上线小浣熊百将传的新游戏，这款有着经典水浒卡授权的国风放置卡牌手游，预计在上线后将迅速风靡全球，这给搜狐畅游当时的大数据集群带来了严峻的挑战。 搜狐畅
机器之心原创 作者：蛋酱 930 变革两年后，被寄予厚望的腾讯云在 To B 这张考卷上都写了什么？ 从「深圳市腾讯计算机系统有限公司」注册成立，到成为服务用户最多的中国互联网企业之一，腾讯经历了互联网发展的黄金二十年。拥有众多国民级应用、十多亿 C 端用户的同时，这家公司对于自身技术的披露却一向低调。 当然，事情也正在发生变化：两年前，腾讯宣布正式「拥抱」产业互联网，并进行了第三次组织架构调整，史称「930 变革」。这家科技巨头积淀多年的技术能力，终于越来越多地从幕后走到台前，被寄予厚望的腾讯云，成为腾
在今年的腾讯全球数字生态大会上，腾讯介绍了AI、5G等技术领域的最新进展，还请出了Hadoop创始人Doug Cutting站台，讲述了他对于数字化变革的看法。
在 Forrester 最新发布的《Now Tech: Predictive Analytics And Machine Learning In China, Q3 2020》报告中，腾讯云在国内众多预测分析和机器学习领域厂商中遥遥领先，跃居第一阵营。 Forrester Now Tech是 Forrester 机构在中国乃至全球范围内具有影响力最大、市场认可度最高的报告系列之一，旨在为企业 IT 决策、产品选型等提供基于市场规模、产品功能维度的价值参考。 作为中国最大的人工智能服务提供商，腾讯云在机器学习
2020年9月11日，主题为“释放数字经济发展的新动能”的腾讯全球数字生态大会大数据专场在线上拉开帷幕。腾讯大数据领域的多位顶级专家，与包括 Hadoop 创始人 Doug Cutting 在内的业内顶级大咖，以及众多行业合作伙伴一起相聚云端，共话大数据技术的最新技术演进趋势和应用实践。
导读：本文由中原银行大数据平台研发工程师白学余分享，主要介绍实时金融数据湖在中原银行的应用。主要内容包括：
9月11日，主题为“释放数字经济发展的新动能”的腾讯全球数字生态大会大数据专场在线上拉开帷幕。腾讯大数据领域的多位顶级专家，与包括 Hadoop 创始人 Doug Cutting 在内的业内顶级大咖，以及众多行业合作伙伴一起相聚云端，共话大数据技术的最新技术演进趋势和应用实践。 「 Hadoop 创始人 Doug Cutting 亲自站台」 Doug Cutting 表示，软件成为进步的主要来源，要实现创新，组织需要重视开源的力量。开源不仅可以更快地提升单个技术，对于整个开源社区、开源环境来说都是十分
关注腾讯云大学，了解最新行业技术动态 9月11日，主题为“释放数字经济发展的新动能”的腾讯全球数字生态大会大数据专场在线上拉开帷幕。腾讯大数据领域的多位顶级专家，与包括 Hadoop 创始人 Doug Cutting 在内的业内顶级大咖，以及众多行业合作伙伴一起相聚云端，共话大数据技术的最新技术演进趋势和应用实践。 「 Hadoop 创始人 Doug Cutting 亲自站台」 Doug Cutting 表示，软件成为进步的主要来源，要实现创新，组织需要重视开源的力量。开源不仅可以更快地提升单个技术，对于
流计算 Oceanus 两周年 腾讯云流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的企业级实时大数据分析平台，具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点。腾讯内部的流计算 Oceanus平台每秒接入数据峰值达到数亿条，每天接入数据量高达到十万亿条，实时计算量超万亿次。腾讯云流计算 Oceanus从2020年初公测到现在已经对外稳定服务超过2年，产品一直在飞速发展，快速迭代，帮忙用户便捷对接丰富的云上数据源，实现海量数据的实时处理和分
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本示例使用 Oceanus 平台的 元数据管理 功能，通过库表引用将作业中生成的随机数据存入到 MySQL 中。再通过对变量的管理完成变量的引用
随着移动设备、物联网设备的持续增长。流式数据呈现了爆发式增长。同时，越来越多的业务场景对数据处理的实时性有了更高的要求。基于离线批量计算的数据处理平台已经无法满足海量数据的实时处理需求，在这个背景下，各种实时流处理平台应运而生。 运用好大数据可以让为消费者提供产品或服务的企业进行更精准的营销；比如我们大家都熟知的海尔，他们在推出某一款新型智能空调时，将广告投放到与会员大数据平台合作的旅游、健康类杂志上，不仅为杂志用户提供购买优惠的双赢模式，还通过用户订阅的杂志来判断用户的特点，从而进行更精准的营销。
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本文将通过一个处理数据后存入 MySQL 的作业示例，为您详细介绍如何使用 PyFlink。 前置准备 创建流计算 Oceanus 集群 进入 Oceanu
作者：腾讯云云函数团队产品经理April 导语|本文演示了如何捕获流计算 Oceanus (Flink) 集群状态变更，并通过事件总线（EventBridge）发送到企业微信或钉钉、飞书客户端。 背景介绍 监控与报警系统对于业务生产环境来说是不可或缺的，一旦有故障发生，需要有完善的监控告警链路，保证告警消息可以实时完成推送并进行处理。 腾讯云事件总线（EventBridge）[1] 简称 EB，是一款安全、稳定、高效的无服务器事件管理平台。事件中心的事件总线可以接收来自您自己的应用程序、软件即服务（Sa
腾讯云TI平台顺利通过中国信息通信研究院（以下简称“中国信通院”）人工智能开发平台功能评测，获得目前最高等级认证（4级），代表着腾讯云TI平台在全能力域的产品能力达到国内目前的最高水平，该认证也代表着腾讯云成为了国内产品方首批全能力域4级的企业。 在人工智能行业快速发展的现今，对商业化人工智能开发平台的需求越来越大，由于人工智能开发平台的特殊性，亟待出台相关标准背景，此次中国信通院评测就是针对该问题，主要依托《人工智能开发平台系统功能要求标准》进行的标准评测，主要围绕人工智能开发平台的数据处理，模型构建
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本示例使用流计算 Oceanus 平台的 ETL 功能，将 PostgreSQL 数据取出，经过时间转换函数处理后存入 PostgreSQL 中。用户无需编写
2019年8月24日，由云+社区主办的第26期云+社区技术沙龙——大数据技术实践与应用，在北京快手总部举行，本期沙龙云+社区联合快手邀请技术大咖为大家深度解读大数据的前沿技术，聚焦大数据技术实践与应用，同时带来了干货满满的大数据实践案例分享。现场技术热情高涨，座无虚席、交流氛围浓厚。
大家好，我是来自腾讯大数据团队的杨华（vinoyang），很高兴能够参加这次北京的 QCon，有机会跟大家分享一下腾讯实时流计算平台的演进与这个过程中我们的一些实践经验。
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本文将您详细介绍如何将数据写入 MongoDB。 前置准备 创建流计算 Oceanus 集群 进入 Oceanus 控制台 [1]，点击左侧【集群管理】，点击
随着数字经济的蓬勃发展，产业数字化进程持续推进，数据技术拥有了广泛的端到端应用场景，而借助数据技术可以实现从数据到信息、从信息到知识、从知识到决策的转换，助力实体经济的创新发展。IDC预计，到2026年，全球大数据市场的IT总投资规模将增至4491.1亿美元，实现约15.6%的复合增长率。
The following article is from 腾讯技术工程 Author 腾讯程序员 作者：龙逸尘，腾讯 CSIG 高级工程师 为什么要构建监控系统 在后移动互联网时代，良好的用户体验是增长的基础，稳定的使用体验就是用户体验的基础。大型的互联网公司，特别是面向 C 端客户的公司，对业务系统稳定性的要求越来越高，因此对线上问题发现和处理的速度要求通常是分钟级的。比如滴滴等出行公司，打车服务停摆 10 分钟都会导致导致乘客、司机大规模投诉，不仅造成经济损失，而且严重平台商誉和用户口碑。 大型
10月22日晚19：00，腾讯云大数据“数智话”技术沙龙 第三期《流计算 Oceanus 基于Flink的实时大数据分析平台》直播圆满落幕。流计算 Oceanus 产品负责人，流计算 Oceanus 专家工程师 围绕腾讯云大数据的流计算产品——流计算Oceanus展开，重点介绍了其优势特性、技术演进和在实际场景中的应用实践。 让我们一起来回顾下当晚的直播内容吧！ 关注腾讯云大数据公众号 邀您探索数据的无限可能 点击“阅读原文”，了解相关产品最新动态 ↓↓↓
本文演示了如何捕获流计算 Oceanus (Flink) 集群状态变更，并通过事件总线（EventBridge）发送到企业微信或钉钉、飞书客户端。
1.腾讯云BI：提供从数据接入到模型分析、数据可视化呈现全流程 BI 能力，帮助经营者快速获取决策数据依据。
在云计算技术领域，“Serverless（无服务器）”作为一种新型的软件设计架构正在快速崛起。作为继虚拟机、容器后的第三代通用计算平台，Serverless技术也一直是腾讯云原生的重点发力领域。 11月6日，在由腾讯云主办的首届Techo开发者大会上，腾讯云宣布与全球最流行的Serverless开发平台Serverless.com达成战略合作，成为 Serverless.com的全球战略合作伙伴以及大中华区独家合作伙伴。 截至目前，Serverless.com拥有百万级别的活跃应用程序以及50000+的
11月22日晚19：00，腾讯云大数据“数智话”技术沙龙 第三期《流计算 Oceanus 基于Flink的实时大数据分析平台》准时开启线上直播。本次直播由腾讯云大数据 流计算 Oceanus 产品负责人，流计算 Oceanus 专家工程师 围绕腾讯云大数据的流计算产品——流计算Oceanus展开，重点介绍了其优势特性、技术演进和在实际场景中的应用实践。 企业面对实时性要求比较高的场景时，传统批处理无法满足时效性的要求，延迟太高，性能不足，稳定性比较差，对业务造成巨大的影响。如何解决资源利用率低、性能不足等问
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本文将为您详细介绍如何取 MySQL 数据，经过流计算 Oceanus 实时计算引擎分析，输出数据到日志（Logger Sink）当中。 前置准备 创建 流计算
在云计算技术领域，“Serverless（无服务器）”作为一种新型的软件设计架构正在快速崛起。作为继虚拟机、容器后的第三代通用计算平台，Serverless技术也一直是腾讯云原生的重点发力领域。
为什么要构建监控系统 作者：龙逸尘，腾讯 CSIG 高级工程师 在后移动互联网时代，良好的用户体验是增长的基础，稳定的使用体验就是用户体验的基础。大型的互联网公司，特别是面向 C 端客户的公司，对业务系统稳定性的要求越来越高，因此对线上问题发现和处理的速度要求通常是分钟级的。比如滴滴等出行公司，打车服务停摆 10 分钟都会导致导致乘客、司机大规模投诉，不仅造成经济损失，而且严重平台商誉和用户口碑。 大型互联网公司的业务系统都是大规模的分布式系统，各种业务应用和基础组件（数据库、缓存、消息队列等）共同
来源 | 腾讯SaaS加速器首期项目-WakeData ---- 10月29日，以“数字重构，智慧增长”为主题的2019爱分析·中国零售科技高峰论坛在北京盛大开幕。众多零售领域品牌商、渠道商以及科技服务商齐聚一堂，就“新零售”概念、后端供应链管理、增加前端体验、深化线上线下融合、加强交互感等行业热点话题进行了精彩分享。 同时爱分析还隆重揭晓了“2019爱分析·中国零售科技创新企业50强”榜单。“新零售”提出至今，近3年时间过去，“新零售”到底是什么已经不再重要，重要的是零售行业已经走在了加速变革的
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 流计算 Oceanus 提供了便捷的控制台环境，方便用户编写 SQL 分析语句、ETL 作业或者上传运行自定义 JAR 包，支持作业运维管理。 本文将为您详细
腾讯云+社区联合移动开发团队举办征文活动，诚邀各位移动开发者在新模式下探索实践，反馈使用体验和心得。
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本文将为您详细介绍如何实时获取 CKafka 中的 JSON 格式数据，经过数据抽取、平铺转换后存入 MySQL 中。 前置准备 创建流计算 Oceanus
在后移动互联网时代，良好的用户体验是增长的基础，而稳定的使用体验则是用户体验的基础。大型的互联网公司，尤其是面向 C 端客户的公司，对业务系统稳定性的要求越来越高，因此对线上问题发现和处理的速度要求通常是分钟级的。比如滴滴等出行公司，打车服务停摆 10 分钟都会导致导致乘客、司机大规模投诉，不仅造成经济损失，而且严重平台商誉和用户口碑。
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 Flink Jar 作业既支持使用 DataStream API 编程也支持使用 Table API/SQL 编程， Table API 和 SQL 也
作者颜卫，腾讯高级后台开发工程师，专注于Kubernetes大规模集群管理和资源调度，有过万级集群的管理运维经验。目前负责腾讯云TKE大规模Kubernetes集群的大数据应用托管服务。
随着移动设备、物联网设备的持续增长，流式数据呈现了爆发式增长，同时，越来越多的业务场景对数据处理的实时性有了更高的要求，基于离线批量计算的数据处理平台已经无法满足海量数据的实时处理需求，在这个背景下，各种实时流处理平台应运而生。
作者颜卫，腾讯高级后台开发工程师，专注于Kubernetes大规模集群管理和资源调度，有过万级集群的管理运维经验。目前负责腾讯云TKE大规模Kubernetes集群的大数据应用托管服务。 大数据的发展历史 大数据技术起源于Google在2004年前后发表的三篇论文，分布式文件系统GFS、分布式计算框架MapReduce和NoSQL数据库系统BigTable，俗称"三驾马车"。在论文发表后，Lucene开源项目的创始人Doug Cutting根据论文原理初步实现了类似GFS和MapReduce的功能。并在20
特殊时期，社区等单位的管理提出了“零接触”新需求。如何基于物联网开发平台和腾讯连连小程序快速上线面向家庭/社区单位的产品服务，实现疫情管控“零接触”数字化管理？本文是周佳鑫老师在「云加社区沙龙online」的分享整理，详细带大家了解物联网项目开发流程、腾讯云物联网开发平台技术优势，以及如何借助loT Explorer和腾讯连连小程序快速开发上线新型体温检测产品。
在大家的共同努力下，我们完成了一个“小目标”：云开发已经成为国内最大的Serverless开发平台。
上面我们讲了 大数据的数据查询方法 ，使用Hive或者 Impala，但是这些只能查询固定历史的数据，如果要实时计算可能就不是那么合适了。
一、流计算 Oceanus 限量秒杀专享活动 二、什么是ETL ETL（Extract，Transform，Load）描述了将数据从源端经过抽取、转换、加载至目的端的过程。 企业收集到的原始数据通常存在数据缺失、数据结构混乱等问题，难以直接用来分析或计算。通过补充缺失的数值、修正偏差的数值、拆分字段、转换类型以及使用用户自定义函数等方式，ETL 能够将数据加工为规整、可用的形式。使用腾讯云流计算 Oceanus 开发 ETL 作业时，用户只需选择数据源表和目的表，并根据业务逻辑完成字段映射的配置，即可
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本文将为您详细介绍如何使用自定义表值函数（UDTF），并将处理后的数据存入 MySQL 中。 前置准备 创建流计算 Oceanus 集群 进入 Oceanus
中国电子技术标准化研究院主导的“第十一届云计算标准和应用大会”于 6 月 30 日至 7月 2 日成功召开。 腾讯公司副总裁王巨宏代表腾讯云致辞：强调腾讯积极推动产业互联网建设，助力各行各业实现数字化升级，尤其重视云计算标准研制，引领产业和技术发展。 本次大会正式发布了多项云计算标准和白皮书，其中，腾讯云牵头的《信息技术 云计算 云开发技术要求》正式发布；该标准于 2020 年 10 月于“云开发峰会”立项，历时近两年，编制组包括金蝶、百度、以及云开发生态伙伴等众多重点的 PAAS 云服务厂商。基于腾讯云
徐蓓，腾讯云容器专家工程师，10年研发经验，7年云计算领域经验。负责腾讯云 TKE 大数据云原生、离在线混部、Serverless 架构与研发。 1 方案介绍 大数据处理技术现今已广泛应用于各个行业，为业务解决海量存储和海量分析的需求。但数据量的爆发式增长，对数据处理能力提出了更大的挑战，同时对时效性也提出了更高的要求。实时分析已成为企业大数据分析中最关键的术语，这意味企业可将所有数据用于大数据实时分析，实现在数据接受同时即刻为企业生成分析报告，从而在第一时间作出市场判断与决策。 典型的场景如电商大促和金
在11月4日召开的2021腾讯数字生态大会腾讯云智能专场上，腾讯云TI平台迎来全新升级发布，升级后的腾讯云TI平台包含三大能力平台，分别是机器学习平台TI-ONE，AI应用服务平台TI-Matrix，数据标注平台TI-DataTruth。 腾讯云副总裁、腾讯优图实验室总经理吴运声表示，“作为下一个十年最核心的科技之一，AI技术正在加速渗透到千行百业，腾讯云一直在探索如何通过AI技术高效解决行业的挑战，如何运用腾讯内部持续沉淀的AI能力降低千行百业落地AI的门槛，腾讯云TI平台的推出将有效解决行业面临的诸多
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
