在后移动互联网时代，良好的用户体验是增长的基础，而稳定的使用体验则是用户体验的基础。大型的互联网公司，尤其是面向 C 端客户的公司，对业务系统稳定性的要求越来越高，因此对线上问题发现和处理的速度要求通常是分钟级的。比如滴滴等出行公司，打车服务停摆 10 分钟都会导致导致乘客、司机大规模投诉，不仅造成经济损失，而且严重平台商誉和用户口碑。
The following article is from 腾讯技术工程 Author 腾讯程序员 作者：龙逸尘，腾讯 CSIG 高级工程师 为什么要构建监控系统 在后移动互联网时代，良好的用户体验是增长的基础，稳定的使用体验就是用户体验的基础。大型的互联网公司，特别是面向 C 端客户的公司，对业务系统稳定性的要求越来越高，因此对线上问题发现和处理的速度要求通常是分钟级的。比如滴滴等出行公司，打车服务停摆 10 分钟都会导致导致乘客、司机大规模投诉，不仅造成经济损失，而且严重平台商誉和用户口碑。 大型
为什么要构建监控系统 作者：龙逸尘，腾讯 CSIG 高级工程师 在后移动互联网时代，良好的用户体验是增长的基础，稳定的使用体验就是用户体验的基础。大型的互联网公司，特别是面向 C 端客户的公司，对业务系统稳定性的要求越来越高，因此对线上问题发现和处理的速度要求通常是分钟级的。比如滴滴等出行公司，打车服务停摆 10 分钟都会导致导致乘客、司机大规模投诉，不仅造成经济损失，而且严重平台商誉和用户口碑。 大型互联网公司的业务系统都是大规模的分布式系统，各种业务应用和基础组件（数据库、缓存、消息队列等）共同
导语丨Oceanus平台在原本的streaming（流计算）场景上全新升级，新增支持ML（在线学习）场景。本文将介绍Oceanus-ML，端到端的在线机器学习能力。用户可通过Oceanus拖拽式画布及参数配置，高效搭建训练逻辑，轻松完成模型训练、评估以及部署整个流程。 背景介绍 从应用场景划分，流式应用主要可分为两种：一是实时计算；二是在线学习。实时计算应用于ETL、实时报表、监控预警等实时流数据分析场景。在线学习应用于在线推荐、实时搜索等机器学习场景。Oceanus 作为一站式可视化高性能流计算平台，自
1.腾讯云BI：提供从数据接入到模型分析、数据可视化呈现全流程 BI 能力，帮助经营者快速获取决策数据依据。
Flink Forward是由Apache官方授权，用于介绍Flink社区的最新动态、发展计划以及Flink相关的生产实践经验的会议。2018年12月20日，Flink Forward首次来到中国举办。腾讯TEG数据平台部参加了会议并在会上介绍了腾讯内部基于Flink打造的一站式实时计算平台Oceanus。 一、背景介绍 TEG实时计算团队作为腾讯内部最大的实时数据服务部门，为业务部门提供高效、稳定和易用的实时数据服务。其每秒接入的数据峰值达到了2.1亿条，每天接入的数据量达到了17万亿条，每天的数据增长
进入大数据时代，数据量呈爆炸式增长，传统批处理计算模式难以满足日益增长的实时性需求。数据实时化已经成为数字经济时代的必然趋势。实时计算作为一种能够持续处理数据流的技术，能够以毫秒级延迟提供计算结果，为实时分析、风控、推荐等应用场景提供强有力的支持。
作者：吴云涛，腾讯 CSIG 高级工程师 一个监控系统对于每一个服务和应用基本上都是必不可少的。在 Flink 源码中监控相关功能主要在 flink-metrics 模块中，用于对 Flink 应用进行性能度量。Flink 监控模块使用的是当前比较流行的 metrics-core 库，来自 Coda Hale 的 dropwizard/metrics [1]。dropwizard/metrics 不仅仅在 Flink 项目中使用到，Kafka、Spark 等项目也是用的这个库。Metrics 包含监控的指标
各位老铁，刚刚总结了流计算 Oceanus (Flink) 上下游 Connector 的使用示例，作为新年福利送给大家。
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本文将您详细介绍如何提取 MySQL 数据与 HBase 数据进行维表关联（流维 join），经过简单聚合分析后存入 Elasticsearch 中。 前置准
流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本示例使用 Oceanus 平台的 元数据管理 功能，通过库表引用将作业中生成的随机数据存入到 MySQL 中。再通过对变量的管理完成变量的引用
本页面汇总了腾讯云流计算 Oceanus (Flink 实时计算) 产品的最佳实践和解决方案文档，将持续更新。
一个监控系统对于每一个服务和应用基本上都是必不可少的。在 Flink 源码中监控相关功能主要在 flink-metrics 模块中，用于对 Flink 应用进行性能度量。Flink 监控模块使用的是当前比较流行的 metrics-core 库，来自 Coda Hale 的 dropwizard/metrics [1]。dropwizard/metrics 不仅仅在 Flink 项目中使用到，Kafka、Spark 等项目也是用的这个库。Metrics 包含监控的指标（Metric）以及指标如何导出（Reporter）。Metric 为多层树形结构，Metric Group + Metric Name 构成了指标的唯一标识。Reporter 支持上报到 JMX、Influxdb、Prometheus 等时序数据库。Flink 监控模块具体的使用配置可以在 flink-core 模块的 org.apache.flink.configuration.MetricOptions 中找到。
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本示例使用流计算 Oceanus 平台的 ETL 功能，将 PostgreSQL 数据取出，经过时间转换函数处理后存入 PostgreSQL 中。用户无需编写
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本文将您详细介绍如何利用 Python 脚本发送模拟数据到 CKafka 中，之后取 CKakfa 的数据经过简单的算术函数转换存入到 PostgreSQL
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本文将通过一个处理数据后存入 MySQL 的作业示例，为您详细介绍如何使用 PyFlink。 前置准备 创建流计算 Oceanus 集群 进入 Oceanu
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本文将您详细介绍如何将数据写入 MongoDB。 前置准备 创建流计算 Oceanus 集群 进入 Oceanus 控制台 [1]，点击左侧【集群管理】，点击
流计算 Oceanus 是位于云端的流式数据汇聚、计算服务。只需几分钟，您就可以轻松构建网站点击流分析、电商精准推荐、物联网 IoT 等应用。流计算基于 Apache Flink 构建，提供全托管的云上服务，您无须关注基础设施的运维，并能便捷对接云上数据源，获得完善的配套支持。
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本文将向您详细介绍如何获取 PostgreSQL 表数据，并使用字符串函数进行转换，最后将数据输出到 ClickHouse 中。 前置准备 创建流计算 Oc
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本文将为您详细介绍如何取 MySQL 数据，经过流计算 Oceanus 实时计算引擎分析，输出数据到日志（Logger Sink）当中。 前置准备 创建 流计算
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本文将为您详细介绍如何使用 Datagen Connector 模拟生成客户视频点击量数据，并利用滚动窗口函数对每分钟内客户的视频点击量进行聚合分析，最后将
作者：腾讯云云函数团队产品经理April 导语|本文演示了如何捕获流计算 Oceanus (Flink) 集群状态变更，并通过事件总线（EventBridge）发送到企业微信或钉钉、飞书客户端。 背景介绍 监控与报警系统对于业务生产环境来说是不可或缺的，一旦有故障发生，需要有完善的监控告警链路，保证告警消息可以实时完成推送并进行处理。 腾讯云事件总线（EventBridge）[1] 简称 EB，是一款安全、稳定、高效的无服务器事件管理平台。事件中心的事件总线可以接收来自您自己的应用程序、软件即服务（Sa
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本文将为您详细介绍如何使用 MySQL 接入数据，经过流计算 Oceanus 对数据进行处理分析（示例中采用小写转换函数对name字段进行了小写转换），最终将处
流计算 Oceanus 两周年 腾讯云流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的企业级实时大数据分析平台，具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点。腾讯内部的流计算 Oceanus平台每秒接入数据峰值达到数亿条，每天接入数据量高达到十万亿条，实时计算量超万亿次。腾讯云流计算 Oceanus从2020年初公测到现在已经对外稳定服务超过2年，产品一直在飞速发展，快速迭代，帮忙用户便捷对接丰富的云上数据源，实现海量数据的实时处理和分
“产品使用攻略”、“上云技术实践” 有奖征集啦～ 图片案例名称案例简介使用流计算 Oceanus 和 ES 构建日志分析系统介绍从 mysql 数据库采集数据到流计算服务 Oceanus 进行分析，最后输出到 ElasticSearch 服务的实践。可作为日志搜索场景解决方案使用。使用 MySQL 关联 HBase 维表数据到 ClickHouse介绍结合 MySQL 数据库、流计算 Oceanus、HBase 以及云数据仓库 ClickHouse 来构建实时数仓，并通过流计算 Oceanus 读取 MyS
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本文将为您详细介绍如何使用自定义表值函数（UDTF），并将处理后的数据存入 MySQL 中。 前置准备 创建流计算 Oceanus 集群 进入 Oceanus
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本文将为您详细介绍如何实时获取 CKafka 中的 JSON 格式数据，经过 HOP WINDOW（滑动窗口）函数聚合分析后存入 ClickHouse 中。 前
作者：刘泽善，腾讯CSIG专家工程师 前言 Flink 可以说已经是流计算领域的事实标准，其开源社区发展迅速，提出了很多改进计划（Flink Improvement Proposals，简称 FLIP [1]）并不断迭代，几乎每个新的版本在功能、性能和使用便捷性上都有所提高。Flink 提供了丰富的数据连接器（connecotr）来连接各种数据源，内置了 kafka [2]、jdbc [3]、hive [4]、hbase [5]、elasticsearch [6]、file system [7] 等常见的
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本文将为您详细介绍如何实时获取 CKafka 中的 JSON 格式数据，经过数据抽取、平铺转换后存入 MySQL 中。 前置准备 创建流计算 Oceanus
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 Flink SQL 提供了 Regular Joins、Interval Joins、Temporal Joins、Lookup Join、Array 展平和
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本文将为您详细介绍如何使用自定义聚合函数（UDAF），将处理后的存入 MySQL 中。 前置准备 创建流计算 Oceanus 集群 进入 Oceanus 控
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本文将您详细介绍如何使用自定义标量函数（UDF），对随机产生的数据进行处理后存入 MySQL 中。 前置准备 创建流计算 Oceanus 集群 进入 Ocea
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 本文将会介绍如何使用 Flink 实现常见的 TopN 统计需求。首先使用 Python 脚本模拟生成商品购买数据（每秒钟发送一条）并发送到 CKafka，随后
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 Flink Jar 作业既支持使用 DataStream API 编程也支持使用 Table API/SQL 编程， Table API 和 SQL 也
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。 流计算 Oceanus 提供了便捷的控制台环境，方便用户编写 SQL 分析语句、ETL 作业或者上传运行自定义 JAR 包，支持作业运维管理。 本文将为您详细
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
