大数据场景中，需要对大规模数据做到实时计算，玖富集团内部代号为“伏羲”的 Flink 计算平台每天要在接近 510TB 的数据集上做快速的检索和计算，用户的行为改变会导致数据发生变化，进而影响决策。...3三、基于 Flink 的超大规模在线实时反欺诈系统 1、为什么选择 Flink？ Flink 开源项目是近一两年大数据处理领域冉冉升起的一颗新星。...基于 Flink 的超大规模在线实时反欺诈系统架构如下： 对于该套在线实时反欺诈系统的未来规划，玖富第一步会针对 Flink 技术本身，结合玖富在技术、场景等方面的积累，把基于 Flink 的超大规模在线实时反欺诈系统打造成一款数据产品...其次，玖富技术团队也会持续投入人力在系统的功能优化上，并把它做成一个开源的产品推向社区，让更多开发人员可以直接使用这个系统。...四、基于 Flink 的超大规模在线实时反欺诈系统的未来规划 对于该套在线实时反欺诈系统的未来规划，玖富第一步会针对 Flink 技术本身，结合玖富在技术、场景等方面的积累，把基于 Flink 的超大规模在线实时反欺诈系统打造成一款数据产品
StreamX 简介 StreamX 是 Flink & Spark 极速开发脚手架，开源的流批一体一站式大数据平台。...StreamX 支持 Flink 多版本，支持 Flink SQL WebIDE，支持 Flink SQL 校验。...自2021年3月起开源，提供了一系列开箱即用的 Conncetor,标准化了配置、开发、测试、部署、监控、运维的整个过程, 提供 scala 和 java 两套api, 其最终目的是打造一个一站式大数据平台...可以理解为是一个开源版本、简化版的阿里云实时计算 Flink 版或腾讯云流计算 Oceanus 平台。...架构图如下： [StreamX 架构] StreamX 功能特性： 开发脚手架 多版本Flink支持(1.11,x, 1.12.x, 1.13 ) 一系列开箱即用的connectors 支持项目编译功能
本文来自 2019 年 9 月 21 日 Flink Meetup 北京站贝壳找房 刘立云 的分享，所有内容版权归其个人及 Flink 中文社区所有。 ? ? ? ? ? ? ? ? ? ? ?
摘要：本文由贝壳找房实时计算负责人刘力云分享，主要内容为 Apache Flink 在贝壳找房业务中的应用，分为以下三方面： 业务规模与演进 Hermes 实时计算平台介绍 未来发展与规划 业务规模及演进...SQL V1 基于 Spark Structured Streaming 技术，用户可以使用 SQL 完成需求的开发，同时以界面拖拽的形式呈现给用户，使用户的操作更加便捷。...任务增长趋势 最开始平台上线时支持的任务增长较为缓慢，在 2019 年 6 月初，平台升级到 Flink 并全面支持 SQL 开发后，任务数量开始大规模的增长，在 2019 年 11 月份实时数仓建成后...目前 SQL V2 是基于 Flink SQL 技术较为完善的编辑器，左侧为用户进行代码编辑的部分，用户在此处可以编辑大量 SQL 语句以此助力不同业务场景。...在引擎方面，未来会深入研究 Flink 的状态管理、端到端的精确一次等技术，提高数据处理的准确性和一致性。 ? 未来发展 未来将会加强平台的资源动态分配能力，根据任务的历史运行情况自动分配资源。
介绍DM 是一个完全开源的项目，源代码全部托管在 Gitee 上，项目源码和核心插件源码放在 https://gitee.com/xiaomagenb/dlvmDM 优势dm 基于插件化架构，...在建设系统时，可以自由组合细粒度模块依赖，实现不同功能的组合和剔除，让项目体积灵活控制，从而更方便地搭建不同的业务系统。...使用 DM 可以快速开发出各类信息化管理系统，例如 OA 办公系统、项目管理系统、商城系统、供应链系统、客户关系管理系统、微信公众平台管理系统、小程序管理后台，同时可开发移动程序服务端.功能列表1.
介绍DM 是一个完全开源的项目，源代码全部托管在 Gitee 上，项目源码和核心插件源码放在 https://gitee.com/xiaomagenb/dlvmDM 优势dm 基于插件化架构，在建设系统时...，可以自由组合细粒度模块依赖，实现不同功能的组合和剔除，让项目体积灵活控制，从而更方便地搭建不同的业务系统。...使用 DM 可以快速开发出各类信息化管理系统，例如 OA 办公系统、项目管理系统、商城系统、供应链系统、客户关系管理系统、微信公众平台管理系统、小程序管理后台，同时可开发移动程序服务端.功能列表1.
+ DolphinScheduler + Dinky 构建开源数据平台。...二、开源数据平台思路 本章节主要讲述数据平台搭建所用的开源项目介绍以及设计思路。 技术介绍 Apache Doris 首先要运用到的是 Apache Doris。...Dinky 实时计算平台 Dinky 是基于 Apache Flink 二次开发的一款实时计算平台，主要为了更好地进行数据仓库和数据湖的建设与运维。...易二开：源码后端基于 Spring Boot 框架开发，前端基于 React (Ant Design Pro) 开发，及其易扩展的设计， 易于企业进行定制化功能开发或集成到已有的开源或自建数据平台 设计思路...开源数据平台的设计思路是通过 Flink SQL Batch 以及 Doris SQL 的能力实现一个离线任务的开发；使用 DolphinScheduler 进行离线工作流编排和调度；通过 Flink
腾讯选择用 Flink 作为新一代的实时流计算引擎，并对社区版的 Flink 进行了深度的优化，在此之上构建了一个集开发、测试、部署和运维于一体的一站式可视化实时计算平台—— Oceanus 。...这次分享主要包含四个议题，我会首先阐述一下腾讯在实时计算中使用 Flink 的历程，然后会简单介绍一下腾讯围绕 Flink 的产品化实践：我们打造了一个 Oceanus 平台，同时腾讯云也早已提供基于...它可以做到：数据源 SQL 下推，避免集群带宽资源浪费；单 DC 内 CBO（基于代价优化），生成最优的执行计划；跨 DC CBO，根据 DC 负载和资源选择最佳 DC 执行计算，从而获得更好的资源利用和更快的查询性能...针对 Flink 的扩展与优化 接下来，我们进入下一个议题，介绍我们内部 Flink 版本在通过腾讯云对外提供服务时基于内部以及业务的相关需求对社区版的扩展与优化。 ?...关于配置文件，我们显然也不能用 Flink 平台的配置文件。我们会拿平台使用的配置文件作为模板，对其内部的日志路径进行动态修改，然后将内存中的这个配置文件传递给特定的日志框架。
腾讯选择用 Flink 作为新一代的实时流计算引擎，并对社区版的 Flink 进行了深度的优化，在此之上构建了一个集开发、测试、部署和运维于一体的一站式可视化实时计算平台——Oceanus。...这次分享主要包含四个议题，我会首先阐述一下腾讯在实时计算中使用 Flink 的历程，然后会简单介绍一下腾讯围绕 Flink 的产品化实践：我们打造了一个 Oceanus 平台，同时腾讯云也早已提供基于...它可以做到：数据源 SQL 下推，避免集群带宽资源浪费；单 DC 内 CBO（基于代价优化），生成最优的执行计划；跨 DC CBO，根据 DC 负载和资源选择最佳 DC 执行计算，从而获得更好的资源利用和更快的查询性能...针对 Flink 的扩展与优化 接下来，我们进入下一个议题，介绍我们内部 Flink 版本在通过腾讯云对外提供服务时基于内部以及业务的相关需求对社区版的扩展与优化。 ?...关于配置文件，我们显然也不能用 Flink 平台的配置文件。我们会拿平台使用的配置文件作为模板，对其内部的日志路径进行动态修改，然后将内存中的这个配置文件传递给特定的日志框架。
微软宣布，其研究员用来测试人工智能项目的平台AIX开放源代码。 AIX平台已经用于微软的人工智能研究中，现在，也有个人测试版供研究者使用。这个版本中，用户可以在游戏中使用上帝模式测试AI。...AIX在夏天会通过开源协议开放源代码。 这个宣布正值Google的DeepMind大火之时。...Google的AI程序AlphaGo是一个下围棋的程序，在最近和顶尖旗手李世石的对决中，李世石已经以4：1的比分输给了AlphaGo。...通常，研究者如果想要让机器人爬上山峰的话，需要在每次失败的时候都对其进行修正。纽约的五个微软研究员采用了成本更低的方法——研究如何让我的世界中的角色爬上山峰。...2014年，微软聘请了我的世界原作者Mojang。 AIX平台是由英国剑桥的微软研究院开发的平台，包括Java版本的“mod”和供编写代理用的代码。
大数据场景中，需要对大规模数据做到实时计算，玖富集团内部代号为“伏羲”的 Flink 计算平台每天要在接近 510TB 的数据集上做快速的检索和计算，用户的行为改变会导致数据发生变化，进而影响决策。...二、基于 Flink 的超大规模在线实时反欺诈系统 1、为什么选择 Flink？ Flink 开源项目是近一两年大数据处理领域冉冉升起的一颗新星。...玖富基于 Flink 的超大规模在线实时反欺诈系统的架构分为两部分：数据部分和决策部分。...三、基于 Flink 的超大规模在线实时反欺诈系统的未来规划 对于该套在线实时反欺诈系统的未来规划，玖富第一步会针对 Flink 技术本身，结合玖富在技术、场景等方面的积累，把基于 Flink 的超大规模在线实时反欺诈系统打造成一款数据产品...其次，玖富技术团队也会持续投入人力在系统的功能优化上，并把它做成一个开源的产品推向社区，让更多开发人员可以直接使用这个系统。
Plink是一个基于Flink的流处理平台，旨在基于 [Apache Flink]封装构建上层平台。提供常见的作业管理功能。...如作业的创建，删除，编辑，更新，保存，启动，停止，重启，管理，多作业模板配置等。Flink SQL 编辑提交功能。.../apache/flink/flink-1.9.3/flink-1.9.3-bin-scala_2.11.tgz 解压到合适的目录，假设该目录为 FLINK_HOME 环境变量配置 FLINK_HOME...覆盖 Docker 镜像中的 Flink，需在 docker 启动时加入参数 : -v FLINK_HOME:/opt/flink 访问 Plink: http://127.0.0.1:8666 Flink...如下所示: 编辑作业 注意: 由于独立部署和容器化部署的 Flink 版本可能不一样，最好使用对应的 WordCount Jar 版本。
image.png 微软宣布，其研究员用来测试人工智能项目的平台AIX开放源代码。 AIX平台已经用于微软的人工智能研究中，现在，也有个人测试版供研究者使用。...AIX在夏天会通过开源协议开放源代码。 这个宣布正值Google的DeepMind大火之时。...Google的AI程序AlphaGo是一个下围棋的程序，在最近和顶尖旗手李世石的对决中，李世石已经以4：1的比分输给了AlphaGo。...通常，研究者如果想要让机器人爬上山峰的话，需要在每次失败的时候都对其进行修正。纽约的五个微软研究员采用了成本更低的方法——研究如何让我的世界中的角色爬上山峰。...2014年，微软聘请了我的世界原作者Mojang。 AIX平台是由英国剑桥的微软研究院开发的平台，包括Java版本的“mod”和供编写代理用的代码。
本文中，美团点评高级技术专家鲁昊为大家分享了美团点评基于 Apache Flink 的实时数仓平台实践。...主要内容为以下三个方面： 实时计算演进与业务实践 基于 Flink 的实时数仓平台 未来发展与思考 重要：点击文末「阅读原文」可查看 Flink Forward Asia 大会视频。...二、基于 Flink 的实时数仓平台 上面为大家介绍了实时数仓的业务场景，接下来为大家介绍实时数仓的演进过程和美团点评的实时数仓平台建设思路。...实时数仓平台建设之所以选择 Flink 是基于以下四个方面的考虑，这也是实时数仓方面关注的比较核心的问题。...再往上是基于 Flink SQL 独立出来的 SQL 层，主要负责解析、校验和优化。在这之上是平台层，包括开发工作台、元数据、UDF 平台以及 OLAP 平台。
▼ 关注「Apache Flink」，获取更多技术干货 ▼ 摘要：本文整理自美团实时数仓平台负责人姚冬阳在 Flink Forward Asia 2021 实时数仓专场的演讲。...Flink 实时计算引擎，当时的实时数仓概念还不太普及，平台只提供了 Flink Jar 任务的生命周期管理和监控报警。...image.png 解法 3：历史状态迁移，前两个方法的思路比较类似，都是基于历史数据重新计算，构建出新状态。...但这个思路是基于历史状态迁移出新状态，这种方法构建出的新状态虽然不能保证完整性，但在某些情况下，业务也是可以接受的。...资源成本是指完成 SQL 变更所需要的额外 Flink 或 Kafka 资源，方法 1 需要构建整条链路，需要更多的 Flink 和 Kafka 资源，因此成本最高。
目前基于ELK架构的日志系统，通过filebeat收集上来的日志都会发送到同一个kafka topic中，然后再由Logstash消费处理写入Elasticsearch中，这种方式导致该topic包含所有业务日志...本文将会介绍基于Flink的日志采集平台来解决这些问题。...，避免了重复消费； •转储：对于发送到Kafka B不同的业务日志，通过Flink程序转储写入到HDFS上，生成小时分区文件，供后续的离线日志分析 拆分实现 避免重复消费：为了避免对大topic的重复消费...，对于同一个topic只会消费一次，也就是只会启动一个Flink任务，按照一定的规则对数据进行拆分，常见的规则就是应用名称、类型、日志文件名称等，在filebeat收集的时候这些信息都会被带上，作为拆分的依据...总结 本篇主要介绍了基于Flink的采集架构以及一些关键的实现点，欢迎交流。
本产品是基于开源Kettle自研的Kettle核心接口调用基础组件，其实早在5年前就想搞了，构思了很久，拖到现在，不过还行，现在也不晚吧 最初的想法是启蒙于当年给烟草做过的一个数据交换平台的项目，数据的抽取是基于...Kettle 5.x版本， 使用kettle的spoon客户端做的数据抽取 为企业解决了棘手并且重要的ETL问题，因此Kettle是一款非常优秀的开源数据抽取工具。...同时，kettle自身也有很多的问题，比如 只能使用客户端配置作业、转换 跨平台移植困难 数据安全性较差，系统一旦崩溃，文件库的内容容易丢失 客户端非常耗内存、CPU，只适合配置，不适合做业务 Web界面极其简单...、丑陋，生产环境无法投入使用 基于上述几个企业痛点，我才决定工作之余，每天借用一点休息时间，慢慢积累，坚持不懈，才有了今天Smart Kettle调度平台的出世，也希望能切实 帮助到企业解决数据抽取、调度...客户端无法做到真正意义上的跨平台，bat及shell脚本切换繁杂 kettle客户端迁移麻烦，每次都要安装一遍，耗费精力 它是一款超轻量级的kettle web端调度监控平台 支持作业、转换的自定义模板设置
如果能有一套实时计算平台，让工程师或者业务分析人员通过简单的SQL或者拖拽式操作就可以创建Flink任务，无疑可以快速提升业务的迭代能力。 1. 方法论—Lambda架构 如何设计大数据处理平台呢？...我们利用基于Flume的Log4j Appender 定制了自己的日志收集器，从服务器异步发送日志到Kafka中，再通过Kafka将日志传到日服的数据库中（一般是Elasticsearch）。...目前业界已经有很多种监控系统解决方案，比如在阿里内部使用比较多的 Druid、开源InfluxDB 或者商用集群版 InfluxDB、CNCF的 Prometheus 或者 Uber 开源的 M3 等等...10.1 Prometheus Prometheus是一个开源的，基于metrics(度量)的一个开源监控系统，诞生于2012年，主要是使用go语言开发的，并于2016年成为成为CNCF第二个成员，现已被大量的组织使用于工业生产环境中...Grafana是Prometheus的最佳搭档，它是一款用Go语言开发的开源数据可视化工具，可以做数据监控和数据统计，带有告警功能，并且自带权限管理功能。
基于以上四个特点，我们整个产品有了相应的提升，交付过程自动化解放了劳动力，又保障了交付质量，自然会带来更大的收益。...并且可以方便地让用户撤销对文件的修改。 目前业界使用比较广的版本控制系统主要有两个，首先是SVN，它是一个开放源代码的版本控制系统，基于CVS发展而来，用于多个人共同开发同一个项目，共用资源。...第二个是GIT，它是一款免费、开源的分布式版本控制系统，用于敏捷高效地处理任何或大或小的项目，作为一个开源的分布式版本控制系统，可以有效、高速地处理各种项目版本管理，可以实现很好的分支管理。...持续集成 持续集成这一块也给大家介绍一款常见的工具——Jenkins，相信很多小伙伴都使用过，它是一个开源自动化服务器，作为一个可扩展的自动化服务器，Jenkins可以用作简单的Cl服务器，或者变成任何项目的持续交付中心...点击填写 问卷 关注“腾讯云大学”公众号，回复【加群】进入交流群 腾讯云大学是腾讯云旗下面向云生态用户的一站式学习成长平台。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
