摘要：Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境，对各种大小的数据规模进行快速计算。滴滴基于 Apache Flink 做了大量的优化，也增加了更多的功能，比如扩展 DDL、内置消息格式解析、扩展 UDX 等，使得 Flink 能够在滴滴的业务场景中发挥更大的作用。本文中，滴滴出行实时计算负责人、高级技术专家梁李印分享了 Apache Flink 在滴滴的应用与实践。主要内容为：
作者 | 梁李印，滴滴出行大数据架构部技术专家。梁李印将于5月18-19日在上海A2M峰会分享《滴滴实时计算平台架构与实践》话题，更多峰会议题请至A2M峰会官网查看，点击底部阅读原文可直达官网。
前言 6月10-11日，2017年SDCC峰会在深圳举行。为期两天的会议邀请业内顶尖的架构师和数据技术专家分享干货实料。来自腾讯TEG架构平台部的Jerome以及数据平台部的Boyce作为演讲嘉宾，分别发表主题为“基于空闲资源的弹性计算实践”以及“StreamSQL实时计算平台的挑战及解决方案”的演讲。本文为演讲者现场PPT及演讲稿整理编辑。 大会介绍 SDCC 2017·深圳站，拥有互联网应用架构实战峰会、大数据技术实战峰会两大峰会，秉承干货实料的内容原则，邀请业内顶尖的架构师和数据技术专家，共话高可用
引言 前面群里面同学说对flink感兴趣，特别邀请资深流专家张如聪给大家深入分析下Flink里面最重要部分：Flink SQL。 本文对Flink SQL深入浅出，相当有深度的技术分析文章，希望大家会喜欢，对Flink技术上有疑问的也可以联系专家帮忙解答。 一、Flink SQL简介 Flink SQL 是Fllink提供的SQL的SDK API。SQL是比Table更高阶的API，集成在Table library中提供，在流和批上都可以用此API开发业务。本文主要侧重于SQL在Stream上的能力，也就是
本文整理自Flink Forward 全球在线会议 ，分享者薛康，滴滴实时平台负责人，主要是是从以下四个方面介绍，flink在滴滴的应用与实践：
1、Apache Flink 在滴滴的背景 2、Apache Flink 在滴滴的平台化 3、Apache Flink 在滴滴的生产实践 4、Stream SQL 5、展望规划
Apache Spark开源生态系统在2014上半年大幅增长，已迅速成为大数据领域中最活跃的开源项目，HDFS位列第二，其代码变动次数（commits）和行数仅仅有Spark的一半： 有超过50个机构250个工程师贡献过代码 和去年六月相比，代码行数几乎扩大三倍。 随着1.0版本于5月30日推出，Spark提供了一个稳定的API，开发人员可以依靠它来保证代码的兼容性。所有主流的Hadoop发行商，包括Hortonworks、IBM、Cloudera、MapR和Pivotal都提供了Spark的包装和技术支持
本文为 TiDB Hackathon 2020 比赛中 TiFlink 项目最新进展的介绍，使用 TiKV 和 Flink 实现了强一致的物化视图的功能。
Flink Forward 是由 Apache 官方授权，用于介绍 Flink 社区最新动态、发展计划以及各一线大厂围绕 Flink 生态的生产实践经验的会议。Flink Forward 以前只在美国和德国举办，2018年12月20日首次来到中国。腾讯云大数据团队参加了会议并在会上介绍团队在公有云流计算平台服务化过程中的一些监控运维经验。
摘要：本文整理自阿里云开源大数据平台负责人王峰（莫问）老师在5月16日 Streaming Lakehouse Meetup · Online 上的分享，主要介绍在新一代湖仓架构上如何进行实时化大数据分析。内容主要分为以下五个部分：
声明:本文参考了淘宝/滴滴/美团发表的关于大数据平台建设的文章基础上予以整理。参考链接和作者在文末给出。
实时流计算服务（Cloud Stream Service，简称CS），是运行在公有云上的实时流式大数据分析服务，全托管的方式用户无需感知计算集群，只需聚焦于Stream SQL业务，即时执行作业，完全兼容Apache Flink（1.5.3版本）API和Apache Spark（2.2.1版本）API。
AI 前线导读：2018 年接近尾声，AI 前线策划了“解读 2018”年终技术盘点系列文章，希望能够给读者清晰地梳理出重要技术领域在这一年来的发展和变化。本文是实时流计算 2018 年终盘点，作者对实时流计算技术的发展现状进行了深入剖析，并对当前大火的各个主流实时流计算框架做了全面、客观的对比，同时对未来流计算可能的发展方向进行预测和展望。
ChunJun是易用、稳定、高效的批流一体的数据集成框架，主要应用于大数据开发平台的数据同步/数据集成模块，使大数据开发人员可简洁、快速的完成数据同步任务开发，供企业数据业务使用。
2015年12月10-12日，由中国计算机学会（CCF）主办，CCF大数据专家委员会承办，中国科学院计算技术研究所、北京中科天玑科技有限公司与CSDN共同协办，以“数据安全、深度分析、行业应用”为主题的 2015中国大数据技术大会（Big Data Technology Conference 2015，BDTC 2015）在北京新云南皇冠假日酒店盛大开幕。 2015中国大数据技术大会第二天的大数据基础设施分论坛中，来自阿里云、Hulu、北京忆恒创源、阿里巴巴、企事录以及中科院计算所的技术专家分享了大数据基础
摘要：本文由贝壳找房实时计算负责人刘力云分享，主要内容为 Apache Flink 在贝壳找房业务中的应用，分为以下三方面：
ChunJun 是易用、稳定、高效的批流一体的数据集成框架，主要应用于大数据开发平台的数据同步 / 数据集成模块，使大数据开发人员可简洁、快速的完成数据同步任务开发，供企业数据业务使用。
Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以便用户编写分布式任务：
大数据应用一般会有采集、加工、存储、计算及可视化这几个环节。其中采集作为源头，在确保全面、准确、及时的前提下，最终加工出来的指标结果才是有价值的。
目前京东实时计算平台已经发展到了一定规模，且在 Flink 的应用上也积累了很多经验与反思。本次我们专访了京东数据分析优化部的算法工程师张颖老师，期待能从京东落地 Flink 的过程中获得一些应用 Flink 的经验和启发。
物联网应用程序设计与典型的IT解决方案大不相同，因为它将物理操作技术（OT）与传感器、致动器和通信设备连接起来，并将数字信息技术（IT）与数据、分析和工作流连接起来。
数据猿导读 平台上线至今，日均分析量在300左右，参与分析人员30人次。业务人员积极利用该平台获取大量有价值的信息，提升了数据需求的响应速度，减少了手工报表工作量，增加了基层网点的精细化管理。 本篇案
2019年3月18日“数据中台已成下一风口，它会颠覆数据工程师的工作吗？”一文火爆数据人的朋友圈，虽然此后关于数据中台有各种正、负向的文章，并没影响各家公进行中台实践的进程，有的专门把大数据平台部改名数据中台部。近期看到数据产品群里有人说“现在很多人很反感数据中台”，作为数据中台产品经理不禁虎躯一震。数据中台从众人追捧到“阿里彻底拆中台了”的唱衰反感，历时不到2年，难道数据中台真的凉凉了吗？
Hi all，这是我首次在腾讯云开发者上发文章，先简单介绍下我自己吧，我叫 Jason Thon，魔都一枚小开发，喜欢撸猫撸狗打电玩，练习时长两年半，擅长各种 Bug 制作技巧与 Debug 手艺。
我们花了很多时间来思考流处理。更酷的是：我们也花了很多时间帮助其他人思考流处理以及如何使用流应用解决他们的数据问题。这个过程的第一步是纠正对现代流处理的误解（作为一个快速变化的领域，这里有很多误见值得我们思考）。在这篇文章中，我们选择了其中的 6 个进行讲解，由于 Apache Flink 是我们最熟悉的开源流处理框架，所以我们会基于 Flink 来讲解这些例子。
我们在思考流处理问题上花了很多时间，更酷的是，我们也花了很多时间帮助其他人认识流处理，以及如何在他们的组织里应用流处理来解决数据问题。
当前无论是传统企业还是互联网公司对大数据实时分析和处理的要求越来越高，数据越实时价值越大，面向毫秒~ 秒级的实时大数据计算场景，Spark 和 Flink 各有所长。CarbonData 是一种高性能大数据存储方案，已在 20+ 企业生产环境上部署应用，其中最大的单一集群数据规模达到几万亿。
一、数字化转型面临的痛点问题 1.指标口径不统一 产品部门和财务部门一起开会给老板汇报，APP下单用户数产品1021W，财务1000W，产品说我的数据是数据团队出的，财务说我的也是，那数据为什么不
主要是当Flink开启Checkpoint的时候，会往Source端插入一条barrir，然后这个barrir随着数据流向一直流动，当流入到一个算子的时候，这个算子就开始制作checkpoint，制作的是从barrir来到之前的时候当前算子的状态，将状态写入状态后端当中。然后将barrir往下流动，当流动到keyby 或者shuffle算子的时候，例如当一个算子的数据，依赖于多个流的时候，这个时候会有barrir对齐，也就是当所有的barrir都来到这个算子的时候进行制作checkpoint，依次进行流动，当流动到sink算子的时候，并且sink算子也制作完成checkpoint会向jobmanager 报告 checkpoint n 制作完成。
Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。
2019 年是大数据实时计算领域最不平凡的一年，2019 年 1 月阿里巴巴 Blink （内部的 Flink 分支版本）开源，大数据领域一夜间从 Spark 独步天下走向了两强争霸的时代。Flink 因为其天然的流式计算特性以及强大的处理性能成为炙手可热的大数据处理框架。
算起来这应该是第三次参加的 Hackathon 了，第一次参加的时候还是在小西天的豌豆荚，和东旭一起，做跨平台数据传输的工具，两天一夜；第二次和奇叔一起在 3W 咖啡，又是两天一夜；这次在自己家举办 Hackathon 比赛，下定决心一定要佛性一些，本着能抱大腿就不单干的心态，迅速决定拉唐长老（唐刘）下水。接下来就计划着折腾点啥，因为我们两个前端都不怎么样，所以只能硬核一些，于是拍了两个方案。
写在前面： 博主是一名大数据的初学者，昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白，写博客一方面是为了记录自己的学习历程，一方面是希望能够帮助到很多和自己一样处于起步阶段的萌新。由于水平有限，博客中难免会有一些错误，有纰漏之处恳请各位大佬不吝赐教！个人小站:http://alices.ibilibili.xyz/ , 博客主页:https://alice.blog.csdn.net/ 尽管当前水平可能不及各位大佬，但我还是希望自己能够做得更好，因为一天的生活就是一生的缩影。
分布式系统(Distributed System)资料 希望转载的朋友，你可以不用联系我．但是一定要保留原文链接，因为这个项目还在继续也在不定期更新．希望看到文章的朋友能够学到更多． 《Reconfigurable Distributed Storage for Dynamic Networks》 介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)是MIT读博的时候是做分布式系统的研究的,现在在NUS带学生,不仅仅是分布式系统,还有无线网络.如果感兴趣可以去他的主页了解. 《
算法与数据结构 《Data structures》 介绍：高级数据结构大全,基本算法：二叉树等 《基于用户投票的排名算法（一）：Delicious和Hacker News》 介绍：此外还有《基于用户投票的排名算法（二）：Reddit》、《基于用户投票的排名算法（三）：Stack Overflow》、《基于用户投票的排名算法（四）：牛顿冷却定律》、《基于用户投票的排名算法（五）：威尔逊区间》 《Paxos算法》 介绍：这是目前的一种基于消息传递且具有高度容错特性的一致性算法，google在分布式文件系统中与分
1.Python数据结构篇 数据结构篇主要是阅读[Problem Solving with Python](http://interactivepython.org/courselib/static/pythonds/index.html)时写下的阅读记录，当然，也结合了部分[算法导论]( http://en.wikipedia.org/wiki/Introduction_to_Algorithms)中的内容，此外还有不少wikipedia上的内容，所以内容比较多，可能有点杂乱。这部分主要是介绍了如何使用P
这个Transforms是常见的图像的转换（包含图像增强等）， 然后不同的transforms可以通过Compose函数连接起来（类似于Sequence把网络层连接起来一样的感觉）。后面的是关于图像分割任务了的介绍，因为入门PyTorch主要是图像分类，所以后面先不提了。
最近一些项目开始用到CMS系统，最开始是研究JAVA的，无奈国内JAVA的CMS开源系统还是比较少，最多最成熟的还是PHP的，当然现在.NET的也不少了，这里做一下汇总备忘，留待学习研究。
近日，有小伙伴私信小编关于泰勒图(Taylor diagram) 的绘制方法，小编也进行了相关资料查询，那么，今天这篇推文借给大家介绍一下如何绘制泰勒图(Taylor diagram)，具体内容如下：
详细介绍： ModernWMS是一款专为仓库管理设计的开源系统，它基于多年的ERP项目实施经验而开发，去除了商业系统中不必要的复杂功能，专注于仓库管理的核心需求。
在之前的博文中，我们主要介绍了如何使用WMI查询信息和接收事件。本文将介绍WMI的另一种用法——执行方法。（转载请指明出于breaksoftware的csdn博客）
框架已经被越来越多的人所关注与使用了，今天我们就来研究一下net方面的几个主流ORM框架，以及它们的效率测试（可能会有遗漏欢迎大家讨论）。 ORM框架：Object/Relation Mapping（对象/关系 映射）的缩写，易于理解的模型化数据的方法。简单的说就是把数据库的关系型数据类型转换为用对象型程序控制的框架类型。 今天研究的orm框架如下： 1.NHibernate(使用与介绍：http://www.cnblogs.com/stone_w/archive/2011/09/15/2177830.ht
MSBuild 是属于 .Net 基金会的一个项目，本文将简要介绍该项目相关的信息。
JSON Web Token（JWT）是一个开放标准（RFC 7519），它定义了一种方式，用于在各方之间安全地将信息作为 JSON 对象传输。由于此信息是经过数字签名的，因此可以被验证和信任。可以使用秘密（使用 HMAC 算法）或使用 RSA 或 ECDSA 的公钥/私钥对对 JWT 进行签名。
资深开发工程师，Android进阶二部曲《Android进阶之光》《Android进阶解密》的作者，公众号“刘望舒”的作者，CSDN人气博主。他在博客中构建了“Android相关原创知识体系”，该体系全面且深入并广获好评。他拥有近10年的开发经验和多年的技术管理经验，对Android框架层及应用层开发有着独到、深入的理解。
今天给大家推荐3个.NET开源免费的WMS仓库管理系统（注意：以下排名不分先后）。
Windows Forms 是属于 .Net 基金会的一个项目，本文将简要介绍该项目相关的信息。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
