首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Flink1.12支持对接Atlas【使用Atlas收集Flink元数据】

问题导读 1.Atlas中实体具体指什么? 2.如何为Flink创建Atlas实体类型定义? 3.如何验证元数据收集? 在Cloudera Streaming Analytics中,可以将Flink与Apache Atlas一起使用,以跟踪Flink作业的输入和输出数据。 Atlas是沿袭和元数据管理解决方案,在Cloudera Data Platform上受支持。这意味着可以查找,组织和管理有关Flink应用程序以及它们如何相互关联的数据的不同资产。这实现了一系列数据管理和法规遵从性用例。 有关Atlas的更多信息,请参阅Cloudera Runtime文档。 Flink元数据集合中的Atlas实体 在Atlas中,表示Flink应用程序,Kafka主题,HBase表等的核心概念称为实体。需要了解Flink设置中实体的关系和定义,以增强元数据收集。 为Flink创建Atlas实体类型定义 在提交Flink作业以收集其元数据之前,需要为Flink创建Atlas实体类型定义。在命令行中,需要连接到Atlas服务器并添加预定义的类型定义。还需要在Cloudera Manager中为Flink启用Atlas。 验证元数据收集 启用Atlas元数据收集后,群集上新提交的Flink作业也将其元数据提交给Atlas。可以通过请求有关Atlas挂钩的信息来在命令行中使用消息验证元数据收集。 Flink元数据集合中的Atlas实体 在Atlas中,表示Flink应用程序,Kafka主题,HBase表等的核心概念称为实体。需要了解Flink设置中实体的关系和定义,以增强元数据收集。 在向Atlas提交更新时,Flink应用程序会描述自身以及用作源和接收器的实体。Atlas创建并更新相应的实体,并从收集到的和已经可用的实体创建沿袭。在内部,Flink客户端和Atlas服务器之间的通信是使用Kafka主题实现的。该解决方案被Atlas社区称为Flink挂钩。

02

CCS 2018论文解读:使用少量样本破解文本验证码

相信大家在日常上网的时候都会遇到“千奇百怪”的验证码,而在种类繁多的验证码家族中,文本验证码是使用最广泛的一种,也是我们遇到最多的一种验证码方案。近年来,随着深度学习技术的突破性发展,文本验证码的安全性也受到了挑战。通过收集大量目标网站的验证码,并训练一个深度网络模型,就可以实现对目标网站验证码的攻击。为了抵抗基于深度学习模型的攻击,一方面,各大网站都采用诸如字符扭曲、粘连、旋转,背景混淆,空心字体等多种复杂变换方案来提高文本验证码的安全性;另一方面,有些网站采用了诸如前端代码混淆、关键代码加密等反分析方式来防止验证码被恶意收集和自动爬取,进而通过增大攻击的成本来降低验证码被攻击的可能性。然而,上述两种方式真的能够增强验证码的安全性吗?

02

李彦宏说了啥不重要,智能的内容分发最重要!

文|孟永辉 同很多互联网公司一样,百度同样迎来了自己的“开年第一讲”。在经历了百度高层的调整之后,李彦宏的“开年第一讲”看上去似乎更有意义。李彦宏在讲话中指出,百度将重新回到自己真正出发的原点,借助大数据的手段做好内容分发的工作。从某种意义上来讲,以人工智能、大数据为代表的新突破口将会是百度未来的发展重点。 通过李彦宏的讲话,我们能够看出未来的百度将会更加专注于内容分发,百度与今日头条之间的内容分发大战或许将会提前到来。另外,李彦宏提到的人工智能、大数据、云计算等热门领域同样将会被更多人多熟知与关注。很多

07
领券