我正在使用flink从Azure数据湖中读取数据。但flink无法找到Azure数据湖文件系统。我已经实现了spark来读取Azure Data Lake文件系统文件。因此,我尝试从flink中触发火花,从Azure数据湖中读取数据,并执行一些逻辑操作,然后将列表返回给flink。所以flink可以使用这些数据?
是否可以从flink触发spark作业?或者如何配置flink来理解Azure
我正在探索Azure数据湖,我是这个领域的新手。我探索了很多东西,读了很多文章。基本上,我必须从不同来源的数据开发Power仪表板。在典型的Server栈中,我可以编写一个ETL (提取、转换、加载)进程,将我的系统数据库中的数据导入数据仓库数据库。然后利用SSAS等技术,利用Power实现数据仓库。但是我想使用Azure数据湖,我探索了Azure和Azure ( use )。我绘制了如下的架构图。