我正在使用flink从Azure数据湖中读取数据。但flink无法找到Azure数据湖文件系统。我已经实现了spark来读取Azure Data Lake文件系统文件。
因此,我尝试从flink中触发火花,从Azure数据湖中读取数据,并执行一些逻辑操作,然后将列表返回给flink。所以flink可以使用这些数据?
是否可以从flink触发spark作业?或者如何配置flink来理解Azure数据湖文件系统。有人能在这方面给我指点一下吗?
我是Azure数据湖的新手。 下面的屏幕截图有2个文件夹(Storage Account和Catalog),一个用于Datalake分析和其他数据湖存储。 我的问题是,为什么每个文件夹的目的是什么,为什么我们使用U-SQL进行转换,而这可以在数据工厂中完成。 请解释从数据存储到数据湖的数据流过程。 enter image description here 谢谢你,艾迪
我对天蓝色是陌生的。我们有天蓝色的数据湖存储装置。我正在尝试将数据工厂的链接服务设置为蔚蓝数据湖存储gen2。当我测试到数据湖存储的链接服务时,它一直失败。据我所见,我已经将"Storage贡献者“角色授予了用户在蔚蓝数据湖存储中。在测试链接服务时,我仍然不断获得拒绝权限的错误。
ADLS Gen2 operation failed for: Storage operation '' on container 'testconnection' get failed with 'Operation returned an invalid statu