我们计划每天进行批处理。我们每天生成1 GB的CSV文件,并将它们手动放入Azure Data Lake Store。我已经阅读了有关批处理的Microsoft Azure文档,我决定使用Spark作为批处理。我的问题是,在我们使用RDD/DF传输数据之后,下一步会做什么?我们如何将数据可视化?由于这个过程应该每天运行,一旦使用Spark完成了数据转换,我们是否需要在可视化之前将数据推送到任何类型的数据存储,如hive hdfs或cosmos?
我可以购买的最便宜的工具是什么,以允许具有代码生成能力的可视化UML设计,请记住,它目前是visual studio Professional,而不是Team Studio。
我正在尝试实现在新的开发中可视化地创建名称空间、类、主要参数和函数的能力,这样我就可以向我的老板解释显示类布局,然后将生成的vb.net怠慢发送给开发团队以“填补空白”。
以下是我的JavaScript应用程序中的一些类:
myApp.mode.model Handles the state
myApp.mode.controller Instantiates and updates components based on the model
myApp.data.dataManager Does operations on the dataSource
myApp.data.dataSource A big singleton with structured data
myApp.chart.grid