我正在处理一个场景,在将数据文件加载到临时表之前,我必须将来自文件的数据记录与来自表的数据进行比较,作为验证检查的一部分。我已经提出了几种可能的场景,其中涉及负载映射中需要更改的内容,但我的团队建议我对容易注意的内容进行更改,因为这是一种非标准的方法。
有没有什么方法可以在工作流管理器中使用任何工作流任务或会话属性来处理?
发布于 2020-01-13 21:09:36
创建一个映射,该映射将读取文件,将数据与表连接,执行所需的验证,并且将不写出任何内容(使用具有FALSE条件的筛选器),并将变量设置为0/1以指示是否应开始加载。
接下来,如果验证通过,则运行加载会话。
如果您希望将验证错误存储在某个审核表中,则可以对此进行改进。这样你就不需要变量了--条件可以引用$PMTargetName@numAffectedRows
内置变量。如果它大于零-意味着有一些错误-不要开始加载。
发布于 2020-01-13 09:05:07
使用命令行创建一个工作流,您需要在其中编写一个脚本,该脚本将使用JDBC连接从表中提取数据,并尝试与文件中存在的数据进行比较,然后标记是否加载。
根据此命令行输出,您是否需要继续执行暂存工作流。
使用awk命令比较数据,可以灵活地比较列中的日期部分。
https://stackoverflow.com/questions/59673002
复制相似问题