当CSV文件上传到blob存储器时,我想要处理它。为此,我使用blob触发器编写Web作业。
为了确保连续的CSV处理,我又写了一个带有blob触发器的web作业。
因此,如果一个web作业失败,另一个web作业将处理csv。
现在,我的问题是,当两个web作业都在运行时,它们正在处理相同的CSV文件,并最终创建重复的数据。
如何锁定文件,以便只有一个web作业将处理CSV文件?
或
如果第一个网络作业将被关闭,我如何触发第二个网络作业?
发布于 2017-05-22 20:24:51
如果第一个网络作业将被关闭,我如何触发第二个网络作业?
我建议您在第一个WebJob中使用try-catch来处理异常。如果出现任何异常,我们可以将blob名称写入队列以触发另一个WebJob。
public static void ProcessCSVFile([BlobTrigger("input/{blobname}.csv")] TextReader input, [Queue("myqueue")] out string outputBlobName, string blobname)
{
try
{
//process the csv file
//if none exception occurs, set the value of outputBlobName to null
outputBlobName = null;
}
catch
{
//add the blob name to a queue and another function named RepeatProcessCSVFile will be triggered.
outputBlobName = blobname;
}
}
我们可以在另一个QueueTrigger中创建一个WebJob函数。在这个函数中,我们可以读出blob名称并重新处理csv。如果出现新的异常,我们还可以将blob名称重新添加到队列中,这个函数将被一次又一次地执行,直到csv文件被成功处理为止。
public static void RepeatProcessCSVFile([QueueTrigger("myqueue")] string blobName, [Queue("myqueue")] out string outputBlobName)
{
try
{
//process the csv file
//if none exception occurs, set the value of outputBlobName to null.
outputBlobName = null;
}
catch
{
//re-add the blobName to the queue and this function will be executed again until the csv file has been handled successfully.
outputBlobName = blobName;
}
}
发布于 2017-05-24 02:24:36
我喜欢Amor的解决方案,但有一些建议可以补充。
如果您放弃了BlobTrigger方法,而是将指示需要处理的blob的服务总线队列消息排队,则可以使用ServiceBusTrigger触发您的处理。如果出现异常,请放弃该消息,该消息将可用于另一次处理尝试。这将使您只有一个网络作业,但仍然有冗余。
使用Service队列的另一个优点是,在读取消息时,可以保证至少一次处理,最多一次处理,同时保证消息锁定。标准存储队列的情况并非如此。如果您想要添加第二个you作业实例来监视相同的服务总线队列,这也将在将来为您提供一个可伸缩性选项。
https://stackoverflow.com/questions/44113810
复制相似问题