我想从各种S3存储桶(超过10,000个存储桶,每个文件大约20-50MB)加载数据到Apache Kafka。存储桶列表是动态的-在运行时添加和删除存储桶。理想情况下,每个存储桶配置都应该有自己的轮询间隔(扫描新文件的频率-至少60秒,但可能更长)和优先级(正在处理的并发文件的数量)。请注意,由于每个存储桶所有者的组织中存在各种IT策略,因此无法设置从每个S3存储桶到SQS/ in /Lambda的通知。将每个S3存储桶配置为其自
我有mssql数据库和吨的表有更新,删除触发器。所有表都将更改插入到同一数据库内的一个日志表中。我们也有sql作业,将日志移动到另一个只包含日志表的数据库中。我想让这个操作在NoSQL数据库中更快,就像这样: MainDB-> triggers and insert as JSON into Redis dbMSSQL->