开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

社区首页 >问答首页 >请问每天爬一次数据然后传到hdfs有必要用flume吗？

问请问每天爬一次数据然后传到hdfs有必要用flume吗？

提问于 2021-04-04 23:00:38

回答 0关注 0查看 99

已经搭好了为了论文多写点东西也想尽量用上但发现好像按时间滚动会一直创建新文件？设置时间长的话又一直是tmp文件有什么每天把爬到的csv文件传一次到hdfs 然后能用上flume的方法吗？还是只能定时任务用put上传呢？

回答

和开发者交流更多问题细节吧，去写回答

相似问题

相关问答用户

请输入您想邀请的人