从新闻源自动抓取新的新闻文章最有效的方法是什么？
从新闻源自动抓取新的新闻文章最有效的方法是什么？
提问于 2019-12-09 02:25:33
我想构建一个新闻聚合器应用程序。我有一个问题，我不知道如何从新闻网页上获取新的新闻文章。我用python写了一个抓取器脚本，当我运行它时，它从源(今天发布的运行时间)获取所有新闻，并将它们保存到一个CSV文件中(我保存: URL，标题，日期，时间，图像URL，类别，内容)。当我再次运行脚本时，它会检查CSV文件是否处理了URL，这样它就不会写入重复内容，而只写入新内容。最后，我想将这些结果写入我的数据库。但是使用这个脚本，我必须周期性地运行它(假设每10分钟运行一次)来检查是否有新发布的内容。这是实现这一点的编写方式吗？当新内容发布时，有没有更好的方法来收听新闻来源？如果这是一种方法，我如何将脚本设置为定期运行？非常感谢您的帮助。
回答 1
Stack Overflow用户
发布于 2019-12-31 00:03:19
我再次运行脚本，它检查CSV文件是否处理了URL，这样它就不会写入重复的内容，只写入新的内容。
你可以在你的问题上加上：
- 网站地址您已经完成的
- python代码
我对你的建议:从数据库中获取最新的网址(例如100-200，数量应与网页上的网址数量进行比较，以抓取)，并检查他们与目前的网址在网页上。如果出现新的URL，一定要抓取它们。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/59238548
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号