寻找一个更好的解决方案来抓取多个网页与美丽的汤
寻找一个更好的解决方案来抓取多个网页与美丽的汤
提问于 2019-03-23 19:40:55
我正在尝试从一个网站上抓取体育游戏的结果。该网站有所有游戏的结果，这是完美的，但他们在许多页面上。每个页面代表一天，我正在收集数据在许多个月的游戏，所以它将是相当多的网址进入。
我现在设置它的方法是，我有一个基本的url，以及一个可以使用for循环追加的日期列表。这种方式工作得很好，但我很好奇在我输入我将要拼凑的许多日期之前，是否有更好的方法。
url = 'http://www.url.com?'
#this list would hold hundreds of dates
dates = ['month=11&day=1&year=2016', 'month=11&day=2&year=2016', ...]
for i in dates:
page = requests.get(url+i)
soup = BeautifulSoup(page.text, 'html.parser')
#and so on, this part works as intended回答 1
Stack Overflow用户
发布于 2019-04-03 10:11:19
如果您确实希望在每一天都进行搜索，那么可以使用datetime和timedelta来迭代所有可能的日期。给它一个开始日期，然后可以一天一天地提前到结束日期(可以是今天的datetime.now() )：
from datetime import datetime, timedelta
base_url = "http://www.url.com?month={}&day={}&year={}"
search_date = datetime(2016, 11, 1)
end_date = datetime(2017, 1, 1)
one_day = timedelta(days=1)
while search_date < end_date:
url = base_url.format(search_date.month, search_date.day, search_date.year)
print(url)
page = requests.get(url)
soup = BeautifulSoup(page.text, 'html.parser')
search_date += one_day这将为您提供类似以下内容：
http://www.url.com?month=11&day=1&year=2016
http://www.url.com?month=11&day=2&year=2016
http://www.url.com?month=11&day=3&year=2016
http://www.url.com?month=11&day=4&year=2016
.
.
.
http://www.url.com?month=12&day=29&year=2016
http://www.url.com?month=12&day=30&year=2016
http://www.url.com?month=12&day=31&year=2016不过，更好的方法是使用页面上的next链接。为此，需要实际页面的URL。然后，可以使用BeautifulSoup轻松地提取链接。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/55317655
复制相关文章
相似问题
在员工服务中调用Web是最佳实践吗？
在web应用程序中管理数据库连接的最佳实践
加密web.config是最佳实践吗
JavaScript中“全局”变量的最佳实践？
JavaScript最佳实践-全局变量
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
