如何单击页面上的“查看更多”按钮来刮取结果
如何单击页面上的“查看更多”按钮来刮取结果
提问于 2019-06-19 16:27:55
我想按的按钮看起来是：
<a data-hide="#mvc-paginate-acf46b3a1b68090c" data-append="true" data-container="#posts-container" class="hubmvc-ajax-get mvc-more btn btn-skel-generic" href="https://example.com/linear-box-load-more/?load_more=1&pg=2&limit=36&offset=14&additional_class=gems&ajax_hook=next_page&_wpnonce=8762751649&start_pg=1">View More</a>在使用BeautifulSoup抓取之前，我尝试按几次它。我尝试使用来自selenium的selenium，但根据这个答案：Scrape page with "load more results" button显然不再支持它。
回答 1
Stack Overflow用户
回答已采纳
发布于 2019-06-19 20:54:02
我查看了中的Network选项卡，注意到当单击按钮时，页面发出了一个get请求。下面的代码发出一个get请求，以获取该特定“页面”的文章。在params中，将pg号更改为您想要的任何数字。这在我测试的时候起作用了。唯一的问题可能是它没有得到所有文章的html，只有那个特定页面上的文章。如果创建请求会话或循环遍历所有页面的get请求，则可能会得到所有页面的html。
import requests
params = {
'load_more': '1',
'pg': '2',
'limit': '36',
'offset': '14',
'additional_class': 'gems',
'ajax_hook': 'next_page',
'_wpnonce': '8762751649',
'start_pg': '1',
'hub_mvc_ajax': '1',
'mvc_fastload': '3a0a558385',
}
next_url = "https://newsnetwork.mayoclinic.org/linear-box-load-more/"
next_page = requests.get(next_url, params=params)
print(next_page.text)页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/56672172
复制相关文章
相似问题
腾讯云开发者
