木偶师等待页面。$(‘.className’)，但我只得到了第11个元素与该类，为什么？
木偶师等待页面。$(‘.className’)，但我只得到了第11个元素与该类，为什么？
提问于 2020-04-12 11:13:39
我用来刮学生名单的代码：
let collection1 = await page.$$('div.layout-2DM8Md')
console.log("Student Online:")
for (let el of collection1) {
let name = await el.$eval(('div.name-uJV0GL'), node => node.innerText.trim());
console.log(name)
}回答 1
Stack Overflow用户
回答已采纳
发布于 2020-04-12 11:24:17
这可能是因为其他元素的内容是用一个Javascript框架(如React或Vue )动态加载的。这意味着只有当这些元素进入浏览器的视口时才会加载。
要解决这个问题，您需要编写一个自动滚动页面的函数，以便这些元素能够进入视区，然后在收集数据之前等待该函数完成。
滚动功能：
const autoScroll = async(page) => {
await page.evaluate(async () => {
await new Promise((resolve, reject) => {
var totalHeight = 0;
var distance = 100;
var timer = setInterval(() => {
var scrollHeight = document.body.scrollHeight;
window.scrollBy(0, distance);
totalHeight += distance;
if(totalHeight >= scrollHeight){
clearInterval(timer);
resolve();
}
}, 30);
});
});
}然后调用这个函数，在 page.goto()之后调用，在之前调用，然后使用page.content()获取内容。我还设置了视口宽度和高度，然后滚动速度会更快一些：
await page.goto(url, {waitUntil: 'load'});
await page.setViewport({
width: 1200,
height: 800
});
await autoScroll(page); // The scroll function
const html = await page.content()页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/61176809
复制
![[蓝帽杯 2021]One Pointer PHP | BUU](https://developer.qcloudimg.com/http-save/yehe-8904878/291bd5f6b88bc04050bc03f740b8dc7b.png)
相似问题
SAP Business one
将SAP Business One连接到SQL Server 2005时，
SAP Business One将交货表链接到OBTN表
SAP business one和HANA studio
Drupal Commerce和SAP Business One
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
