我最近完成了Selenium Python刮板。当我在我的个人机器上运行它时,它运行的非常好,但是当我在服务器上运行它时,结果是不一样的。在服务器上,我使用pyvirtualdisplay
运行无头程序。
browser.get('https://example.com')
html = browser.page_source
这是我的pyvirtualdisplay代码。
display = Display(visible=0, size=(800, 600))
display.start()
在本地机器上运行时,它完全抓取了由JavaScript生成的HTML,但当我在服务器上运行它时,它没有抓取JavaScript生成的HTML内容,因此我只得到了一个不包含任何JS生成内容的部分页面。
更新:--我还按照使用Selenium的建议截取了屏幕截图。屏幕截图显示页面被部分加载,JS的内容没有加载到屏幕上。
https://stackoverflow.com/questions/37837705
复制相似问题