我使用了几乎相同的脚本在其他网站上没有问题,但在这个网站上,它似乎只给我的前6项的网页,我想刮。我在同一个站点上使用了不同的页面,结果相同(Ex:)。我在任何地方都做过研究,很明显,使用脚本一次加载6个产品可能是一个问题。然而,我找到的大多数答案都说要查找下一页并刮下一页(但这仅适用于具有无限滚动的页面)。其他解决方案提到使用Selenium,但我想它也会有相同的问题,因为我们想要遵循的链接不在页面源上。有人知道如何解决这个问题吗。非常感谢。下面是我为这个页面编写的脚本:
# -*- coding: ut