开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

python selenium phantomjs无限滚动只适用于第一页

Python Selenium是一个用于自动化浏览器操作的工具，而PhantomJS是一个无界面的浏览器引擎。无限滚动是指在网页上滚动鼠标滚轮时，页面会自动加载更多内容，以实现无限滚动的效果。

对于只适用于第一页的情况，可能是由于以下原因：

页面没有实现无限滚动功能：有些网页并没有实现无限滚动功能，只在第一页显示内容，无法通过滚动鼠标滚轮加载更多内容。
页面使用了特殊的滚动加载方式：有些网页可能使用了特殊的滚动加载方式，而不是通过滚动鼠标滚轮来加载内容。这种情况下，使用Python Selenium和PhantomJS的方式可能无法实现无限滚动。

针对这个问题，可以尝试以下解决方案：

查看网页源代码：可以查看网页的源代码，确认是否存在无限滚动的相关代码。如果没有相关代码，说明该网页不支持无限滚动。
分析网页加载方式：可以使用开发者工具（如Chrome开发者工具）来分析网页的加载方式，查看是否存在其他的加载方式，例如通过Ajax请求加载内容。如果存在其他加载方式，可以尝试模拟这些请求来获取更多内容。
使用其他工具或库：如果Python Selenium和PhantomJS无法实现无限滚动，可以尝试使用其他工具或库来实现。例如，可以使用Python的requests库来发送请求获取网页内容，然后使用BeautifulSoup库来解析网页并提取需要的内容。

需要注意的是，以上解决方案仅供参考，具体的实现方式可能因网页的不同而有所差异。在实际应用中，需要根据具体情况进行调整和优化。

腾讯云相关产品和产品介绍链接地址：

腾讯云官网：https://cloud.tencent.com/
云服务器（CVM）：https://cloud.tencent.com/product/cvm
云数据库 MySQL 版：https://cloud.tencent.com/product/cdb_mysql
云原生应用引擎（TKE）：https://cloud.tencent.com/product/tke
人工智能平台（AI Lab）：https://cloud.tencent.com/product/ai
物联网开发平台（IoT Explorer）：https://cloud.tencent.com/product/iotexplorer
移动应用开发平台（MADP）：https://cloud.tencent.com/product/madp
云存储（COS）：https://cloud.tencent.com/product/cos
区块链服务（BCS）：https://cloud.tencent.com/product/bcs
腾讯元宇宙：https://cloud.tencent.com/solution/metaverse

相关搜索:使用Python/PhantomJS/Selenium滚动无限页面使用Python和selenium，在无限滚动网站上获取元素？在Selenium中抓取Python中的多个页面时遇到问题--只拉出第一页或最后一页如何使用python和selenium使用加载更多按钮来无限滚动网站 linux 桌面轻量级修改linux命令提示符 linux 查看显卡驱动 linux环境进程间通信 linux创建文件夹命令 linux 删除特定文件

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

16、web爬虫讲解2—PhantomJS虚拟浏览器+selenium模块操作PhantomJS

下载网址：http://phantomjs.org/download.html 下载对应系统版本 [image] 下载后解压PhantomJS文件，将解压文件夹，剪切到python安装文件夹 [image...] 然后将PhantomJS文件夹里的bin文件夹添加系统环境变量 [image] cdm 输入命令：PhantomJS 出现以下信息说明安装成功 [image] selenium模块是一个python.../usr/bin/env python # -*- coding:utf8 -*- from selenium import webdriver #导入selenium模块来操作PhantomJS import..." title = re.compile(pat).findall(neir) #正则匹配网页标题 print(title) PhantomJS浏览器伪装，和滚动滚动条加载数据有些网站是动态加载数据的.../usr/bin/env python # -*- coding:utf8 -*- from selenium import webdriver #导入selenium模块来操作PhantomJS from

1.1K0 0

利用 Python + Selenium 实现对页面的指定元素截图(可截长图元素)

示例代码请移步: [Github]PythonSpiderLibs 优点: 不需太多js工作，python+少量js代码即可完成缺点: 拼接等工作会被WebDriver的实现差异、图片加载速度等因素影响...在保证截图质量的情况下，速度较慢方式三针对WebDriver.PhantomJS 由于接口实现的差异，PhantomJS相比于Chrome，可以截取到整个网页。...解决图片加载不完整的问题参考: 利用 Python + Selenium 自动化快速截图我们先在首页上执行一段 JavaScript 脚本，将页面的滚动条拖到最下方，然后再拖回顶部，最后才截图。...所以，只能曲线救国，利用 Selenium 执行JS代码，将页面上不需要的元素一一删除，只保留我们希望留下的元素，然后再利用上面的窗口截屏功能。...其它还有一些坑等待发现推荐 html2canvas库将 DOM 对象绘制到 canvas 中利用 Python + Selenium 自动化快速截图文章参考：http://www.jianshu.com

9.9K4 1

爬虫系列（9）爬虫的多线程理论以及动态数据的获取方法。

NO·2 Selenium与PhantomJS 1....2.1注意：PhantomJS（python2）只能从它的官方网站http://phantomjs.org/download.html) 下载。...因为 PhantomJS 是一个功能完善(虽然无界面)的浏览器而非一个 Python 库，所以它不需要像 Python 的其他库一样安装，但我们可以通过Selenium调用PhantomJS来直接使用。...PhantomJS 官方参考文档：http://phantomjs.org/documentation 2.2 python3使用的浏览器随着Python3的普及，Selenium3也跟上了行程。...NO·3 Selenium 处理滚动条 Selenium 处理滚动条 selenium并不是万能的，有时候页面上操作无法实现的，这时候就需要借助JS来完成了　　当页面上的元素超过一屏后，想操作屏幕下方的元素

2.4K3 0

使用Selenium抓取QQ空间好友说说1.安装Selenium2.在Python中使用Selenium获取QQ空间好友说说3.代码实现（基于Python3）

代码参考http://www.jianshu.com/p/a6769dccd34d 刚接触Selenium的戳这里Selenium与PhantomJS PS：代码的不足在于只能抓取第一页的说说内容...，代码的改进之处在于增加了与数据库的交互，进行了存储 1.安装Selenium pip install Selenium 2.在Python中使用Selenium获取QQ空间好友说说 ?...3.代码实现（基于Python3） # -*- coding:utf-8 -*- from bs4 import BeautifulSoup from selenium import webdriver...import time import pymongo # #使用Selenium的webdriver实例化一个浏览器对象，在这里使用Phantomjs # driver = webdriver.PhantomJS...(executable_path=r"D:\phantomjs-2.1.1-windows\bin\phantomjs.exe") # #设置Phantomjs窗口最大化 # driver.maximize_window

1.6K2 0

Selenium 的使用1.网站模拟登录2.动态页面模拟点击3.执行 JavaScript 语句

1.网站模拟登录 # douban.py from selenium import webdriver from selenium.webdriver.common.keys import Keys.../usr/bin/env python # -*- coding:utf-8 -*- # python的测试模块 import unittest from selenium import webdriver...animate({scrollTop: '0px'}, 800);});") #查看页面快照 driver.save_screenshot("nullbaidu.png") driver.quit() 模拟滚动条滚动到底部...# from selenium import webdriver import time driver = webdriver.PhantomJS() driver.get("https://movie.douban.com...type_name=剧情&type=11&interval_id=100:90&action=") # 向下滚动10000像素 js = "document.body.scrollTop=10000"

1K2 0

.NET Core+Selenium+Github+Travis CI => SiteHistory

Selenium:一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。结合phantomjs等驱动可以实现页面自动化。...Github:一个面向开源及私有软件项目的托管平台，因为只支持git 作为唯一的版本库格式进行托管，故名GitHub,又名GayHub Travis CI:采用yaml格式配置，简洁清新的开源持续集成构建项目...: IWebDriver driver = new PhantomJSDriver(); 在浏览器中打开传入网站:driver.Navigate().GoToUrl(sitePage); 执行js使其滚动到底部...程序运行下载phantomjs，设置环境变量(Travis CI环境提供PhantomJS预装) 安装.net core2.0 SDK 执行命令：dotnet run 参数1[名称] 参数2[网页链接...quiet orginimgs master:gh-pages_$($current_date) branches: only: - master 总结测试发现IP地址每次都会发生变化,引发无限遐想

9041 0

selenium模拟浏览器&PhantomJS

注意:最新版本的selenium停止对PhantomJS的支持(可以使用谷歌&火狐的无头浏览器)，如果还想用PhantomJS，需要对selenium降级卸载最新版本:pip3 uninstall selenium...下载完成后，解压压缩包,直接将解压后的Phantomjs.exe复制到python的目录中就可以了,如下图 ? 在python环境中测试一下,如下 #!.../usr/bin/env python # coding: utf-8 from selenium import webdriver driver = webdriver.PhantomJS() Selenium.../usr/bin/env python # coding: utf-8 import sys from selenium import webdriver browser = webdriver.PhantomJS...以百度搜索为例,使用百度搜索"Python Selenium",并保存第一页搜索结果的标题和链接。

1.5K3 0

《手把手带你学爬虫──初级篇》第5课 Selenium WebDriver的用法

从Python语言角度来讲，WebDriver是Python的一个用于实现自动化操作的第三方库。...安装方法： pip install selenium PhantomJS简介与安装原文简介： PhantomJS is a headless web browser scriptable with...例如，京东商品页面信息，向下滚动的时候才会请求另外30个item。因此，就需要操作浏览器滚动条，滚动到底部，让所有的信息都加载出来。...() /Users/sunjiajia/Works/pyenv/crawler/lib/python3.6/site-packages/selenium/webdriver/phantomjs/webdriver.py...with Python中文翻译文档》

2.6K3 2

Phantomjs的正确打开方式

抛弃selenium+phantomjs 　　之前我一直使用selenium去使用phantomjs，原因是因为selenium封装了phantomjs一部分功能，selenium又提供了python的接口模块...，在python语言中可以很好地去使用selenium，间接地就可以使用phantomjs。...然而，我现在要说的是，是时候抛弃selenium+phantomjs了，原因之一此封装的接口很久没有更新了（没人维护了），原因之二selenium只实现了一部分phantomjs功能，且很不完善。　　...设计流程　　Python通过http请求下发任务，Phantomjs Webservice获取任务后去处理，处理完以后再将结果返回给Python。...任务调度、存储等复杂操作交给Python去做，Python可以写成异步并发去请求Phantomjs Webservice，需要注意的是目前一个Phantomjs Webservice只支持10个并发。

1K10 0

Selenium与PhantomJS：自动化测试与网页爬虫的完美结合

而Selenium与PhantomJS的结合，则为这两个领域的应用带来了全新的可能性。...PhantomJS的最大特点是可以在后台执行网页操作，无需打开浏览器窗口，因此适用于一些不需要图形界面的场景，如自动化测试和网页爬虫。2....幸运的是，有一个叫做GhostDriver的项目，它将PhantomJS包装成了一个符合Selenium WebDriver标准的驱动程序，使得Selenium可以直接与PhantomJS集成。...3.3 代码示例自动化测试脚本（Python）：from selenium import webdriver# 使用PhantomJS作为WebDriverdriver = webdriver.PhantomJS...('h1').textprint('自动化测试获取的新闻标题：', news_title)# 执行其他测试操作...driver.quit()网页爬虫脚本（Python）：from selenium import

2951 0

Python下利用Selenium获取动态页面数据

来源：http://www.51testing.com 　　利用python爬取网站数据非常便捷，效率非常高，但是常用的一般都是使用BeautifSoup、requests搭配组合抓取静态页面（即网页上显示的数据都可以在...一、准备工作　　模拟浏览器需要用到两个工具：　　1.selenium，可直接通过pip install selenium进行安装。　　...，网上也有人用firefox，chrome，但是我没有成功，用这个也挺方便　　driver =webdriver.PhantomJS(executable_path="C:/phantomjs.exe...本文中获取下一页的位置是通过driver.find_element_by_link_text方法来实现的，这是因为在此网页中，这个标签没有唯一可标识的id，也没有class，如果通过xpath定位的话，第一页和其他页的...，不妨尝试一下selenium+phantomjs。

3.2K3 0

Python爬虫(二十四)_selenium案例：执行javascript脚本

本章叫介绍如何使用selenium在浏览器中使用js脚本，更多内容请参考：Python学习指南隐藏百度图片 #-*- coding:utf-8 -*- #本篇将模拟执行javascript语句...from selenium import webdriver from selenium.webdriver.common.keys import Keys driver = webdriver.Chrome...scroll_top').click(function(){$('html,body').animate({scrollTop: '0px'}, 800);});") # driver.quit() 模拟滚动条滚动到底部...```python from selenium import webdriver import time driver = webdriver.PhantomJS() driver.get...type_name=剧情&type=11&interval_id=100:90&action=") 向下滚动10000像素 js = "document.body.scrollTop=10000" js

1.2K10 0

Python3网络爬虫(十一)：爬虫黑科技之让你的爬虫程序更像人类用户的行为(代理IP池等)

要处理这些动作，需要用 Selenium 和 PhantomJS 包。 Selenium的安装已经在之前的文章中讲到，今天就说下PhantomJS吧。...-windows/bin/phantomjs.exe是我的PhantomJS路径，这里需要更改成你自己的)： # -*- coding:UTF-8 -*- from selenium import webdriver...通过Selenium和PhantomJS，我们可以很好的处理一些需要事件执行后才能获得的cookie。...另外，还有其他一些检查，用来保证这些当前生成的表单变量只被使用一次或是最近生成的（这样可以避免变量被简单地存储到一个程序中反复使用）。...更好的方法是，花钱买一个可以动态切换IP的阿里云服务器，这样IP就可以无限动态变化了！以上内容整理自《Python网络数据采集》，以及自己的一点小心得。

2.7K7 1

Python3网络爬虫(十一)：爬虫黑科技之让你的爬虫程序更像人类用户的行为(代理IP池等)

要处理这些动作，需要用 Selenium 和 PhantomJS 包。 Selenium的安装已经在之前的文章中讲到，今天就说下PhantomJS吧。...将 Selenium 和 PhantomJS 结合在一起，就可以运行一个非常强大的网络爬虫了，可以处理 cookie、JavaScript、headers，以及任何你需要做的事情。...-windows/bin/phantomjs.exe是我的PhantomJS路径，这里需要更改成你自己的)： # -*- coding:UTF-8 -*- from selenium import webdriver...通过Selenium和PhantomJS，我们可以很好的处理一些需要事件执行后才能获得的cookie。...更好的方法是，花钱买一个可以动态切换IP的阿里云服务器，这样IP就可以无限动态变化了！以上内容整理自《Python网络数据采集》，以及自己的一点小心得。

1.8K3 0

Python教程：selenium模块用法教程

chromedriver安装：selenium+chromedriverpip3 install selenium下载chromdriver.exe放到python安装路径的scripts目录中即可，注意最新版本是...不再更新selenium+phantomjs：安装：selenium+phantomjspip3 install selenium下载phantomjs，解压后把phantomjs.exe所在的bin目录放到环境变量下载链接...这意味着在无 GUI 环境下, PhantomJS 不再是唯一选择selenium+谷歌浏览器headless模式#selenium:3.12.0#webdriver:2.38#chrome.exe:...chrome_options.add_argument('--disable-gpu') #谷歌文档提到需要加上这个属性来规避bugchrome_options.add_argument('--hide-scrollbars') #隐藏滚动条...一些元素可能需要过一段时间才能加载出来，为了保证能查找到元素，必须等待2、等待的方式分两种：隐式等待：在browser.get（'xxx'）前就设置，针对所有元素有效显式等待：在browser.get（'xxx'）之后设置，只针对某个元素有效隐式等待

1.7K2 0

读者投稿：selenium抓取bilibili拜年祭《千里之外》的评论

bilibili 2019年拜年祭的《千里之外》很好看，于是我想用《python爬虫开发与入门实战》第七章的爬虫技术抓取一下评论。...因此我决定用selenium抓取一下评论, 第一页的抓取只有进入该页面，然后定位到具体元素就可以爬取下来，但是抓取的时候，需要先等该元素加载好再去抓取，我将等待和抓取逻辑封装了一下，定义出一个函数方便使用..._goto_next_page() 在做抓取时，我发现经常会报错 elementisnotattached to the page document, 即使做了wait也不行，后来我发现，加一行滚动到页面底部可以减少报错.../chromedriver') # self.driver = webdriver.PhantomJS('....current_page = int(current_page) break except: print('这里是无限循环

6832 0

用Python爬取东方财富网上市公司财务报表

举个例子，写几行python代码就可以用Selenium实现登录IT桔子，然后浏览网页的功能。 ? 怎么样，仅用几行代码就能实现自动上网操作，是不是挺神奇的？...当然，这仅仅是Selenium最简单的功能，还有很多更加丰富的操作，可以参考以下几篇教程：参考网站： Selenium官网： https://selenium-python.readthedocs.io...://selenium-python-zh.readthedocs.io/en/latest/faq.html Selenium 基本操作：https://www.yukunweb.com/2017/7.../python-spider-Selenium-PhantomJS-basic/ Selenium爬取淘宝信息实战：https://cuiqingcai.com/2852.html 只需要记住重要的一点就是...思路安装配置好Selenium运行的相关环境，浏览器可以用Chrome、Firefox、PhantomJS等，我用的是Chrome；东方财富网的财务报表数据不用登录可直接获得，Selenium更加方便爬取

13.8K4 7

Python Selenium的使用（爬虫）

在Python中有许多模拟浏览器运行库，如：Selenium、Splash、PyV8、Ghost等。...官方网址：http://www.seleniumhq.org 官方文档：http://selenium-python.readthedocs.io 中文文档：http://selenium-python-zh.readthedocs.io...安装：pip install selenium Selenium支持非常多的浏览器，如Chrome、Firefox、Edge等，还支持无界面浏览器PhantomJS。...3 Selenium的使用 ① 初次体验：模拟谷歌浏览器访问百度首页，并输入python关键字搜索 from selenium import webdriver from selenium.webdriver.common.by...driver = webdriver.Chrome() #加载指定url地址 driver.get("https://www.zhihu.com/explore") #执行javascript程序将页面滚动移至底部

3.3K1 0

Python中Selenium库使用教程详解

另外，也支持无界面浏览器PhantomJS。...webdriver.Edge() browser = webdriver.PhantomJS() browser = webdriver.Safari() 元素定位 webdriver 提供了一系列的元素定位方法...用于调整浏览器滚动条位置的JavaScript代码如下： <!...chromedriver.exe') drive.get('https://www.baidu.com') # 2.搜索 drive.find_element_by_id('kw').send_keys('python...chromedriver.exe') drive.get('https://www.baidu.com') # 2.搜索 drive.find_element_by_id('kw').send_keys('python

18.4K5 3

爬虫最终杀手锏 — PhantomJS 详解（附案例）

认识Phantomjs 1.Phantomjs：无界面的浏览器 Selenium：可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。...文档地址：http://selenium-python.readthedocs.io/index.html # 导入 webdriver from selenium import webdriver #...要想调用键盘按键操作需要引入keys包 from selenium.webdriver.common.keys import Keys # 调用环境变量指定的Phantomjs浏览器创建浏览器对象...driver = webdriver.Phantomjs() # 如果没有在环境变量指定Phantomjs位置# driver = webdriver.Phantomjs(executable_path...type_name=剧情&type=11&interval_id=100:90&action=") # 向下滚动10000像素 js = "document.body.scrollTop=10000"

1.7K2 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭