开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

使用Selenium & Beautifulsoup从python中的LinkedIn帖子中拉出评论计数

使用Selenium和Beautifulsoup从Python中的LinkedIn帖子中拉出评论计数的方法如下：

首先，确保已经安装了Selenium和Beautifulsoup库。可以使用以下命令进行安装：

pip install selenium
pip install beautifulsoup4

导入所需的库：

from selenium import webdriver
from bs4 import BeautifulSoup

创建一个WebDriver对象，启动浏览器：

driver = webdriver.Chrome()  # 使用Chrome浏览器，需要提前安装ChromeDriver并配置到系统环境变量中

打开LinkedIn的帖子页面：

post_url = "LinkedIn帖子的URL"
driver.get(post_url)

使用Selenium模拟滚动页面，以加载所有评论：

# 模拟滚动到页面底部
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

获取页面源代码：

page_source = driver.page_source

使用Beautifulsoup解析页面源代码，提取评论计数：

soup = BeautifulSoup(page_source, "html.parser")
comment_count = soup.find("span", {"class": "v-align-middle"}).text

打印评论计数：

print("评论计数：", comment_count)

完整代码示例：

from selenium import webdriver
from bs4 import BeautifulSoup

driver = webdriver.Chrome()
post_url = "LinkedIn帖子的URL"
driver.get(post_url)

# 模拟滚动到页面底部
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

page_source = driver.page_source

soup = BeautifulSoup(page_source, "html.parser")
comment_count = soup.find("span", {"class": "v-align-middle"}).text

print("评论计数：", comment_count)

这个方法使用Selenium模拟浏览器操作，打开LinkedIn的帖子页面，并使用Beautifulsoup解析页面源代码，提取评论计数。注意，需要提前安装Chrome浏览器和ChromeDriver，并将ChromeDriver配置到系统环境变量中。

推荐的腾讯云相关产品：腾讯云服务器（https://cloud.tencent.com/product/cvm）和腾讯云数据库（https://cloud.tencent.com/product/cdb）可以用于部署和存储相关的应用。

相关搜索:Python -使用Pandas从Google Finance中拉出 Python 2.7: Imgur API和从帖子中获取清晰的文本评论？Python中的Selenium :如何评论每个Instagram帖子？Selenium Python使用键盘快捷键打开组中的所有Facebook帖子从Python BeautifulSoup中的javascript源拉取值从Selenium已经打开的网页中抓取BeautifulSoup 从使用BeautifulSoup python中获得前100个作业结果从侧栏小部件selenium python中抓取评论使用BeautifulSoup对函数中的xml元素进行计数使用BeautifulSoup遍历Python中的Hrefs

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

《权力的游戏》最终季上线！谁是你最喜爱的演员？这里有一份Python教程 | 附源码

《权力的游戏》最终季已于近日开播，对于全世界翘首以待的粉丝们来说，其最大的魅力就在于“无法预知的人物命运”。那些在魔幻时代的洪流中不断沉浮的人们，将会迎来怎样的结局？近日，来自 Medium 上的一位名叫 Rocky Kev 的小哥哥利用 Python 通过《权力的游戏》粉丝网站收集最喜爱演员的照片。结果是怎样的是其次的，关键是过程，用他的话来讲，“非常 enjoy！”

03

Python爬虫系列（一）初期学习爬虫的拾遗与总结（11.4更）

---- 最近，为了提取裁判文书网的有关信息，自己迈入Python的学习之路，写了快两周的代码，自己写这篇文章总结下踩过的坑，还有遇到一些好的资料和博客等总结下（站在巨人肩膀上，减少重复工作），以便自己后期复习和参考和、分享给大家交流学习，也欢迎大家补充些精彩内容。一、环境搭建和工具准备 1、为了省去时间投入学习，推荐直接安装集成环境 Anaconda 2、IDE：Pycharm、Pydev 3、工具：Jupyter Notebook（安装完Anaconda会有的）二、Python基础视频教程

05

Python 自动化指南（繁琐工作自动化）第二版：十二、网络爬取

由于计算机上的许多工作都涉及到上网，如果你的程序能上网就太好了。网络抓取是使用程序从网络上下载和处理内容的术语。例如，谷歌运行许多网络抓取程序，为其搜索引擎索引网页。在这一章中，你将学习几个模块，这些模块使得用 Python 抓取网页变得很容易。

07

Python BeautifulSoup 选择器无法找到对应元素（异步加载导致）

👋 你好，我是 Lorin 洛林，一位 Java 后端技术开发者！座右铭：Technology has the power to make the world a better place.

03

web爬虫项目实战-分类广告网站的数据抓取

今天我们使用Web抓取模块（如Selenium，Beautiful Soup和urllib）在Python中编写脚本来抓取一个分类广告网站Craigslist的数据。主要通过浏览器访问网站Craigslist提取出搜索结果中的标题、链接等信息。

03

「Python爬虫系列讲解」十、基于数据库存储的 Selenium 博客爬虫

前文回顾：「Python爬虫系列讲解」一、网络数据爬取概述「Python爬虫系列讲解」二、Python知识初学「Python爬虫系列讲解」三、正则表达式爬虫之牛刀小试「Python爬虫系列讲解」四、BeautifulSoup 技术「Python爬虫系列讲解」五、用 BeautifulSoup 爬取电影信息「Python爬虫系列讲解」六、Python 数据库知识「Python爬虫系列讲解」七、基于数据库存储的 BeautifulSoup 招聘爬取「Python爬虫系列讲解」八、Selenium 技术「Python爬虫系列讲解」九、用 Selenium 爬取在线百科知识

01

互联网企业裁员潮背后的就业危机与机遇-采集招聘信息

近年来，随着经济增速放缓、互联网流量见顶、资本寒冬等因素的影响，许多知名的互联网公司都进行了组织结构调整和人员优化，以降低成本和提高效率。据智联招聘统计，有43.4%的被裁员者表示原因是“企业生产经营状况发生困难”，有37%的被裁员者表示原因是“企业进行组织结构调整”。受到裁员影响最大的岗位是前端开发、软件测试和UI设计等职能较为单一且容易被替代的岗位。其他受到疫情影响较大的领域包括旅游、餐饮、零售、媒体等。全球范围内，IT行业都面临着就业形势严峻和竞争激烈的局面。一方面，由于市场需求下降和技术变革加速，导致了部分岗位被淘汰或缩减；另一方面，由于IT行业门槛相对较低和薪资水平相对较高，吸引了大量的求职者涌入或转行进入该行业。这就造成了供需失衡和人才结构失衡的问题。对于求职者来说，在这样一个充满挑战和机遇的时代里，如何提升自己的核心竞争力和适应能力成为了关键。在当今的互联网时代，找工作不再局限于传统的招聘网站或者人才市场，而是有了更多的选择和渠道。其中，领英、boss直聘和猎聘网是三个比较受欢迎且有效果的招聘平台。那么如何快速通过这三个平台找到适合自己并符合市场需求的工作岗位呢：

03

使用Python检测网页文本位置：Selenium与BeautifulSoup实践指南

在 Web 开发中，经常需要对网页上的文本内容进行处理和操作。有时候，我们可能需要知道某个特定文本在屏幕上的位置，以便进行后续的操作，比如模拟用户点击、自动化测试等。Python 提供了一些强大的库和工具，可以帮助我们实现这样的需求。

01

python小技能: 【自动回复社区帖子的留言】搭建selenium与ChromeDriver环境教程（Mac版本）

pip 是 Python 包管理工具，该工具提供了对Python 包的查找、下载、安装、卸载的功能。

01

使用ChatGPT自动编写Python爬虫脚本

都知道最近ChatGPT聊天机器人爆火，我也想方设法注册了账号，据说后面要收费了。

02

Python 网页抓取库和框架

作为 Python 开发人员，您可以使用许多 Web 抓取工具。现在就来探索这些工具并学习如何使用它们。

02

大公司为什么喜欢centos系统写爬虫？

CentOS是一个基于Red Hat Enterprise Linux（RHEL）源代码构建的开源操作系统，它受到大企业喜欢大多数因为他系统的稳定性，安全性以及兼容性等。可以为企业提供更多的商业支持。以我个人为例，公司在做爬虫数据抓取多是采用CentOS系统来，技术相对成熟，部署很快，并且能实现自己的项目需求。

01

selenium采集2020.8.20

一、报错WebDriverException: 'geckodriver' executable needs to be in PATH.

03

Python爬虫之携程网笔记一

前两天看了许久BeautifulSoap，想找个网站挑战一下，刚好想到之前曾经爬过携程网，想爬一下酒店信息试一下，没想到刚尝试就碰到了钉子。

02

Python爬虫技术：动态JavaScript加载音频的解析

在当今的互联网世界中，JavaScript已成为构建丰富交互体验不可或缺的技术。然而，对于网络爬虫开发者来说，JavaScript动态生成的内容却带来了不小的挑战。音频内容的动态加载尤其如此，因为它们往往涉及到复杂的用户交互和异步数据加载。本文将深入探讨如何使用Python爬虫技术来解析和抓取由JavaScript动态加载的音频数据。

01

Web Scraping指南: 使用Selenium和BeautifulSoup

在当今信息时代，数据是无处不在的宝贵资源。对于许多企业、研究人员以及开发者来说，从互联网上获取准确且有价值的数据变得越来越重要。而Web scraping（网络爬虫）技术则成为了实现这一目标的关键工具。

02

Python3网络爬虫(九)：使用Selenium爬取百度文库word文章

本文通过分析网络爬虫技术的实现，探讨了如何从网络中爬取所需信息。通过使用Python的BeautifulSoup和Selenium库，可以爬取网站的内容。同时，文章还讨论了如何爬取动态加载的内容和网站，并分析了爬取效率的问题。最后，作者分享了自己在爬虫实践中的经验和教训，并指出了爬虫技术的优缺点。

06

使用Python库实现自动化网页截屏和信息抓取

在网络时代，网页截屏和信息抓取是一项常见而重要的任务。利用Python的强大库，我们可以轻松实现自动化的网页截屏和信息抓取，为数据分析、监测和展示提供了便利。今天就给大家介绍一下如何使用Python库实现自动化网页截屏和信息抓取的相关步骤，并分享一些简单实用的代码示例，一起学习一下吧。

02

[Python爬虫]使用Python爬取动态网页-腾讯动漫(Selenium)

好久没更新Python相关的内容了，这个专题主要说的是Python在爬虫方面的应用，包括爬取和处理部分

01

使用Python爬取并下载腾讯动漫

selenium 是一个Web自动测试的工具，可以用来操作一些浏览器Driver，例如Chrome，Firefox等，也可以使用一些headless的driver，例如PhantomJS

01

Python 网络爬取的时候使用那种框架

尽管现代的网站多采取前后端分离的方式进行开发了，但是对直接 API 的调用我们通常会有 token 的限制和可以调用频率的限制。

02

抖音商城商家电话采集软件使用教程

随着抖音商城的日益繁荣，越来越多的商家涌入这个平台。为了更好地与这些商家进行沟通和合作，我们需要采集他们的联系方式。本篇文章将介绍一款抖音商城商家电话采集软件的使用教程，并附带相关代码。

01

Python爬虫之撩妹篇—微信实时爬取电影咨询

“ 本文将介绍如何使用爬虫在微信对话中实现实时的电影咨询爬取功能，希望和大家一起来分享”

02

爬虫入门指南(7):使用Selenium和BeautifulSoup爬取豆瓣电影Top250实例讲解【爬虫小白必看】

在本篇博客中，我们将使用 Python 的 Selenium 和 BeautifulSoup 库来实现一个简单的网页爬虫，目的是爬取豆瓣电影TOP250的数据，并将结果保存到Excel文件中。

01

爬虫基本功就这？早知道干爬虫了

假设windows下安装好了python和pip。下面用pip安装爬虫库requests

01

python 手把手教你基于搜索引擎实现文章查重

文章抄袭在互联网中普遍存在，很多博主都收受其烦。近几年随着互联网的发展，抄袭等不道德行为在互联网上愈演愈烈，甚至复制、黏贴后发布标原创屡见不鲜，部分抄袭后的文章甚至标记了一些联系方式从而使读者获取源码等资料。这种恶劣的行为使人愤慨。

03

Python网络爬虫实战使用Requests、Beautiful Soup和Selenium获取并处理网页数据

在网络数据变得日益丰富和重要的今天，网络爬虫成为了获取和分析数据的重要工具之一。Python作为一种强大而灵活的编程语言，在网络爬虫领域也拥有广泛的应用。本文将介绍如何使用Python中的两个流行库Beautiful Soup和Requests来创建简单而有效的网络爬虫，以便从网页中提取信息。

02

【自动化测试】Selenium

web应用程序测试工具（录制、编写、运行、测试并行处理） api 编辑并行测试

02

6个强大且流行的Python爬虫库，强烈推荐！

Python中有非常多用于网络数据采集的库，功能非常强大，有的用于抓取网页，有的用于解析网页，这里介绍6个最常用的库。

01

「Python爬虫系列讲解」十一、基于登录分析的 Selenium 微博爬虫

前文回顾：「Python爬虫系列讲解」一、网络数据爬取概述「Python爬虫系列讲解」二、Python知识初学「Python爬虫系列讲解」三、正则表达式爬虫之牛刀小试「Python爬虫系列讲解」四、BeautifulSoup 技术「Python爬虫系列讲解」五、用 BeautifulSoup 爬取电影信息「Python爬虫系列讲解」六、Python 数据库知识「Python爬虫系列讲解」七、基于数据库存储的 BeautifulSoup 招聘爬取「Python爬虫系列讲解」八、Selenium 技术「Python爬虫系列讲解」九、用 Selenium 爬取在线百科知识「Python爬虫系列讲解」十、基于数据库存储的 Selenium 博客爬虫

04

使用Python轻松抓取网页

抓取网页入门其实挺简单的。在之前的文章中我们介绍了怎么用C#和JAVA两种方法来抓取网页，这一期给大家介绍一种更容易，也是使用最广泛的一种抓取方法，那就是Python。

02

如何轻松爬取网页数据？

02

python 手把手教你基于搜索引擎实现文章查重

文章抄袭在互联网中普遍存在，很多博主都收受其烦。近几年随着互联网的发展，抄袭等不道德行为在互联网上愈演愈烈，甚至复制、黏贴后发布标原创屡见不鲜，部分抄袭后的文章甚至标记了一些联系方式从而使读者获取源码等资料。这种恶劣的行为使人愤慨。

04

携程，去哪儿评论，攻略爬取

前几天受朋友委托要爬取携程网和去哪儿网一些景点的评论，在翻阅了许多代码后并自己改写后终于完成。

01

Python使用爬虫ip爬取动态网页

写爬虫很难？在我看来，写爬虫需要具备一定的编程基础和网络知识，但并不需要非常高深的技术。在学习爬虫的过程中，我发现最重要的是掌握好两个点：一是如何分析网页结构，二是如何处理数据。对于第一个点，我们需要了解HTML、CSS、JavaScript等前端知识，以及使用开发者工具等工具进行网页分析；对于第二个点，我们需要了解正则表达式、XPath、BeautifulSoup等数据处理工具。此外，还需要注意反爬虫机制和法律法规等方面的问题。总之，学习爬虫需要耐心和实践，不断尝试和总结，相信只要坚持下去，一定能够取得不错的成果。

01

Python 爬取飞猪上全国景点的数据

前段时间有人找我写代码爬点东西，就是爬飞猪上全国景点的当月销量、优惠价、城市这些数据，等我写好了之后，他说不要了…

04

解析动态内容

根据权威机构发布的全球互联网可访问性审计报告，全球约有四分之三的网站其内容或部分内容是通过JavaScript动态生成的，这就意味着在浏览器窗口中“查看网页源代码”时无法在HTML代码中找到这些内容，也就是说我们之前用的抓取数据的方式无法正常运转了。解决这样的问题基本上有两种方案，一是JavaScript逆向工程；另一种是渲染JavaScript获得渲染后的内容。

02

《6大爬虫利器，轻松搞定爬虫》

工欲善其事必先利其器，Python之所以流行在于她有非常丰富的第三方包，无论是Web框架还是机器学习框架、抑或是爬虫框架，多得让人眼花缭乱，这给了开发者极大的选择性，这是其它语言没法企及的。今天小编就来推荐10个牛逼的爬虫利器，助你轻松搞定爬虫。 1、Requests Requests是一个HTTP请求库，完美体现了Python简单、优雅、易勇的编程哲学，开发者经常拿它的源代码作为参考，是不可多得的源代码学习资料。官网地址：http://docs.python-requests.org/en/master/

08

（数据科学学习手札50）基于Python的网络数据采集-selenium篇（上）

接着几个月之前的（数据科学学习手札31）基于Python的网络数据采集（初级篇），在那篇文章中，我们介绍了关于网络爬虫的基础知识（基本的请求库，基本的解析库，CSS，正则表达式等），在那篇文章中我们只介绍了如何利用urllib、requests这样的请求库来将我们的程序模拟成一个请求网络服务的一端，来直接取得设置好的url地址中朴素的网页内容，再利用BeautifulSoup或pyspider这样的解析库来对获取的网页内容进行解析，在初级篇中我们也只了解到如何爬取静态网页，那是网络爬虫中最简单的部分，事实上，现在但凡有价值的网站都或多或少存在着自己的一套反爬机制，例如利用JS脚本来控制网页中部分内容的请求和显示，使得最原始的直接修改静态目标页面url地址来更改页面的方式失效，这一部分，我在（数据科学学习手札47）基于Python的网络数据采集实战（2）中爬取马蜂窝景点页面下蜂蜂点评区域用户评论内容的时候，也详细介绍过，但之前我在所有爬虫相关的文章中介绍的内容，都离不开这样的一个过程：

05

如何使用Selenium Python爬取多个分页的动态表格并进行数据整合和分析

在网络爬虫的领域中，动态表格是一种常见的数据展示形式，它可以显示大量的结构化数据，并提供分页、排序、筛选等功能。动态表格的数据通常是通过JavaScript或Ajax动态加载的，这给爬虫带来了一定的挑战。本文将介绍如何使用Selenium Python这一强大的自动化测试工具来爬取多个分页的动态表格，并进行数据整合和分析。

04

Selenium——控制你的浏览器帮你爬虫

大家应该都有过从百度文库下载东西的经历，对于下载需要下载券的文章，我们可以办理文库VIP；又或者使用“冰点文库”这样的下载软件，但是对于会爬虫的人来说，当然就是把他爬下来。

02

2024,Python爬虫系统入门与多领域实战指南fx

在数据驱动的今天，Python爬虫技术已成为获取网络数据的重要手段。本文将从Python爬虫的基础知识入手，逐步深入到多领域的实战应用，帮助读者构建一个完整的爬虫系统。

01

python+selenium 脚本实现每天自动登记的思路详解

最近受疫情影响，学校要求每天必须进行健康登记，而我身处大山深处，身体健康，足不出户，奈何总是容易忘记，遂决定手撸一个自动登记的小程序，仅供学习交流之用，话不多说，直接上代码。配置：Chrom python3.7 selenium库，webdriver等基本思路，使用selenium模拟浏览器自动登录，需要解决验证码的提取，嵌套表单的提取，弹窗处理，异常处理。为了防止大家用此网站测试，搞垮服务器，关键网址我已隐藏。

02

[Python从零到壹] 六.网络爬虫之BeautifulSoup爬取豆瓣TOP250电影详解

前文作者详细介绍了BeautifulSoup技术，这篇文章主要结合具体实例进行深入分析，讲述一个基于BeautifulSoup技术的爬虫，爬取豆瓣排名前250部电影的信息，内容包括：

02

Python 爬虫之Selenium终极绝招

这里简单解释一下什么是Selenium，它其实是一个网站前端压力测试框架，更通俗的说，它能直接操作浏览器，试想一下，网页是在浏览器里面加载的，如果我们能用代码操控浏览器，那我们想要爬取什么数据不能通过浏览器获取？无所不爬！

03

Python爬取新浪微博用户信息及内容

新浪微博作为新时代火爆的新媒体社交平台，拥有许多用户行为及商户数据，因此需要研究人员都想要得到新浪微博数据，But新浪微博数据量极大，获取的最好方法无疑就是使用Python爬虫来得到。网上有一些关于使用Python爬虫来爬取新浪微博数据的教程，但是完整的介绍以及爬取用户所有数据信息比较少，因此这里分享一篇主要通过selenium包来爬取新浪微博用户数据的文章。

02

6大爬虫利器，轻松搞定爬虫

工欲善其事必先利其器，Python之所以流行在于它有非常丰富的第三方包，无论是Web框架还是机器学习框架、抑或是爬虫框架，多得让人眼花缭乱，这给了开发者极大的选择性，这是其它语言没法企及的。今天小编就来推荐6个牛逼的爬虫利器，助你轻松搞定爬虫。 1、Requests Requests是一个HTTP请求库，完美体现了Python简单、优雅、易勇的编程哲学，开发者经常拿它的源代码作为参考，是不可多得的源代码学习资料。官网地址： http://docs.python-requests.org/en/master/

06

windows下python常用库的安装

windows下python常用库的安装，前提安装了annaconda 的python开发环境。只要已经安装了anaconda，要安装别的库就很简单了。只要使用pip即可，正常安装好python，都会自带pip安装工具，在python的scripts安装目录下可以查看。具体安装步骤：使用Anaconda在windows下管理python开发环境 python常用库的安装是python爬虫开发的基石。

03

Python爬虫在Web应用自动化测试中的应用

在Web应用开发过程中，自动化测试是确保应用质量和稳定性的重要环节。本文将介绍如何使用Python爬虫与自动化测试技术相结合，实现对Web应用进行自动化测试的方法和步骤。通过这种结合，我们可以提高测试效率、减少人力成本，并确保应用在不断迭代中的稳定性和可靠性。

03

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭