使用selenium和漂亮汤的Web抓取代码不能正常工作
使用selenium和漂亮汤(Web Scraping框架)的Web抓取代码不能正常工作的原因可能有多种情况，以下是一些常见的问题和解决方法：
- 驱动安装问题：selenium需要与指定浏览器相应版本的驱动程序配合使用。请确保已正确安装相应浏览器的驱动，并将驱动程序的路径配置到环境变量中。
- 浏览器版本兼容性问题：selenium和漂亮汤可能不支持某些特定版本的浏览器。请检查你使用的浏览器版本是否在它们的支持范围内，并考虑升级或降级浏览器。
- 页面加载延迟问题：有些网页可能需要一些时间才能完全加载，但代码可能在页面还未加载完全时开始操作元素，导致无法正常工作。可以尝试添加等待时间或使用显式等待来确保页面完全加载后再进行操作。
- 元素定位问题：selenium和漂亮汤通过定位元素来进行操作，如果元素的定位不准确或没有找到对应的元素，代码将无法正常工作。请检查定位元素的方法和参数是否正确，并确保元素在页面中存在。
- 验证码或登录限制：某些网站可能会采取验证码、登录限制等机制来防止自动化程序的访问。如果你的代码无法正常工作，有可能是因为被这些机制所阻挡。可以尝试使用其他方式绕过或模拟这些机制。
总结起来，对于使用selenium和漂亮汤的Web抓取代码不能正常工作的问题，首先需要检查驱动安装和配置是否正确，然后确保浏览器版本兼容性，并解决页面加载延迟、元素定位以及验证码或登录限制等可能的问题。如果仍然无法解决，可以尝试参考相关文档或寻求社区支持。
相关·内容
2回答
用硒美汤寻找元素
、、、
一般来说，我对网络抓取和数据科学是个新手。根据不同的消息来源，美丽的汤比硒更快的抓取网页。我正在写一些在社交媒体评论中爬行的代码。我使用Selenium自动单击检索旧注释的按钮，并使用以下命令从注释中获取文本
driver.find_element_by_xpath()
我知道feature没有允许我直接输入xpath来查找元素的特性。
在这种情况下，我是否应该摆脱对xpath的依赖，并尝试更轻松地使用可以由漂亮的汤使用的选择器呢？
我的代码现在感觉非常笨重，需要几分钟的时间，尽管我只处理了大约120条评论。
如果之前有人问过这个问题，我很抱歉；我在网站上找不到它。谢谢!
浏览 18提问于2019-07-24得票数 0
回答已采纳
1回答
我正在尝试从以下html文件中抓取iFrame (id=“id=”)的内容：
我试着使用selenium和漂亮的汤，但是代码仍然看不到iFrame中的元素。
有没有一种有效的方法从这个html文件中抓取上述iFrame的内容(最好不使用selenium)？
浏览 3提问于2020-05-27得票数 0
回答已采纳
因此，我正在开发一个项目来抓取一个网站并将数据传递给用户，但是我正在使用带有python/flask的selenium/selenium web驱动程序。我本来打算用漂亮的汤，但我抓取的网站需要在页面上进行一些交互。 我有一切工作与刮刀，我只是试图找出一种方法，使这项工作，如果我想要托管在一个网站上使用的服务，如heroku。 目前Selenium正在打开一个chrome浏览器，并以这种方式浏览页面。有没有一种聪明的方法可以不用打开浏览器就可以做到这一点，并且在使用某些服务托管时可以无缝工作？
浏览 20提问于2020-05-03得票数 1
3回答
我试图创建一个web抓取程序，但是每当我编写：从bs4导入漂亮汤时，我总是会得到错误：no模块名为bs4。我安装了bs4 by：pip安装beautifulsoup4和pip安装bs4，但是没有工作。谢谢!
浏览 4提问于2021-10-03得票数 1
回答已采纳
1回答
登录重定向后的web抓取
、、、
我需要从一个网页抓取数据“阻止”登录重定向。因此，我使用selenium输入所有必要的登录信息，并导航到数据所在的位置。然而，据我所知，selenium不支持提取标题和其他文本数据，这意味着我将不得不使用另一个web抓取工具，如beautiful soup。但是，这些工具需要一个直接的URL链接，该链接无论如何都会将该工具重定向到登录页面。 有没有办法可以使用selenium来提取数据，或者使另一个工具能够与已经登录的selenium工具交互来提取数据？
浏览 26提问于2020-08-13得票数 0
回答已采纳
3回答
我正在用Django web框架用Python制作一个网络抓取应用程序。我需要用漂亮的汤库抓取多个查询。下面是我写的代码的快照：
for url in websites:
r = requests.get(url)
soup = BeautifulSoup(r.content)
links = soup.find_all("a", {"class":"dev-link"})
实际上，网页的抓取是按顺序进行的，我想以并行的方式运行它。我对Python中的线程化不是很了解。谁能告诉我，我怎样才能并行抓取？任何帮助都将不胜感激。
浏览 0提问于2017-05-29得票数 2
我正在尝试通过网络抓取下面的网站"url='‘“。该网站包含8000多个数据。从这个页面，我需要像公司名称和链接，加入日期和追随者的信息。在此之前，我需要通过单击按钮对关注者列进行排序。然后通过单击更多隐藏按钮加载更多信息。该页面最多可点击(更多隐藏)内容20次，之后不会加载更多信息。但我只能通过排序来获取最高关注者的信息。在这里，我实现了click()事件，但它显示了错误。
Unable to locate element: {"method":"xpath","selector":"//div[@class="
浏览 0提问于2017-10-15得票数 1
在stackoverflow上的第一个帖子，所以如果我没有正确发帖，我道歉。我试图抓取网页的信息，只有当一个特定的文本字符串存在。我只是使用了漂亮的汤，但找不到包含我正在寻找的文本的元素。经过更多的研究，我尝试使用selenium，因为我知道一些动态加载的元素在漂亮的汤中是找不到的。到目前为止，我仍然找不到文本字符串。当我检查元素时，文本是可定位的。
TLDR:我想要抓取这个网页的每股价格，因为我可以找到‘公开发行价格’的文本。我不能找到字符串时，我使用美丽的汤或硒，但我可以找到与检查元素()
浏览 0提问于2020-06-06得票数 1
我正在努力搜集一张表，里面有美国所有总统选举的结果。为此，我想使用selenium。我相信我要抓取的表是由客户端脚本(javescript)执行的，因此在抓取site.Note之前，我试图注意某个特定标记的存在:我尝试过用漂亮的汤直接抓取页面，但总是得到“无”的响应。 这是我的代码。 from selenium import webdriver
from bs4 import BeautifulSoup
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import
浏览 16提问于2020-11-21得票数 1
回答已采纳
我正在尝试从我的VPS中做一些web抓取，我已经安装了selenium和chromedriver，但是现在看来我需要Chrome二进制文件才能使一切按预期工作。
我在Linux专用服务器上，如何安装哪个二进制文件才能使我的抓取工作正常进行？
浏览 9提问于2022-01-08得票数 0
在抓取页面时，我尝试在不被重定向的情况下获得下一页。问题是这个按钮在html中没有下一个页面url，所以我不能直接用漂亮的汤或selenium获得它，只有单击：
div_list = driver.find_element(by=By.CSS_SELECTOR,value='[class = "ma-NavigationPagination"]')
nav_list = div_list.find_elements(by=By.TAG_NAME, value = "button")
nav_list[-1].click()
上面的代码查找并单击按
浏览 8提问于2022-05-12得票数 1
回答已采纳
我想用以下代码解析一个html站点：
<div class="dates">
<div class="clearfix" id="datesDiv"></div>
::before
"some text" <span></span>
"some other text"
::after
</div>
我怎么才能得到“一些文字”和“一些其他文本”与美丽的汤？
soup.find和soup.select的搜索对我都没有用。结果总是空的。当我查看整个站
浏览 1提问于2017-05-07得票数 1
回答已采纳
1回答
我正在尝试从这个中抓取数据
我的想法是爬行网络上的所有链接，然后使用for发送请求到每个链接，以获得详细的数据。
这是我的，正如您所看到的，我使用selenium web驱动程序打开URL，然后使用漂亮的汤来抓取数据。
它的工作非常成功，但是当它被导出到CSV文件时，第一个链接的从upload_date到number_employees的类别与下面的第一个相同
每个链接中的upload_date到number_employees显示在页面中，如下面的框所示
。
我该如何解决这个问题？
衷心感谢。<3P/s:我还有一个问题，就是我需要登录到web，以便在每个链接中爬行salary，但我
浏览 1提问于2021-02-03得票数 0
回答已采纳
1回答
我目前正在使用Python进行web抓取。我使用了Selenium和Beautifulsoup库来抓取。我最近知道Selenium适用于php/Laravel。
我的问题是，我可以使用Laravel + Selenium web驱动程序抓取web吗？如果是，你能给我提供一些链接或存储库，以便我学习吗？我被迫在我的抓取工作中使用php/Laravel，因为他们说php很容易在服务器上部署/执行来进行实时抓取。
浏览 19提问于2019-11-19得票数 0
我想从一个使用Python中的“美丽汤”的网站上抓取数据。网站根据用户的选择更改下拉菜单的值。在更改下拉菜单的值时没有api调用。仔细看一下，我注意到有一个javascript函数在内部调用，以获取下拉菜单的值。我的问题是下拉菜单的值不在页面源中。它们是通过调用js函数获得的，但是没有api调用，我不能请求那个值。有人能告诉我如何从python代码中调用javascript函数吗？我在用漂亮汤刮网。
谢谢
浏览 7提问于2014-04-06得票数 1
回答已采纳
1回答
为了节省EC2成本，我想在AWS上运行一个脚本。但是，这个脚本还需要PhantomJS、oauth2client、PYOpenSSL、selenium，当然还有漂亮的汤来完成它的抓取。
是否有可能在AWS Lambda上运行“美丽汤”(通过运行以上所需的附加程序)？
浏览 4提问于2017-08-15得票数 2
回答已采纳
我已经看了stackoverflow上关于美丽汤的大部分问题，只从网站上抓取了一半的数据，但到目前为止还没有一个有效。我已经尝试将功能更改为lxml或html5lib等。我也尝试使用selenium，现在我尝试使用selenium向下滚动网站，使用selenium加载网站上的所有内容，并使用漂亮的汤来抓取数据，但当需要超过100个项目时，它只抓取16个项目。我已经在下面附上了我的代码。
我正在尝试抓取的网站的链接：
from selenium import webdriver
from selenium.webdriver.common import timeouts
from seleniu
浏览 0提问于2021-07-04得票数 0
1回答
我现在开始用漂亮的汤来抓取网站，我想我已经掌握了基本的知识，虽然我缺乏网页的理论知识，但我会尽我最大的努力来表达我的问题。
我所说的动态网页是这样的:一个网站，它的HTML会根据用户的动作而改变，在我的例子中，它是可折叠的表格。
我想获得一些"div“标签中的数据，但是当你加载页面时，数据在html代码中似乎是不可用的，当你点击表格时，它会展开，这个"div”的"class“从类似于"something blabla collapsible”变成了"something blabla collapsible active“，这是我可以用我的知识抓取的。
我
浏览 1提问于2016-11-22得票数 4
1回答
我正在使用selenium从一个用JavaScript加载数据的中抓取体育比赛结果。我已经编写了一个简单的函数来获取html代码，并将其发送到美丽汤，然后解析相关部分(见下文)。为了获得所有结果，我需要selenium单击“显示更多结果”按钮。不幸的是，这不能正常工作-该函数只返回最初可见的结果：
url="'http://www.flashscore.com/tennis/wta-singles/australian-open-2016/results/'"
def get_results(url):
try:
from urllib.
浏览 1提问于2017-01-18得票数 0
我已经在漂亮汤的帮助下用python创建了一个web scraping项目，但我希望我的项目能作为桌面应用程序工作。因此，我可以运行该应用程序，并在特定的url上执行web抓取。
有没有可能使用python和美汤，或者我必须用不同的语言制作这个项目？
浏览 0提问于2020-04-05得票数 0
我用它添加了一个带有Selenium的扩展，现在我转到了Beautiful soup，我正在寻找一种方法，在拥有扩展的同时，通过美丽的汤来抓取。我怎么才能在漂亮的汤里做到这一点呢？
import selenium
import os
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
executable_path = "C:\Program Files (x86)\chromedriver.exe"
os.environ["webdriver.chr
浏览 0提问于2021-08-05得票数 0
1回答
我试着用漂亮的汤从网站上抓取数据，但要抓取所有内容，我必须点击按钮 <button class="show-more">view all 102 items</button> 加载每一项。我听说可以用selenium来完成，但这意味着我必须用脚本打开浏览器，然后抓取数据。有没有其他方法来解决这个问题。
浏览 16提问于2019-06-10得票数 0
我正在尝试从IMDB抓取电影信息。在大多数情况下，它是有效的，但对于一些电影，标题是不同的HTML检索美丽的汤，然后是火狐显示的源代码。例如，当在IMDB中搜索witch时，我会得到这个页面：
所以我搜索电影，然后用下面这行代码得到电影的URL：
page = urlopen(url)
soup = BeautifulSoup(page, 'html.parser')
movieLink = soup.find('a', text = movieTitle)['href']
imdbLink = 'http://www.imdb.com
浏览 1提问于2017-06-13得票数 2
3回答
我现在是一个学生，我现在学习的是美丽的汤，所以我的讲师就像我一样从商店里收集数据，但是我不能擦拭产品的细节。目前，我正在尝试从中抓取数据。我只想弄清楚产品的名称和价格。有人能告诉我为什么我不能用漂亮汤刮数据吗？
这是我的代码：
from requests import get
from bs4 import BeautifulSoup
url = "https://shopee.com.my/shop/13377506/search?page=0&sortBy=sales"
response= get (url)
soup=BeautifulSoup(response
浏览 2提问于2020-05-28得票数 3
回答已采纳
1回答
抓取元素在页面源中不可见
、、、
我试图抓取一个网站(https://harleytherapy.com/therapists?page=1)，它看起来像是由Javascript生成的，而我试图抓取的元素(带有id="downshift-7-menu"的lu )并没有出现在“页面源代码”中，而只是在我点击“检查元素”之后才出现。 我试着在这里找到一个解决方案，到目前为止，这是我能想出的代码(硒+美汤的组合) import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.c
浏览 21提问于2020-12-27得票数 1
回答已采纳
2回答
我想从这个网站上得到这个悬停信息：。
当我盘旋时。在第一个起始点"Jumby Bay“上，我得到了这个悬停信息：
当我检查代码时，我看不到任何关于这方面的信息？有什么方法可以让这个信息使用selenium /优美的汤来抓取吗？
浏览 3提问于2022-04-16得票数 1
回答已采纳
我想从不同的网页上抓取一个由Selenium打开的网页。 我在一个使用Selenium的网站上输入了一个搜索词，这让我进入了一个新的页面。我的目标是在这个新页面上创建一道汤。但是，汤是从我输入搜索词的前一页创建的。请帮帮我！ from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
driver = webdriver.Firefox()
driver.get('http://www.ratestar.in/')
i
浏览 46提问于2019-01-26得票数 2
回答已采纳
在使用BeautifulSoup从中刮取数据时，我遇到了一个问题。我以前在Bballreference上使用过BeautifulSoup，所以我对正在发生的事情有些困惑(当然，我是一个相当大的菜鸟，所以请容忍我)。
我试着从上抓取球队赛季的数据，从一开始就遇到麻烦：
from bs4 import BeautifulSoup
import requests
web_response = requests.get('https://www.basketball-reference.com/leagues/NBA_2020.html').text
soup = Beautiful
浏览 5提问于2020-06-01得票数 1
回答已采纳
2回答
所以我试着抓取网页的内容。最初我尝试使用BeautifulSoup，但是我无法获取内容，因为内容是动态加载的。 在四处阅读之后，我试着根据人们的建议使用Selenium，但是在这样做之后，我仍然无法获取内容。刮出来的东西跟美汤一样。 是不是就不能抓取这个网页的内容呢？(例如：https://odb.org/TW/2021/08/11/accessible-to-all) import datetime as d
import requests
from bs4 import BeautifulSoup as bs
# BeautifulSoup Implementation
def dev
浏览 35提问于2021-08-11得票数 0
回答已采纳
1回答
我正在尝试从这个网页上的容器中抓取内容：
我通常使用漂亮的汤进行网络抓取，但在这种情况下，我发现它并不适用于这个网站。当我运行我的“汤”时，我只得到网站架构的细节，而不是网站上可用的容器中的内容。
page_link = 'check24.de/handytarife/vergleich?activeForm=sim'
page_response = requests.get(page_link, timeout=5, verify=False, headers={'User-Agent': 'Mozilla/5.0'})
soup = Be
浏览 1提问于2018-10-31得票数 1
回答已采纳
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options`
from bs4 import BeautifulSoup
import pandas as pd
to ‘您试图在Python2下使用Python3特定版本的美丽汤。这是行不通的。支持Python2的漂亮汤的最终版本是4.9.3’
ValueError:源代码字符串不能包含空字节
浏览 7提问于2022-09-24得票数 0
我已经使用selenium创建了多个python脚本，这些脚本将生成一个包含将近100,000行和25列的数据表的网页。此代码的一个示例是can be found here。之后，我打算用美味的汤刮擦桌子。然而，我一次又一次地收到这个错误消息。 selenium.common.exceptions.TimeoutException: Message: timeout: Timed out receiving message from renderer: -0.001
(Session info: chrome=81.0.4044.113) 有没有什么原因让这条消息一直弹出来？有没有办法修
浏览 85提问于2020-04-18得票数 1
我正在使用Ruby和selenium-webdriver gem创建一个web爬行/抓取脚本。我差不多已经完成了项目，但还停留在某个阶段。
我正在抓取的站点在对服务器的页面调用中使用并显示一个字符串，问题是它显示了50%的次数，而不是100%。所以我需要循环get函数，直到它显示字符串为止。
我使用了隐式和显式等待，但它们都在条件>>等待中工作，直到>>条件>> {在条件为TRUE之后继续运行，或者抛出异常}，这将在50%的情况下破坏我的脚本。
#throws exception after timout
wait = Selenium::WebDrive
浏览 4提问于2017-07-11得票数 1
1回答
我是HTML的新手，我正在尝试用漂亮的汤抓取一些web数据。
我已经从网站上抓取了这个，并试图提取标题和链接。
value = <a class="AnchorLink News__Item external flex flex-row" href="https://abcnews.go.com/Politics/biden-harris-make-appearance-historic-democratic-ticket/story?id=72327968" name="&lpos=toolkit" tabindex=&#
浏览 1提问于2020-08-13得票数 0
我想从一些页面抓取和保存图片，页面来源是：
我尝试了几个python库来保存这个图像，比如scrappy和selenium，但是由于图像的src，它们不能正常工作！
import urllib
from selenium import webdriver
driver = webdriver.Firefox()
driver.get('https://example.com/aportal/')
img = driver.find_element_by_xpath("//img")
src = img.get_attribute('src')
u
浏览 20提问于2018-09-16得票数 0
是否可以将用户打开的浏览器的控制权传递给selenium webdriver？例如，假设我正在浏览一个站点(手动)，并且喜欢一个特定的页面www.facebook.com，我决定抓取它。我怎样才能把这个页面的控制权交给我的chrome web驱动程序，让selenium做我需要的任何抓取工作呢？我不介意换个浏览器，我用的是Mac。
我能够弄清楚如何从web驱动程序启动浏览器会话，然后使用会话id和执行器url稍后使用另一个web驱动程序获取它，但是，我需要用户能够启动会话。如何才能做到这一点？
谢谢
PS:我知道我可以使用.get(url)或.gotourl(url)方法让selenium转到
浏览 1提问于2018-04-23得票数 0
下面是我想要抓取的HTML：
我正在尝试使用Selenium在每个'tr‘下获得'td’的第一个实例(漂亮的汤在这个站点上不起作用)。这个列表非常长，所以我尝试迭代地完成它。下面是我的代码：
from selenium import webdriver
import os
# define path to chrome driver
chrome_driver = os.path.abspath('C:/Users/USER/Desktop/chromedriver.exe')
browser = webdriver.Chrome(chrome_d
浏览 2提问于2020-06-27得票数 0
1回答
不久之前，我才开始学习python，我希望更多地了解我导入的模块的功能和方法是如何工作的。
我希望python库类似于javascript框架--在这里，我可以进入一个导入的文件，查看构建框架/模块的实际代码。
但是当我在python子目录中搜索时，我发现模块是.lib格式的。
那么，标准库模块是实际的python代码，我可以以某种方式检查它的功能吗？或者它们太深，我无法像这样研究它们？
顺便提一句，对于非标准的图书馆进口，也就是漂亮汤，同样的规则会适用吗？我希望通过查看代码来了解webscraping是如何从底层抓取的。
谢谢
浏览 1提问于2014-07-02得票数 3
回答已采纳
2回答
我正试着从inc5000站点(“”)中抓取所有的公司名称。问题是公司名称是用JavaScript显示的。我尝试过使用selenium和requests_html来呈现站点，但是当我获取页面的源代码时，我得到了JavaScript。这就是我尝试过的。我对网络抓取很陌生，所以我可能犯了一些愚蠢的错误。请指导。
这是我的密码。
...
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.chrome.options import
浏览 2提问于2022-07-05得票数 0
回答已采纳
1回答
我使用selenium +美汤(使用selenium打开包含大量javascript的页面，并使用javascript命令将其转换为BeautifulSoup对象)来从体育网站上抓取数据，但由于某些原因，我不能使用无头浏览器。当我使用chromedriver实现无头浏览器时，我几乎不会像让chromedriver打开并运行时那样抓取大量数据。有没有人有类似的问题，或者有什么建议？
def get_bs(self, url, sport_url):
driver = webdriver.Chrome(executable_path='drivers/chromed
浏览 2提问于2020-05-09得票数 0
在几次请求之后，我的抓取代码被目标站点使用re-captcha阻止。我使用https://github.com/gocolly/twocaptcha使用selenium chrome驱动程序绕过验证码。使用selenium chrome驱动程序时，它可以正常工作，但当我运行我的抓取再次编写代码，但它仍然被阻塞。 我的问题是： 当使用selenium chrome驱动绕过re-captcha时，为什么我的代码仍然阻塞？ 如何绕过这个re-captcha块？
浏览 69提问于2020-08-13得票数 0
回答已采纳
1回答
Python抓取td类跨度
、、、、
新来的Python和Web抓取..。我一直在寻找刮擦突出显示的一段代码，以便我可以检索数字1.16，7.50和14.67，但没有joy在使用td，类，表-matches_pageSoup.find_all_ of .有人知道我在这里错过了什么吗？
我用的是漂亮的汤。
浏览 2提问于2018-02-25得票数 0
回答已采纳
2回答
我是Python的新手，所以很抱歉这是一个新手问题。
我正在尝试构建一个涉及web抓取的程序，我注意到Python3的web抓取模块似乎比Python2.x系列少得多。
美汤、机械化和scrapy -这三个模块向我推荐--似乎都是不兼容的。
我想知道这个论坛上有没有人有使用python3进行网络抓取的好选择。
任何建议都将不胜感激。
谢谢，威尔
浏览 1提问于2011-08-11得票数 5
1回答
这里有一段代码，我希望它能打印出某个标记的值。我已经得到了归因于元素的类的名称：‘main-line-status’和‘status’。这些值是用JavaScript生成的客户端，所以为了让它正常工作，我肯定会花费20秒的时间。相关的代码块是这样的：
from bs4 import BeautifulSoup
from webdriver_manager.microsoft import EdgeChromiumDriverManager
from selenium import webdriver
from selenium.webdriver.common.by import By
fro
浏览 0提问于2021-09-18得票数 0
回答已采纳
1回答
内部跟踪事务Python
、、、
我一直试图找出使用python获取网络内部/跟踪事务的最佳方法。
我在论坛上读过其他主题，其中说这些内容没有记录在区块链上，所以web3.py不是一个选项，您必须使用一种专门的EVM来使用契约来模拟给定的事务，我试图避免这种情况，因为在python上似乎很复杂.
我正在考虑使用以太扫描站点内部交易净额，我可能会使用漂亮的汤进行网络抓取，但我不知道是否有人知道一个更好的方法，它可以使用基于python的api来实现这个功能(包含一个散列，返回内部事务)，它可以与以太扫描/愤怒交互.
浏览 0提问于2020-02-28得票数 3
回答已采纳
2回答
我试着用美丽的汤从网站刮数据。如果向下滚动到个人Play部分，单击"share and more > get table as csv“，就会出现表格数据的CSV表单。如果我检查这个CSV文本，我会发现它在<pre>标记中，并且有一个id "csv_all_plays“
我正在尝试使用python包--漂亮汤--来抓取这些数据。我现在做的是
nfl_url = #the url I have linked above
driver = webdriver.Chrome(executable_path=r'C:/path/to/chrome/driver
浏览 1提问于2019-06-19得票数 1
回答已采纳
1回答
我想从网站上抓取犯罪新闻文章，但汤对象不返回所需的div标签，有人能给我原因吗？
import requests
from bs4 import BeautifulSoup
page = requests.get("https://www.nst.com.my/news/crime-courts?page=1")
soup = BeautifulSoup(page.text, 'html.parser')
print(soup)
浏览 1提问于2021-12-29得票数 0
1回答
是否有不是用户或外部库的python web刮刀库？
我发现了漂亮的汤、硒和请求作为用户创建的python web抓取库。
在我开始做这个之前，我只想知道我是否不需要安装不同的库。
浏览 3提问于2022-03-13得票数 -1
回答已采纳
1回答
未找到Pipenv模块
、、、
我已经有一段时间没有用Python进行开发了，看到pipenv进入这个场景，我真的很兴奋。然而，我在使用它时遇到了一些问题。
我安装了pipenv，然后使用了pipenv install beautifulsoup4。我的理解是，这应该已经创建了一个pipfile和一个虚拟环境。所以我启动了pipenv shell。瞧，我的文件在那里，还有美丽的汤。我想做的下一件事是pipenv install selenium。我写了这个非常简短的脚本(我现在正在学习做网络抓取)：
from bs4 import BeautifulSoup
from selenium import webdriver
d
浏览 1提问于2018-03-20得票数 4
回答已采纳
我在selenium中有一个功能正常的web抓取工具，然后突然开始收到以下错误: selenium.common.exceptions.WebDriverException:消息:进程意外关闭，状态为-1073740791
示例代码：
opts = FirefoxOptions();
opts.add_argument("--headless");
opts.log.level = "trace";
opts.binary = 'C:\\Users\\PATH\\firefox.exe';
driver = Firefox(executable
浏览 1提问于2021-03-05得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
