我正在尝试抓取这个网站：https://glaw.scourt.go.kr/wsjo/panre/sjo100.do?我正在尝试抓取每个页面右侧框中的内容，直到我到达最后一项(即，直到单击다음글 (下一项)只刷新同一页)。我的代码如下所示(使用递归)，但是从print语句打印出来的urls往往会随着时间的推移而重复(它们会打印两次或更多)。from bs4 import BeautifulSoup
from selenium import webd
浏览 67提问于2021-08-03得票数 0
1回答
2-当我看到带有浏览器(firefox和chrome)的“查看页面源”的页面源时，所有选项卡的页面源看起来也是相同的，而当我对其中一个选项卡使用“检查Elemnt”时，我看到我的目标内容以html形式显示的代码问题是，我无法通过python访问所需选项卡的内容，这是web世界中可用的典型WEB抓取代码。这些代码通常是基于bs4的。
有没有人有任何想法或示例代码来学习如何处理我的问题？
浏览 2提问于2020-02-06得票数 4
回答已采纳
在使用selenium/webdriver进行web抓取时，我意识到目标站点正在运行google分析脚本。有没有办法限制selenium/webdriver/htmlunit来避免某些urls/域？
浏览 2提问于2011-06-24得票数 6
我正在使用Python中的Selenium webdriver进行web抓取项目。谢谢
浏览 19提问于2011-11-30得票数 5
回答已采纳
1回答
我正在尝试使用WWW::Mechanize模块从页面中抓取表单及其字段。因为网页的主体是使用document.write JS调用创建的，所以此模块中的表单方法找不到我正在查找的表单，并且对content方法的调用将返回页面源代码。有没有可能使用mechanize模块，如果可以，我该怎么做呢？如果没有，是否有其他Perl模块可以帮助我？谢谢!
浏览 3提问于2014-08-07得票数 1
1回答
我想使用Python模块Selenium在jupyter笔记本中进行web抓取。jupyter notebook在没有任何web浏览器的docker容器中运行。我希望能够分发笔记本，以便网络抓取可以被其他用户复制。notebook在普通的jupyter实验室容器上运行，不可能更新容器以包括浏览器。我尝试了很多方法： from selenium import webdriver
from webdriver_manag
浏览 57提问于2020-09-15得票数 0
3回答
我正在制作一个web刮刀，它可以将我的YouTube频道统计数据带回到python中，所以我去了我的YouTube站点，复制了这个链接并用bs4粘贴它打印了汤。我不知道这个(我对网络抓取是新的)。
浏览 3提问于2021-01-24得票数 0
回答已采纳
我正在学习使用Python Selenium和BeautifulSoup进行web抓取。目前，我正在尝试抓取谷歌搜索趋势上的热门搜索from bs4 import BeautifulSoup
浏览 1提问于2013-05-17得票数 15
1回答
如何抓取网速金额？
、、、
我想知道如何用python在Fast.com网站上抓取速度的量 我做了一些努力，这是我到目前为止所做的： import requests
from bs4 import BeautifulSoup
浏览 12提问于2020-10-04得票数 1
回答已采纳
我想抓取一个网页，请求类型是post，但是我得到了一个错误: java.io.IOException: Server returned HTTP response code: 523
public static
浏览 72提问于2015-04-08得票数 3
我正在学习python中的网络爬行和抓取。我想要抓取数据，在一个网站上有链接，而在这些链接里面有更多的链接。所以我想抓取数据直到预定义的级别n。from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import Byfrom selenium.webdriver.support import expected_
浏览 40提问于2019-12-17得票数 0
我正在尝试使用python来抓取一个用无限滚动实现的网站。实际上，网络就是pinterest。我知道如何使用selenium来抓取具有无限滚动的web。但是，WebDriver基本上模仿了访问web的过程，而且速度慢得多，比使用BeautifulSoup和urllib进行抓取要慢很多。你知道有什么时间有效的方法来刮一个无限滚动的网页吗？谢谢。
浏览 0提问于2014-12-29得票数 0
回答已采纳
我正在尝试从html源代码的这一部分中获取离线编号.........I正在尝试使用我所需要的部分的Xpath，因为我知道我可能做错了。任何和所有的建议都将非常感谢。
浏览 3提问于2020-10-01得票数 0
有没有办法用Python从http-link直接获取到电报post的图像URL？我可以用chrome inspector找到图像URL ...我的链接图像的url是：
我尝试过GET请求，但不幸的是没有得到任何有用的信息：响应：<html> <meta charse
浏览 5提问于2019-11-12得票数 0
我使用C#和Python的Selenium Webdriver从网站获取数据元素，但web抓取的速度非常慢。抓取35000个数据表花了我大约1.5天的时间。使用Selenium Webdriver，我可以执行Javascript来获取Java元素。有没有一些库可以不需要像Webdriver这样的东西来在网页上执行Javascript来检索元素，并且能够点击元素？或者有没有比硒更快的替代品？
浏览 5提问于2015-04-16得票数 13
试图让selenium使用Python3进行web抓取：chrome_path = r"/Library/Frameworks/Python.framework/Versions/3.6/bin/chromedriver"
浏览 16提问于2017-09-03得票数 37
回答已采纳
要获得下一个块，你应该点击一个按钮，而我既不知道如何在代码中触发按钮，也不知道如何在它之后抓取数据。我在谷歌上搜索的是我应该使用selenium，但我不确定，也不能理解它的真正用途。此外，我尝试使用来抓取数据，但是，脚本似乎太旧了，不能正常工作。关于它做错了什么的解释在issues 中。
浏览 1提问于2020-05-10得票数 0
我使用进行web抓取，但是在运行下面的代码之后，chrome被启动，但是没有得到我想要的网站，相反，它在url栏中显示了“数据”。 import selenium from selenium.webdriver.chrome.optio
浏览 0提问于2021-01-20得票数 3
回答已采纳
2回答
我是python和web scraping的新手。您的帮助我们将不胜感激。我在编程和练习方面是新手。我正在使用python和selenium进行web抓取。 我正在试着从事实上抓取数据。提前感谢，下面是我的代码示例： import timefrom selenium.webdriver.common.by import Byfrom <
浏览 33提问于2020-07-15得票数 1
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
