我试图从网页中抓取一些数据，但一直收到selenium.common.exceptions.TimeoutException错误
selenium.common.exceptions.TimeoutException错误是由于网页加载超时导致的异常。当使用Selenium库进行网页数据抓取时，有时候网页加载时间较长或网络不稳定，就会出现这个错误。
解决这个问题的方法有以下几种：
- 增加等待时间：可以通过增加等待时间来解决网页加载超时的问题。使用Selenium提供的等待方法，如
WebDriverWait和expected_conditions，可以等待特定的元素加载完成后再进行操作。具体使用方法可以参考Selenium官方文档。 - 优化网络连接：检查网络连接是否稳定，可以尝试使用其他网络环境或者重启网络设备来改善网络连接质量。
- 使用合适的浏览器驱动：确保使用的浏览器驱动版本与浏览器版本匹配，并且更新到最新版本。不同的浏览器驱动可能会对网页加载速度有所影响。
- 减少页面加载内容：如果网页中包含大量的图片、视频或其他资源，可以考虑减少加载的内容，只加载必要的数据，以加快页面加载速度。
- 使用代理服务器：如果访问的网站对IP有限制或者存在反爬虫机制，可以考虑使用代理服务器进行访问，以避免被封禁或限制。
腾讯云提供了一系列与网页数据抓取相关的产品和服务，例如：
- 腾讯云CDN：内容分发网络，可以加速网页加载速度，提高用户体验。
- 腾讯云API网关：可以通过API网关来管理和调度网页数据抓取的请求，提供更好的稳定性和可扩展性。
- 腾讯云VPC：虚拟私有云，可以提供更安全的网络环境，保护网页数据抓取的隐私和安全。
以上是针对TimeoutException错误的一些解决方法和腾讯云相关产品的介绍，希望对您有帮助。如果还有其他问题，请随时提问。
相关·内容
我已经使用selenium创建了多个python脚本，这些脚本将生成一个包含将近100,000行和25列的数据表的网页。此代码的一个示例是can be found here。之后，我打算用美味的汤刮擦桌子。然而，我一次又一次地收到这个错误消息。 selenium.common.exceptions.TimeoutException: Message: timeout: Timed out receiving message from renderer: -0.001
(Session info: chrome=81.0.4044.113) 有没有什么原因让这条消息一直弹出来？有没有办法修
浏览 85提问于2020-04-18得票数 1
我正在尝试使用selenium从网页中抓取一些数据。我已经成功地让selenium在树莓派上无头工作，我可以连接到我试图抓取的网页，返回页面的标题，并返回我连接到的URL。
我一直在看教程中关于如何抓取数据的示例，它们都是这样的：
titles_element = browser.find_elements_by_xpath(“//a[@class=’text-bold’]”)
然而，我试图抓取的网页中的每一块数据都有相同的类名。举一个我试图抓取的第一位数据的例子，我试图得到wins的值是4：
第二个示例是im尝试抓取的数据，在本例中为kill，值为559：
我试图抓取的两个数字共享相同的
浏览 5提问于2021-03-16得票数 0
我有一个网站，在负载下显示数据库连接池已耗尽。此外，我还收到来自SQL Server连接尝试的超时。
该站点具有执行多个数据库请求的网页-其中这些请求并不都在单个数据库事务中。所以我想知道的是，如果很难获得数据库连接，那么为什么生成的数据库数据中没有空洞？例如，如果一个页面请求了A，然后请求了B，为什么一些B没有发生呢？然而，没有任何迹象表明这种情况已经发生。
如果一个网页设法从池中抓取一个数据库连接，它会在请求期间一直挂起它吗，即使它重复地调用open和close。
浏览 3提问于2021-10-01得票数 0
因此，有时我需要从web上获取一些数据，并将其组织到一个数据帧中，然后浪费大量的时间手动完成。我一直在试图找出如何优化这个过程，我已经尝试了一些R抓取方法，但无法正确完成，我想有更简单的方法可以做到这一点，有人能帮我解决这个问题吗？
虚构练习：
以下是按大洲列出的国家/地区的网页：
每个国家的名称也是指向另一个网页的链接(每个国家的具体名称，例如)。
作为最终结果，我希望获得一个数据框架，其中观察数(行)=列出的国家数和4个变量(列)作为ID=Country名称，它所属的Continent=Continent，Language=Official语言(从国家的特定网页)和人口=最近的人口计数(从
浏览 2提问于2017-02-22得票数 0
1回答
你能给我推荐一些从网页上抓取数据的方法吗？
我一直在尝试使用Python，但我被代码卡住了。我在考虑用章鱼臀部。这是网页()，它是一个下拉列表，通过选择以前的案例，您可以在其他案例中选择其他选项。
浏览 0提问于2019-10-30得票数 0
1回答
在过去的几天里，我一直在尝试用Excel VBA自动化Siebel Web。通过sendkey和一些网络抓取的组合，我已经设法查询我的数据。问题是，现在我不能调用导出小程序来保存它。我几乎搜索了所有包含"Siebel“、"javascript”标签的网站，但都没找到。由于IE开发工具被锁定，我使用VBA抓取网页，并再次尝试使用，但没有成功。
我想知道是否有人设法通过自动化将数据从Siebel导出到xml/csv/excel文件中。
我将在稍后发布我的代码，看看您是否可以帮助我。
浏览 0提问于2016-06-24得票数 0
1回答
多年来，我一直使用.NET和ShDocVw从网页上抓取数据，没有遇到任何我无法克服的问题。不过，这个网站让我打了一顿。从图书馆搜索页面上抓取书目和其他信息看起来很容易，但我看不到能够抓取的数据。通常，我只是在DOM中查找，但数据并不在那里。我做了一个视图源，但是数据不在那里。我真的很困惑。
我现在正在学习安卓，这就是我想要解决我的问题的方式，但如果.NET会更容易的话……现在我会接受任何形式的帮助。
网址为
浏览 3提问于2010-12-09得票数 1
我有一个简单的脚本，从金融门户网站获取一些数据。它使用selenium/chromedriver来导航，使用xpath来定位网页上的元素。现在我有一个关于网页结构的问题，因为在一些页面上，脚本能够从选择器中抓取数据，而在一些页面上则不能(数据不显示/可用)。在这种情况下，我会收到错误： selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: 我的问题是:在知道某些情况下数据不可用的情况下，我如何处理此错误？ 我试图应用这样的代码来解决这个问题，
浏览 34提问于2020-12-28得票数 1
回答已采纳
我目前正在HTML抓取一些数据从一个网页上，我正在创建一个机器人在不和谐。我以前曾成功地使用lxml从不同的网站上刮取HTML，然而，我现在正在尝试刮的网站是检测到一个阻断剂，因此，无论我试图抓取任何数据，我都会收到相同的值；
我的代码如下所示:从lxml导入html导入请求导入sys
def ( arg)：page = requests.get("“+arg) tree = html.fromstring(page.content)
killdeath = tree.xpath('//div[@class="stats">K/d]/text()'
浏览 0提问于2018-04-13得票数 0
回答已采纳
1回答
例如，在这个网站上：
我一直试图在网上搜索以下内容:每天的数据，开盘值、最高值、最低值和收盘价：
例如在图片中突出显示的值
我在网页抓取方面取得了一些成功，但从一个网站上获得了实际的数字，但问题是，这些数字是以图形形式显示的。但是，有什么方法可以刮掉这些价值吗？
我曾尝试使用rvest软件包为其他网站的信息，这是有效的，但数据显示的方式在网站上提供，我似乎不能正确的。
浏览 3提问于2022-11-11得票数 0
2回答
我一直试图通过代理使用htmlagilitypack，但我发现出现了一些不可预知的行为。
如何向htmlagilitypack添加凭据，使其能够通过代理抓取网页？
浏览 0提问于2012-07-21得票数 0
回答已采纳
我试图从whoscored.com抓取足球数据，该网站有一个面向网络的安全封装体，它不让我抓取。最初，我试图提供user_agent，并更改了标题，然后它就起作用了，但这只适用于第一页。由于我需要爬行网站的其他部分，它一直阻止我请求网站。由于阻塞时间一直在增加，它现在变得越来越疲惫。
有没有人可以提出一些建议来绕过英特拉的安全机制。
我需要用于研究的数据。
我已经看过了所有关于这个话题的老问题。但这无济于事。
工具。anaconda，language python，和library美汤
谢谢。
浏览 3提问于2019-03-29得票数 0
1回答
根据要求，我需要在一个网页的内容刮。为了实现这一点，我创建了一个windows应用程序，并在主窗体中添加了一个web浏览器控件。这样我就能看到报废的过程。我能够登录到该网页并导航到所需的网页。我还可以通过编程的方式双击网格单元格。但当前的问题是，当以编程方式双击网格单元格时，如果所需数据不可用，我会收到一条警告消息
因此，抓取过程自然会中断，我们需要手动单击“确定”按钮来继续抓取过程。如何避免抓取过程中收到告警信息？
浏览 0提问于2013-05-30得票数 4
回答已采纳
我写了一个脚本来做一些网页抓取。网页上有javascript，所以在使用PyQT5抓取所需内容之前，我使用BeautifulSoup来呈现页面。
但是，我有很多页面要抓取(超过10,000页)，我试图将内容存储在一个dict中，然后将其转换为json文件。我试图周期性地定期编写json文件，因为我认为由于刮伤的数量，dict变得太大了。还收到了出口代码。
在另一个线程中，有人建议更新视频卡驱动程序(不知道为什么会影响我的Python脚本，但我尝试了一下。没有进展。
浏览 0提问于2018-10-27得票数 0
1回答
如何刮除AEM表格？
、、、
我正在努力弄清楚如何使用python来刮取动态的AEM登录表单。
问题是，我一直试图找出哪个模块最适合在网页上动态弹出的登录表单字段中使用。
有人告诉我Selenium是个不错的选择，但BeautifulSoup也是。
有什么指针可以用来动态地抓取这些数据呢？
浏览 2提问于2016-11-17得票数 0
回答已采纳
我一直试图从网络上抓取一些数据，但是到目前为止，我的所有尝试都失败了。下面是我的代码
from selenium import webdriver
chromedriver = "/Applications/chromedriver"
os.environ["webdriver.chrome.driver"] = chromedriver
driver = driver = webdriver.Chrome(executable_path=chromedriver)
我一直收到的错误如下：
SessionNotCreatedException:消息:会话未创建
浏览 4提问于2020-07-14得票数 0
1回答
我对python很陌生，在做了一些教程之后，一些关于抓取的内容，我一直在自己尝试一些简单的抓取。使用BeautifulSoup，我设法从所有东西都有标签的网页中获取数据，但没有它们，我的工作就很糟糕。
我试图从：http://www.bancochile.cl/cgi-bin/cgi_mone?pagina=变体人/mon_tasa/cgi_蒙尼获得美元汇率
📷
我想要的值用黄色突出显示。
经过多次尝试和错误，我设法获得美元汇率，但我认为必须有一个更好的方法。
import requests
from bs4 import BeautifulSoup
page = requests.get(
浏览 0提问于2017-03-30得票数 3
回答已采纳
无法从网页中提取字段数据，这不是常见的web抓取问题。它也与javascript相关联。我也尝试了python-request，但是无法解决这个问题。
我正在尝试从网页中提取doi。doi位于javascript中。我能够读懂页面，代码一直运行到{print(Soup)}。当我试图提取DOI值(在给定代码中，示例网页的doi如下：“doi”：“10.1109/LAwr2014.2364296”)时，我想打印“10.1109/LAwr2014.2364296”，这是从网页中提取的。
import urllib
from bs4 import BeautifulSoup
web_page = &#
浏览 4提问于2019-02-09得票数 0
我正在尝试用Google sheet和ImportHTML (以及它的变种，如ImportXML和ImportData)从网页上抓取股票行情。它可以在一些网页上工作，但不能在其他网页上工作。我无法从其中导入数据的网页的一个例子是。
我使用了以下代码：=IMPORTHTML("https://www.barchart.com/stocks/performance/price-change/advances","table",0)。有没有办法下载或抓取这些数据？
浏览 9提问于2020-06-15得票数 0
如何获取数据(如温度等)从使用erlang的网页？我一直试图找到一些关于它的教程，但似乎找不到任何。我发现我可以将数据存储在记录中，但是我如何从web获取数据呢？
浏览 0提问于2017-05-12得票数 1
1回答
我试图在安卓应用程序中使用JSoup从网页中抓取他们的元数据，但最终还是下载了网站的手机版本。有没有办法让网站相信请求来自桌面客户端？
浏览 1提问于2017-03-29得票数 2
3回答
正如标题所述，我有一些DOM操作任务。例如，我想：-查找所有具有蓝色的H1元素。-查找所有大小为12 all的文本。等等..。
我怎么能用Rails做这件事呢？
谢谢。。:)
更新
我一直在研究基于本文-> 的网页内容提取问题。
这一步骤的摘要如下：
获取我想要提取的web url (单个网页)
根据一些视觉规则从网页中抓取一些元素(Ex:抓取所有具有蓝色H1的)
用我的算法处理元素
将结果保存到我的数据库中。
我英语不好的-sorry -
浏览 3提问于2009-10-23得票数 6
1回答
关于如何从搜索结果中保存Facebook数据，我需要帮助。
我有1000个查询URL，如：
如何快速地从生成的网页中抓取数据？
我试过用一些刮刀程序来刮，但没能让他们工作。有人有更快的路吗？
浏览 1提问于2017-03-22得票数 1
1回答
我试图从以下几个方面收集NFL的数据：
url = https://www.pro-football-reference.com/years/2019/opp.htm.
我第一次试着和熊猫一起从桌子上收集数据。我以前也这么做过，而且一直都是直截了当的。我希望熊猫能把页面上找到的所有表格都还给我。然而，当我运行dfs = pd.read_html(url)时，我只收到了来自网页的前两个表，即Team和。
然后，我试着用bs4和requests来抓取其他表。为了进行测试，我首先只试着刮第一个表：
page = requests.get(url)
soup = BeautifulSoup(page
浏览 2提问于2020-05-26得票数 0
回答已采纳
我一直在学习如何使用curl multi和simplehtmldom抓取页面。我最初使用regexp来获取某些项目，直到我发现simplehtmldom减轻了我的编码负担。呼！无论如何，我的页面加载非常慢，我将从多个页面中抓取。我现在正在从3中抓取，它需要大约。5秒加载，也许更长一点。我想知道优化我的网页的最好方法是什么？我使用curl从simplehtmldom获取一些页面和file_get_html。我应该一直使用simplehtmldom吗？
提前感谢您的回复！
浏览 2提问于2011-03-18得票数 1
回答已采纳
1回答
我想从一个动态网页中抓取一些内容(它似乎是在MVC中开发的)。
数据抓取逻辑是用超文本标记语言的敏捷性完成的，但现在的问题是，从浏览器请求网址时返回的超文本标记语言和从ASP.NET网页请求的网址的网页响应是不同的。
浏览器响应主要包含我需要的动态数据(根据查询字符串中传递的值呈现)，但WebResponse结果不同。
你能帮我获取动态网页查看WebRequest的实际内容吗？
下面是我读过的代码：
WebRequest request = WebRequest.Create(sURL);
request.Method = "Get";
//Get the response
W
浏览 3提问于2014-09-24得票数 7
2回答
在curl的帮助下，我抓取了一个希伯来语的网页，但得到了一些花哨的字符(例如，ЧђЧ§Ч©Чџ)而不是希伯来语。我应该怎么做才能收到希伯来语的所有内容？
浏览 2提问于2010-08-16得票数 0
1回答
我在一个列表中存储了一些我用rvest::read_html收集的网页。现在我想保存这个很大的网页列表，以便以后使用(这样我就不必再次抓取数据)。
我尝试过saveRDS，但生成的文件只有1kb，读回数据会导致崩溃。我怀疑我试图保存的对象的动态特性会妨碍我的工作。
保存数据的最佳方式是什么？非常感谢您的帮助！
浏览 7提问于2016-07-28得票数 1
我有一个小的python脚本，它从网页上抓取一些数据，但网页上的数据在网页命中后发生变化。是否可以打开url，等待几秒钟，然后返回数据？我的代码如下，我试图添加一些睡眠命令，但我怀疑它有那么简单……有什么想法吗？
url = "http://www.test.com"
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
req = urllib2.Request(url)
req.add_
浏览 0提问于2015-03-11得票数 1
1回答
找不到命令'scrapy‘
、、、、
我正在尝试安装，这样我就可以写一个python程序来抓取网页，但我甚至还不能这样做，因为我需要抓取设置，所以我一直试图在我的shell中输入以下命令："scrapy startproject scrapy_javascript“，但得到以下错误："command ' scrapy‘not found”…我不知道哪里出了问题。我看了类似的问题，但没有帮助回答我的问题。我也在我下载的scrapy文件夹中。 📷
浏览 23提问于2019-05-09得票数 1
回答已采纳
我试图与FireShot API集成给一个网址，抓取另一个网页的网页到一个div，然后采取截图它。
在获得HTML之后，我需要做一些事情
抓取<link> & <script>从<head> 抓取<body>到<div> <code>F 210</code>
但是第一，当我试图做一个
$.get("http://google.com", function(data) { ... });
我得到了200只红色的萤火虫。我认为这与网站不允许你用JS抓取他们的页面有关？那我就只能打开一扇窗户了
浏览 9提问于2011-03-23得票数 0
我正在尝试制作一个自动在网页上玩游戏的机器人。到目前为止，我可以导航到网站，登录，并加载游戏页面，但我被困在这里。
我想在网页级别注入一个脚本，它使用jQuery不断地抓取网页并确定游戏所处的状态。当某个事件发生时，我希望脚本触发一个自定义事件(？)这将通知Node.js./Puppeteer级别的函数执行。我的问题是，当页面中的自定义事件被触发时，我不知道如何让Puppeteer做出反应。
例如，假设我们有一个网页级别的函数，它在1秒的超时时间内抓取X的网页。当找到X时，我想从网页上抓取Y数据并将其发送到节点级别。当在节点级别接收到Y时，它会将鼠标移动到Y位置，或者对Y执行在浏览器级别无法完
浏览 14提问于2017-12-03得票数 0
1回答
我试图从以下网页抓取数据，我需要一个表格格式的记分板。有人能帮我吗？我正在使用python3。我对网络抓取是个新手，对网页的内部原理不是很熟悉。提前感谢！
我试着在urllib2中使用BeautifulSoup，等等，但是什么地方都没找到。
浏览 2提问于2019-11-01得票数 0
1回答
我正在尝试使用JAVA中的JSoup库从网页中抓取数据。然而，这里的问题是，我想要抓取的数据是基于XML加载的，所以当我试图从HTML解析它时，它会显示出来
<div id="report-details-container">
<!-- Container where HTML template will be loaded based on XML -->
</div>
而不是完整的HTML，它只显示这个注释。
我如何抓取数据，因为在inspect元素中我可以看到完整HTML。
浏览 0提问于2017-10-14得票数 1
3回答
我试图从我的数据库中获取一些信息到我的网页上。一切似乎都很好，但有一件事不想做对。我将数据库中的所有信息都放入了$data。当我这样做的时候
print_r($data);
我的网页给了我这个：
(
[0] => stdClass Object
(
[reparatie_id] => 19
[customer_id] => 4
[medewerker] => 4
[name] => Joost
)
)
一切似乎都很好，但当我尝试这样做的时候：
echo $data->voornaam;
我一直收到这个错误
A PHP Er
浏览 11提问于2017-07-09得票数 2
回答已采纳
我浏览了网页，在网上阅读和观看了几个关于如何解决我的问题的指南，但我被卡住了，希望能得到一些意见。我试图建立一个网络刮板，将从刮并购交易部分，并已成功地编写了一个程序，可以刮标题，摘要，日期和链接的文章。然而，我试图解决的问题是，我希望程序仅从标题/文章中抓取摘要，这些标题/文章位于合并和收购列的正下方。当前的程序正在抓取它看到的所有用标签“文章”和属性/类“故事”表示的标题，因此不仅从合并和收购栏目中抓取标题，而且还从市场新闻栏目中抓取标题。
一旦机器人开始从市场新闻栏目中抓取标题，我就一直收到属性错误，因为市场新闻栏目没有任何摘要，因此没有文本可拉，导致我的代码终止。我试图用try/exc
浏览 11提问于2020-03-17得票数 1
回答已采纳
我使用C#和Python的Selenium Webdriver从网站获取数据元素，但web抓取的速度非常慢。抓取35000个数据表花了我大约1.5天的时间。使用Selenium Webdriver，我可以执行Javascript来获取Java元素。有没有一些库可以不需要像Webdriver这样的东西来在网页上执行Javascript来检索元素，并且能够点击元素？或者有没有比硒更快的替代品？
浏览 5提问于2015-04-16得票数 13
我一直试图从TikTok下载一些信息来绘制视图和喜欢之类的信息。
我查看了在CMD终端中使用curl接收哪些信息，并提供了以下信息：
mycurl> curl -k https://www.tiktok.com/@liamferrari/video/6816604410496519429
在其中，我接收到以下输出：
{"statusCode":200,"contentType":"application/json","content":""}
然而，当我在几乎任何其他网页上使用curl时，我会收到我预期的完整
浏览 0提问于2020-04-17得票数 1
回答已采纳
我编写了一些基本的Python代码来抓取远程网页并获取一些数据。在我试图抓取的另一个页面上，数据从视图中隐藏，只有在更改<select>框的值后才会显示。
在对远程网站的javascript进行清理和挖掘后，我确认它正在使用AJAX (我认为是原型的自定义实现)来切换我感兴趣的<table>的<tbody>。
有没有办法使用Python (或通过Python使用Javascript )来触发该选择框的onChange事件，这样我就可以“刷新”DOM并获取新的超文本标记语言？
浏览 0提问于2012-01-20得票数 3
回答已采纳
2回答
我需要创建一个蜘蛛，从网站抓取一些数据。数据的一部分是外部URL。
我已经创建了从根站点抓取数据的爬行器，现在我想为外部网页编写爬行器。
我正在考虑创建一个爬虫蜘蛛，它使用SgmlLinkExtractor来跟踪每个外部网页中的一些特定链接。
向第二个爬行器传达start_url列表的推荐方式是什么？
我的想法是为这些项生成一个json文件，并读取第二个爬行器的start_requests中的属性。
浏览 1提问于2012-07-19得票数 1
回答已采纳
使用“美丽的汤”4，我创建了一些代码，用于从网页中抓取在线数据。在本例中，我试图从表中读取数据，但只希望从表中的特定行读取数据，在本例中只希望从第四行读取数据。我想知道是否有一个参数可以传递给.find()参数，它将忽略tr的前3个实例，从而只返回第四行。
到目前为止，我尝试的是：
soup = BeautifulSoup(page.content,"html.parser")
weather = soup.find_all('tr', limit=4)
然后，我将处理这个列表中的最后一个索引，但是我想知道是否有更好的方法只使用第四次出现的tr
浏览 2提问于2017-07-19得票数 0
回答已采纳
当某人发布一条只包含URL的推文时，Twitter会在它从网页上抓取一些文本和图片时进行一些抓取。
例子如下：
有任何方法从Twitter中检索这些数据吗？我无法在返回的任何数据中找到这些数据。我需要提供一些特殊的参数吗？还是说这只是不可能的事？
浏览 0提问于2017-10-12得票数 0
回答已采纳
我正在编写一个图像爬虫，它可以从网页中抓取图像。这是通过在网页上查找img标记来完成的。但最近我注意到，一些img标记中没有alt属性。有什么方法可以找到该特定图像的关键字吗？
是否有任何预防措施来抓取这些网站的图像？
浏览 2提问于2015-08-29得票数 0
回答已采纳
Chrome浏览器支持多个用户(角色)，因此我们可以使用不同的cookie和会话数据加载网页。这工作得很好，做我想做的事。现在我希望在多个用户帐户上安装一个扩展，以便在用户之间共享信息。
我看不到该怎么做，请帮帮忙？
详细信息和想法：
通过设置一些cookie，我可以更改目标网页的一些首选项，以使用一些新功能。有些功能是不同的，但核心信息应该是相同的。我希望通过扩展代码来比较它们。
通过使用chrome浏览器的人物功能(角色)，我可以在chrome中加载我们的网页的新旧版本，并进行并排比较。
我也有一个chrome扩展，它抓取一个目标网页，以拉出信息，如名称，价格，信息。这也很好用。我可以手动
浏览 8提问于2017-09-21得票数 0
我是一个网络抓取新手，需要帮助。我试图从一个有大约20页的属性站点中抓取数据，在每个页面中有到不同属性的18条链接。我的最终目标是从每个属性链接中抓取所有数据。为此，我考虑通过将页面参数增加1来运行20页的循环。
但在这样做之前，我需要从单个页面上的每个属性中抓取数据，为此我需要链接到单个页面上的所有属性，因此需要从页面中抓取所有链接(指向属性)。我试图使用html_nodes("a")来实现这一点，但没有成功。
这是我想要刮的网页和网站。
下面是用于获取单个页面上所有链接的代码，但没有获得所需的输出。我也尝试过使用不同的类和CSS选择器。
url <- 'ht
浏览 1提问于2018-09-26得票数 0
回答已采纳
我一直在尝试使用IMPORTXML()从以下网站抓取信息。 https://libbyapp.com/library/lapl/search/audiobooks/query-john%20scalzi/language-en/page-1 在命令没有成功和一些在线挖掘之后，这个命令似乎不会起作用，因为网站使用java来呈现信息。 在google sheets中有没有其他命令或方法可以从这个网页中抓取一些信息？具体地说，我想知道前3本书的名字和作者。
浏览 12提问于2020-10-08得票数 0
我正在构建一个iOS共享扩展。我需要从网页中抓取一些数据，所以我使用了一个JavaScript文件来抓取这些数据，并将其发送回应用程序以在扩展中使用。
我注意到了以下几点。当我用我的JavaScript文件设置NSExtensionJavaScriptPreprocessingFile键时，SLComposeServiceViewController显示得很完美，但没有图像！
如下所示：
如果我删除NSExtensionJavaScriptPreprocessingFile，我的SLComposeServiceViewController显示如下：
但我需要访问网页中的一些
浏览 0提问于2016-02-18得票数 7
因此，我有一个变量数组，它是从网页中抓取明文数据字符串创建的(使用简单的HTML DOM Parser类)。此变量经过格式化，使其更简洁、更有用。
我现在希望将这些数据导出到一个MySQL表中，该表的表名是网页标题(单独抓取)，数据输入是一个数组，其中从网页中提取的每个单词都是一个单独的数据记录。
以下是我的代码(其中$trimmed是从用户输入网页中抓取的数据的格式化变量字符串)：
$trimmed->plaintext=trim($trimmed->plaintext);
$array = (explode(" ", $trimmed->plaintext
浏览 0提问于2013-02-19得票数 2
1回答
抓取R中的iframe数据
、、、、
我正在尝试使用r抓取网页，但问题是抓取的html只包含iframe标签链接()。有没有办法使用任何包从r中的iframe标签获取数据(最好是revst或RSelenium？
我要抓取上述链接(id=pagebody)中的所有(150)个渠道合作伙伴名称
谢谢
浏览 0提问于2016-06-28得票数 0
2回答
我正在尝试抓取一个使用GWT构建并使用GWT RPC机制进行AJAX调用的网页。我试图抓取的页面不是我的，所以我不能编辑服务器端。我对GWT非常陌生，从我使用它的最初几天开始-我认为除非有case接口，否则不能对数据进行反序列化。
我说的对吗?或者有没有一种智能地抓取数据的方法？
浏览 0提问于2011-12-05得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
