Excel VBA浏览器抓取循环:为每个循环重新加载页面
Excel VBA浏览器抓取循环是一种使用Excel VBA编程语言来实现自动化浏览器抓取数据的技术。通过编写VBA代码，可以实现循环访问网页并抓取所需数据的功能。
这种技术的主要步骤包括：
- 引用浏览器控件：在VBA中，可以使用Microsoft Internet Controls库中的WebBrowser控件来实现浏览器的自动化操作。需要在VBA编辑器中的工具->引用中勾选"Microsoft Internet Controls"。
- 创建浏览器对象：使用VBA代码创建一个WebBrowser对象，并设置其属性，如宽度、高度、位置等。
- 加载页面：使用浏览器对象的Navigate方法加载目标网页。可以直接指定URL，也可以使用变量来动态指定。
- 等待页面加载完成：使用VBA的Do While循环结构，结合浏览器对象的ReadyState属性，等待页面加载完成。
- 抓取数据：通过VBA代码访问浏览器对象的Document属性，可以获取页面的HTML源码。可以使用各种HTML解析技术，如正则表达式、XPath等，来提取所需数据。
- 处理数据：将抓取到的数据进行处理，可以进行数据清洗、格式转换等操作，以便后续分析或导入到Excel中。
- 循环操作：使用VBA的循环结构，如For循环或Do While循环，来实现对多个页面的循环访问和数据抓取。
这种技术的优势在于可以实现对网页数据的自动化抓取和处理，节省了人工操作的时间和精力。它可以应用于各种需要大量数据的场景，如市场调研、数据分析、数据挖掘等。
腾讯云相关产品中，可以使用云函数（Serverless Cloud Function）来实现Excel VBA浏览器抓取循环的功能。云函数是一种无服务器计算服务，可以在云端运行自定义的代码。通过编写云函数的代码，可以实现对网页的自动化访问和数据抓取。您可以参考腾讯云云函数的官方文档（https://cloud.tencent.com/product/scf）了解更多信息。
相关·内容
2回答
我是通过VBA自动化IE的，我似乎不能让VBA代码等到页面加载后再抓取文档。这会导致我的代码太快而导致各种各样的失败。如何让VBA等待IE页面加载？我在stackoverflow上发现了许多我尝试过的方法，但似乎没有一个对我有效。
ie是我的InternetExplorer对象。
我试过了，但没有用：
Do
If ie.readyState = 4 Then
Exit Do
Else
DoEvents
End If
Loop
另外：
Do While ie.Busy Or Not ie.ReadyState = READYSTATE_CO
浏览 1提问于2015-10-27得票数 0
1回答
从xmlhttp中抓取数据
、、、、
我正在尝试从xmlhttp中抓取元素。我使用vba还不错，但我对数据抓取还比较陌生。我之前一直在使用ie。 我可以将html导入到单元格中，但我想具体导入名称、id、价格和库存水平。 我用于导入数据的代码是 Private Sub HTML_VBA_Excel()
Dim oXMLHTTP As Object
Dim sPageHTML As String
Dim sURL As String
'Change the URL before executing the code
sURL = &
浏览 14提问于2019-01-29得票数 1
回答已采纳
5回答
我试着从网站上抓取数据：通过vba，就像实时价格，即德国5年Bobl，美国30YT-Bond，我尝试过excel网络查询，但它只刮了整个网站，但我只想刮速率，有办法做到这一点吗？
浏览 4提问于2014-11-21得票数 16
回答已采纳
我是在VBA excel中的网络刮板工作。
由于我正在抓取的网站的机制，我必须通过excel进行操作，因为该网站是一个政府平台，它通过internet explorer授权的计算机上的文件进行验证，通常我会使用python或parsehub，但我们在这里。
我遇到的问题是，我正在抓取大约6,600个唯一的页面(所有页面的格式都完全相同)，目前加载每个页面需要3到5秒，这导致宏必须运行6到9个小时。
我的问题是关于机制，考虑到我对网页加载速度的限制，是否可以或可行地一次为多个链接运行该过程，而不是一次打开一个，例如，一次打开10个？或者，瓶颈更有可能是我的互联网连接，而不是IE的速度？
只是头脑
浏览 5提问于2019-03-31得票数 0
什么代码或函数用于Selenium - wrapper for Excel VBA，以便程序将等待页面完全加载，然后执行其他命令？
浏览 2提问于2015-09-02得票数 1
在应用过滤器之后，我正在尝试使用UiPath中的数据抓取向导来获取从第11页到第20页的书籍的详细信息，并将它们输入到Excel文件中。我试着把数据抓取活动放在一个循环中，我试着用一个计数器来选择页面，但是都不起作用。有人能帮上忙吗？
浏览 1提问于2020-10-31得票数 0
我主要是用PHP编写一个页面，我想知道从数据库中抓取一堆关于用户的非敏感信息并将其放入cookie中以便在将来的页面上更快地加载会更好，还是应该让每个页面访问数据库几次？
浏览 1提问于2013-01-09得票数 0
回答已采纳
我一直试图从Doordash上抓取动态内容(餐厅标题，评级，餐厅类型)，我试图抓取的不只是一个网站，而是多个网站，可能在Doordash上的单个域名上大约有100 - 1000个页面。
我得到了一个‘单刮’的工作，然而，当我使用下面的代码时，它给了我一个很长的错误
def ScrapeDoorDash(df):
for i in df:
url = df[i]
print(url)
driver = webdriver.Chrome(ChromeDriverManager().install())
driver.get(url)
restaurantna
浏览 0提问于2021-01-25得票数 1
1回答
我正在尝试通过vba宏将web上的数据抓取到excel中。我有一组搜索结果(例如，在IE中打开第一个网页后，我的宏点击页面底部的“下一步”按钮，在同一个标签页中打开一个新页面。然而，我希望的是，当我的宏点击网页上的“下一步”时，它会在同一IE窗口中的新选项卡中打开页面。任何帮助都是非常感谢的。提前谢谢。 我点击“下一步”超链接的代码如下- Set Alllinks = .document.getElementsByTagName("a")
For Each Hyperlink In Alllinks
If InStr(Hyperlink.innertext, "Nex
浏览 3提问于2019-06-11得票数 0
1回答
我正在尝试抓取一个有瞬间javascript延迟的站点。
我目前正在使用python进行抓取。每当我“得到”页面时，javascript的延迟还没有结束，而且还没有完全加载新的dom。
我怎么能刮掉这样的pge呢？
浏览 1提问于2011-02-03得票数 4
我有一个excel宏宏正在连接到Oracle以获取数据。这种抓取可能打开或不打开多个连接(取决于用户在宏中编码的方式)。
是否有可能知道在excel vba中打开的Oracle连接？或者我重新定义了我的问题:是否可能知道在VBA脚本中从Excel宏打开了多少个连接？
连接代码：
Public Const CONNECT_STRING = "Provider=MSDAORA.1;Password=XXXX;User ID=XXXXX;Data Source=XXXXX;Persist Security Info=True"
Dim conn As ADODB.Connect
浏览 6提问于2015-01-09得票数 1
回答已采纳
我正在访问一个基于UTC日期更改名称的文件。我在用。所以使用日期VBA函数，有时它不会抓取文件，因为它是在UTC的第二天，我正在使用。
Dim dttDate As Date
dttDate = Date
Set LMData = Workbooks.Open("C:\...\PRIVATENAME" & Format(dttDate, "yyyy-mm-dd") & ".csv")
我已经考虑了现在+4(因为现在也有时间处理)，但问题是，我在VBA上看到，单个整数被读取为月份，而我无法确定如何将其读取为小时。在excel函数中
浏览 2提问于2016-11-18得票数 0
回答已采纳
4回答
我正在尝试使用VBA创建一个新的Excel实例，方法是：
Set XlApp = New Excel.Application
问题是，这个新的Excel实例没有加载所有的插件，当我打开Excel normally...Is时，在Excel Application对象中有什么可以加载到所有用户指定的插件中吗？
我并不是要加载某个特定的外接程序，而是要让新的Excel应用程序表现得像用户自己打开它一样，所以我实际上是在寻找所有用户选择的、通常在打开Excel时加载的外接程序的列表。
浏览 0提问于2008-10-17得票数 16
回答已采纳
1回答
我将用最简单的例子来解释我的意思。 window.addEventListener('load', (event) => {
console.log('page is fully loaded');
}); 当页面第一次加载时，客户端控制台会记录“页面已完全加载”。但是，当我单击NuxtLink或RouterLink时，我不会得到新页面加载的重复日志条目。 如果我使用标准链接，那么我访问的页面上的控制台日志“页面已完全加载”，这是理所应当的。但它没有像NuxtLink或RouterLink那样快速加载页面。 在Rails中，它有一个类似的特性，称为T
浏览 60提问于2020-08-24得票数 0
我有一个只有一页的移动站点，我正在做这个网站，它会弹出一个在页面导航之间出现的加载小部件。在旧的android手机上(我在Galaxy上进行测试)，绘制加载图标的工作被推迟到大部分其他处理完成之后。当然，这在很大程度上违背了加载图标的目的。
$("button").click(function() {
$(".cover").show();
$(window).scrollTop(0);
for(var i = 0; i < 1000; i++) {
console.log($(".body").css(
浏览 1提问于2015-05-08得票数 0
回答已采纳
2回答
我有一个动态链接到在新页面中打开的文档的页面(文档作为二进制数据存储在数据库中，我使用以下代码加载：
Response.ClearContent()
Response.ContentType = myReader("MIMEType").ToString()
Response.AddHeader("Content-Disposition", "inline; filename=" & myReader("Filename"))
Response.BinaryWrite(myReader("DocBD"))
浏览 1提问于2010-06-18得票数 0
我有一些代码可以打开文件，将一些单元格复制/粘贴到合并的工作表中，关闭文件，然后循环文件夹中的所有文件。如下所示：
Set SourceFile = Workbooks.Open(FilePath & FileName)
Set Ltab = SourceFile.Worksheets("Sheet1")
Ltab.Cells.Copy
NewTab.Cells.PasteSpecial xlPasteValuess
SourceFile.Close
是否可以添加一行来阻止Excel在每次打开文件时加载外接程序？有很多文件，每次加载插件都会增加5-10秒的时间。
并
浏览 16提问于2016-04-20得票数 1
1回答
我正在尝试调试一个工作簿，该工作簿具有外部加载项，并且在没有警告的情况下意外崩溃(窗口消失，进程终止)。有没有办法记录excels正在进行的计算函数调用，以便查看在崩溃之前最后调用的excel (或VBA)函数？
浏览 0提问于2015-11-25得票数 1
我正在尝试转换当前使用Internet的Excel macro，并使用下面的代码来提取网页的<body>文本
x = .Document.DocumentElement.InnerText
使用Selenium演示程序，我可以用Chrome & IE生成页面的jpg，但是Firefox只是加载一个空白页，而IE64 & Edge不能在Windows 10.上工作
我无法找到适当的使用Selenium的VBA命令将正文文本复制到变量“x”。我只想读一读。
我试图这样做，使我的宏浏览器独立。
这个宏只供我使用。
吉姆
浏览 0提问于2018-11-07得票数 0
回答已采纳
我是网络，使用Excel 从Excelv.16中的Chrome网页中抓取数据。因为我是在处理病人的数据，所以我不能提供很多信息。(最初，我用VBA为IE编写了代码。)
以下是html：
下面是我的原始VBA代码，它运行得很好：
With ActiveWorkbook.Worksheets(1)
Dim DIVS As Object
Dim Div As Object
Dim Num1 As Long
Num1 = 0 'Initialize Num1
Set DIVS = IE.document
浏览 1提问于2020-08-14得票数 1
回答已采纳
我的团队不得不搬到Office365，我们不能再用我们以前的MS和他的VBA，或者我们以前的G单和他的脚本。
我已经重做了工作簿。基本上，它有许多完全相同的床单。工作表之间唯一的区别是所显示或隐藏的列。VBA或我们刚刚拥有的脚本将所有的工作表组合在一起，所以当某个地方有一个编辑时，它也会发生在每个工作表上。
例如，下面是sheet1的vba：
Private Sub Worksheet_Activate()
Sheets(Array("January", "February", "March", "April", "
浏览 15提问于2022-04-21得票数 1
在VBA Excel中，如果在关闭并再次打开文件后使用UserInterFaceOnly:=True选项保护工作表，则UserInterFaceOnly模式不处于活动状态，只有密码保护。
代码：ActiveSheet.Protect Password:="myPassword", UserInterfaceOnly:=True
为什么？
浏览 0提问于2016-07-13得票数 7
我试图使用windows任务调度程序自动打开excel工作簿，打开时，它应该刷新SAS存储进程。
excel中用于刷新存储进程的VBA是：
亚RefreshSAS()
Dim sas为对象
Set sas = Application.COMAddIns.Item("SAS.ExcelAddIn").Object
sas.Refresh ThisWorkbook
结束子对象
我将这段代码放入VBA中的ThisWorkbook中：
亚Workbook_Open()
RefreshSAS
结束子对象
我想我已经装好了所有必要的外接程序。当我手动打开文件时，它运行得非常
浏览 2提问于2018-06-21得票数 1
1回答
我正在尝试创建一个Excel函数，该函数将在已定义的列中的任何行中查找关键字，然后在同一字段中抓取文本(以dd/mm/yy格式)，将其转换为新列中的日期。
字段数据示例'Keyword‘，13/10/17
这在Excel中是可能的吗？是否需要VBA？
谢谢
浏览 0提问于2017-11-09得票数 0
2回答
我到处寻找这个问题的答案，但没有找到，希望有人能给我指明正确的方向，我想我已经接近了
我有两个主机，我们称它们为host1.mydomain.com和host2.mydomain.com (为了避免每个主机/每个浏览器有2个并发连接的问题)，所以它们都指向相同的内容，一个只是另一个的别名
用户转到host1.mydomain.com，输入一些信息进行注册，单击Go，这会在同一页面上加载一个iframe，指向host2.mydomain.com上的一个页面，该页面通过exec("curl")调用php脚本，将请求发送到后台以启动网站抓取器，然后将进程ID存储在用户的数据库中。在i
浏览 1提问于2011-10-08得票数 2
回答已采纳
为了暂停代码直到网页完全加载，我一直在使用下面的方法，几乎所有的时间都很成功。
Do While objIE.Busy = True Or objIE.readyState <> 4: DoEvents: Loop
但偶尔，我会看到在该方法确定页面已完全加载之后加载文本内容，因此不会提取内容。
但是，如果我通过F8单步执行代码，每次都会提取内容。这是我重复按F8键所能达到的最快速度。
那么，在代码继续提取数据之前，我如何检查以确保页面及其所有内容都已完全加载？
在这两种情况下，IE都在不可见地运行。然而，我在IE可见的情况下尝试过，实际上在我正在处理的页面上的这个特定位置上有内容。
浏览 4提问于2017-11-02得票数 5
与其将VBA代码保存在Excel文件中的模块中，我希望将代码保存在文本文件中，例如module1.vba。在Excel中，module1.vba将被加载或导入，并像正常的模块一样运行。
这有可能吗？怎么做？
在Excel中，在VBA编辑器中，菜单中有一个选项Insert > File...，它可以做我想做的事情，但是我不知道如何用最少的VBA代码来加载保存为文本的真正代码。
其原因是允许使用基于文本的应用程序(如git )进行代码修订控制。
编辑
这个展示了一个很好的替代工作。不过，我还是不太喜欢复制东西。
浏览 1提问于2019-06-26得票数 1
回答已采纳
正如标题所问的，我使用的某些工具依赖于带有Internet控件的VBA代码来对IE页面进行web抓取和控制。随着明年IE11的生命周期即将结束，有谁知道这将如何影响VBA中的互联网控制，或者它是否仍将发挥作用？试图弄清楚我们是否需要加速转换到另一种语言。
编辑:在我的研究中，我发现了一篇文章，展示了一个日落已经就位的windows版本。未安装IE，VBA Internet Controls功能无法启动IE。这是我见过的唯一一件事，但我想知道是否有人有这方面的经验？
浏览 36提问于2021-09-14得票数 6
我正在使用Ruby创建一个网页爬行/抓取脚本。我正在抓取的页面是通过AJAX加载的，并显示特定帐户的信息。如果您在下拉菜单上选择了第二个帐号，页面将非常简短地重定向到另一个URL并返回到原始URL，只是使用通过AJAX加载的不同信息。我想要能够刮信息的两个帐户号码上列出的下拉选项。问题是Selenium执行刮擦的速度比页面在下拉单击时可以重定向/重新加载的速度要快，所以我最终不会获得第二个帐户的信息。
def crawl_page
browser = Selenium::WebDriver.for :firefox
browser.manage.timeouts.implicit_wa
浏览 0提问于2014-07-01得票数 3
回答已采纳
如果您有大量的选项卡，它们将足够窄，您无法在选项卡中看到页面加载指示符，并且浏览器页面中绝对没有任何指示当前正在重新加载的选项卡。有什么东西能让它更显眼吗？
浏览 0提问于2022-12-20得票数 1
回答已采纳
我有一个普遍的问题:通过Ajax加载数据完全比加载整个页面来抓取数据更快，而不管页面大小(外部元素，如图像，css文件，js文件...)？
浏览 1提问于2011-05-10得票数 1
回答已采纳
我正在用Excel VBA开发一个应用程序，我需要一种让Google地图自动捕获我的位置的方法(而不必输入我的地址)。通过Excel VBA可以做到这一点吗？
浏览 35提问于2017-01-24得票数 2
1回答
使用更少的缓存破坏静态图像
、、、、
形势：
我试图在我的较少的文件中添加破坏缓存的查询参数。在减号文件中声明时间戳并将其附加到每个背景css属性：
@cache-version: `( new Date() ).getTime()` ;
background: url('images/icons.png?version=@{cache-version}')
结果显示在网络选项卡Chrome工具中带有版本号的图像后面的半身串.
/assets/images/icons.png?version=1429402449860
问题：
问题是，当在chrome浏览器上进行“正常重新加载”时，它仍然显示“从缓存”。而不是从
浏览 2提问于2015-04-19得票数 1
3回答
我已经创建了一个视频页面，它使用数据库动态加载视频，而文件则存储在服务器上。页面上预先加载了视频，这些数据可以被点赞并发布到Facebook上，而不会出现任何问题。当一个新的缩略图被点击时，我想让Facebook的like信息变成新的视频内容(标题，url和图片)。我一直在寻找一个解决方案，有很多类似的解决方案，但他们添加FB.XFBML.parse();的简单解决方案对我不起作用。当Ajax调用成功返回时，我使用以下命令更新meta标记：
$("meta[property=og\\:title]").attr('content', videoTitle);
浏览 2提问于2012-11-14得票数 0
回答已采纳
2回答
我正在处理一个包含两个框架的页面。每个框架调用一个页面，该页面随后在脚本标记中调用相同的javascript文件。看起来有时浏览器在另一个帧调用它的时候已经缓存了js文件，从而从缓存中抓取它。但是，似乎有时它会下载两个副本，每个帧一个。我正在尝试弄清楚是否值得从父页面调用一次脚本，并让每个框架的页面以这种方式访问它。那么，这仅仅是浏览器下载js文件的速度有多快的问题，如果另一个帧将从缓存中抓取它的话？主要浏览器的标准协议是什么？
谢谢你的帮助！
浏览 1提问于2011-08-09得票数 0
回答已采纳
我尝试实现Selenium以从列表中抓取页面。当试图刮掉列表时，有时执行就会停止。有时候执行似乎没有经过driver.close()，而且完全是随机的。下面是我用来刮多个页面的代码。
如果有人建议一个方法来确保司机在抓取数据后关闭，我将不胜感激。
from selenium import webdriver
addresses = ['address1', 'address2',...]
results = []
for address in addresses:
driver = get_chromedriver() # returns webdriv
浏览 3提问于2021-07-09得票数 0
回答已采纳
在过去的两天里，我一直在完善一个我想抓取的网站的网址列表。我的脚本(除了数据提取之外，它与的示例基本相同)正在运行，但有一个问题。数据存储中本地保存的某些文档是不完整的。例如，从示例脚本中可以看出，在某些已保存的数据中，title字段是空的。在其他情况下，它都被保存下来了。每次保存的唯一字段是url: request.url。
我最好的猜测是，我正在爬行的领域非常慢，从其他领域加载了多个脚本，Cheerio只是快速通过，而不是等待整个页面完全加载，然后提取它能找到的任何数据，然后继续前进。
要抓取的总页数大约是2500，所以我不介意这个过程很慢，但我希望确保它是完整的。
如何确保页面在提取之前
浏览 34提问于2019-07-21得票数 0
回答已采纳
2回答
我想从网页()下载一些数据到Excel电子表格。
加载此页面后，我必须从"Código do Ativo“下拉列表中手动选择一个选项，然后选择"Agenda”。
有没有办法可以通过VBA自动完成？
例如:从"Código do Ativo“下拉列表中选择"RDVT11”，选择"Agenda“，然后从将出现在页面底部的表格中下载数据？
到目前为止我的宏：
Private Sub Agenda()
Sheets("Dados").Select
Dim ProductionAddress As String
ProductionAddress
浏览 0提问于2017-01-22得票数 0
我有一个包含VBA应用程序的只读Excel工作簿。应用程序保存任何需要保存在数据库中的数据，并且工作簿总是在不保存的情况下关闭(通过在ThisWorkbook.Saved中设置BeforeClose= True )。
我有以下问题：
用户双击Windows资源管理器中的工作簿，将打开工作簿。
用户双击Windows资源管理器中的工作簿第二次。
Excel提示："MyWorkbook.xls已经打开。重新打开将导致您所做的任何更改被丢弃。要重新打开MyWorkbook.xls吗？“
如果用户单击“是”，则在不执行已打开实例的BeforeClose事件处理程序的情况下重新打
浏览 3提问于2008-10-09得票数 7
回答已采纳
1回答
有人知道如何使用VBA从SAP Netweaver中提取数据吗？
我有许多每日报告，需要从SAP导出数据到Excel，并将其格式化为报告。我已经编写了执行格式化的VBA宏。我必须手动提取数据并分别运行每个报告宏。如果我的宏可以进入SAP，抓取报告#1的数据，格式化它，抓取报告#2的数据，等等，那么就可以节省很多时间。
我使用的是SAP NetWeaver (版本730，版本7300.1.3.1079)。这些报告只是Excel数据透视表和图表。
浏览 25提问于2013-10-18得票数 10
回答已采纳
我正在尝试使用Excel2013中的VBA从一个县网站上抓取web数据。我是新手，我觉得我的代码甚至不值得发布，但我希望我能在我的一般方法上得到一些帮助。
一个示例搜索词将我带到了
如果我点击“下一步”，就会跳转到
我一次只能搜索20个结果，看起来“下一步”按钮将把我带到一个类似的网址，但"&startrow=“参数设置为比前一页大20个。
如果我想复制所有页面中的所有数据，我是否需要关注"&startrow=“才能正确地循环？如果是这样，那么最好的方法是什么？
浏览 1提问于2015-04-16得票数 0
1回答
需要用户交互的Web抓取
、、、、
我正在尝试抓取一个网站，它需要你向下滚动，当它到达底部时，加载更多的项目。这是一个有限数量的项目，所以我知道它不会永远滚动，但有没有什么方法可以做到这一点，而不必与浏览器对象交互。
我试图用VB / VBA来实现这一点，但是任何语言都可以。现在我在MS Access中将其模板化，只是为了了解站点的反应，我可以使用浏览器控件加载它，但它很笨重。最好是我可以直接进行HTTP调用的东西。
顺便说一句，他们有没有什么好的web抓取教程，我应该看看？
浏览 0提问于2016-03-20得票数 1
我正在开发一个应用程序，它在前端使用Excel，并通过COM上的第三方API访问远程数据。该应用程序直接在Excel VBA中编码(即没有Excel的COM自动化)。有时，在运行我的应用程序后，当用户退出时Excel不会退出，从而创建一个消耗大约50% CPU的僵尸Excel。
我已经在SO上读到了现有的“Excel不会退出”的答案--它们似乎都与Excel的Interop / COM自动化有关。对于在这种情况下如何确保Excel退出，有什么建议吗？
浏览 0提问于2012-11-22得票数 0
回答已采纳
我有一个用VBA编写的Excel加载项，它遍历工作表的使用范围并操作单元格值。它是一个简单的加载项，但现在用户需求已经发生了变化，我想在Visual中的C#中开发它。为此，我研究了VSTO，但据我所知，在visual中，您可以为excel的单个版本开发外接程序。我必须支持excel 2010和excel 2013。我该怎么做才能解决这个问题。我应该使用哪个视频演播室版本？
浏览 2提问于2016-05-03得票数 0
回答已采纳
我有一个网站，将抓取新的数据在第一页访问。我想使用AJAX来做这件事，这样我就可以在抓取过程中向用户提供至少一些loading.gifs，但这只有在启用了Javascript的情况下才能实现。
我的站点使用了一个PHP模板引擎，所以我想把抓取函数放在html模板的<noscript>标记中。因为这将在所有PHP代码之后发生，所以我必须重新加载页面，以便可以使用PHP呈现/解析抓取的数据。
这种方法看起来有点草率，我想知道是否有有效的方法来做到这一点。
浏览 0提问于2011-01-16得票数 1
我在我的应用程序中使用了APEX树( 5.1版通用主题)。它在一个全局页面上，在我的应用程序中充当导航区域。它出现在我的应用程序的大多数页面上。问题是，有时树变得非常大，大约有5000 - 6000条记录，在我浏览的每个页面上加载都需要时间，因此延迟了响应。这对性能不好。我想让这个区域成为静态的，而不是把它加载到每个页面上。因此，页面加载，但树应该保留在那里。
我们能不能在全局页面上创建一个区域而不是每次都加载。有没有办法限制它？
浏览 2提问于2019-09-17得票数 3
3回答
我使用scrapy来抓取所有的链接，用selenium抓取所有的页面。Selenium抓取了大部分页面，但在加载页面时留下了几个页面。
我尝试了timeout()，但似乎不起作用，然后我尝试了使用execute_script
driver.execute_script(“返回document.readyState==”完成“；”)
这似乎也不起作用，然后我试着用expected_conditions
( WebDriverWait.until(expected_conditions.execute_script("return document.readyState==“完全”；
浏览 4提问于2020-08-23得票数 0
我正在尝试使用selenium webdriver包为R中的页面设计一个抓取器，但是我想要抓取的页面部分无法加载，无论我等待了多长时间。这可能与javascript有关，我承认对它一无所知。
我尝试强制它向下滚动以加载元素(在本例中是一个表)，但没有效果。
它可以在普通浏览器中正常加载。
这就像是发生了这种情况的几个网站，所以我想我应该打开我的stackoverflow樱桃，向专家请教。
对不起，我没有reprex，因为我不知道问题是从哪里来的！
指向该页面的链接为
-黄色突出显示的区域是表应该加载的位置。
火狐中显示的
感谢您的阅读！
浏览 0提问于2020-03-19得票数 1
2回答
我正在做一个在Python中使用Selenium的网站抓取项目。当我通过浏览器打开主页时，它可以正常打开。
但是，当我尝试在Selenium中通过webdriver()打开网页时，它打开了一个完全不同的页面。
我认为，它能够检测user-agent(不确定它叫什么)，并且能够检查浏览器或其他东西的属性。
是否可以通过webdriver()传递属性，以便加载正确的主页。
谢谢
浏览 4提问于2011-11-27得票数 10
回答已采纳
我有一个关于excel VBA的问题。Excel文件已创建多年。它在32位excel中运行VBA代码。但是，我的计算机将32位excel升级到64位excel。我不能再运行VBA文件。
它显示错误:在隐藏模块中编译错误。当代码与此应用程序的版本、平台或体系结构不兼容时，通常会出现此错误。
这是任何解决方案吗。谢谢。
浏览 31提问于2020-12-17得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
