如何使用autoHotKey AHK从网页上抓取表格？我使用AHK登录到一个页面，现在只想从该页面抓取表格，该页面有很多数据，包括多个表格。
浏览 53提问于2020-02-04得票数 0
1回答
我有一个网站，我正在抓取，需要滚动水平(到最右边)和垂直(到最底部)的一个网页上的表格。我使用的是Python3、Selenium和Chrome Driver。
我可以抓取表格数据，但它只能抓取我网页上可见的内容。当我检查网页时，我找不到任何滚动信息。
通过在线搜索，我看到了使用Selenium进行滚动的各种方法，甚至可以通过xpath查找，然后以这种方式进行滚动。到目前为止，我没有任何幸运的选择，但可能做错了。
这是我尝试过的一个例子，但它不起作用：
html=browser.find_element_by_xpath('/html/body/form/div[3]/div[2]/d
浏览 0提问于2019-10-26得票数 1
我正在尝试用下面的代码从网页上的表格中抓取数据到googlesheet。 =IMPORTXML("https://backoffice.onlineathome.ondemand.in.th/exams/search", "//div//div[contains(@class, 'rt-tr-group')]") 这将在网页上显示表格的inspect元素。 enter image description here 我的代码不工作。正确的代码是什么？
浏览 41提问于2020-11-11得票数 0
1回答
我试图从以下网页抓取数据，我需要一个表格格式的记分板。有人能帮我吗？我正在使用python3。我对网络抓取是个新手，对网页的内部原理不是很熟悉。提前感谢！
我试着在urllib2中使用BeautifulSoup，等等，但是什么地方都没找到。
浏览 2提问于2019-11-01得票数 0
我想在有下一步链接的网页上抓取表格，但是当你点击这些下一步按钮时，URL不会改变。使用python (BeautifulSoup，请求)学习抓取这类表的最好/最简单的资源是什么？
例如，我如何抓取上的表。
浏览 1提问于2017-11-15得票数 0
我正试着从URL上盗取一张桌子 我可以使用Scrapestorm工具抓取表格数据。我是python的新手，不能从这个URL获取数据。 from bs4 import BeautifulSoup
page = requests.get('https://pantheon.world/explore/rankings?show=people&years=-3501,2020')
soup = BeautifulSoup(page.text) Excel中所需的输出： enter image description here 从网页上抓取表格数据和图片是可能的吗？
浏览 61提问于2020-12-23得票数 1
回答已采纳
1回答
抓取url不变的分页表
、、、
我正在尝试从下面的网页中抓取表格中的：
它显示了前25个结果，但对于其余的结果，您需要单击next按钮来查看它们。
我有一个python脚本，其中我使用请求和漂亮的汤来抓取表格，但只能从HTML中直接抓取前25个结果。我对此完全是新手，经过一些谷歌搜索，我仍然不能想出如何从所有页面中检索所有数据。
问题是，当选择新的结果页面时，URL不会更改。
有没有人能带我到正确的方向？
致以亲切的问候，
埃沃德
浏览 26提问于2021-05-25得票数 1
1回答
我正在尝试抓取下面URL "“中的表8的整行。
webpage<-"https://www.screener.in/company/HCLTECH/consolidated/"
Webpage<-read_html(webpage)
CF<- Webpage %>%
html_nodes("table") %>%
.[8] %>%
html_table(fill = TRUE)
只能得到以下输出，而不是网页上折叠的整个表行。如何在html表格上抓取折叠的行？
浏览 2提问于2018-09-22得票数 0
6回答
我正在使用Python中的Selenium webdriver抓取网页
我正在制作的网页有一个表格。我可以填写表单，然后单击提交按钮。
它会生成一个弹出窗口( Javascript Alert)。我不确定，如何通过webdriver点击弹出窗口。
你知道怎么做吗？
谢谢
浏览 2提问于2011-12-26得票数 20
1回答
我正在尝试抓取这个交互式网页上的表格
以下是我的原始代码：
url='https://games.crossfit.com/leaderboard/open/2019?country_champions=0&division=1&citizenship=US&citizenship_display=United+States&sort=0&scaled=0&page=1'
US_male=read_html(url)%>%
html_nodes('#leaderboard')%>%
html_n
浏览 9提问于2019-07-24得票数 0
回答已采纳
1回答
我试图抓取网页，所以我使用了read_html命令。但是我不能扔掉我想要的那张桌子。我想这个页面是用javascript编写的。我不知道该怎么处理。以下是我所做的
url=paste0("http://www.oddsportal.com/baseball/usa/mlb-2006/results/#/page/2/")
site=read_html(url)%>%html_nodes('.tournamentTable')
或site=read_html(url) t<-html_nodes(site,"table")%>
浏览 0提问于2018-09-13得票数 0
客户使用网络查询直接从我们的网站抓取表中的数据，并将它们放入excel中，在那里他们可以自动处理这些数据。在尝试从我们的网站获取数据时，我们注意到没有显示表格标记。excel无法识别网页上的表格。
网站采用RoR开发。
有人能帮我们解决这个问题吗？
浏览 5提问于2015-02-12得票数 0
1回答
我需要抓取一个网站，然而，它的内容是动态的。Python中有没有可以调用js函数的包？例如，假设我在JS中有一个链接和JS函数1、2和3，我应该在该网页上调用，并且在所有JS函数调用之后我需要最终的网页。
浏览 16提问于2019-02-12得票数 0
1回答
我想从网页中的表格中获取数据，这些网页似乎是使用"Excel发布为网页向导“发布的。我知道有很多抓取工具(对于这样的任务来说似乎很先进)，我也知道我可以写一个脚本，但我希望有人指出一些非常简单的东西，特别是数据是使用自动化工具发布的。
我更喜欢使用rails解决方案。
这些数据是健康统计数据，。
浏览 8提问于2012-05-06得票数 1
回答已采纳
在过去的两周里，我已经完成了Office外接程序开发环境的设置，真是太痛苦了！在我花更多的时间在这上面之前，我想知道Office是否能够做一些我需要做的事情来替换我的VBA插件。
事情包括：
我经常刮网页表，我很确定我能做到这一点
我有一些宏需要在抓取之前与网页进行交互，例如输入数据和单击按钮，Office外接程序可以以这种方式与外部网页交互吗？
我有一堆宏，它们触发一个URL / params，它以下载xlsx或Excel的格式向后吐出一个电子表格，或者只是打开电子表格。我现在有两个宏，一个找到FileSystem上的文件并导入它，另一个找到Excel实例(独立于打开/现有实例)
浏览 14提问于2022-01-12得票数 0
1回答
使用AJAX请求抓取页面
、、、
我正在使用带有jsDOM的Node.js来抓取网页并在其中执行JavaScript。但是，如果页面包含AJAX请求，则不会执行这些请求。
是否有在抓取的页面中执行AJAX调用的选项？
浏览 1提问于2011-05-27得票数 4
回答已采纳
我正在建立一个网络刮板，以获得一些特定的信息从一些网页。我有一个表格上的页面链接，我想创建一个循环，以便在每次迭代中，我的函数可以加载特定网站的html，并检查某个短语是否位于该网站中。在短语不存在的情况下，该表行将被删除。
我意识到，由于某种原因，当我运行循环时，应该抓取单个链接的JQuery函数等待循环结束，然后抓取相同的页面50次，而不是每次抓取不同的网页。
//snippet has been simplified to make the problem clear
//assume urlList is a list of 50 different url'
浏览 3提问于2018-05-11得票数 0
2回答
最近，我正在从网页中抓取表格数据，并希望以列表格式country_name、currency1、currency2这样的格式存储在数据库中。我尝试了下面的代码，但它有一点工作，但不是完全。请检查它并指导我，并用它从网页上刮走多个表格。我的代码是：
from bs4 import BeautifulSoup
import requests
url = 'https://www.x-rates.com/table/?from=USD&amount=1'
page = requests.get(url)
soup = BeautifulSoup(page.text, &#
浏览 0提问于2018-10-22得票数 0
回答已采纳
我想从其他网站页面上抓取数据，这些页面动态加载表格的数据。我正在使用Php和简单的Html Dom进行抓取，搜索后没有找到任何解决方案，如何从网页中抓取动态数据？或者有另一种方法可以做到这一点？
我必须从这个url->中抓取表数据。
我使用下面的代码来做这件事。
$url = "https://fantasy.premierleague.com/a/leagues/standings/313/classic";
$html = file_get_html($url);
$html->find('div#ismr-classic-standings')
浏览 3提问于2016-08-23得票数 2
1回答
我现在开始用漂亮的汤来抓取网站，我想我已经掌握了基本的知识，虽然我缺乏网页的理论知识，但我会尽我最大的努力来表达我的问题。
我所说的动态网页是这样的:一个网站，它的HTML会根据用户的动作而改变，在我的例子中，它是可折叠的表格。
我想获得一些"div“标签中的数据，但是当你加载页面时，数据在html代码中似乎是不可用的，当你点击表格时，它会展开，这个"div”的"class“从类似于"something blabla collapsible”变成了"something blabla collapsible active“，这是我可以用我的知识抓取的。
我
浏览 1提问于2016-11-22得票数 4
我基本上是在写一个小的网页抓取代码。最初我使用NodeJS+Request+Cheerio来抓取网站，但后来我意识到Cheerio只适用于静态网页，而不适用于那些使用JS加载DOM对象的网页。
所以我选择了ScraperJS，因为它有Static_Dynamic ContentScraper。我已经设置了这里指定的所有依赖项：
但我的代码仍然不能工作，这是他们的github存储库上给出的示例代码。平台: windows 7，通过CMD : node file_name.js运行
代码：
var scraperjs = require('scraperjs');
cons
浏览 1提问于2017-08-08得票数 0
1回答
R使用XML抓取html网页
、、、、
我正在尝试使用下面的代码抓取这个网页。
library(XML)
url <- html("http://www.gallop.co.za/")
doc <- htmlParse(url)
lat <- xpathSApply(doc,path="//p[@id=Racecards]",fun = xmlGetAttr , name = 'Racecards')
我看了看网页，我想要清理的表格是赛车卡表格，主要是为了获得赛车卡数据所在位置的链接。
我使用选择器小工具，它将xml路径返回为：
//*[(@id = "Rac
浏览 0提问于2017-03-19得票数 0
我有一些编码经验，但对Javascript和web开发来说几乎是全新的。
我试图构建一个网页，其主要功能包括从国家气象局(如)抓取RSS提要，然后解析输出以显示各种参数(温度、湿度等)。作为文本。
我已经研究过了，似乎Node.js有几种不同的方法来抓取外部网页，并将源代码作为一个对象返回。然而，据我所知，Node.js是为服务器端应用程序设计的，而我想在人们可以访问的实际网站上使用它。我被困在以下几个方面：
如何将Node.js功能集成到网页的代码中？Node.js脚本和其他依赖项是通过浏览器中的浏览器自动“工作”来打包的，还是还有更多？是否有一个自我包含的Javascript编辑器，允许我
浏览 3提问于2020-07-26得票数 1
回答已采纳
2回答
我正试着从一个网站上下载一张excel表格。到目前为止，我已经实现了，直到点击下载按钮自动(网页抓取)。现在ie9正在弹出一个“另存为”屏幕。我如何将其自动化？
浏览 0提问于2014-09-25得票数 9
回答已采纳
2回答
我的女朋友的任务是从一个网页上获取所有数据。该网页属于一家成人教育中心。要访问该网页，您必须先登录。url是一个.asp文件。 她必须将数据放在Excel表格中。这些条目是学生姓名，号码，身份证号码，电话等。有数千个条目。仅HR学生就有70页的参赛作品。这一切都以表格的形式显示在网页上。可以进行复制和粘贴。 我可以合理地处理Python openpyxl，我听说过web抓取，我相信Python可以做到这一点。 我不知道.asp是什么。 你能给我一些关于如何用Python获取数据的提示吗？ 我可以自动执行此任务吗？ 这是MySQL的案例吗？(我对此一无所知。)
浏览 13提问于2019-03-01得票数 0
5回答
当我开始学习scrapy时，我遇到了动态构建项目属性的需求。我只是在抓取一个有表格结构的网页，我想在抓取时形成项目和字段的属性。我已经看过这个示例了，但是我不能理解它。
我是否应该写一个项目管道来动态捕捉信息。我也看过项目加载器的功能，但如果有人能详细解释一下，那将是非常有帮助的。
浏览 1提问于2013-03-13得票数 17
回答已采纳
我已经写了一个小的python代码来抓取网页中的表格。它使用qt4来抓取。现在，问题是我需要每5分钟抓取一次数据。我正在考虑刷新页面并再次抓取。如何每隔5分钟刷新一次网页并再次抓取？下面是我用来抓取的代码。
import sys
from BeautifulSoup import BeautifulSoup
from PyQt4.QtGui import *
from PyQt4.QtCore import *
from PyQt4.QtWebKit import *
from lxml import html
import redis
from time import sl
浏览 2提问于2016-11-23得票数 0
我正在尝试制作一个自动在网页上玩游戏的机器人。到目前为止，我可以导航到网站，登录，并加载游戏页面，但我被困在这里。
我想在网页级别注入一个脚本，它使用jQuery不断地抓取网页并确定游戏所处的状态。当某个事件发生时，我希望脚本触发一个自定义事件(？)这将通知Node.js./Puppeteer级别的函数执行。我的问题是，当页面中的自定义事件被触发时，我不知道如何让Puppeteer做出反应。
例如，假设我们有一个网页级别的函数，它在1秒的超时时间内抓取X的网页。当找到X时，我想从网页上抓取Y数据并将其发送到节点级别。当在节点级别接收到Y时，它会将鼠标移动到Y位置，或者对Y执行在浏览器级别无法完
浏览 14提问于2017-12-03得票数 0
2回答
在c#中从网页中抓取表格
、、、
构建一个函数将网页上的html表格抓取到一个变量中的最佳方法是什么？
我希望能够向它传递一些唯一的标识符(如表ID等)，然后它会将所有数据返回到类似于DataTable的内容中。
浏览 0提问于2011-11-16得票数 2
回答已采纳
我试图抓取一个多页的网站，分页是用javascript完成的。该网页如下：
网页只是一个例子。在网页上使用相同的分页来显示所有提出立法的法案，列表，这些法案最终将被刮掉。
使用Chrome中的开发人员工具并检查网络活动，我无法找到点击页码时发送的参数。用于分页的javascript似乎是这样的(cbpHorizontalMenu.js)：
我正在尝试用R进行抓取，但我对其他编程语言或程序(在Chrome、Python、Puppeteer、Phantomjs中运行的脚本)持开放态度。
浏览 1提问于2020-06-04得票数 0
有一个网页是用JS：生成的
我想抓取FTP栏中的链接。它们都是JS生成的。
默认情况下，scrapy只获取超文本标记语言，而不执行JS。我怎样才能改变它？
浏览 14提问于2018-01-16得票数 0
回答已采纳
我的应用程序需要安装nightmare.js，其中包括电子浏览器的网页抓取。我遵循了这篇文章，但没有结果。那么，我如何安装带有选举人的Nightmare.js呢？
浏览 1提问于2018-02-28得票数 1
回答已采纳
1回答
在MongoDB中保留文本格式
、、、、
我正在用puppeteer进行网页抓取，但我得到的description有不同的文本格式，如h1、项目符号等。 我使用$("#JobDescriptionContainer").html();抓取文本，然后将其保存在MongoDB上，但当我将其放到我的JS/React应用程序中时，文本没有格式化(所有内容都在一个普通字符串中)。 如何在我的网站上以原始格式(如我抓取的网站上所示)显示抓取的文本？ 我想： ? 但我有： ?
浏览 20提问于2021-06-25得票数 0
回答已采纳
有没有一种方法可以在不含selenium的情况下，用python或lxml来抓取JS渲染的网页呢？ 谢谢
浏览 30提问于2020-09-29得票数 3
我正试着从中抓取第二个表
我用过
URLPL <- "https://fbref.com/en/comps/9/passing/Premier-League-Stats"
Tab <- htmltab(doc = URLPL, which = 2)
回传
“错误:找不到表。尝试将(不同的)信息传递给哪个参数”
而且还
URLPL <- "https://fbref.com/en/comps/9/passing/Premier-League-Stats"
Tab <- htmltab(doc = URLPL, which =
浏览 5提问于2020-05-02得票数 2
哇，这很复杂，但我基本上需要通过一个单独的Perl脚本来触发网页中的$.ajax函数。
我有一个网页，它的$.ajax调用一个Perl文件，该文件抓取数据并将其返回给网页。然后javascript分析数据并创建另一个javascript函数调用，该函数调用请求Perl发送带有该数据的电子邮件。Perl抓取数据，发送给js，js再次调用Perl通过电子邮件发送分析后的数据。
我被要求编写一个Perl脚本来单独发送电子邮件，但是我迫切需要使用现有的代码；那么，我的Perl脚本是否可以调用那个特定的$.ajax来获取数据，分析它，然后再次将其发送给Perl以发送电子邮件？
有什么想法吗？
浏览 0提问于2014-11-18得票数 0
1回答
我正在写一个网页抓取程序，以便从网站上获得我的成绩。我使用Mechanize登录页面并导航到我要抓取的区域。不幸的是，页面使用Javascript对页面进行加密(可能是为了阻止我抓取)。我找到了解密脚本并移植到了Python。它起作用了，我用它从页面中提取加密的字符串，当我转换它时，它变成了HTML中的一个表。
那么，为了达到我的观点，有没有什么方法可以把HTML重新注入到页面中，并使用mechanize来使用表格上的链接来获得我的成绩？
谢谢你的帮助！
编辑:我也有很好的汤，如果有帮助的话。
浏览 3提问于2013-01-14得票数 1
回答已采纳
我正在构建一个iOS共享扩展。我需要从网页中抓取一些数据，所以我使用了一个JavaScript文件来抓取这些数据，并将其发送回应用程序以在扩展中使用。
我注意到了以下几点。当我用我的JavaScript文件设置NSExtensionJavaScriptPreprocessingFile键时，SLComposeServiceViewController显示得很完美，但没有图像！
如下所示：
如果我删除NSExtensionJavaScriptPreprocessingFile，我的SLComposeServiceViewController显示如下：
但我需要访问网页中的一些
浏览 0提问于2016-02-18得票数 7
3回答
我正在尝试从下面的morningstar网站上获取数据：
我目前正在尝试只做IBM，但希望最终能够输入另一家公司的代码，并对那家公司做同样的事情。到目前为止我的代码如下：
import requests, os, bs4, string
url = 'http://financials.morningstar.com/ratios/r.html?t=IBM®ion=USA&culture=en_US';
fin_tbl = ()
page = requests.get(url)
c = page.content
soup = bs4.Bea
浏览 3提问于2016-02-27得票数 3
1回答
我正在为一个特定的网页做网页抓取，我注意到我的代码只抓取了只显示第一个滚动的部分。当进一步向下滚动时，页面会自动显示更多信息。下面是似乎控制这种算法的代码。
<div class="view-pagination text-right">
<ul class="js-pager__items pager" data-drupal-views-infinite-scroll-pager="automatic">
::before
<li class="pager__item"
浏览 1提问于2019-10-31得票数 0
1回答
我对node.js和Javascript有点陌生，所以如果这个问题措辞不当，请原谅我。
我正在使用cheeriojs从一个站点抓取数据。我正在运行js文件，它在命令行中抓取数据，并输出我想要的数据，但我希望能够在网页上访问这些数据，在那里我可以将其放入表中。(或者我想要的任何事情)。我到底该怎么做？
谢谢
浏览 1提问于2016-07-29得票数 1
回答已采纳
我需要从网页上的表格中抓取数据。然后，我想将此数据存储在一个数组中，以便以后可以将其存储在数据库中。我对这个功能非常不熟悉，所以我想使用尽可能简单的方法。
我应该使用哪一个？file_get_contents、file_get_html、cURL
浏览 1提问于2014-07-04得票数 0
有没有可能使用JavaScript从网页上更新谷歌电子表格？
场景：
1)用户登陆网页
2)执行JS脚本，修改Google电子表格
如何做到这一点？
浏览 0提问于2013-01-12得票数 4
因此，目前我的代码打开一个网页，然后从我的电子表格输入一个产品代码到搜索栏并导航到下一个页面。从这里开始，宏从网页中获取一张图片，并将其放在我的电子表格中。
问题是当第二个网页打开得太慢时，我会从第一个网页得到一个图像。
我尝试过像下面的循环那样运行一个do while循环，但是它似乎不适用于第二个web页面。
在抓取图片之前，我能做什么使宏等待第二个网站加载？
With IE
.Visible = False
.navigate "https://www.genericwebsitename.com/"
Do While .Busy Or .read
浏览 0提问于2019-07-12得票数 0
回答已采纳
我正在尝试抓取以下url ()，表内容是我感兴趣的内容，但是看起来表隐藏在某个地方：
右键单击表上的检查，我可以得到表(后面是)，但是在scrapy shell中，如果我执行response.xpath(‘//*@ ==$0’)，它不会返回任何内容，这意味着我不能通过这种方式抓取内容……请在这个问题上提供帮助，谢谢。
更新:最终的解决方案是使用Selenium (伟大的工具)来完成这个任务，当网页内容如表格等被java加密时，selenium尤其有用，在社区中可以找到大量的selenium说明，这是一个。
浏览 58提问于2018-05-17得票数 0
回答已采纳
我是网络抓取的新手，我正在尝试使用BeautifulSoup从网站中提取链接和表格数据。但是，即使网页中有链接，它也会返回none。我可以通过在浏览器中查看网页来找到链接。 下面是我使用的代码 from bs4 import BeautifulSoup as soup
from selenium import webdriver
driver = webdriver.Chrome()
url = "http://www.ms2soft.com/tcds/?loc=Txdot&mod=tcds&local_id=57CC441"
driver.get(url)
浏览 23提问于2020-04-04得票数 0
我正在尝试抓取这个网页：以表格格式获取XML中的一些值: legalName、shortName、country、id、city、vatNumber、ecContribution等。
这是我想要获取的表的。
我已经尝试在Google Sheets中使用IMPORTXML，但到目前为止还没有很大的成功。我的问题是，我无法识别正确的xpath查询，即使使用chrome扩展，如SelectorGadget和XPath助手，他们通常会帮助您找到它们。
注意:看起来“协调器”表使用了不同的html标签。你有什么建议来正确地抓取这个页面吗？提前谢谢你！
浏览 1提问于2021-07-23得票数 1
我想从这个页面中抓取表格的数据。它们要求选择多个选项，如“商品”、“状态”、“年”和“月”。然后需要按提交按钮才能获得表格。
我的尝试是收集与"Commodity"="Tomato"，"state"="Karnataka"，"year"="2016“和”MONTH“=所有月份数据相关联的表。我正在使用R中的以下代码
url<-"http://agmarknet.gov.in/PriceTrends/SA_Month_PriMar.aspx"
pgsession <- html_s
浏览 8提问于2017-06-07得票数 0
回答已采纳
1回答
我是python的新手，正在尝试从网页上抓取一个表格。我已经通过Chrome中的"inspect“访问了html。网页在这里：
以下是我使用的代码
import bs4
from urllib2 import urlopen as uReq
from bs4 import BeautifulSoup as soup
#name a page to scrape
my_url = 'https://www.basketball-reference.com/players/a/abdelal01.html'
uClient = uReq(my_url)
page_ht
浏览 0提问于2017-11-16得票数 0
1回答
我在一个网页中集成了ckeditor，它使用表格插件来允许用户在编辑器窗口中创建表格。当用户退出编辑器窗口并在页面上显示结果时，表格宽度有时会比网页宽得多。
我已经做了一些更改，以便编辑器允许样式标签，如：
CKEDITOR.replace('editor', {
extraAllowedContent: 'table{*}'
});
还对ckeditor的config.js进行了此更改，以使表格的默认宽度为100%：
CKEDITOR.on('dialogDefinition', function (ev) {
var dial
浏览 1提问于2017-11-15得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
