VBA Web抓取-抓取"hrefs“列表

文章/答案/技术大牛

发布

1回答

vba、web-scraping、getelementsbyclassname

我想抓取一个可点击的链接中包含的名字列表。然而，我没有得到一个结果。在第二步中，我想为每个标题创建一个新的标签。如果有人能给我一个提示，我的代码中有什么错误，以及我如何优化它，那就太好了。

浏览 27提问于2021-08-12得票数 0

1回答

保存在变量中的擦除文本只返回最后一个文本。

python、selenium、web-scraping、xpath、environment-variables

我使用selenium从新闻网站的第一页抓取有关给定关键字的所有文章。守则如下：driver.get(homepage) for art in element: pr

浏览 5提问于2022-01-17得票数 0

回答已采纳

1回答

php dom xpath从站点中的所有文件夹中提取所有链接

php、dom、curl

也许它叫别的什么..我有下面的代码，它将抓取第一个文件夹中的所有内容，但不会从其他文件夹中抓取其他项目。例如，它会抓取第一个/前面的所有内容，但如果你有一个站点mysite.com/ folder2 /，它就不会抓取folder2。一切都是联系在一起的。它也会向后移动。DOMDocument(); $xpath = new DOMXPath($dom

浏览 0提问于2013-02-19得票数 0

1回答

简单的Web抓取PHP Xpath DOM

php、dom、xpath、web-scraping

我正在尝试学习web抓取，并使用此示例从页面中获取链接。有没有更好的方法来做到这一点，或者例如，获得h1的最简单方法是什么？DOMDocument();$xpath = new DOMXPath($dom); for ($i = 0; $i <

浏览 3提问于2012-11-21得票数 2

回答已采纳

1回答

我需要将抓取的urls保存为URI格式的csv文件。文件不会写入csv

python、csv、web-scraping、beautifulsoup

我要创建一个程序来： 1.)从网站上抓取web链接，2。)删除重复项，请按3。)确保所有web链接均为URI格式，并按4。)写入csv。问题似乎要么是我无法将我的集合转换回列表，并且集合是不可变的，要么是...I认为我在Jupyter中所做的事情导致它失去了与程序的连接，并且它无法识别我引用我抓取的链接的方式。请告诉我哪里搞砸了。(['#']): elif hrefs.

浏览 14提问于2020-10-23得票数 0

2回答

BeautifulSoup是否支持自定义html标记？

python、beautifulsoup、download、youtube、html-parser

我正在尝试建立一个youtube- playlist -downloader，其中包括使用BeautifulSoup抓取播放列表的网页以获取视频的hrefs。在查看一个youtube播放列表网页后，我发现视频信息是ytd-playlist-video-renderer标签的孩子。脚本 html = urllib.request.urlopen(url).read() hrefs

浏览 33提问于2019-12-04得票数 0

2回答

Web抓取- VBA

excel、vba、web-scraping

我试图刮从一个网站的数据，没有任何运气。我设法在Elements中导航，但还没有从上一个Elements中获得信息。下面是我的代码，任何帮助都将不胜感激。 Dim All_Matches, Match Set IE =

浏览 1提问于2019-08-09得票数 0

回答已采纳

1回答

MS web刮刀返回"&“代替"&”

vba、ms-access

我正在使用Access VBA做一些网络抓取。Mon&day，它实际上返回Mon&day。我正在使用IE对象进行web抓取。Set ie = CreateObject("InternetExplorer.Application")tdRow(subCounter).innerHTML 我知道是否有一种方法可以返回HTML，而不是让VB

浏览 2提问于2019-12-29得票数 1

回答已采纳

1回答

如何抓取用unicode伪装的href(例如\u003ca href=\)

python-3.x、web-scraping、beautifulsoup

我正在尝试抓取hrefs中包含的相对路径，但它们除了主要的汤拉之外并没有出现在任何地方。如果我尝试拉取特定的href或链接，我希望抓取的内容不会显示出来，但我知道它们就在那里。u003ca href=\"/model/ford-1300\" \u003ca href=\"/model/ford-1400\" 有没有办法在页面上创建一个包含大约20个"u003ca href“的列表我正在查找引用中的部分(例如/model&#x

浏览 33提问于2021-04-20得票数 0

4回答

如何使用DOM和XPath从页面中抓取链接？

php、dom、xpath、curl、hyperlink

我有一个卷曲页面抓取与卷曲，并希望抓住所有的链接与一定的id。据我所知，最好的方法是使用dom和xpath。下面的代码抓取了大量的url，但删除了其中的许多，并抓取了不是url的文本。$curl_scraped_page是用卷曲抓取的页面。$dom = new DOMDocument();$xpath = new DOMXPath($dom); $hrefs =

浏览 0提问于2011-03-25得票数 2

2回答

如何使用get_attribute将属性值作为字符串，而不是单个字母？

python、selenium、beautifulsoup、getattribute

我正在使用selenium (可能还包括BS4)为过去4/5年的比赛抓取比赛结果页面()的不同部分，这是我已经抓取了链接的部分。for link in links: hrefs.append(link.get_at

浏览 2提问于2020-03-31得票数 0

回答已采纳

3回答

PHP抓取页面

php、dom、xpath、screen-scraping

我正在尝试抓取一个页面，其中包含我要查找的信息： <td align="right">label</td> <在我做类似这样的事情之前：这就是我抓取网址的方法，有没有办法<

浏览 3提问于2009-09-03得票数 1

回答已采纳

1回答

如何获得不同页面的cURL响应？

python、curl、scrapy

我正在进行一个小的数据抓取项目，并希望从https://www.germanystartupjobs.com/网站获得所有的工作。这些作业作为POST请求加载。href上迭代， selector = scrapy.Selector(text=data['html'], type="html") hrefs= selector.xpath('//a/@href'

浏览 4提问于2016-12-18得票数 0

回答已采纳

2回答

我正在尝试使用Python进行web抓取，并提出了如下请求，并得到了响应。但不知道怎么处理

python、web-scraping、python-requests

我想从答复中提取链接。import requests 'authority': 'www.xxxxxx.net', 'accept': 'text/javascript, applica

浏览 1提问于2021-10-27得票数 0

1回答

如何在提取特定亚马逊销售商的所有产品链接时处理分页符

python、html、amazon-web-services、xpath

我正在编写一个Python程序来提取锚标与hrefs匹配某个正则表达式模式从卖家页面。例如，我的第一个以字母'A‘开头的卖家URL如下：但是来自第一个URL的产品列表分布在多个页面上。

浏览 1提问于2017-09-13得票数 1

2回答

Excel VBA* Web抓取*

vba、excel、web-scraping

我是Excel编程新手，我需要一些帮助来调试我的代码，以便从Amazon上抓取一些数据。

浏览 2提问于2017-11-16得票数 0

1回答

对象的JavaScript迭代列表

javascript、web-scraping、puppeteer、skyscanner

我要做的是遍历所有清单的列表，并为每个清单提取URL。 ? EcoTicketWrapper_itineraryContainer'] > div[class^='FlightsTicket_container'] > a[class^='FlightsTicket_link']").href 现在，我正在尝试弄清楚如何遍历列表，并为循环中的每个列表应用选择器。

浏览 19提问于2021-02-02得票数 0

回答已采纳

1回答

VBA web抓取更新

html、vba、web、web-scraping、screen-scraping

我有以下代码：您能帮我更新代码以包含一个循环吗：HTML元素的价格是"649“Dim IE As SHDocVw.InternetExplorerDim doc_ele As MSHTML.IHTMLElement Dim doc_ele

浏览 2提问于2019-11-24得票数 1

回答已采纳

2回答

为什么array_unique不给我返回一个唯一项的列表？

php、web-scraping、array-unique

我正在尝试抓取我客户网站主页上的所有urls，以便我可以将其迁移到wordpress。问题是我似乎不能得到一个去重复的urls列表。new DOMDocument();$xpath = new DOMXPath($dom); for ($i = 0; $i

浏览 0提问于2012-06-23得票数 0

回答已采纳

3回答

将所有href更改为工作目录

php、html、regex、hyperlink

我必须抓取一个网站，并保存为HTML的所有页面，并把它完全放在DVD上。我已经这样做了，但是现在所有的链接都以一个/开头，它抓取了我的根目录。我想将所有文件(1500页)的所有hrefs更改为href="./"，以便它始终抓取工作目录。

浏览 0提问于2012-07-10得票数 0

回答已采纳

点击加载更多