解析/迭代html源代码，以仅使用wget获取特定文件

文章/答案/技术大牛

发布

1回答

html、bash、recursion、scripting、wget

好的，这可能已经被问过了，但是经过几个小时的搜索，我没有找到任何可行的东西，所以……例如：...<a href="page1.html">1</a><a href="pag

浏览 4提问于2017-01-20得票数 1

1回答

嵌套的for循环并附加到空对象

python、nested-loops

解析页面源代码，并希望将每个页面源代码保存到其自己的Python对象中，该对象本身位于列表中。以这种方式 for w in weeks: #我将在webdriver.select中使用y和w为网页过滤器提供值，然后<em

浏览 7提问于2016-09-16得票数 0

1回答

如何从网站获取所有图片？

wget

如果这些图片不是存储在同一个域中，如何从网站获取这些图片呢？

浏览 2提问于2012-01-22得票数 2

1回答

Wget是否有可能对结果目录进行扁平化？

bash、wget

有没有办法让wget在一个平面文件夹中输出所有内容？现在我是 wget --quiet -E -H -k -K -p -e robots=off #{url} 但是我在站点上以相同的嵌套方式获取所有内容，是否有任何选项可以扁平化生成的文件夹结构？(还有index.html文件上的源代码链接)

浏览 15提问于2020-09-16得票数 0

3回答

如何检索特定站点主页的HTML代码

html、css

我想得到一个特定网站的HTML代码。它要求我先注册，这样我就可以被重定向到他们的主页。现在，我的问题是:是否可以通过选择右键单击时出现的“查看页面源代码”选项来检索所需页面的HTML代码？有没有其他方法来获取HTML代码？

浏览 1提问于2016-04-10得票数 0

2回答

使用shell脚本获取web中的图像列表

linux、image、bash、shell

有没有可能使用shell脚本从web (我会将其作为变量)获取所有图像或更好的图像列表？谢谢

浏览 3提问于2010-11-17得票数 0

回答已采纳

1回答

当将输出管道输送到stdout时，wget不会恢复。

wget

我正在使用：但是wget在第一个页面之后停止下载，等待输入，而不是解析网页和下载链接文件。如果我将输出保存到带有-O filename的文件中，它就能工作，但我想使用过滤器动态处理网页。

浏览 0提问于2021-10-30得票数 0

回答已采纳

1回答

从网页中检索特定信息

c++、qt、qnetworkaccessmanager

我正在寻找一种方法，以获得特定的信息从网页使用Qt。到目前为止，我一直在使用QNetworkAccessManager，并设法获得了包含页面中所有内容的HTTP响应。现在，过滤此信息并解析xml以仅获取相关信息的正确方法是什么？例如，如果您想在wikipedia中查询信息，那么如何只保存信息而不保存页面的源代码呢？

浏览 1提问于2016-04-13得票数 0

6回答

获取Facebook个人资料/好友页面的工具

facebook、wget、user-profile、web-crawler

我试着用"wget“来获取facebook用户的个人资料页面，但是一直得到一个名为"browser.php”的非配置文件页面，这与那个特定的用户无关。我在浏览器中看到的配置文件页的URL恰好是以下格式： wget 我还对使用wget获取用户朋友列表感兴趣，但即使这样也给了我同样的无益结果("browser.php")

浏览 6提问于2011-07-25得票数 7

1回答

包含图像的NSURLConnection脱机网页

iphone、caching、uiwebview、nsurlconnection、webpage

我正在使用NSURLConnection下载页面，。但它只下载HTML代码，没有额外的内容，如图片。即使图像不在NSData结构中，我也希望至少有一些引用或一些委托方法调用。一个想法？

浏览 1提问于2010-01-14得票数 1

回答已采纳

2回答

如何使用wget从index.html创建URL列表？

wget、recursive

因此，wget具有递归下载文件的能力，但是它一次只下载一个文件。有什么想法吗？

浏览 0提问于2014-08-05得票数 3

回答已采纳

1回答

解析html以仅获取特定的标记

html、wordpress、parsing、web

我需要解析这段html代码，以便只获得图像src和标记后的文本。

浏览 0提问于2018-05-02得票数 0

1回答

如何使用php中的wget或curl获取网页上所有路径/文件的列表？

php、curl、header、wget

我使用wget -p $url获取网页上的所有文件，这样我就可以得到一个列表。但是对于一些URL，只有index.html才能被wget获取。有办法通过wget或cURL获取特定URL上的文件列表吗？

浏览 4提问于2012-06-20得票数 0

4回答

如何在wget中限制下载的文件大小？

files、wget、size

我想使用wget (来自php脚本)下载图像文件，但不想下载一定大小的文件。我可以用wget限制文件大小吗？如果没有，有什么更好的方法呢？

浏览 0提问于2011-07-10得票数 21

回答已采纳

2回答

从重命名的网页下载链接

html、linux、rename、wget

例如：我希望能够得到一个文件名为‘我想拥有的名字’(我不担心扩展名)。我知道我可以获取页面源代码，然后解析所有链接，然后手动下载所有链接，但我想知道是否有内置的工具可以做到这一点。lynx --dump | grep http:// | cut -d ' ' -f 4 将打印所有可以使用wget批量获取</e

浏览 3提问于2011-07-03得票数 0

回答已采纳

1回答

在递归wget上获取和防止文件下载

wget

我可以使用像wget -m -A.jpg http://www.mysite.tld/这样的命令，但是它会下载每个文件，如果它不是jpg，它将删除该文件，如下所示：Length: unspecified [text/html] index.html-KB/s in 9.5

浏览 0提问于2015-01-14得票数 2

回答已采纳

1回答

页面中有两个同名的php文件，如何获得正确的php文件？添加标识符？

php、regex、wget、fiddler、wireshark

当我尝试使用wget检索特定php脚本的输出时，我遇到了这个问题，但看起来这个站点生成了两个完全相同的PHP文件。有没有一种方法可以使用wget，通过向链接添加某种标识符来下载正确的文件，以确保我下载的是正确的文件。下面是我一直在尝试的命令： $ wget h

浏览 2提问于2014-01-05得票数 0

6回答

获取HTML并使用Windows命令行将其保存到文件中

html、windows、batch-file、cmd

我正在尝试将获取的网页的html源代码保存到一个文件中，我希望只使用Windows上的CMD提示符来实现这一点。有什么简单的方法吗？

浏览 8提问于2014-07-26得票数 0

回答已采纳

1回答

从服务器内部使用域名-如何减少DNS查找？

dns、wget

我需要在宿主服务器中使用wget命令将一堆html文件下载到特定文件夹中。我将下载的urls放在文本文件中，并使用wget的-i (输入文件)标志。urls的形式是等等。在这种情况下，我相信每个请求都会有dns解析。有没有优化dns查找的方法？

浏览 0提问于2018-11-08得票数 0

回答已采纳

3回答

我知道wget的源代码可以在线访问，但我不知道任何C，而且源代码非常复杂。当然，wget还有其他为我“炸毁源”的特性。由于Java有内置的HttpClient，但我不知道wget到底有多复杂，您能告诉我是否很难在Java中重新实现“递归下载所有图像”功能吗？这到底是怎么做到的？wget是否获取给定URL的HTML源代码，从给定的文件结尾(.jpg，.png)提取所有URL并下载它们？它是否也在该HTML</

浏览 7提问于2013-09-07得票数 1

回答已采纳

点击加载更多