3回答
HTML页面抓取
、、、
抓取具有AJAX/动态数据加载功能的网页的最佳方式是什么？
例如:抓取一个网页，该网页加载了20张图片，但当用户向下滚动页面时，它会加载更多的图片(有点像Facebook)。在这种情况下，如何抓取所有图像，而不仅仅是前20个图像？
浏览 0提问于2012-12-06得票数 3
我能用Java获取整个网页，包括CSS和图片吗？这基本上就是在浏览器中使用“另存为”操作时发生的事情。我可以使用任何免费的第三方库。
编辑：
HtmlUnit库似乎正在做我需要的事情。这就是我用它抓取整个网页的方法：
WebClient webClient = new WebClient();
HtmlPage page = webClient.getPage(new URL("..."));
page.save(new File("..."));
浏览 1提问于2011-06-24得票数 1
2回答
有没有人能解释一下我如何使用Puppeteer从网页上抓取背景图片？图像位于image-background类中，但其中没有存储任何内容。jpg URL位于
element.style {背景图像: url('')
如何抓取网址''？
谢谢
浏览 1提问于2020-06-05得票数 0
我需要从Imgur抓取图像到我的网页背景图像
<div style="background-image:url(); width:100%; height:100%;" class="zoom" >
我的镜像路径是
那么我怎样才能把这张图片放到我的背景图片url里呢？
浏览 12提问于2017-11-14得票数 0
我想保存多个网页及其所有内容，这本身并不难，而且有多个工具来完成这项任务。
但是页面本身很难使用。
它们是在客户端(通过javascript)呈现的，所以仅仅抓取服务器上html中的内容是没有用的。
有些工具可以解决这个问题，他们抓取经过正确处理的html，在html中查找图片URL，然后尝试下载它们。
还有另一个问题，图片不能直接下载，只能作为网页内容下载。现在我被卡住了。
我试着用C#制作我自己的工具来完成这个任务，看起来webBrowser + ShowSaveAsDialog很好用，但是它不能自动化。
有没有办法渲染html并将其所有内容保存在“静默模式”中？
浏览 1提问于2017-06-23得票数 0
1回答
YQl有没有一种好的方法来抓取网页，同时也可以通过该网页的链接来获取更多的详细信息？
例如，在博客中，索引页面显示每个新闻条目的标题，但您需要单击该标题链接来获取新闻故事和相关图片等。我需要从每个新闻条目页面抓取数据，并在索引页面上处理分页结果。
如果YQL能够做到这一点，有人能提供一些例子吗？如果不是，有没有人能推荐一个好的替代方案？
浏览 0提问于2013-03-14得票数 0
我正在构建一个iOS共享扩展。我需要从网页中抓取一些数据，所以我使用了一个JavaScript文件来抓取这些数据，并将其发送回应用程序以在扩展中使用。
我注意到了以下几点。当我用我的JavaScript文件设置NSExtensionJavaScriptPreprocessingFile键时，SLComposeServiceViewController显示得很完美，但没有图像！
如下所示：
如果我删除NSExtensionJavaScriptPreprocessingFile，我的SLComposeServiceViewController显示如下：
但我需要访问网页中的一些
浏览 0提问于2016-02-18得票数 7
2回答
我正在做一个用JavaScript编写的小书签，用来从超文本标记语言页面抓取图片和视频。我很容易地抓取了所有的图像，比如，
$('img', $('body'))
现在我想从Youtube，Vimeo，Dailymotion等不同的来源抓取网页中嵌入的所有视频，所以有人能给出一些关于如何用一些示例JavaScript代码来实现这一点的想法吗？
注意:我只需要从外部网站获得嵌入式视频的链接。
浏览 1提问于2013-07-19得票数 2
当某人发布一条只包含URL的推文时，Twitter会在它从网页上抓取一些文本和图片时进行一些抓取。
例子如下：
有任何方法从Twitter中检索这些数据吗？我无法在返回的任何数据中找到这些数据。我需要提供一些特殊的参数吗？还是说这只是不可能的事？
浏览 0提问于2017-10-12得票数 0
回答已采纳
3回答
是否存在这样的应用程序，将从网页下载所有的HTML与CSS，图片，JS等。
一个额外的功能是，它甚至可以重写URL，甚至可以抓取CSS文件中引用的图像。
谢谢你的建议！
浏览 0提问于2011-09-15得票数 2
10回答
我找不到任何好的基于Java的web抓取API。我需要抓取的站点也不提供任何API；我想使用一些pageID遍历所有网页，并在它们的DOM树中提取HTML标题/其他内容。
除了网络抓取之外，还有其他方法吗？
浏览 1提问于2010-07-08得票数 72
回答已采纳
我正试着从URL上盗取一张桌子 我可以使用Scrapestorm工具抓取表格数据。我是python的新手，不能从这个URL获取数据。 from bs4 import BeautifulSoup
page = requests.get('https://pantheon.world/explore/rankings?show=people&years=-3501,2020')
soup = BeautifulSoup(page.text) Excel中所需的输出： enter image description here 从网页上抓取表格数据和图片是可能的吗？
浏览 61提问于2020-12-23得票数 1
回答已采纳
在Facebook上发送消息时，如果你包含一个URL，它通常会从网页上抓取一张图片，并将其添加到底部作为缩略图。然后，您可以从网站上的大量图片中进行选择。
我可以看到如何构建它，但为了省去我的麻烦，我想知道是否有人已经以公开的格式完成了它？
谢谢!
浏览 0提问于2010-01-06得票数 2
回答已采纳
我会在我的Java应用程序中使用Apache从一个或多个网站抓取网页。基本上，为了处理页面内容(文本等)，我需要为web爬虫找到的每个网页调用我的Java应用程序的方法。如何做到这一点？
浏览 7提问于2016-06-01得票数 2
回答已采纳
我正在尝试创建一个包含门和窗的图像的数据集。为此，我有兴趣从提供大量收藏的网站之一下载图片。网页的唯一问题是，为了加载更多的图像，我需要向下滚动。稍后，我将使用BeautifulSoup解析所有的超文本标记语言内容，但我只能下载少数图像。
<code>A0</code>
网页的超文本标记语言使得在标签<code>D1</code>内存在<code>D2</code>。感兴趣的图像共享类<code>D3</code>。分页的数量几乎没有任何影响，因为每次下载的图像数量都是随机的。我用Beautiful
浏览 15提问于2020-08-05得票数 0
回答已采纳
1回答
我想抓取有用的资源(比如背景图片)。)从某些网站。这不是一项艰苦的工作，特别是在一些出色的项目，如刮刮的帮助下。
这里的问题是，我不仅要爬这个网站一次。我还想让我的爬行长时间运行，并抓取更新的资源。因此，我想知道，有什么好的策略，一个网页爬虫得到更新的网页？
这是我想过的一个粗略的算法。我把爬行过程分成了几个回合。每一轮URL存储库都会为爬虫提供一定数量(比如，10000)的URL来进行抓取。然后下一轮。具体步骤如下：
爬虫将启动URL添加到URL存储库
爬虫要求URL存储库最多抓取N个URL
爬虫获取URL，并更新URL存储库中的某些信息，如页面内容、获取时间和内容是否已更改。
浏览 1提问于2010-04-05得票数 4
7回答
我是网页抓取的新手，我想用puppeteer下载网页上的所有图片：
const puppeteer = require('puppeteer');
let scrape = async () => {
// Actual Scraping goes Here...
const browser = await puppeteer.launch({headless: false});
const page = await browser.newPage();
await page.goto('https://memeculture69.tumblr
浏览 179提问于2018-09-28得票数 20
我看到发了帖子，但没有答案。我是一个使用CefSharp的新手，但我需要知道我是否可以获得网页加载的所有资源，例如图像、字体等。
关于如何实现这一点，官方文档似乎有点模糊。
更清楚地说，场景非常简单。当你用CefSharp加载一个网页时，这个网页包含了图片，javascript文件，字体文件等资源，我只需要抓取所有这些资源来浏览它们。
提前感谢您的帮助，并为我的英语道歉。
浏览 1提问于2017-03-01得票数 4
我有一个网页，我可以登录到使用facebook连接。我需要从一个页面抓取html，但它需要首先登录。有谁知道如何使用Java中的facebook凭证来验证自己，这样我就可以抓取我需要的页面了吗？
浏览 1提问于2014-04-10得票数 0
回答已采纳
3回答
我想知道是否有与PhantomJS等同的Java库。我想要实现的是能够模拟表单登录和提交来自网页的操作，也可以做页面抓取。我知道jsoup做的是页面抓取，但不是页面自动化。
提前感谢！
干杯，亚历克斯
浏览 0提问于2013-11-04得票数 15
我正在使用python和selenium包和chromedriver来抓取网页。页面每30分钟自动重新加载一次(可能是通过java-script)，这会破坏我的抓取进度。
网络抓取是通过脚本和与页面进行进一步交互所需的javascript ist来完成的。
有没有可能通过chromedriver的标志来阻止页面重新加载呢？
浏览 24提问于2020-11-13得票数 0
回答已采纳
我现在正在使用java的网页抓取器，我很好奇用Java做这件事最好的方法是什么。
我有一个链接:例如：
当我抓取该页面时，我可能会找到img src路径，如下所示
"../public/images/header.jpg"
"../../test/logo.gif"
其中，它可能相对于文件所在的某个子目录
问题是..在Java中，有没有一个库能够将这些转换成绝对路径，比如
谢谢
浏览 0提问于2010-07-08得票数 0
回答已采纳
1回答
我在从网页上抓取图片。我有几张图片列表：
list_1,list_2,list_3
这些列表中的每一个对应于一个不同的类别，到目前为止，所有图像都保存在同一个目录中，该目录是在设置文件中指定的。
IMAGES_STORE = '/home/user/Desktop/folder1/folder2'
我想把每个列表中的图像保存在不同的forder中。
浏览 2提问于2016-02-01得票数 3
回答已采纳
我是一个初学者在Python3.6中使用BeautifulSoup来执行“网络抓取”。
一旦我运行了一个request.get()并对输出进行了细化，我注意到网页没有返回这些值，它似乎在存储与该值相关的代码。
以下是指向特定网页的链接：
我正在试着抽出运动员在网球中使用的手。以下图片突出显示黄色:我试图获得的图片：
如果问题的大纲令人困惑(或非标准的)反馈，我将非常感激，这样的反馈将有助于我在未来确保我提出的问题是适当的。
浏览 6提问于2017-05-23得票数 1
回答已采纳
1回答
我正在尝试使用JAVA中的JSoup库从网页中抓取数据。然而，这里的问题是，我想要抓取的数据是基于XML加载的，所以当我试图从HTML解析它时，它会显示出来
<div id="report-details-container">
<!-- Container where HTML template will be loaded based on XML -->
</div>
而不是完整的HTML，它只显示这个注释。
我如何抓取数据，因为在inspect元素中我可以看到完整HTML。
浏览 0提问于2017-10-14得票数 1
我正在使用solr 6.4.1，并使用下面的内容来抓取一个url
下面是我是如何抓取URL的：
java -Ddata=web -Dc=corename -jar post.jar (urlname )
我遇到了以下问题：
URL (urlname)导致重定向到(urlname)/us/ SimplePostTool:警告: URL (urlname)返回的HTTP status为301 0索引的网页。
我该如何解决这个问题？
浏览 0提问于2017-03-15得票数 0
我正在尝试使用python请求-html库来抓取一个网页。
链接到那个网页是，下面的图片显示(红色四舍五入的数据)我想要得到的数据。
我的代码是这样的
from requests_html import HTMLSession
session = HTMLSession()
r = session.get('https://www.koyfin.com/charts/g/USADebt2GDP?view=table')
r.html.render(timeout=60)
print(r.text)
像这样的网页html，
问题是，当我刮网页时，我找不到我想
浏览 5提问于2020-09-05得票数 1
回答已采纳
0回答
我正在尝试抓取链接，以获得标题，描述和图像，以给出文章或网页的一个小概述。目前，我通过BeautifulSoup获取元属性来实现og:title。这对新闻文章很有效。
if tag.get("property", None) == "og:title":
scraper.title = tag.get("content", None)
但是，，请不要拉出任何图片或产品名称。我如何使用BeautifulSoup和Python从任何网站--可能不仅仅是opengraph支持的网站--提取找到的第一张图片和标题？
浏览 10提问于2017-01-01得票数 0
我正在尝试使用BeautifulSoup库的find()函数从网页中抓取地址数据(图片中突出显示的街道地址：)。大多数在线教程只提供了可以轻松地将数据定位到某个类的示例；但是，对于这个特定的站点，街道地址是一个更大的class="dataCol col02 inlineEditWrite“中的一个元素，我不确定如何使用class=()函数找到它。
在本例中，为了获取街道地址，find()的参数是什么？任何帮助都将不胜感激。图片来源：
浏览 15提问于2017-07-25得票数 0
回答已采纳
3回答
如何将html网页转换为类似google预览的图片。
有没有允许这样做的Java库？
例如，有没有命令行参数来调用浏览器，使它们将网页转换为图片.png？
浏览 0提问于2010-11-30得票数 7
回答已采纳
因此，目前我的代码打开一个网页，然后从我的电子表格输入一个产品代码到搜索栏并导航到下一个页面。从这里开始，宏从网页中获取一张图片，并将其放在我的电子表格中。
问题是当第二个网页打开得太慢时，我会从第一个网页得到一个图像。
我尝试过像下面的循环那样运行一个do while循环，但是它似乎不适用于第二个web页面。
在抓取图片之前，我能做什么使宏等待第二个网站加载？
With IE
.Visible = False
.navigate "https://www.genericwebsitename.com/"
Do While .Busy Or .read
浏览 0提问于2019-07-12得票数 0
回答已采纳
我使用SimpleHTMLDOM从其他网页抓取东西，但我有一个问题，如何才能在图像ancor标记内获得urls，因为该网页包含链接锚标记以及图像锚标记！但是我只想在图片锚标签的边上得到href的值！
<a href="I DO NOT NEED THIS VALUE"><a/>
<a href="I NEED THIS VALUE"><img src="xxxx"><a/>
但是当调用DOM时，它会返回所有的href URL，包括链接锚URL！我只需要在图像锚标签内的网址！
我使用这
浏览 0提问于2012-05-06得票数 0
回答已采纳
3回答
我想知道如何抓取使用AJAX在所呈现的网页上获取内容的网页。通常，这类页面的HTTP GET只会获取嵌入了JavaScript代码的HTML页面。但我想知道是否有可能以编程方式(最好是Java)查询这样的页面，并模拟web浏览器类型的请求，以便在AJAX调用之后获得HTML内容。
浏览 1提问于2010-02-08得票数 5
回答已采纳
所以这不是真正的问题，而更像是自动化的东西…
我建了一个网站，不得不从以前的网页上复制大量内容。我是通过将内容从旧页面复制粘贴到使用wordpress制作的新页面来做到这一点的。
内容中的所有链接和图像仍然指向旧页面。所以我想找一个像网络抓取工具一样的东西，它将分析选定的链接列表，然后输出将是所有链接指向我的网页和所有图片的列表，我必须下载
浏览 0提问于2017-06-10得票数 1
在使用SL4A的Android平台上，可以从Java代码调用/运行python脚本文件吗？基本上，我有一个成熟的Java Android应用程序，我有几个Python脚本，从不同的网页上抓取一些信息。我希望能够用网页调用这些python脚本，并得到结果。这个是可能的吗？如果是这样的话，谁能给我举一两个例子呢？
谢谢你，哈里
浏览 1提问于2012-01-23得票数 11
回答已采纳
1回答
我想知道是否有办法刮一个外部网页的第一个/最好的形象，并将其添加到一个新的帖子在Wordpress。这似乎不会太复杂，但我似乎找不到任何现有的插件做任何类似的事情。我知道有一些插件可以将外部图像URL设置为特征图像，比如WP远程缩略图，但是是否有一种方法可以抓取外部网页，比如博客文章中的图片，并将其添加到Wordpress中的新帖子中？
浏览 0提问于2015-05-23得票数 0
3回答
我希望屏幕抓取几个基于Ajax的网站，并模拟点击刷新网页的一部分，然后阅读更新的HTML。有没有能做到这一点的Java库？
浏览 0提问于2011-06-30得票数 4
回答已采纳
1回答
我正在做一项研究，为此我需要下载Instagram数据。起初，我尝试使用Instagram API，但它现在限制了每个API调用可以下载的帖子数量和每天的API调用次数，这使得它与我的工作无关。我还尝试使用，它无法下载更多的数据。最后，我转向使用进行web抓取，这对我来说很有用，因为它可以抓取大约15000个与我的研究相关的公共配置文件的用户名。然而，由于Instagram加载其网页的动态方式，我无法抓取链接到用户的帖子。一直按下标签并提取文章链接(这些链接是只有一个帖子的网页)的焦点元素。然而，Instagram会在一定数量的帖子或一定的时间之后停止加载图片(无法进一步滚动)。我还有别的办法
浏览 2提问于2018-08-20得票数 0
回答已采纳
1回答
我需要从网页中收集一些数据(网页抓取)，对其进行解析，将其保存为文本文件，然后将该数据作为SNMP Inform发送出去。
什么是SNMP Inform？有没有办法从我的应用程序中以编程方式将其发送出去？
请记住，数据收集应用程序是用Java编写的。
浏览 2提问于2016-01-20得票数 1
2回答
我是索引的链接列表，这些链接经常更新，所以我是自动化的缩略图的网站。
对于大多数网站来说，这很容易，因为我只是抓取页面上最大的图片，希望它能描述内容。
但其他时候，有视频作为网页的主要内容。
有人有处理这件事的窍门吗？那太好了!
关于使用Webkit创建屏幕截图的问题，I
浏览 2提问于2010-02-27得票数 5
我曾经使用arachnode.net爬虫抓取一个网站。由此产生的爬网数据导致数据库大小为+100 gb！
我查看了一下arachnode.net数据库，发现"webpages“表是罪魁祸首。当我抓取一个网站，我不下载，图片，媒体或任何类似的东西，我只下载html代码。然而，在这种情况下，我可以看到html网页包含了大量隐藏的viewdata和javascript。
所以我需要再次爬行，这一次在保存到webpages表之前去掉隐藏的viewdata和javascript代码。
任何人都有一些如何实现它的想法。
谢谢。
浏览 0提问于2012-10-15得票数 0
回答已采纳
1回答
正如标题所暗示的，我的网页中有一个Google街景对象。我的程序沿着特定的路线“驱动”，本质上，我通过一个嵌入的Java applet (在同一个页面中)控制Google Street View的javascript API。
我需要能够从我当前的Google街景全景图中抓取图像-我真的不关心如何抓取。如果不能使用Google的API来完成-我完全可以从包含flash对象的图像中‘抓取’图像-无论这是使用javascript还是Java applet完成的，图形数据最终都需要传递到Java applet进行处理。
如果有的话，我有哪些选择？
请注意，我并不是要将图像保存到文件系统中，也不是要违
浏览 2提问于2009-10-05得票数 2
我有一个网页网址列表需要抓取。是否有可能只抓取网页列表，而不是深入抓取它。如果我添加的url作为种子，它抓取完整的网站与完整的深度。
浏览 4提问于2012-08-10得票数 1
回答已采纳
4回答
我正在创建一个java程序，它将从URL读取html文档，并在代码中显示图像的大小。不过，我不确定该如何实现这一点。
我不需要下载和保存图片，我只需要图片的大小和它们在网页上的显示顺序。
例如:一个网页有3张图片
<img src="dog.jpg" /> //which is 54kb
<img src="cat.jpg" /> //which is 75kb
<img src="horse.jpg"/> //which is 80kb
我需要显示java程序的输出。
54kb
75kb
80kb
你知道我该
浏览 0提问于2013-01-27得票数 3
回答已采纳
我已经写了一个vb.net应用程序，我想把它放到网页上(就像Java applet一样)。我的应用程序连接到外部网站以抓取数据(使用WebBrowser控件)。如何将我的申请放到网上？
浏览 1提问于2013-02-17得票数 0
我有一个图片，这是一个扫描副本的网页，以.tiff格式。根据我的研究，UiPath不支持tiff格式，所以我将其手动转换为jpg，并将其用作输入。因为这是一张图片，我使用的屏幕报废与谷歌OCR -质量不是预期的，但他们在一个可接受的水平。现在，我面临的问题如下所述。
在进行屏幕抓取时，我已经完成了在一个系统上进行报废的完整过程。当我将它移到另一个系统时，我得到的是错误。
有更好的方法从图像中获取文本吗？
浏览 0提问于2018-09-26得票数 0
我使用C#和Python的Selenium Webdriver从网站获取数据元素，但web抓取的速度非常慢。抓取35000个数据表花了我大约1.5天的时间。使用Selenium Webdriver，我可以执行Javascript来获取Java元素。有没有一些库可以不需要像Webdriver这样的东西来在网页上执行Javascript来检索元素，并且能够点击元素？或者有没有比硒更快的替代品？
浏览 5提问于2015-04-16得票数 13
1回答
我有一套网页抓取使用nutch。据我所知，这些抓取的页面是以片段的形式保存的。我想从这个页面中提取某些键值，并将其作为xml提供给solr。
一个示例情况是，我爬行了一个购物网站，上面有许多产品列表。我想提取关键信息，如名称，价格，规格的产品，并忽略其余的数据。因此，我可以向solr提供一些xml，比如qwerty123qwerty，这样使用solr时，我应该能够根据价格对不同的产品清单进行排序。
现在该如何完成这个提取部分呢？map reduce会出现在图片中的任何地方吗？
浏览 0提问于2012-03-06得票数 1
我是第一次接触java，并且使用jaunt1.3.8库进行web抓取。我正在尝试获取网页的InnerHTML：。
该网站不会向我们显示搜索结果的完整列表。当我们到达页面底部时，它将再次加载。
它将在10次滚动后停止加载。
我想用jaunt1.3.8库删除这个动态加载网页的数据，但我不知道该怎么做。
浏览 20提问于2018-01-31得票数 0
1回答
我想创建一个从几个网页聚合数据的网页，以类似于IE网页快讯，WebChunks，PageSlices或的方式。
它既可以是一个网站(也可以是本地的html页面)，也可以是一个桌面应用程序，它就像一个聚合器。
这样做的方法是什么？Java、Javascript、PHP、桌面应用程序或其他？此外，您能否提供一些参考，从几个不同的网页中抓取具有已知ID的单个div，并将它们完整地呈现出来(作为网页或应用程序)？
提前谢谢。
浏览 0提问于2011-04-25得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
