我们的SEO专家建议，我们不做懒惰加载和分页，因为他们说，谷歌爬虫将无法抓取页脚内容，如果我们实现我们的产品在目录页无限懒惰加载。这是真的吗？
浏览 0提问于2018-09-27得票数 1
需要知道是否有一个爬虫/下载器，可以抓取和下载和整个网站的链接深度至少为4页。我正在尝试下载的站点有java script超链接，这些超链接只能由浏览器呈现，因此爬虫程序无法抓取这些超链接，除非爬虫程序自己呈现它们！
浏览 4提问于2010-09-30得票数 0
回答已采纳
我需要抓取一个网站，但问题是，在底部没有链接的分页。如果滚动到底部，则会追加数据。现在，我怎样才能用我的爬虫做到这一点呢？有什么想法吗？
浏览 0提问于2013-02-05得票数 0
1回答
page=4
似乎完全有可能使无休止的分页，SEO友好，只要您的每个页面是分开寻址使用rel="next"/"prev"和HTML5历史API是用来警告DOM时，一个新的页面被加载。因此，我的问题是:百度的爬虫(百度的爬虫)是否足够聪明，能够理解无止境的JavaScript分页，就像谷歌的机器人显然能做到的那样？
浏览 0提问于2015-12-03得票数 2
回答已采纳
我使用nutch 1.6抓取一个包含20个产品/页面的分页网页，命令如下：
.但是爬虫没有跟踪我的下一页链接吗？我是否遗漏了一个参数？
浏览 1提问于2013-05-24得票数 0
1回答
我有一页有很多中等大小的图片(目前是100‘S)，我正在考虑为用户实现无限滚动，并与链接prev/next结合使用分页，因此SEO仍然会选择后面的图像(这将被js隐藏在文档加载中)我知道还有其他问题，但我有一些问题还没有得到回答：
对于使用onload隐藏分页，如果我使用display:none代替分页，SEO是否仍然会捡起它，或者当onload事件发生时，我应该通过js将显示更改为none？如果我实现分页为www.domain.com/content?page=1，...page=2等，SEO会拿起G
浏览 0提问于2014-01-25得票数 1
回答已采纳
1回答
我在一个基于java的爬虫上工作。我想在我的爬虫恢复功能，用户可以在任何时候暂停爬虫，在他想要的情况下，爬虫崩溃的情况下，他应该能够开始从爬虫停止的点上一次爬行。
浏览 2提问于2012-01-06得票数 1
回答已采纳
你好，我想抓取多个电子商务网站，并获得所有可用的产品被抓取和显示在我的网站。我已经使用Java开发了爬虫，但在这方面，我们必须通过提供URL和HTML标记来手动抓取网站，并通过连接URL和解析URL来抓取站点，并在相应的HTML标记中获取产品。如果我想爬行佳能相机，爬虫应该自动完成。
有可能使爬虫自动化吗？如果是，请帮助我做这件事。
浏览 1提问于2014-01-20得票数 1
2回答
return Redirect("/h");
return View();
问题:如果我限制一些浏览器访问我的主视图，它也会限制对网络爬虫的访问吗
浏览 0提问于2013-02-21得票数 0
回答已采纳
我看过Java中关于析构函数的帖子，了解到Java没有析构函数，但我很困惑，如果没有析构函数，我的应用程序需要做什么。
我的应用程序允许用户创建一系列的网络爬虫，这些爬虫保存在一个数组列表中。每个crawler都有一个进度面板gui，显示已爬行的页面等，并允许用户暂停该爬虫。但是，用户可能还想“终止”该爬虫程序。我需要做什么才能让用户按下"Terminate“，对于那个爬行器，它的抓取器，以及抓取器的DatabaseConnection，都被
浏览 4提问于2011-07-08得票数 0
回答已采纳
我让用户输入他们想要抓取最新更新的URL列表。我对Java很熟悉，所以我试着用Java做一个网络爬虫，但我不太明白如何把这个数组从javascript转换成Java。为了能够抓取数组中的每个URL，最兼容的语言是什么？
浏览 3提问于2016-01-17得票数 0
1回答
我想抓取网页的IFrame内容(动态内容)；是否有人曾尝试过这种方法/是否有任何新的解决方案来抓取动态内容，如IFrame？
浏览 3提问于2014-12-09得票数 1
5回答
我的任务是抓取/解析和索引许多图书馆网页上的可用书籍。我通常使用HTML Agility Pack和C#来解析网站内容。其中之一如下所示：
我发现典型的网络爬虫在这个网站上失败了。我还尝试编写自己的爬虫程序，它将遍历页面上的所有链接，并生成post/get变量以动态生成结果。我也不能做到这一点，主要是因为我得到了大约404个错误(尽管我确定生成的链接是正确的)。
浏览 1提问于2010-12-22得票数 3
回答已采纳
5回答
我已经决定在C#中构建爬虫。我对HttpWebRequest/HttpWebResponse类有很多不好的体验，众所周知，它们对于大型爬虫来说是高度错误和不稳定的。如果他们知道有什么好的开源爬虫框架，比如java有nutch和apache commons，它们是非常稳定和高度健壮的库，我想要这里的专家们的意见，他们已经编码爬虫程序。编辑:我必须抓取的一些网站使用非常复杂的Java Script呈现页面，现在这增加了我的网络爬虫的复杂性，因为我
浏览 2提问于2010-12-06得票数 9
回答已采纳
我为某个网页写了一个爬虫。这个网页有一个robots.txt，如下所示：Crawl-delay: 30www.mysite.comwww.mysite.com/category_2
浏览 3提问于2013-11-07得票数 1
回答已采纳
2回答
我想做一个java脚本爬虫，从php服务器获得一个分配，然后索引页面。但是我想抓取的网站是外部的，我不能用javascript访问它们，有没有人有其他赋值语言或javascript的解决方案。我想过在加载新站点时使用greasemonkey抓取页面。
浏览 1提问于2012-03-06得票数 0
我如何开始编写一个程序，它将抓取他们的页面，并将页面的选择性信息放入CSV格式，然后我可以将其导入到我的网站中？
至少，我可以在哪里学到这一点？谢谢。
浏览 9提问于2011-03-26得票数 0
回答已采纳
我想使用一个网络爬虫和抓取一个特定的网站。该网站是一个学习管理系统，许多学生在这里上传他们的作业，项目演示文稿等。我的问题是，我可以使用网络爬虫下载已经上传到学习管理系统中的文件吗？爬虫能做到这点吗？我知道webeater (用Java编写的Crawler )
浏览 1提问于2011-03-30得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
