我正在研究爬虫，这将搜索在网上商店的商品。这是我的论文所以没什么商业意义..我需要一些高级的库，做一些诊断测试(如果那个网页是我要找的)，并从正确的网页中提取相关数据。你有没有使用解析器库的个人经验推荐给我最好的解析器？
浏览 2提问于2011-03-04得票数 4
回答已采纳
什么样的语言能够处理编写自己的网页爬虫？但是如果我需要的话，我想有一个很好的理由去学习一门新的语言。
浏览 0提问于2011-08-02得票数 0
回答已采纳
2回答
它们看起来都很酷，但我想知道使用这样的系统是否会阻碍网页的良好索引。
搜索引擎的爬虫能够解析javascript数据吗？我认为将页面内容放在javascript中是一种糟糕的做法，因为有些爬虫无法解析这些内容。
浏览 0提问于2012-02-29得票数 2
回答已采纳
11回答
我想做一个基于Java的网络爬虫来做一个实验。我听说，如果这是您第一次使用Java制作的话，这是一条可行的道路。然而，我有两个重要的问题。
我应该使用哪些库？我假设我需要一个连接到网页的库，一个用于HTTP/HTTPS协议的库，以及一个用于HTML解析的库。
浏览 23提问于2012-07-01得票数 22
回答已采纳
2回答
我想实现一个搜索引擎，应该爬行一组网站，从网页中提取特定的信息，并创建该特定信息的全文索引。爬虫/解析器与Xapian集成有哪些选项？与开源爬虫/解析器集成，Solr是比Xapian更好的选择吗？
浏览 1提问于2008-12-01得票数 2
1回答
我希望在Eclipse中使用crawler4j解析所有包含作为“查询”输入的文本的文档。
有什么想法吗？
浏览 2提问于2015-03-19得票数 0
回答已采纳
1回答
我正在做一个网页爬虫，所以我解析HTML页面。我的问题是有时页面编码不是UTF8 (ISO，外来的0-9等等)而我的分析器也被磨碎了。我在PHP/Java/NodeJS中尝试了许多解决方案来转换内容，但始终存在一个问题。
存在一个代理模块(nginx、squid、varnish .)自动将内容字符集转换为UTF8？
浏览 0提问于2014-01-07得票数 0
1回答
识别搜索爬行器
、、、
我有一个网站，统计有多少人访问了这个特定的网页，但我不想计数什么时候搜索爬虫访问他们。java是否有任何方法来识别它是爬虫还是真正的用户？使用Java7和tomcat
谢谢
浏览 2提问于2015-10-21得票数 1
回答已采纳
我在做爬虫申请。我希望爬行网站，并找到深度的网页检索。我读过不同的爬行和解析工具，但都没有用。它们似乎都没有为计算深度提供支持。我也不确定使用哪一种爬虫工具，哪种工具最接近所需的功能。
浏览 3提问于2014-06-25得票数 1
回答已采纳
1回答
网络爬虫是否只从网页中返回提取的文本？例如，如果web服务器中也存储了一些pdf/doc文件。网络爬虫可以爬行它们并返回它们的内容吗？不管怎样，对于一个好的开源Java网络爬虫有什么建议呢？
谢谢!
浏览 2提问于2011-06-26得票数 0
回答已采纳
3回答
我试图在C++中做一个非常简单的网页爬虫/蜘蛛应用程序。我一直在使用谷歌搜索一个简单的，以了解这个概念。我发现了这个：
然而，这是复杂的理解对我来说，因为我开始学习C++大约一个月前。
浏览 15提问于2010-11-25得票数 22
回答已采纳
2回答
我要写网站爬虫，从根地址开始，然后抓取每个找到的链接(只有内部链接)。所以我面临这个问题:爬虫必须从根开始，然后它应该解析网页(根页面)，然后获取所有链接。在获取链接时，它不应该对同一页面爬行两次。
浏览 0提问于2012-05-08得票数 1
回答已采纳
1回答
我想写一个Java代码来解析某个网站。网站中的每个结果都出现在指定的URL中。我该怎么开始呢？有没有好的库可以使用？我能从你在这个领域的经验中受益吗？
浏览 0提问于2011-07-26得票数 2
回答已采纳
1回答
利用JSoup浏览网页
、、、
我制作了一个网络刮刀，在IMDB上抓取一些信息。它通过将url中的数字更改为不同的随机数字来遍历每个页面，然后在这个新页面上重复web抓取过程。我怎样才能在BFI网站上做到这一点？我看不到从一部电影到另一部电影的路。
浏览 2提问于2013-10-25得票数 0
回答已采纳
2回答
内容和渲染输出会被Google和其他搜索引擎索引吗？<script>html += '<head>';html += '<title>This Is The Stacked Overflown Network</title>';
html
浏览 0提问于2013-07-13得票数 2
我已经编写了一个python模块爬虫，它可以解析网页并使用本机信息创建JSON对象。我的模块爬虫的下一步是使用elasticsearch存储本机信息。
真正的问题如下所示。哪种技术更适合我的场合？
浏览 4提问于2015-12-01得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
