java写爬虫采集 - 腾讯云开发者社区

、

我想写爬虫，支持cookie存储操作和会话。java无头浏览器有两种不同的实现方式。HtmlUnit对javascript和html解析有更好的支持。但是，有什么理由使用HttpUnit来提高爬虫的性能呢？

浏览 1提问于2011-08-28得票数 2

1回答

Crawler登录到gmail电子邮件帐户

、

我想写一个爬虫在Java中自动登录到gmail帐户。我的爬虫将获得登录Id和密码，并将登录到电子邮件帐户，并显示输出页面。我不清楚该怎么做。谁能告诉我如何编写爬虫登录到gmail电子邮件帐户？任何回应都将不胜感激。提前谢谢。

浏览 2提问于2010-08-27得票数 1

2回答

一个数组能容纳多少个字符串？

、、、

我正试着写一个网络爬虫。当我浏览一个大页面时，我的arraylist变量无法保存所有数据。它被抛到了异常之下。线程java.lang.StackOverflowError".中的异常" thread -0“ 保存这些urls的最佳方法是什么，因为我需要访问那些urls和子urls等等。我想保存到数据库或写入文件，但这些机制可能会减慢爬虫性能。

浏览 0提问于2015-11-19得票数 0

0回答

rocketmq_exporter采集不到retry topic得消息堆积？

image.png image.png

浏览 372提问于2020-01-06

1回答

import.io和portia正则表达式url模式

、、

我使用的是数据采集器: Import.io & Portia。我该如何解释结尾的"pdi-medical"？

浏览 16提问于2016-09-09得票数 0

5回答

如何使jar文件在启动时运行&以及何时退出？

、、、

更多详情：爬虫是用java编写的，因此现在它是一个jar。此外，我希望它继续运行，即使当我注销。我不确定这是可能的，但大多数时候我都是注销的，而且我仍然希望它能够爬行。有什么想法吗？

浏览 0提问于2012-01-28得票数 29

回答已采纳

3回答

高效网络爬虫的语言建议

、、、

我正在寻找一种语言来编写一个高效的网络爬虫。

浏览 6提问于2010-12-03得票数 2

3回答

用Java创建web索引器？

、、

我应该用Java写一个网络爬虫。爬行部分很容易，但索引部分很难。我需要能够查询索引器，并让它返回匹配(多个单词查询)。做这样的事情最好的数据结构是什么？

浏览 2提问于2009-12-02得票数 0

1回答

为什么我的Crawler会得到错误的HTML代码？

、

我想用java写一个爬虫来做一些学校练习。实际上，用jsoup库实现的爬虫代码可以工作，因为我的请求的结果是一些HTML代码，但是当我搜索一个明确写在网站上的单词时，没有找到它，因为一些div的来自于空的爬虫。

浏览 0提问于2019-09-12得票数 1

回答已采纳

1回答

如果要编写多线程爬行器，应选择哪个web服务提供商

如果我想写一个多线程爬虫，我想知道哪个是最好的best服务提供商。Appengine，ec2.... Appengine java显然有一些限制..此外，一个免费将是伟大的，因为我只是测试应用程序。

浏览 2提问于2009-12-17得票数 0

1回答

如何使用PHP从另一个网站获取数据并将其存储在MySQL数据库中？

、、

我需要使用PHP从网站中获取数据，并将其保存在MySQL数据库中。我还想获取图像并将它们保存在我的服务器中，以便在我的站点中显示它们。我听说可以使用API，但是我想知道我是否可以使用CURL来完成这个任务。我想每天获取大量的数据，那么使用CURL会消耗大量的服务器端资源吗？还有哪些其他方法可以获取数据？

浏览 5提问于2011-08-17得票数 1

3回答