1回答
我有一个任务，我需要自动登录和抓取一个特定的网站。我是一名Java开发人员。任何与它密切合作的人都可以分享一些想法吗？
浏览 4提问于2012-01-06得票数 0
回答已采纳
目前，我正在做一个项目，它将帮助我在下注体育项目时做出决定。我对这个程序的目标是，每天我都想检索天气，过去的比赛，球员/球队的统计数据等，然后把它们汇总起来，这样我就可以看到哪些球队最有意义下注。我甚至不确定是否有可能在我正在使用的文本编辑器IntelliJ上做到这一点，因为我不认为它本身就与互联网相连。我认为一种方法是使用单独的程序(而不是IntelliJ)自动转到每个网站，并将适当的信息复制到excel文档中；然后，我可以每天在运行它之前将该文件复制到我的项目中。这就是我的想法，但如果有人知
浏览 9提问于2019-12-23得票数 0
我有一个项目，要求我使用JSOUP进行网络抓取。我能够从我想要刮的网站主页上得到数据。但是，当我通过循环进入超链接并访问它而在页面中更深入地抓取时，我会得到以下错误： at(TreeBuilder.java:46)
at org.jsoup.parser.Parser.parseInput(Parser.j
浏览 9提问于2020-01-10得票数 2
然而，当我查看代码时，我只看到名称和ID，然后是一个“事件”按钮。"event“按钮显示到jquery文件的重定向，该文件将用户重定向到特定的链接。我附上了代码的一些部分。
浏览 16提问于2019-01-10得票数 3
回答已采纳
我想用java写一个爬虫来做一些学校练习。实际上，用jsoup库实现的爬虫代码可以工作，因为我的请求的结果是一些HTML代码，但是当我搜索一个明确写在网站上的单词时，没有找到它，因为一些div的来自于空的爬虫。然后我意识到，当您导航到网站并右键单击‘查看页面源’时，我得到了与相同的代码。当我将代码与进行比较时，右键单击“->”检查“”时，代码与“查看页面源”中的不同。
浏览 0提问于2019-09-12得票数 1
回答已采纳
我试图用JSoup抓取一个站点(www.oddsportal.com)，但是我遇到了一个问题。当我连接并执行" get“操作时，我会得到以下结果： at org.jsoup.helper.HttpConnection.execute(HttpConnection.java
浏览 4提问于2013-09-13得票数 1
给定一个HTML网站，该网站显示外部温度和其他不重要的信息：15 -是我的目的地号码，我想提取它作为一个变量。现在我要做的是，Java程序将进入网站，搜索特定的HTML行(temperature=15;)，在找到它之后，它必须以如下方式显示：
我只想知道，我应该使用什么语法来让程序请求这个数字。
浏览 6提问于2014-05-29得票数 2
回答已采纳
我想抓取一个网站，但它有一些javascript命令，可以创建我想要放入程序中的元素。我如何在这个网站上执行javascript命令，然后在它有新元素后将其清除？我正在使用Jsoup库进行抓取和java ofc。
浏览 17提问于2017-02-08得票数 0
回答已采纳
1回答
使用JSoup，我一直试图选择所有h2节标题节点(进入Elements列表)：
Elements sectionheadings = dom.doc.select("h2[class=section-heading我知道它不是空的，因为我可以使用Firebug查看它。选择所有这类JSoup标题的适当h2语法是什么？(我在那里至少能看到4个)
浏览 2提问于2015-11-12得票数 2
回答已采纳
1回答
关于抓取网站内容的建议
、、、、
我试着抓取一些网站内容，使用和java的组合。将相关详细信息保存到我的数据库中，并每天进行相同的活动。但是，当我使用jsoup(来自Java类)进行解析/get时，只有最初的网站被下载用于解析。这意味着
浏览 1提问于2012-07-02得票数 1
回答已采纳
我正在开发一个从特定站点抓取数据的java程序。我使用jSoup作为java模块。我正在尝试在该网站上删除下面的示例数据。11.89%public static void main(String[] args) throws IOException {
Document doc = Jsoup.connect抓取数据
浏览 67提问于2018-06-02得票数 -1
回答已采纳
1回答
我正在用Java开发一个小应用程序，它要求我从网站上抓取一个图像并在GUI中显示它。现在我不是在问如何获得图像的绝对URL，而是询问如何在获得绝对URL后显示它。我正在使用jsoup库作为网络刮刀。
浏览 2提问于2017-04-18得票数 1
回答已采纳
我最近一直在尝试使用Java Jsoup库，试图更好地理解web抓取(从网站上提取数据)。但看起来我拼凑起来的代码只在部分时间内实现了功能。是我的代码有问题，还是有可能某些站点有措施来阻止web抓取？下面是完成所有“魔术”的类：import org.jsoup.*;
浏览 1提问于2011-08-11得票数 0
你好，我想抓取多个电子商务网站，并获得所有可用的产品被抓取和显示在我的网站。我已经使用Java开发了爬虫，但在这方面，我们必须通过提供URL和HTML标记来手动抓取网站，并通过连接URL和解析URL来抓取站点，并在相应的HTML标记中获取产品。在这个例子中，我使用JSoup (“doc.getElementsByTagName”)；在名为“爬行”的标签中获取产品
但我想让爬行完全自动化。如果我在我的
浏览 1提问于2014-01-20得票数 1
1回答
我试图从网站上抓取一些内容，但您必须登录才能查看特定内容。我想使用用户id和密码进行登录，并将会话cookie保存在: m.amway.com上，我尝试使用Jsoup...然而，在使用下面的代码后，我意识到Jsoup无法读取网站所基于的javascript……有没有人有方法可以用来登录、保存会话cookie和抓取内容，使用的不是Jsoup？String User, String P
浏览 0提问于2012-10-27得票数 0
回答已采纳
2回答
我正在创建一个AWS函数来使用JSoup进行一些基本的web抓取。我已经设置了必要的VPC和相应的需求(我认为)。当我通过AWS测试界面执行lambda函数时，我可以成功地连接到基本的网站，如google/cnn/etc ()和()。然而，当我尝试刮我感兴趣的网站时
org.jsoup.HttpStatusException: HTTP错误获取URL。Status=403。但是，当我在本地(在我的计算机上)<
浏览 4提问于2020-01-02得票数 0
回答已采纳
1回答
我正在制作一个节目，使用jsoup为当前正在播放的歌曲和艺术家抓取一个特定的广播网站。我遵循了本教程：，但无法从网站获得正确的数据。package jsoupTest;
import org.jsoup.nodes.Document;
import org.jsoup.nod
浏览 0提问于2018-04-06得票数 0
回答已采纳
1回答
硒对洁汤性能的影响
、、、
我正在做一些用Selenium做的web抓取(所以使用这个不是问题)。当我必须识别一个元素(即:获得一个src属性)时，我应该使用Selenium内部选择引擎，还是应该使用Jsoup (这要容易得多)。所以，问题是: Jsoup的使用性能这么好吗？我应该尽可能多地使用硒吗？谢谢
浏览 3提问于2015-11-29得票数 8
1回答
我必须从证券交易所网站上获取股票价格数据，并将其存储在SQL数据库中。目前，我正在通过excel进行此过程。我们在MS中获取网站的数据，然后使用宏创建.csv文件，然后通过程序在我们的.csv数据库中检索这些.csv文件的数据。现在，我该做的是
package connectingurl;
import java</em
浏览 1提问于2016-04-05得票数 1
3回答
我要从一个新闻网站上得到我必须得到的1k网站内容的文本。这个网站发布每一个最新的新闻，新的url是在id中添加1。
汤汁？还是其他网络爬虫？
谢谢
浏览 3提问于2016-06-24得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
