5回答
我在一个项目上工作，这需要在Java中设计一个网络爬虫，可以采取用户查询一个特定的新闻主题，然后访问不同的新闻网站，然后从这些网页提取新闻内容，并将其存储在一些文件/数据库中。现在我有代码从单个页面提取新闻内容，这需要手动获取页面，但我不知道如何将它集成在一个网络爬虫中，从不同的页面提取内容。有没有人可以提供一些好的Java教程或实现的链接，我可以根据需要使用或修改这些链接？
浏览 0提问于2012-04-05得票数 4
回答已采纳
1回答
我想写一个简单的爬虫
将链接保存在数据库(mysql)中，并使用链接在网站上公布的时间戳(而不是爬虫检测到链接的时间)。爬虫如何知道一个新的链接已经添加到该网站？例如，如果一个新闻网站发布了一篇新文章，而我希望我的爬虫立即解析链接，那么爬虫如何知道这一点(googlenews也能够做it...so .？)也就是说，爬虫是否立即知道新的文章链接？或者google只是在一个固定的时间间隔(每一小时等一次)爬行网站
浏览 4提问于2014-06-06得票数 3
回答已采纳
3回答
我要从一个新闻网站上得到我必须得到的1k网站内容的文本。这个网站发布每一个最新的新闻，新的url是在id中添加1。
汤汁？还是其他网络爬虫？
谢谢
浏览 3提问于2016-06-24得票数 0
然后阅读这些网站后，我需要过滤新闻e，例如与梅赛德斯奔驰相关的新闻，然后我需要显示在该网站上参考原始来源。目前，我知道PHP，可以在其中建立复杂的网站。
浏览 2提问于2010-09-13得票数 0
回答已采纳
2回答
Google新闻爬虫翻页
、、、、
继续之前的工作，抓取有关查询的所有新闻结果，并返回标题和网址，我正在完善的爬虫，以获得所有的结果从所有页面的谷歌新闻。目前的代码似乎只能返回第一页的谷歌新闻搜索结果。
浏览 7提问于2017-05-04得票数 0
回答已采纳
我想建立一个基于Scrapy的网络爬虫，从几个新闻门户网站抓取新闻图片。我想让这个爬虫：
这意味着它将定期重新访问一些门户页面，以获得更新。
安排优先次序。
浏览 8提问于2010-02-28得票数 11
回答已采纳
4回答
嗨，我用python编写了一个网络爬虫，从nytimes.com这样的新闻网站上提取新闻文章。我想知道什么是一个好的数据库作为这个项目的后端？
提前感谢！
浏览 3提问于2010-01-27得票数 1
回答已采纳
有些网站是新闻/博客网站。如果我爬行，比方说，techcrunch.com，并存储和索引他们的首页，那么在几个小时内，我的索引该页将过时。
浏览 0提问于2012-04-26得票数 2
2回答
所以我想添加一些信息，比如关于特定领域的新闻(比如政治、好莱坞等)。我相信爬虫是最好的方法吗？如果我的理解是正确的，请建议您是否有任何其他方法来获取信息，而不使用来自各种来源的爬虫。现在我希望爬虫找到信息，规范化并存储在mysql数据库中。听起来很简单哈。但这不适合我。
因为这非常耗费资源和时间。在选择爬虫之前，我应该考虑哪些因素。任何提供信息和研究因素的来源在创建爬虫或教育爬虫时都需要考虑，这将是很棒的。我更喜欢用java编写代码，但我可以用任何其他
浏览 0提问于2010-11-11得票数 0
1回答
有没有免费的api可以直接在Java中使用URL来做这件事？现在的问题是做一小部分爬虫。有没有免费的轻量级api？
浏览 3提问于2011-02-19得票数 0
回答已采纳
2回答
实际上，我打算开发一个新闻阅读器系统，可以从网络上抓取和收集新闻(用爬虫)，然后，我想在网站上找到相似或相关的新闻(为了防止在网站上显示重复的新闻)。我认为最好的活生生的例子是谷歌新闻，它从网络上收集新闻，然后对相关的新闻和文章进行分类和查找。这就是我想要做的。
做这件事最好的算法是什么？
浏览 0提问于2012-09-21得票数 4
回答已采纳
2回答
我有使用ajax加载帖子的新闻门户，以获得更好的用户体验。Web爬虫看不到javascript生成的链接和文本，所以我读到了关于为爬虫使用noscript标记的文章。许多SEO分析器网站现在看到了这些内容，但我不知道真正的爬虫像谷歌和其他。他的这是一个很好的方式，使我的内容可见的爬虫？我知道这很容易..。
浏览 0提问于2015-04-22得票数 3
我想抓取一个网页(新闻)，只获得最新的链接。我有一个爬虫代码，从一个网站获得所有的链接，需要2-3个小时来获得大约30000个链接，并在数据库中存储。如果下次运行爬虫程序时，我只想插入新的链接，该怎么办？我知道我可以在插入数据库之前做一个过滤器，但我希望爬虫只抓取新的链接，而不是再次抓取旧链接(基本上是整个网站)。有没有可能做这样的事情？
浏览 1提问于2018-04-18得票数 0
我现在非常需要新闻文章来测试LSI实现(它是一门外语，所以没有常用的文件包)。所以我需要一个爬虫，它给定一个起始url，假设遵循所有包含的链接，并将它们的内容保存到.txt文件中，如果我们可以指定格式为UTF8，我会在天堂。我没有这方面的专业知识，所以我恳求你一些建议，其中爬虫用于这项任务。
浏览 2提问于2010-02-19得票数 1
2回答
这会导致大量的性能问题，例如，当您有数百条新闻记录并编辑新闻详细信息页面时。
是否有一种方法可以对特定页面禁用此功能？
浏览 2提问于2017-08-09得票数 2
回答已采纳
我创建了一个网站与asp.NET webform应用程序，获得新闻网站的网址，并检查他们串联找到新的新闻，并保存标题，网址的新闻，描述到数据库中…现在我想在数据库中保存数据。我可以在Rss中找到新闻的描述，然后我想在新闻页面中找到细节。有点像爬虫。
浏览 1提问于2015-01-28得票数 1
1回答
我在我的网站上使用jQuery新闻收报器。由于我主要关注SEO，我想知道google crawler是否会将不断更新的新闻标题视为新内容？或者我最好在网站上有一个新闻栏目？
浏览 2提问于2013-02-26得票数 0
http://www.example.com procInstrFilter = tx_indexedsearch_reindex}
结果爬虫还要索引隐藏的新闻条目
浏览 2提问于2015-11-02得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
