1回答
我想写一个Java代码来解析某个网站。网站中的每个结果都出现在指定的URL中。我该怎么开始呢？有没有好的库可以使用？我能从你在这个领域的经验中受益吗？
浏览 0提问于2011-07-26得票数 2
回答已采纳
嗨，我想做一个网页爬虫，检查URL的数据，如果我做一个简单的Gui，使脚本更容易查找变量的数据，添加代码的gui会使我的网络爬虫效率降低吗？
我需要爬虫尽可能高效，能够尽可能快地处理数据。为这个Python脚本制作一个gui，会不会妨碍web爬虫的性能？
浏览 3提问于2015-01-27得票数 0
回答已采纳
什么样的语言能够处理编写自己的网页爬虫？但是如果我需要的话，我想有一个很好的理由去学习一门新的语言。
浏览 0提问于2011-08-02得票数 0
回答已采纳
我想创建一个简单的网络爬虫为乐趣。我需要网络爬虫来获得一个网页上的所有链接的列表。python库中有没有内置的函数可以让这一切变得更容易？感谢您提供的任何知识。
浏览 5提问于2010-11-10得票数 1
我使用具有无限循环的python制作了一个简单的爬虫，所以它不能停止。随机延迟17 ~ 30，这个爬虫爬行相同的一个页面，并找到'href‘链接，定期更新，并存储到Mysql。因为我使用了Linux命令这个爬虫是在Ubuntu服务器背景下运行的。我想它已经运行了大约4个小时。但爬虫突然停止了。第二天我再试一次。这是关于网页的块吗？或者nohup命令有限制时间？非常感谢。
浏览 1提问于2014-05-20得票数 0
回答已采纳
3回答
我想创建或找到一个用Python编写的开源网络爬虫(爬虫/机器人)。它必须找到并跟踪链接，收集元标签和元描述，网页的标题和网页的网址，并将所有的数据放入一个MySQL数据库。
浏览 4提问于2011-08-11得票数 6
回答已采纳
我已经编写了一个python模块爬虫，它可以解析网页并使用本机信息创建JSON对象。我的模块爬虫的下一步是使用elasticsearch存储本机信息。
真正的问题如下所示。哪种技术更适合我的场合？elasticsearch python API还是用于弹性搜索的RESTful API (elasticsearch-py)？
浏览 4提问于2015-12-01得票数 1
我是通过哈多普的nutch一章阅读的，这是权威的指南。我理解使用反向链接对页面进行排序的概念。然而，当你只想爬几个网站的时候，我看不出你在扮演什么角色。由于linkdb的创建是一个地图减少作业，它必然会占用大量的计算资源。我只是想知道为什么linkdb总是在大多数nutch用例只是获取指定urls的web内容时生成的。
浏览 2提问于2015-04-16得票数 0
回答已采纳
我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据。但是，我需要一些方法来让python</e
浏览 1提问于2011-03-31得票数 1
1回答
如果我写了一篇文章，他的链接是'example.com/abc.php‘&这篇文章在搜索引擎中排名靠前。 几天后，我更新了这篇文章，包括它的内容和'xyz.php‘的永久链接。 现在，之前URL为'example.com/abc.php‘的帖子被更新为'example.com/xyz.php’。 那么搜索引擎将如何知道这是与URL example.com/abc.php排名相同的页面/帖子。并且需要将搜索结果中的链接更新为“example.com/xyz.php”，而不影响排名。 在更新固定链接之前和之后，在为搜索引擎创建一个唯一标识页面的新帖子时，有
浏览 35提问于2021-01-25得票数 0
我想询问是否有任何方法可以让我的爬虫一直到页面底部，并等待页面加载(以便加载的帖子的html将被添加)。<html></html>标签将只显示当前存在的帖子，而我的爬虫程序将停止。
浏览 1提问于2017-05-30得票数 1
我目前正在尝试使我自己的网络爬虫为个人使用。然而，当我试图通过我的python脚本访问网站时，我被转到一个网页，要求我填写验证码。有没有办法避免这种情况？
浏览 1提问于2016-10-24得票数 1
如何使用Headless Chrome登录网页(填写并提交登录/通过表单标签)。我用Python3，BeautifulSoup和无头浏览器做了一个网络爬虫，但现在我需要先登录，我不知道怎么做。
浏览 17提问于2020-02-05得票数 0
想知道谷歌网站爬虫是如何找到我的网站。假设我没有在谷歌索引的任何其他地方发布网址。
有人能解释一下吗？
浏览 2提问于2016-04-22得票数 0
回答已采纳
1回答
我已经创建了一个使用scrapy.The爬虫爬虫的网站和抓取链接。**所使用的技术：**Python，Scrapy Error抓取相对urls，因为刮刀器无法抓取网页。我要爬虫只取无源网址。
浏览 2提问于2021-06-29得票数 1
2回答
return Redirect("/h");
return View();
问题:如果我限制一些浏览器访问我的主视图，它也会限制对网络爬虫的访问吗
浏览 0提问于2013-02-21得票数 0
回答已采纳
我有一个java网络应用程序，我需要使用一个简单的网络爬虫来读取网页中的html。我在java中找不到任何简单的解决方案。但是我得到了一个非常简单的python脚本来解决我的问题。现在，如何从我的java类调用python脚本(.py)，并预先从python脚本.Thanks获取返回值。
浏览 1提问于2015-02-05得票数 0
我有一个站点，它的根目录是，任何到的流量都被重定向到。在网站管理员工具中，我将站点添加为，但我只在/blog目录和其他静态页面上获取谷歌。对吗？有人能验证一下这是否会达到我想要达到的目的吗？Allow: /$
浏览 1提问于2015-11-18得票数 0
回答已采纳
1回答
我正在为这个网页做一个基本的网页爬虫工作(只是为了学习，我已经得到了他们的许可)：
我想要做的是得到所有事件的“时间”，“描述”和“地点”的形式。我尝试过python正则表达式，但是这些信息似乎没有显示在这个页面的HTML代码中。相反，我使用Selenium，但我仍然不知道在哪里可以找到这些信息。
浏览 1提问于2016-12-19得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
