1回答
我已经开始编写一个爬虫来抓取电子公告板了。然而，我不是一个web程序员(我可以使用json api，但这不是真正的web爬行)，因此我不知道爬行的最好方法是什么，也不知道有什么工具可用。我更有能力编写爬虫，但我发现底层的HTML非常不规则，所以我不想成为新版本vbulletin中HTML结构变化的牺牲品。
我正在用pycurl和漂亮的汤写一个界面。然而，有没有更好的方法来做到这一点，有没有好的爬虫已经可以在vbulletin上使用了？(语言不是问题)。一个元论坛爬虫(适用于多个论坛类型)
浏览 0提问于2012-05-02得票数 0
回答已采纳
1回答
我使用Selenium +Python2.7堆栈。 loginbutton.click()
但当爬虫运行时我无法登录在运行爬虫时，将在用户名和密码字段中填充正确的值。我不明白是什么引起了这个问题。任何帮助都是非常感谢的。
浏览 1提问于2017-01-08得票数 1
回答已采纳
1回答
我有一个MyBB论坛，我得到了多个页面上的新线程在3-5分钟内发帖。我手动提交新的网址通过谷歌网站管理员的工具，如果任何情况下，应占1页的浏览，但不多。我现在没有活跃的会员。那么，我的新内容是来自真实的人还是来自网络爬虫的页面浏览呢？
浏览 0提问于2017-04-01得票数 3
2回答
从论坛中提取数据
、、
İ希望根据我输入的关键字从php论坛中提取数据。İ‘有没有什么现成的东西可以做到这一点？仅以关键字为例
感谢这些信息，我想得到日期，时间，消息，消息的网址，在消息中的关键字，写这条消息的成员的尼克。我需要在不同的论坛工作，所以我需要一个或多个工具，将工作在关键的大平台，如vBulletin。
浏览 0提问于2013-02-26得票数 0
我正在尝试用scrapy制作一个专门针对网络爬虫的爬虫，它会返回我的结果的一个对象。我被卡住了，可能会把事情搞得一团糟。更具体地说，对于上的每个子论坛(数学、物理等)，我希望获得每个子论坛中所有线程的标题，并以一个对象结束，该对象具有论坛名称和论坛中所有线程的标题列表。我写的爬虫看起来像这样，但功能不像预期的那样： from scrapy.selec
浏览 1提问于2013-11-01得票数 1
我知道您可以禁止爬虫中的: /page1.cfm，但是如果我只想禁止该页面的一部分，比如该页面上存在的链接或联系人表单，该怎么办？这种功能有可能实现吗？根据我最近读到的一些论坛，"nofollow“功能不再有效，因为爬虫变得更智能了。(我不知道那个论坛的可信度如何，所以如果有人有更好的来源，请分享)
有什么建议吗？
浏览 2提问于2012-06-02得票数 1
回答已采纳
2回答
我已经查看了一些Python模块，并且正在测试Scrapy。在我的搜索中，我无法断定它是否是最快的，是否始终给数据带来了，或者还有其他更好、更详细或更困难的地方。
其次，Python是一个好语言吗？
浏览 2提问于2013-10-04得票数 0
回答已采纳
我正在使用这个URL：
是一个vBulleting论坛，所以所有的帖子都有一个类“帖子”。
浏览 1提问于2013-06-17得票数 0
1回答
我正在用Python3.5开发一个网络爬虫。使用请求和Beautifulsoup4。我正在尝试获得所有主题的链接在论坛的第一页。并将它们添加到列表中。
浏览 1提问于2015-10-28得票数 1
2回答
我想抓取一个特定的论坛，接近实时，并将数据转储到HDFS，如果不是Hbase。
我听说Apache可以解决这个问题，但遗憾的是，它所需要的技术栈已经相当陈旧了。我不想把hadoop从2.6降到更早的版本，Elasticsearch降到1.7/1.4，所以我把注意力转移到了风暴爬虫上。由于我使用Hadoop2.6、ElasticSearch2.0和Hbase 1.1.3，有人能告诉我是否可以使用风暴爬虫0.9吗？
浏览 3提问于2016-04-06得票数 1
回答已采纳
1回答
弹性豆杆不运行的克隆约伯
、、、、
我在一个弹力豆茎应用程序上有一个抓取器，我可以像这样运行SSH：
我想帮我安排一个任务来处理这个问题。Cron won't r
浏览 0提问于2015-04-13得票数 0
1回答
我不断收到django关于内部链接中断的电子邮件，我无法解释：Requested URL: /thanks/forum/IP address: xxx.xxx.xxx.xxx一个能解释问题所在的人？如果你需要进一步的信息请告诉我..。
&
浏览 1提问于2011-06-16得票数 2
回答已采纳
我将时间序列数据存储在每日生成的DynamoDB表()中。这些表的命名惯例是"timeseries_ 2019-12-20 "，其中2019-12-20为当前日期。我想以CSV格式将前一天表发送到S3桶。推荐的方法是什么？我在看AWS Glue，但不知道如何让它每天找到新的表名。也许有云观察事件的lambda函数会更好？DynamoDB表的大小不大，存储了几百个数字。
浏览 4提问于2019-12-21得票数 0
回答已采纳
2回答
可以在Python 框架中使用.NET框架从不同的站点抓取数据吗？我正在做我的最后一年的项目，在这个项目中，我想使用C#作为前端语言，并使用Python来抓取数据。
浏览 0提问于2014-05-07得票数 4
我在php中有一个DOM网络爬虫，它工作得很好。它所做的就是从论坛站点中提取所提到的特定类语句，并在我的php页面中回显它们。因此，由于论坛站点有超过1000+的帖子，DOM解析器代码提取上限，并将错误打印为Fatal error: Maximum execution time of 30 seconds exceeded in
浏览 1提问于2017-03-30得票数 1
回答已采纳
我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据。但是，我需要一些方法来让python脚本知道，新数
浏览 1提问于2011-03-31得票数 1
嗨，我想做一个网页爬虫，检查URL的数据，如果我做一个简单的Gui，使脚本更容易查找变量的数据，添加代码的gui会使我的网络爬虫效率降低吗？
我需要爬虫尽可能高效，能够尽可能快地处理数据。为这个Python脚本制作一个gui，会不会妨碍web爬虫的性能？
浏览 3提问于2015-01-27得票数 0
回答已采纳
我用Python2.7编写了大量的Scrapy爬行器。我需要将它们全部转换为支持Python 3，这种转换必须在1 go内完成。我只能在Python 3爬虫做好部署准备之后才能开始使用。现在，由于“所有操作都必须保持活动状态”，我需要一个单独的Python 3爬虫的远程分支。这个分支可以称为Remote-B。我手动创建了这个分支，所以整个存储库现在有两个分支: Master(Remote-A)和Python3爬虫(Remote-B)，后者是主分支的一个
浏览 3提问于2019-09-10得票数 0
回答已采纳
1回答
我正在制作一个爬虫来找出最近添加的youtube视频，当我的爬虫到达旧视频(在前一个转弯中爬行)时，我想停止爬虫。我使用的不是scrapy和漂亮的汤，我使用的是python库。请给我推荐任何选项
浏览 9提问于2017-06-27得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
