所以我开始尝试使用python。我已经读过了“潜入python”，所以我现在对python有了一个不错的了解。我听说python很适合网络爬行，但是我在dive into python中没有看到这一点。社区可以建议如何将我的pythong知识用于网络爬虫或蜘蛛吗？
浏览 2提问于2009-07-08得票数 10
2回答
对于这一个，我还需要建立网络爬虫，其中填充搜索引擎的数据。总而言之，我需要以下内容：请任何人有任何想法或资源或书籍。请与我们分享。
浏览 8提问于2012-11-14得票数 2
2回答
我正在使用刮除从一个网站上对书籍的评论。到目前为止，我已经做了一个爬虫和刮评论的单一的一本书，把它的网址作为启动网址由我自己，我甚至不得不给标签的评论，由我自己从页面的源代码找到它。它起作用了。也就是说，我想要某种方式，爬虫应该能够找到书的网页在网站上，并刮它的评论。我从goodreads中提取评论，它没有为url提供统一的方法，甚至对于不同的书籍，标签也是不同的。而且我不想用Api。
浏览 10提问于2014-05-02得票数 0
回答已采纳
3回答
我最近开始学习PHP，但我对C++有很深的了解。我一直在想怎么做一个网络机器人，现在，我非常想做一个。我不会使用这个机器人来做垃圾邮件或其他事情，只是用来测试PHP/C++在网上能做什么。我想知道我怎样才能做到这一点，如果你有任何文章/教程将是有帮助的。
浏览 0提问于2010-02-25得票数 0
1回答
项目推荐服务
、、
到目前为止，我已经使用Nutch爬虫从网站上收集了书籍，并将信息存储到hbase中。问题是，我实际上并不完全理解这些东西是如何工作的。如何在没有用户信息的情况下，通过他们的信息等找到“相似”的书籍？是否有可能直接从hbase传递数据，而无需将其存储到文件中然后导入？或者这项工作更适合Apache Mahout或LibRec？
浏览 1提问于2015-08-31得票数 0
我很难在里面创建一个网络爬虫。我正在考虑和研究的一种解决方案是使用urlFetch()访问books.google.com。我需要输入一本书的某个isbn，应用程序将获取该特定书籍的详细信息(标题，作者等)。可以使用urlFetch()吗？谢谢你的建议。:)
浏览 2提问于2012-04-01得票数 0
5回答
我的任务是抓取/解析和索引许多图书馆网页上的可用书籍。我通常使用HTML Agility Pack和C#来解析网站内容。我发现典型的网络爬虫在这个网站上失败了。我还尝试编写自己的爬虫程序，它将遍历页面上的所有链接，并生成post/get变量以动态生成结果。
浏览 1提问于2010-12-22得票数 3
回答已采纳
1回答
弹性豆杆不运行的克隆约伯
、、、、
我在一个弹力豆茎应用程序上有一个抓取器，我可以像这样运行SSH：
我想帮我安排一个任务来处理这个问题。Cron won't r
浏览 0提问于2015-04-13得票数 0
1回答
是否有一个工具/爬虫来查找整个网站的所有表单和输入字段？
我知道firefox和chrome的加载项，显示当前浏览网站的表单细节。我需要的是一个工具，像一个安全扫描器/网站爬虫，自动扫描整个网站的表单，并生成一个有用的文件或显示概述与表单和他们的输入字段。我使用linux，并希望检查一个本地开发的网站的表单和输入字段。编辑:我以前没有使用任何安全工具，只是从网上的书籍和文章中了解了一些基本知识。
浏览 0提问于2014-09-02得票数 -1
我将时间序列数据存储在每日生成的DynamoDB表()中。这些表的命名惯例是"timeseries_ 2019-12-20 "，其中2019-12-20为当前日期。我想以CSV格式将前一天表发送到S3桶。推荐的方法是什么？我在看AWS Glue，但不知道如何让它每天找到新的表名。也许有云观察事件的lambda函数会更好？DynamoDB表的大小不大，存储了几百个数字。
浏览 4提问于2019-12-21得票数 0
回答已采纳
3回答
我正在寻找所有形式的技术信息，包括关于网络爬虫的信息，获取数据的其他技术，数据存储方法和如何查询，等等。
我是全新的学科，我正在寻找有用的资源和书籍的主题。如有任何建议，敬请见谅。
浏览 0提问于2011-09-03得票数 8
回答已采纳
2回答
可以在Python 框架中使用.NET框架从不同的站点抓取数据吗？我正在做我的最后一年的项目，在这个项目中，我想使用C#作为前端语言，并使用Python来抓取数据。
浏览 0提问于2014-05-07得票数 4
嗨，我想做一个网页爬虫，检查URL的数据，如果我做一个简单的Gui，使脚本更容易查找变量的数据，添加代码的gui会使我的网络爬虫效率降低吗？
我需要爬虫尽可能高效，能够尽可能快地处理数据。为这个Python脚本制作一个gui，会不会妨碍web爬虫的性能？
浏览 3提问于2015-01-27得票数 0
回答已采纳
我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据。但是，我需要一些方法来让python脚本知道，新数
浏览 1提问于2011-03-31得票数 1
我用Python2.7编写了大量的Scrapy爬行器。我需要将它们全部转换为支持Python 3，这种转换必须在1 go内完成。我只能在Python 3爬虫做好部署准备之后才能开始使用。现在，由于“所有操作都必须保持活动状态”，我需要一个单独的Python 3爬虫的远程分支。这个分支可以称为Remote-B。我手动创建了这个分支，所以整个存储库现在有两个分支: Master(Remote-A)和Python3爬虫(Remote-B)，后者是主分支的一个
浏览 3提问于2019-09-10得票数 0
回答已采纳
1回答
我正在制作一个爬虫来找出最近添加的youtube视频，当我的爬虫到达旧视频(在前一个转弯中爬行)时，我想停止爬虫。我使用的不是scrapy和漂亮的汤，我使用的是python库。请给我推荐任何选项
浏览 9提问于2017-06-27得票数 0
我使用具有无限循环的python制作了一个简单的爬虫，所以它不能停止。随机延迟17 ~ 30，这个爬虫爬行相同的一个页面，并找到'href‘链接，定期更新，并存储到Mysql。因为我使用了Linux命令这个爬虫是在Ubuntu服务器背景下运行的。我想它已经运行了大约4个小时。但爬虫突然停止了。第二天我再试一次。
浏览 1提问于2014-05-20得票数 0
回答已采纳
1回答
我正在使用python中的scrapy框架制作一个web爬虫。其主要思想是，爬虫从页面中提取一些数据，如果数据符合某些条件，爬虫应该提取其当前所处的URL。是否有一些方法/函数可以获得当前的URL？
浏览 5提问于2016-11-27得票数 0
回答已采纳
现在，我想使用python开发桌面应用程序。我对蟒蛇很陌生。
说到UI编程，请建议哪个框架最适合富桌面应用程序编程，以及为什么，请记住，我来自一个像WPF这样的工具。此外，请建议使用Python开发桌面应用程序的任何有用的教程。
浏览 4提问于2015-02-12得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
