我想创建一个简单的网络爬虫为乐趣。我需要网络爬虫来获得一个网页上的所有链接的列表。python库中有没有内置的函数可以让这一切变得更容易？感谢您提供的任何知识。
浏览 5提问于2010-11-10得票数 1
所以我开始尝试使用python。我已经读过了“潜入python”，所以我现在对python有了一个不错的了解。我听说python很适合网络爬行，但是我在dive into python中没有看到这一点。社区可以建议如何将我的pythong知识用于网络爬虫或蜘蛛吗？
浏览 2提问于2009-07-08得票数 10
我一直在尝试爬行一个fb页面。我还没有成功地检索到任何有用的东西，我希望在页面上的帖子的链接。下面是我一直使用的代码： require 'nokogiri' require 'logger'
http = Curl.get("https://www.faceb
浏览 0提问于2015-04-02得票数 0
我现在非常需要新闻文章来测试LSI实现(它是一门外语，所以没有常用的文件包)。所以我需要一个爬虫，它给定一个起始url，假设遵循所有包含的链接，并将它们的内容保存到.txt文件中，如果我们可以指定格式为UTF8，我会在天堂。我没有这方面的专业知识，所以我恳求你一些建议，其中爬虫用于这项任务。
浏览 2提问于2010-02-19得票数 1
1回答
我们希望在我们的区域办事处建立一个知识库系统。我们试图说服国家办事处购买我们的服务台软件的附加组件，但到目前为止，它已被置若罔闻。
浏览 0提问于2010-06-25得票数 0
soup.find_all('a', {'class': 'coin_currency_name'}): print(title) 我的最终目标是创建一个网络爬虫当我跑的时候 python wcrawl.py 它所做的就是移动到我可以输入新命令的地方……对不起，我在这个话题上知识不够，不能给出更多细节，我已经使用python整整12个小时了。只需要更多信息： Windows 10 insid
浏览 11提问于2019-03-11得票数 1
回答已采纳
1回答
在cronjob上优化爬虫脚本
、、、、
我在一个MySQL表中有大约6600万个域，我需要在所有域上运行爬虫，并在爬虫完成时更新行计数=1。
创建一个php脚本，该脚本以json形式返回域，并从js文件中加载它，并预先处理域并运行爬虫，但是它工作得不太好接下来，我尝试创建一个python脚本，直接从mysql
浏览 2提问于2015-03-01得票数 1
1回答
我在信息安全方面不是很有经验，但我知道一些关于注入攻击和其他基于web的攻击的基本知识。是否有一个工具/爬虫来查找整个网站的所有表单和输入字段？我需要的是一个工具，像一个安全扫描器/网站爬虫，自动扫描整个网站的表单，并生成一个有用的文件或显示概述与表单和他们的输入字段。我使用linux，并希望检查一个本地开发的网站的表单和输入字段。编辑:我以前没有使用任何安全工具，只是从网上的书籍和文章中了解了一些基本知识。
浏览 0提问于2014-09-02得票数 -1
登录后，我查看了facebook中的html代码，他们似乎对JS文件做了很多请求(根据firebug，多达20个)。所以，虽然我知道facebook需要加载许多JS和CSS文件(而不是一个JS和一个CSS文件)，但我的问题是更通用的网站和网络爬虫的状态。我们应该担心这些技术(通过ajax加载主要内容)会影响网络爬虫(googlebot和朋友)吗？我想提高性能，加载“稍后需要”的内容(text/js/css)似乎是个好主意，但如果<e
浏览 2提问于2013-03-18得票数 3
我用Python2.7编写了大量的Scrapy爬行器。我需要将它们全部转换为支持Python 3，这种转换必须在1 go内完成。我只能在Python 3爬虫做好部署准备之后才能开始使用。现在，由于“所有操作都必须保持活动状态”，我需要一个单独的Python 3爬虫的远程分支。这个分支可以称为Remote-B。我手动创建了这个分支，所以整个存储库现在有两个分支: Master(Remote-A)和Python3爬虫(R
浏览 3提问于2019-09-10得票数 0
回答已采纳
嗨，我想做一个网页爬虫，检查URL的数据，如果我做一个简单的Gui，使脚本更容易查找变量的数据，添加代码的gui会使我的网络爬虫效率降低吗？
我需要爬虫尽可能高效，能够尽可能快地处理数据。为这个Python脚本制作一个gui，会不会妨碍web爬虫的性能？
浏览 3提问于2015-01-27得票数 0
回答已采纳
谁能告诉我，如果有任何方法可以忽略或绕过robots.txt爬行。有没有办法修改脚本，让它忽略robots.txt，继续抓取？User-agent: *Disallow:
浏览 3提问于2015-01-21得票数 1
我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据。但是，我需要一些方法来让
浏览 1提问于2011-03-31得票数 1
需要将现有应用程序连接到社交媒体监控。爬虫的常见输出格式是什么？它会是XML，JSON吗？或者它会根据爬虫的不同而不同，例如: Python，Java？
浏览 0提问于2012-08-20得票数 0
回答已采纳
1回答
我需要创建一个爬虫与客户端在每个台式机和一个中央服务器，其中的数据是索引。有没有可能在Nutch中创建这样的爬虫？还有没有别的选择。基于Python的爬虫会更好。
浏览 2提问于2011-07-04得票数 0
回答已采纳
尝试在我的Mac OS上使用pip安装python-spidermonkey，但失败了，因为它缺少nspr：Downloading/unpacking python-spidermonkey Traceback/setup.py", line 186, in <module>
浏览 2提问于2013-04-27得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
