我已经有了负责解析数据的python爬虫，但是我不知道如何(在后台)在firebase中执行服务器的这个python爬虫(或者根本不可能)？下面是我的系统的示例用法
用户可以从数据库中看到网站变更的摘要。我想到的一个选择是在本地机器上运行爬虫，并使用REST将解析的数据更新到firebase数据库。
浏览 0提问于2018-01-25得票数 3
我正在创建一个网络爬虫，我使用HTMLParser模块来解析超文本标记语言文档中的链接。如果解析器遇到错误的标记，它会引发解析错误并终止应用程序。由于爬虫遍历了整个web，所以这个错误经常会被抛出。在python.org错误部分，已经有人提出了这个问题。你可以看看这个。这样做的问题是，我真的不知道如何使用提供的“补丁”，我也不理解评论。我希望覆盖HTMLParser模块的默认行为，以允许它在出现解析错误后继续解析。
浏览 0提问于2011-04-20得票数 1
回答已采纳
嗨，我正在编写一个网络爬虫，这将爬行网站，并有选择地解析网站的不同部分。我是一个.Net开发人员，所以我选择用.Net做这件事是显而易见的，但是速度非常慢，包括下载和解析HTMLPages
然后，我尝试先使用.Net下载内容，然后使用python下载相同的域名，但python我已经使用python实现了下载，但是后面的部分并不容易用python编写，这显然不是我想要做的。同一批域名在Python中需要100秒，而在基于.Net爬虫中需
浏览 0提问于2011-02-12得票数 0
回答已采纳
我必须用Python写一个网络爬虫。我不知道如何解析页面并从HTML中提取URL。我应该去哪里学习来编写这样的程序呢？
换句话说，有没有一个简单的python程序可以作为通用网络爬虫的模板？
浏览 2提问于2013-03-20得票数 17
我已经编写了一个python模块爬虫，它可以解析网页并使用本机信息创建JSON对象。我的模块爬虫的下一步是使用elasticsearch存储本机信息。
真正的问题如下所示。哪种技术更适合我的场合？elasticsearch python API还是用于弹性搜索的RESTful API (elasticsearch-py)？
浏览 4提问于2015-12-01得票数 1
我对Python非常陌生，但似乎相处得很融洽。我正在用Python写一个网络爬虫。我想自己弄清楚代码，但如果你愿意提供一个样本，我不会争辩。:)
浏览 2提问于2015-02-18得票数 0
我用python编写了一个爬虫，它可以访问60多个网站，解析HTML，并将数据保存到数据库。哪一个更有效率？无限循环还是cron作业？
浏览 7提问于2021-05-14得票数 0
什么样的语言能够处理编写自己的网页爬虫？但是如果我需要的话，我想有一个很好的理由去学习一门新的语言。
浏览 0提问于2011-08-02得票数 0
回答已采纳
1回答
我正在运行一个具有自己的绑定DNS缓存的网络爬虫。我们的代码使用DNS缓存进行解析，并使用Python的请求库发出GET请求。因此，我们的爬虫试图连接这些it，并以来自数据中心的扫描报告结束。绑定是否可以阻止私有IP
浏览 0提问于2015-12-30得票数 2
回答已采纳
我正在创建一个Python Web爬虫，能够浏览web历史记录、解析信息并将重要信息存储在数据库中，以用于取证/学术目的。如何将web爬虫设置为仅搜索可疑web历史记录中的数据。有什么建议吗
对于那些对我的这个项目感兴趣的人，我可以更新这个线程，这样你就可以看到我的网络爬虫的进展，最终结果将有能力从公共和私人网站的web历史和数据排序重要信息，如姓名，地址，D.O.B到一个数据库中
浏览 0提问于2015-11-15得票数 0
3回答
谷歌机器人信息？
、、
有没有人知道更多关于谷歌网络爬虫(又称GoogleBot)的细节？我很好奇它是用什么写的(我自己做了几个爬虫，现在正准备做另一个)，以及它是否能解析图像之类的东西。如果它都是用Python编写的，如果他们使用自己的库来做大多数事情，包括html/image/pdf解析，我也不会感到惊讶。也许他们不会这样做。也许它们都是用C/C++编写的。提前谢谢你-
浏览 1提问于2010-04-14得票数 0
回答已采纳
1回答
我正在用python编写一个“网络爬虫”，它接受一个URL，并根据链接到有限的深度进行深度优先搜索。我遇到的问题是如何解释URLS中的相对路径。然而，在页面上有一个链接<a href="Finalprojects.pdf">here</a>，它解析为"“。
有人能给我解释一下这种矛盾吗？如何确定如何在我的爬虫程序中解析这些路径？
浏览 1提问于2011-03-03得票数 1
回答已采纳
3回答
我试图在C++中做一个非常简单的网页爬虫/蜘蛛应用程序。我一直在使用谷歌搜索一个简单的，以了解这个概念。我发现了这个：
然而，这是复杂的理解对我来说，因为我开始学习C++大约一个月前。
浏览 15提问于2010-11-25得票数 22
回答已采纳
1回答
即使您在Linux或windows上发出多个并行异步DNS解析请求(以编程方式)，操作系统是否会序列化这些请求，并且不会将它们全部并行发送出去？当我在一些地方读到gethostbyname或DNS APIs在最低层序列化时，甚至有人编写了这个async-dns python库来戏剧性地加速DnsResolve解析。想象一下一个网络爬虫场景，我需要每秒大量的dns查询，在一些早期的网络爬虫出版物中，提到dns成为瓶颈。
浏览 1提问于2010-12-10得票数 2
回答已采纳
1回答
我有一个爬虫的基本结构。现在我在一些php驱动的网站上发布了它，它就像一个护身符。不过，现在我想让它从ajax内容构建数据表。目前，我正在使用Mechanize for PYTHON和perl来构建我的爬虫。虽然机械化模块不执行AJAX。如何访问由异步ajax构建的内容？
浏览 2提问于2012-01-26得票数 2
回答已采纳
我正在用Python编写一个网页爬虫，并且非常喜欢它！但是，我注意到urlopen(url).read()在Python上生成的结果与终端上的curl生成的结果有一些不同。我试着，但没有成功。有一种简单的方法可以在Python上生成卷曲结果吗？在本例中，我解析了 URL。我在两个请求User-Agent: Mozilla/5.0上传递了相同的头。
浏览 2提问于2015-11-01得票数 2
回答已采纳
1回答
我在GUI环境中使用Qt创建了一个用于特定任务的简单web爬虫。现在，我想将它自动化(使用cron)，并使用纯非GUI环境所必需的。我试图将代码移植到一个非GUI应用程序，但没有成功。如果不可能，如何使用Qt为非GUI应用程序编写web爬虫程序？我熟悉Qt (当然不是专家)，如果可能的话，我想使用它
根据的说法，我可以在终端上运行我的网络爬虫，但是我必须使用一个假服
浏览 0提问于2012-09-20得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
