腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
视频
沙龙
1
回答
Web Crawler - Windows应用程序
、
、
、
我想建立一个网络爬虫与用户界面,允许用户输入一系列的零件编号,然后爬虫将挖掘约6网址的(制造商/供应商网站),并拉回该零件的库存值和警报,如果它更新到1+ (通常情况下,我们正在寻找的零件坐在0库存数周) 我查看了Scrapy,并试图在我们的服务器上实现它,直到意识到它永远不会在我们通过HostGator使用的共享服务器上工作,因为他们不允许Python install或GCC。 下一个选择是使用Scrapy Cloud,但从我的阅读来看,每次需要抓取不同的部件号时,我都必须手动更新爬行器。 有没有办法(基于Windows应用程序或基于web应用程序)允许用户输入不同的零件号,将这些零件号发送
浏览 2
提问于2019-03-21
得票数 2
4
回答
HTML5语义标记在intranet应用程序中的用途是什么?
、
据我所知,HTML5语义标记的唯一真正优势是搜索引擎和web爬虫能够更好地解释文档。 由于内部网应用程序与搜索引擎或网络爬虫无关,在HTML5中使用语义标记有哪些优点?
浏览 5
提问于2013-12-05
得票数 2
回答已采纳
1
回答
Scrapy:如何判断robots.txt是否存在
、
、
我知道我可以使用python并发出一个robots.txt (S)请求来自己检查是否存在http文件。由于Scrapy检查和下载它是为了让爬虫遵守其中的规则,在爬虫类中是否有一个属性或方法或任何东西可以让我知道给定网站是否存在robots.txt来爬行? 已尝试使用crawler统计信息: 请参阅here self.crawler.stats.inc_value(f'robotstxt/response_status_count/{response.status}') 我对有没有robots.txt的网站做了几个测试,我可以看到关于robots.txt存在的正确信息。例如,在
浏览 41
提问于2021-05-04
得票数 1
回答已采纳
1
回答
Python:使用bs4解析UNICODE字符
、
、
我正在使用bs4构建一个python3网络爬虫/爬行器。每当遇到像中文符号这样的UNICODE代码字符时,程序就会崩溃。如何修改我的刮刀,使其支持UNICODE? 代码如下: import urllib.request from bs4 import BeautifulSoup def crawlForData(url): r = urllib.request.urlopen(url) soup = BeautifulSoup(r.read(),'html.parser') result = [i.text.replace(
浏览 0
提问于2016-01-05
得票数 1
2
回答
仅搜索动态数据
、
我正在尝试抓取当地一家报纸的档案,并得到了想要的结果。有没有办法让我编程的爬虫,使静态按钮,如主页,按钮及其页脚是相同的,每个页面都不包括在爬虫中 这是我用来显示爬网数据的代码 System.out.println(Jsoup.parse(html).body().text_mod());
浏览 3
提问于2013-02-12
得票数 2
回答已采纳
1
回答
腾讯网盘有计划出toC版本吗?
腾讯网盘有计划出to C版本吗?类似于阿里云盘那样。
浏览 112
提问于2024-06-21
2
回答
typo3网站爬网程序未编制索引
、
、
、
、
我试图在一个旧的TYPO3 4.5网站上用索引搜索和站点爬虫来索引一个页面--但是我尝试了几乎所有的方法都没有效果。 我正在运行站点爬虫程序,它将获得可以爬行的URL的完整列表,并且我正在运行整个队列 我已经设置了“索引配置” 和一个网站爬虫 但它不会建立索引 "cache_pages“表似乎也是空的-但是对所有页面都启用了缓存。 我能错过什么呢?
浏览 5
提问于2016-01-17
得票数 3
1
回答
Scrapy部署算法
、
、
、
、
请帮我理清思路: 我想在EC2上为我的项目设置一个爬网。我正在使用带有MySQL的Scrapy来显示结果。另外,我想为预定的爬行(例如每天)实现cron;所以我的理解是:我用所有必要的包(python、mysql、scrapy等)设置EC2;然后我创建我的爬虫,我测试它们;当它们工作时,我设置cron让爬行在没有我的情况下发生。 我说的对吗,或者我可能漏掉了什么?我是否需要使用Scrapyd,或者它只是一个选项?
浏览 11
提问于2017-02-26
得票数 0
回答已采纳
1
回答
在spring boot中通过REST api处理提交的耗时任务的最佳方法
、
、
、
、
我有一个春天启动网络项目,需要与网络爬虫系统的工作。我的爬虫服务在没有任何停机时间的情况下工作,每个爬虫请求可能有很长的处理时间。我想通过一个REST接口获取抓取的URL。我的web应用程序中的用户将URL列表提交给web应用程序,我想向他/她显示:您的请求已提交。完成此请求的爬网后,我希望更新web表单中的请求状态。实现此场景的最佳方法是什么?
浏览 32
提问于2020-10-22
得票数 1
1
回答
Google爬虫屏幕大小
、
、
假设一个我有两种类型的图像(A和AAA(更重))为同一网站:取决于屏幕的大小,它将显示一幅或另一幅。 现在我想知道什么图片(A或AAA)加载谷歌爬虫时,它访问我的网站。 换句话说:谷歌爬虫有“屏幕大小”吗? 我想,如果它加载A图像,那么页面速度会比加载AAA图像更好。
浏览 0
提问于2013-07-09
得票数 4
回答已采纳
2
回答
从搜索查询中排除导航菜单
、
我有一个复合的c1网站。我喜欢使用Microsoft Search Server功能。我已经安装了所有的软件,但当我搜索时,我会得到每一页的结果,因为导航菜单在每一页上都有索引。当我使用导航菜单上的class="noindex“选项时,菜单中使用的链接后面没有爬虫。 谁能告诉我如何才能排除内容,但确保爬虫仍然遵循内容中使用的链接?
浏览 10
提问于2011-11-29
得票数 1
回答已采纳
1
回答
腾讯网盘是否能实现自动备份?
、
、
腾讯云企业网盘能否实现本地文件的云端备份?备份规则是怎样的,如何合并文件?是否有额外的费用,比如流量之类的?
浏览 46
提问于2024-06-17
4
回答
数据比较多,有什么好点的存储方案吗?
、
贵州地区,给公司做类似企业网盘的东西,存储数据大概在6~7T左右,有没有好点的存储方案呢?我看腾讯云这边有COS、CFS等,我是从网站直接读取数据,推荐那个?有没有什么试用渠道呢?
浏览 982
提问于2017-09-15
1
回答
多定界符的AWS胶水分类器不起作用
、
、
、
、
我正在尝试对位于s3中的CSV文件运行爬网程序,其中|~|是分隔符。我给出的分隔符如下: 我运行了爬虫程序,但它无法读取数据并创建了一个空表。我有600多个列,不确定如何为它创建GROK模式。Hive提供了一种轻松删除多分隔符的方法,如下所示:'field.delim'='|~|‘我尝试过使用Athena执行同样的操作,但没有成功。我不想仅仅为了替换/删除分隔符而使用python代码重新处理整个文件(20 by )。 有没有人有同样的问题?任何帮助都将不胜感激。 谢谢!
浏览 1
提问于2019-11-14
得票数 1
2
回答
单击提交按钮时在后台运行PHP脚本,无需重新加载页面
我需要运行一个php脚本(网站爬虫)上提交按钮点击,而不是页面重新加载。后台脚本运行后,应出现确认/警报弹出窗口,表明站点爬网程序已结束。有什么想法吗?
浏览 0
提问于2012-04-17
得票数 0
1
回答
html文件表抓取到csv所有数据都将被压缩到同一网格中
、
我目前正在做一个html表单爬虫。我目前可以打印所有表单,但当导出到csv文件时,所有数据将被压缩到同一网格中。 代码:enter image description here
浏览 13
提问于2021-09-06
得票数 0
1
回答
网络爬虫的典型礼貌因素?
、
对于网络爬虫来说,典型的礼貌因素是什么? 除了始终遵守robot.txt "Disallow:“和非标准的"Crawl-delay:” 但是,如果站点没有指定明确的爬网延迟,那么默认值应该设置为什么呢?
浏览 4
提问于2011-11-23
得票数 7
回答已采纳
1
回答
爬虫的Jetty - capping会话/匿名
、
、
、
我正在寻找一种方法来限制在我的webapp (在Jetty上运行)上为爬虫和/或匿名用户创建的会话数量。我想减少应用程序上的会话数量。有多个为爬网程序创建的会话,因为它们中的许多不尊重cookies。当应用程序进入DDoS下时,这也会有所帮助。 tomcat (‘爬虫会话阀’)已经有一个解决方案了,但我需要Jetty的解决方案。 你对限制不想要的会话有什么建议? 谢谢,JB
浏览 0
提问于2013-07-23
得票数 0
回答已采纳
4
回答
访问常见的爬网AWS公共数据集
、
、
、
、
我需要浏览和下载公共爬虫公共数据集的一个子集。页面提到了数据托管的位置。 如何浏览和下载托管在s3://aws-publicdatasets/common-crawl/crawl-002/上的常见爬网数据?
浏览 0
提问于2013-05-20
得票数 6
回答已采纳
1
回答
腾讯网盘有杀毒功能吗?
、
、
网盘内文件有没有存在病毒的可能?如果别人上传了病毒,会不会下载下来把电脑搞坏? 如果我不小心上传了病毒文件,账号会被封禁吗?
浏览 70
提问于2024-06-28
1
回答
AWS Glue - boto3 crawler未创建表
、
、
、
我正在尝试通过boto3库创建并运行一个AWS glue爬虫。爬虫针对的是s3文件夹中的JSON文件。爬虫成功完成,当我检查日志时没有错误,但它没有在我的glue数据库中创建任何表 这不是权限问题,因为我可以通过CFT创建相同的爬虫,当我运行它时,它会像预期的那样创建表。我在我的代码中使用与我的CFT相同的角色,我使用boto3来创建它。 我尝试过使用boto3 create_crawler()和run_crawler()。已尝试在从CFT创建的爬网程序上使用boto3 update_crawler()并更新s3目标路径。 response = glue.create_crawler(
浏览 30
提问于2019-06-07
得票数 0
1
回答
将视图状态置于底部或禁用爬网程序的视图状态
我正在优化网站,使其搜索引擎优化友好。有些控件需要有视图状态。所以,我不能完全禁用它。 我有两种方法可以做到这一点。 将视图状态数据移动到页面底部。仅禁用爬网程序的视图状态。 在我读到的地方,改变爬虫和普通用户的内容可以影响SEO排名。但对该语句不太确定,因为这最终会影响一个隐藏字段。 将视图状态移到底部似乎比禁用爬虫的视图状态占用更多的资源。 请建议什么将是最好的方法或任何其他选择,我错过了。
浏览 1
提问于2012-08-22
得票数 2
1
回答
TYPO3爬虫程序一直在加载,直到出现内部服务器错误500
、
我在多个TYPO3实例上配置了crawler (版本5.1.3) (配置和TYPO3版本7.6.20始终相同)。有时它会工作,有时我会遇到这样的问题: 当所有的都做好后,我想开始爬网-->信息-->网站爬虫-->开始爬行。当我在页面树中选择一个页面并点击时: 然后它正在加载10 - 15分钟,我得到一个服务器错误(500)。 这使得不可能使用爬网程序来抓取页面。 提前谢谢。
浏览 6
提问于2017-08-11
得票数 0
回答已采纳
6
回答
百分比相似度分析(Java)
、
我有以下情况: 字符串a=“网络爬虫是自动浏览万维网因特网的计算机程序”;字符串b=“网络爬虫计算机程序浏览万维网”; 有没有什么想法或标准算法来计算相似度百分比? 例如,在上面的情况下,通过人工查找估计的相似度应该是90%++。 我的想法是对两个字符串进行标记化,并比较匹配的标记数。类似于(7个令牌/1 0个令牌)* 100。但是,当然,对于这种方法,它根本不是有效的。比较匹配的字符数量似乎也没有效果... 有谁能给点指导吗? 以上是我的项目,抄袭分析器的一部分。 因此,匹配的单词将完全相同,没有任何同义词。 在这种情况下,唯一的问题是如何计算相当准确的相似度百分比。 非常感谢你的帮助。
浏览 2
提问于2010-03-06
得票数 4
回答已采纳
3
回答
Facebook爬虫机器人崩溃网站
、
、
Facebook是不是刚刚实现了一些网络爬虫?在过去的几天里,我的网站已经崩溃了几次,严重超载了我追踪到的Facebook的I地址。 我试着用谷歌搜索,但找不到任何关于通过robots.txt控制Facebook的爬虫机器人的权威资源。这里有关于添加以下内容的参考: 用户-代理: facebookexternalhit/1.1爬网-延迟:5 用户-代理: facebookexternalhit/1.0爬网-延迟:5 User-agent: facebookexternalhit/* Crawl-delay: 5 但我找不到任何关于Facebook bot是否尊重robots.txt的具体参考资
浏览 2
提问于2012-10-14
得票数 7
3
回答
将数据从PHP脚本传递到Python Web Crawler
、
、
、
、
我有一个python爬虫,每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面,并显示爬虫获得的数据。我将使用php/html作为接口。无论如何,用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。 现在,有没有一种方法可以将数据从php脚本发送到正在运行的python脚本?我在考虑标准输入/输出,但找不到一种方法可以做到这一点(从一个进程写入另一个进程stdin)。然后我在考虑使用一个共享文件,php在其中写入数据,python从中读取数据。但是,我需要一些方法来让python脚本知道,新数据已经写入文件,以及让php脚本知道爬虫何
浏览 1
提问于2011-03-31
得票数 1
1
回答
如果我为我的python脚本做了一个简单的gui,它会影响它的效率吗?
、
、
嗨,我想做一个网页爬虫,检查URL的数据,如果我做一个简单的Gui,使脚本更容易查找变量的数据,添加代码的gui会使我的网络爬虫效率降低吗? 我需要爬虫尽可能高效,能够尽可能快地处理数据。为这个Python脚本制作一个gui,会不会妨碍web爬虫的性能?
浏览 3
提问于2015-01-27
得票数 0
回答已采纳
1
回答
如何轻松地在远程github分支和本地分支/文件夹之间切换?
、
、
、
会发生什么事? 我用Python2.7编写了大量的Scrapy爬行器。我需要将它们全部转换为支持Python 3,这种转换必须在1 go内完成。我只能在Python 3爬虫做好部署准备之后才能开始使用。我不能一次部署一个爬虫。 我做了什么/我有什么? 我目前有一个远程分支,它是主分支。让我们称之为遥控器-A。这就是容纳所有爬行器的分支,它们每天都会被执行。这个分支必须继续运作。 对于远程分支,我有本地文件夹/分支,修复错误并创建新的。让我们把它叫做Local.,从主人那里,我推拉。 现在,由于“所有操作都必须保持活动状态”,我需要一个单独的Python 3爬虫的远程分支。这个分支可以称为Rem
浏览 3
提问于2019-09-10
得票数 0
回答已采纳
3
回答
如何在python爬虫(普通字符串)中保存存储
、
、
、
我有一个python3爬虫连接到目标网站,并节省所有的html和资源。尽管我在保存之前使用gzip压缩,但它消耗了太多的空间,而且我通常会在不到一半的网站页面被爬行之前达到我配置的空间限制。 关键是,同一网站的所有页面都有很多共同的字符串(甚至有些网站在所有html页面中都包含css之类的资源,而不是链接)。然后我的想法是为同一个网站保存公共字符串。我以为这种优化会被记录下来,但是我没有发现任何关于这个的东西。 虽然我有这个想法,但我不知道如何实现这种算法。任何帮助都将不胜感激。
浏览 2
提问于2021-01-25
得票数 4
回答已采纳
1
回答
Python:仅使用bs4和RegEx从HTML中解析文本
、
、
、
、
我正在构建一个python3网络爬虫/刮板使用bs4。有一些部件需要Reg Ex。我只想刮一下文字内容。我应该如何解析这样的内容: <p> This is blah blah <a class="wordpresslink" href="https://wordpress.com/" rel="generator nofollow">WordPress.com</a> <a href="http://www.whatever.com/"><span class="s1&
浏览 0
提问于2016-01-01
得票数 2
回答已采纳
1
回答
我怎么能强制停止我的爬虫得到一个特定的网址抓取最后一次?
、
、
、
、
我正在制作一个爬虫来找出最近添加的youtube视频,当我的爬虫到达旧视频(在前一个转弯中爬行)时,我想停止爬虫。我使用的不是scrapy和漂亮的汤,我使用的是python库。请给我推荐任何选项
浏览 9
提问于2017-06-27
得票数 0
1
回答
Facebook重定向到具有主干路由的s3网站上的索引页
、
、
我们在AWS S3上有一个静态网站。我们使用主干网进行路由。当我们告诉我们的网站例如www.example.com/#/ page /目的时,它会爬行索引页,这可能是因为爬虫不运行javascript,并且从我们的页面获取静态的og标记。我们已经看到了。然而,由于我们的网站是静态的,我们没有服务器端的支持。我想知道有没有人能在静态的S3网站上解决这个问题。谢谢你的阅读
浏览 2
提问于2015-01-25
得票数 0
回答已采纳
3
回答
聚合器是如何构建的?
、
、
、
比方说,我想要从许多来源(可以是旅行、技术或其他任何来源)聚合与特定利基相关的信息。我该怎么做呢? 有一个爬虫/爬虫,它会爬网寻找我需要的信息(我如何告诉爬虫要爬行什么,因为我不想获取整个网络?)?然后有一个索引系统来索引和组织我抓取的信息,也是一个搜索引擎? 像Nutch lucene.apache.org/nutch这样的系统可以用于我想要的吗?你有推荐的其他东西吗? 或者你能推荐另一种方法吗? 例如,Techmeme.com是如何构建的?(它是一个技术新闻的聚合器,而且它是完全自动化的--直到最近他们才增加了一些人工干预)。构建这样的服务需要做些什么? 或者Kayak.com如何聚合他们
浏览 2
提问于2009-05-29
得票数 14
1
回答
在ubuntu的后台运行时,爬虫停止。
、
我使用具有无限循环的python制作了一个简单的爬虫,所以它不能停止。随机延迟17 ~ 30,这个爬虫爬行相同的一个页面,并找到'href‘链接,定期更新,并存储到Mysql。我使用了Ubuntu服务器。因为我使用了Linux命令 $ nohup python crawer.py & 这个爬虫是在Ubuntu服务器背景下运行的。我想它已经运行了大约4个小时。但爬虫突然停止了。第二天我再试一次。而且效果很好!有什么问题吗?这是关于网页的块吗?或者nohup命令有限制时间?非常感谢。
浏览 1
提问于2014-05-20
得票数 0
回答已采纳
1
回答
如何提取我的爬虫目前所站的网址?
、
、
我正在使用python中的scrapy框架制作一个web爬虫。其主要思想是,爬虫从页面中提取一些数据,如果数据符合某些条件,爬虫应该提取其当前所处的URL。是否有一些方法/函数可以获得当前的URL? 谢谢。
浏览 5
提问于2016-11-27
得票数 0
回答已采纳
1
回答
旧谷歌搜索控制台和新谷歌搜索控制台错误的不同
、
谷歌网站管理员工具搜索控制台给我不同的爬虫错误,在旧版本的搜索控制台和新的搜索控制台为同一网站。那么,哪一个是正确的,哪个是错误的?我应该信任哪个版本的搜索控制台并继续修复错误? 和
浏览 0
提问于2018-06-28
得票数 2
回答已采纳
1
回答
如何编写java程序以在远程计算机中启动程序?
、
、
、
我正在同一网络上的3台Windows机器上运行三个web爬虫(Java程序)实例。 我想编写一个主java程序来监视所有的3个web爬虫程序,如果有任何程序被终止,就会重新启动那个特定的程序。。 我能够将客户端机器上的java程序绑定到套接字上,并从服务器监视套接字,但如果程序终止,我不知道如何重新启动程序。我一点也不知道,我应该如何做到这一点。如有任何指导,将不胜感激。 如何远程重新启动客户端应用程序?
浏览 2
提问于2015-05-28
得票数 1
回答已采纳
1
回答
分布在不同地理位置的爬虫
、
、
我在不同的地理位置有几台台式机。我需要创建一个爬虫与客户端在每个台式机和一个中央服务器,其中的数据是索引。有没有可能在Nutch中创建这样的爬虫?还有没有别的选择。基于Python的爬虫会更好。
浏览 2
提问于2011-07-04
得票数 0
回答已采纳
1
回答
Web Crawler的常用输出格式
需要将现有应用程序连接到社交媒体监控。爬虫的常见输出格式是什么?它会是XML,JSON吗?或者它会根据爬虫的不同而不同,例如: Python,Java?
浏览 0
提问于2012-08-20
得票数 0
回答已采纳
2
回答
MVC网站为google构建xml站点地图
、
、
我试图建立我的网站的xml网站地图提交给谷歌,但不幸的是,任何像A1网站地图构建器爬虫,和其他在线工具不能走得更远比第一页,给我内部服务器错误500。我知道,因为它是一个MVC站点,所以需要在IIS中进行额外的设置。有人能帮我修一下吗?谢谢
浏览 3
提问于2011-01-24
得票数 0
2
回答
网络爬虫-忽略Robots.txt文件?
、
、
、
一些服务器具有robots.txt文件,以阻止web爬虫在其网站中爬行。有没有办法让网络爬虫忽略robots.txt文件?我正在为python使用Mechanize。
浏览 1
提问于2011-12-05
得票数 14
回答已采纳
2
回答
对于蟒蛇爬虫,我应该使用无限循环还是cron作业?
、
、
我用python编写了一个爬虫,它可以访问60多个网站,解析HTML,并将数据保存到数据库。 现在,我正在使用cron作业,每15分钟运行一次爬虫。问题是,我无法知道爬虫要花多少时间才能完成(有时可能需要超过15分钟),如果已经在运行,我不想再运行另一个爬虫。 我一直在想,我是否最好使用一个无限循环,并使爬虫成为一个永久运行的进程(但是如何确保爬虫不会失败并退出呢?以及如何在每次退出时重新启动?)。 哪一个更有效率?无限循环还是cron作业?
浏览 7
提问于2021-05-14
得票数 0
1
回答
将我的Python电子邮件爬行器转换为Web应用程序的框架
在Python方面经历了几年之后,我才知道它在web开发中的应用。我在Python中制作了一个电子邮件爬虫程序(基本上是一个使用其他几个功能的函数),它帮助我在generate实习的公司。我的老板问我是否可以让我的python电子邮件爬虫进入一个网络应用程序,这样其他员工就可以通过我来抓取电子邮件,这样我就可以在更重要的事情上工作。 是否有一些web应用程序框架可以用来将我的python电子邮件爬虫程序转换成一个简单的公司专用web应用程序?制作网络应用程序所需的时间范围是什么? 我非常开放和渴望学习web应用程序开发,因此,任何帮助或建议将不胜感激。谢谢。
浏览 5
提问于2015-07-08
得票数 0
回答已采纳
2
回答
调整Storm-Crawler以充分利用可用资源
、
我有一个节点完全致力于我的基于风暴爬虫的爬虫。我有20个双核CPU,130 Gb的RAM和10 Gb/s的以太网连接。 我将我的拓扑简化为: CollapsingSpout -> URLPartitionerBolt -> FetcherBolt。spout正在从Elasticsearch索引读取数据(大约有50M条记录)。Elasticsearch配置30 GB内存和2个分片。 我使用一个单独的worker,大约有50 GB的RAM专门用于JVM。使用不同的设置(线程总数,每个队列的线程数,最大待决spout,一些与Elasticsearch相关的设置,主要是存储桶的数量和存储桶
浏览 24
提问于2017-08-15
得票数 0
2
回答
如何将新的URL传递给Scrapy Crawler
、
、
、
、
我想让一个抓取爬虫在芹菜任务工人内部不断运行,可能使用。或者,正如所建议的,这个想法是使用爬虫程序来查询返回XML响应的外部API。我希望将我想要查询的URL (或查询参数并让crawler构建URL)传递给crawler,crawler将进行URL调用,并将提取的项返回给我。一旦爬虫程序开始运行,我如何将我想要获取的这个新URL传递给爬虫程序。我不想在每次想要给爬虫一个新的URL时都重新启动爬虫,而是希望爬虫无所事事地等待URL爬行。 我发现的在另一个python进程中运行scrapy的两个方法使用一个新进程来运行爬虫程序。我不希望每次我想要抓取一个URL时,都必须派生和拆卸一个新的进程,因
浏览 0
提问于2013-05-23
得票数 2
5
回答
解析Office文档
、
、
我希望能够读取office文档的内容(对于自定义爬网程序)。 需要具备可读性的办公版本为2000至2007年。我主要想抓取文字,excel和powerpoint文档。 我不想检索格式,只想检索其中的文本。 爬虫是基于c#的lucene.NET的,如果它有一些帮助的话。 我已经用iTextSharp来解析PDF了。
浏览 2
提问于2008-09-22
得票数 3
回答已采纳
5
回答
Python中的多线程爬虫真的可以提高速度吗?
、
、
我想用python写一个小的网络爬虫。我开始研究将其编写为多线程脚本,一个线程下载池和一个池处理结果。由于有了GIL,它真的可以同时下载吗?GIL对网络爬虫有什么影响?会不会每个线程从套接字中提取一些数据,然后转到下一个线程,让它从套接字中提取一些数据,等等? 基本上我想问的是,用python做一个多线程爬虫真的比单线程能给我带来更多的性能吗? 谢谢!
浏览 4
提问于2010-05-14
得票数 10
回答已采纳
1
回答
如何在Google上爬行
、
、
、
、
我的要求是通过在网上搜索给定的关键字来报告给定的关键字。 我的计划是我的网络爬虫 在谷歌、必应或雅虎上搜索关键词 打开谷歌、必应或雅虎返回的网页/链接 使用这些页面制作报告。 因为我想制定一条遵守网络爬虫的规则。所以当我看到这些网站的robots.txt时,我就知道搜索引擎已经屏蔽了网页爬虫来搜索关键字,比如 google.com/robots.txt User-agent: * Disallow: /search 我知道,如果我试图在搜索引擎上搜索关键字,我的ip可能会被封锁。 我的新计划我的网络爬虫会 在谷歌、必应或雅虎上搜索关键词(每天最多搜索2-3次) 打开
浏览 3
提问于2017-09-15
得票数 0
1
回答
如何从网站的数据库中抓取链接?
、
、
我是搜索引擎新手,我发现googlenews非常有趣。 我想写一个简单的爬虫 只解析三个不同新闻网站的文章链接。 将链接保存在数据库(mysql)中,并使用链接在网站上公布的时间戳(而不是爬虫检测到链接的时间)。 如您所知,新闻网站每天都会生成链接(我想基本上解析它们的所有链接(不仅仅是今天打印的链接,还包括生成before...and的所有链接--所有这些链接都保存在新闻网站数据库中)。 我不知道我想爬的新闻网站使用的是哪个数据库,我也没有访问它的权限。 那么googlenews如何能够解析所有新闻网站的所有文章链接,包括很久以前生成的链接呢?googlenews可以访问
浏览 4
提问于2014-06-06
得票数 3
回答已采纳
1
回答
如何让Scrapy在部署到Scapinghub后访问Tor
、
、
、
、
我将爬虫配置为使用setup Privoxy访问Tor,但这只在我在localhost中使用时有效,因为我配置的设置指向127.0.0.1: port。但是当我部署到Scapinghub时,服务器端不会像我那样设置tor和privoxy。这是我可以用来让爬虫通过我的网络和端口通过我的机器的任何解决方案吗? 据我所知,如果在同一网络上,我们可以使用内部IP。我能不能把公网IP改成127.0.0.1,但是我想知道如何将网络转发到哪台机器。 下面是访问tor的配置: middlewares.py class ProxyMiddleware(object): @classmethod
浏览 0
提问于2018-03-05
得票数 1
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python爬虫:煎蛋网全站妹子图
Python3网络爬虫教程简介
Python3网络爬虫实战视频合集
Python3网络爬虫教程(1)urllib
python3.6之抓取LaGou网爬虫职位详解
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券