我将编写数百个爬虫来抓取不同的静态网页，所以我选择Scrapy来帮助我完成我的工作。
在工作过程中，我发现大多数网站都很简单，不会防蜘蛛。我想知道哪些型号的爬虫加载和使用DOWNLOAD_DELAY参数，以及如何编写程序在检测服务错误时自动增加DOWNLOAD_DELAY (爬虫请求太频繁)。
浏览 2提问于2019-01-17得票数 1
1回答
我想我会写一个爬虫，从www.wordreference.com获取单词。我在机械化爬虫框架中使用Python。这个网站有没有可能有防爬虫机制？
浏览 5提问于2011-04-07得票数 1
回答已采纳
（移动端和pc端小程序）
2.视频数字版权保护：用户播放权限管理，在线与缓存视频的加密，全屏浮动用户识别码水印防翻录。（移动端和pc端小程序）
浏览 115提问于2021-05-05
1回答
我对面向公共的站点(登录/身份验证后没有任何内容)感兴趣，这些站点的内容如下：
非语义的，或无效的标记我已经建立了一个爬虫/蜘蛛，执行一系列的分析在网站上，我在寻找网站，将使它的斗争。
浏览 1提问于2013-09-12得票数 11
2回答
每种产品都有大小和包装，产品看起来像：第一个dropdown - Size: A和B(为了简单起见，让我们只考虑两个大小)
第二个下拉列表- Package: 100或200
浏览 0提问于2016-05-27得票数 0
1回答
基本上，代码将订阅一个事件X，并在处理程序中执行如下操作： var eidCounter = 0; defaultFn然而，实际产出是：
锯和防止1锯防3事件2命中的默认函数事件0命中的默认函数
因此，preventDefault()似乎只处理堆栈中的最后一个事
浏览 3提问于2013-11-19得票数 2
回答已采纳
我正在开发一款虚拟现实塔防游戏。我想把我的塔放在一张小地图上，同时在小地图上以3D的形式显示场地/单位/塔。像这样：
这张地图就像是田野的一个小克隆。
浏览 3提问于2016-12-03得票数 1
1回答
要在Google上使用 (按 )，需要构建一个定制的alpha apk，它可以让一个“机器人”通过登录按钮传递到主应用程序屏幕上：
如果您的应用程序直接打开一个带有所需凭证(特定于应用程序的社交媒体)要运行更完整的应用程序测试，您可以发布带有登录按钮的alpha或beta APK，该按钮允许测试设备只需单击一次就可以继续测试应用程序。例如，您可以发布一个带有“登录使用测试帐户”按钮的alpha APK，该按钮使用预加载的帐户信息加载应用程序。
浏览 1提问于2016-11-11得票数 5
登录部分代码如下：login () { const self = this qcloud.setLoginUrl(config.loginUrl)
浏览 2197提问于2018-05-29
2回答
我在本地win8环境下用java写了个小爬虫程序，没什么问题，但将程序部到服务器上就发生了乱码 ，我的编码设置就是网页源代码的编码。求帮助。。
浏览 857提问于2016-03-17
1回答
我最近为我制作的一个网络应用程序创建了一个简单的网站。该网站和应用程序都是面向移动的，因此添加文本内容的空间有限(我设计了界面以避免页面滚动)，供各种web爬虫使用。作为解决方案，我想要创建一个小的“链接”，它将呈现一个带有站点描述的对话框。我是新的搜索引擎优化，所以我不确定它是否会工作，或它是否被认为是非法的做法。(即不是“关键字填充”)
2)即使站点描述文本只出现在JavaScript中，也可以通过web爬虫搜索？3)如果web爬虫不“嗅探”动态JavaScript生成的文本，那么将
浏览 0提问于2014-04-11得票数 0
回答已采纳
Ethereum网站表示，它提供了一个“加密安全、分散、防篡改的网络”，可以在其上部署使用编写的应用程序。(https://www.ethereum.org)
really真的是一种部署真正100%防篡改的分布式应用程序的方法吗？
浏览 0提问于2016-12-04得票数 2
我试图模拟捕食者在充满障碍的世界中捕食猎物。在一个无障碍的世界中，捕食者随机行走，直到猎物落在一定的探测半径内(react-D)，然后向猎物移动以捕获。我猜可能有几种方法来处理阻碍视线的障碍物，但我最初的努力是沿着以下路线进行的：[let target min-one-of prey in-radius react-D [distance myself] ...move towards target if it's closer than the nearest obstacle (bl
浏览 30提问于2021-03-03得票数 0
回答已采纳
假设我有一个塔楼和一个生物爬虫(如果你猜不到的话是塔防游戏)，它们的位置都由(object).position.x和(object).position.y表示，其中position是一个向量。
浏览 1提问于2013-01-31得票数 0
我正在与一个小网站爬虫程序工作。我使用PostgresQL存储数据，并使用这样的语句来更新
INSERT INTO topic (......) VALUES (......)
浏览 0提问于2016-11-26得票数 1
回答已采纳
我正在构建一个小应用程序，当我共享页面时，抓取HTML的爬虫不会评估JavaScript(这很有意义)。因此，我想做的是使用某种服务器端的用户代理检测，在社交媒体爬虫到达时进行检测，然后不再向它显示普通的AngularJS模板文件，而是将其重定向到一个服务器生成的页面，该页面将包含所需的元标记，所有这些都填充了正确的信息
浏览 0提问于2017-10-05得票数 0
回答已采纳
2回答
我需要建立一个小的搜索引擎，如谷歌使用ASP.NET MVC3。对于这一个，我还需要建立网络爬虫，其中填充搜索引擎的数据。总而言之，我需要以下内容：请任何人有任何想法或资源或书籍。请与我们分享。
浏览 8提问于2012-11-14得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
