启动我的刮板后，我没有得到输出
根据您的描述，您遇到了一个问题，即在启动您的刮板后没有得到输出。以下是可能导致这种情况的一些常见原因和解决方法：
- 代码错误：请检查您的代码是否存在语法错误、逻辑错误或其他错误。确保您的代码正确地处理输入并生成预期的输出。
- 环境配置问题：确保您的开发环境正确配置，并且您正在使用适当的编程语言和框架。检查您的依赖项和版本是否正确，并确保您的开发环境能够正常运行。
- 输入数据问题：检查您提供给刮板的输入数据是否正确。确保输入数据的格式和内容与您的代码预期的一致。
- 日志和错误处理：在您的代码中添加适当的日志和错误处理机制，以便您可以追踪问题并找到导致没有输出的原因。查看日志文件或错误消息，以获取更多信息。
- 资源限制：如果您的刮板依赖于外部资源（例如数据库、服务器等），请确保这些资源可用并且您具有适当的权限访问它们。
如果您仍然无法解决问题，建议您向相关技术社区、论坛或开发者社区寻求帮助。他们可能能够提供更具体的建议和解决方案，以帮助您解决这个问题。
相关·内容
我有多个进程(网络刮刀)运行在后台(每个网站一个刮板)。这些进程是几周前生成/分叉的python脚本。我想从一个中心位置控制它们(它们监听套接字以启用IPC) (有点像dispatcher/manager python脚本)，而进程(刮板)仍然是独立的无关进程。
我考虑使用PID来引用每个进程，但这需要在我(重新)启动一个刮板时存储PID，因为在数字和我的用例之间没有语义关系。我只想在启动时提供一些文本标记和进程，以便以后可以引用它。
浏览 3提问于2021-01-21得票数 0
回答已采纳
我正在刮中文网站。
我有过
FEED_EXPORT_ENCODING='utf-8'
在settings.py文件中。
如果我用刮刀
scrapy crawl myscraper -o output.json
然后输出文件显示正确的中文。
但是，如果我通过Scrapyd启动刮板，那么在http://my-website:6800/jobs中创建的项目就没有编码，也不正确。
为什么FEED_EXPORT_ENCODING='utf-8'不使用Scrapyd？
然后我设置了FEED_URI='files/output.json'，然后通过Scrapy
浏览 2提问于2017-05-14得票数 1
1回答
我正在使用命令行运行多个刮板，这是一个自动化的过程。
Python : 2.7.12
刮伤: 1.4.0
操作系统: Ubuntu 16.04.4 LTS
我想知道什么时候刮刮处理这个案子
内存/cpu带宽不足，无法启动刮板。
刮板运行时内存/cpu带宽不足。
我已经翻阅了文件，但什么也找不到。
任何人回答这个问题，你不需要知道正确的答案，如果你能告诉我任何你知道的资源的总体方向，这将是有帮助的，这也将是的感激之处。
浏览 0提问于2018-10-04得票数 0
回答已采纳
背景信息：，我目前已经构建了一个屏幕刮板，使用Chromedriver来扫描一个网站，这只是一个控制台应用程序。我现在想将这个应用程序移动到使用，因为它在可伸缩性方面有很多好处。
问题：我已经将屏幕刮板转换为使用Azure无状态服务，并且它在我的本地开发环境中运行。唯一的问题是，我不能再看到屏幕刮板互动运行，因为它不会打开一个铬浏览器，并导航到不同的页面。我知道屏幕刮板仍然在运行，因为它返回了我期望的屏幕刮擦数据。最初，我认为服务运行的用户与使用‘网络服务’帐户运行的用户一样。我使用以下代码将其更改为在自己的域用户下运行：
<Principals>
<Users>
浏览 0提问于2017-09-20得票数 0
上下文: Azure；C#；.NET 4.5.2；Selenium 2.53
我正在运行一个基于Selenium的刮板程序，它是用C#从计划的任务中编写的。ChromeDriver.exe静默地运行并启动Chrome.exe :两者都不与登录用户的屏幕交互。
我被要求制作一个C#应用程序、ChromeDriver和Chrome之间互动的视频。事实证明这比我想象的要难一些。
我尝试过Screencastify，因为它是作为Chrome扩展运行的，所以它会“看到”屏幕，从而能够记录它。然而，Screencastify被证明是很难驱动的，尤其是因为我不得不发送击键给它，而不是能够通过API控制它。
浏览 5提问于2016-04-15得票数 0
回答已采纳
1回答
无法抓取类
、、、
我目前正在尝试使用python制作一个网络刮板。我的目标是让我的网络刮板找到一个股票的名称和价格。下面是我的代码：
import requests
from bs4 import BeautifulSoup
page = requests.get('https://finance.yahoo.com/quote/MA?p=MA&.tsrc=fin-srch')
soup = BeautifulSoup(page.content, "html.parser")
stock_name = soup.find({ "class" :
浏览 0提问于2020-01-14得票数 0
7回答
我有一个刮板，它刮一个网站(用python编写)。在抓取站点的同时，那些即将用CSV编写的打印行。刮板是用Python编写的，现在我想通过PHP代码来执行它。我的问题是
如何打印由python代码打印的每一行。
我使用了exec函数，但它不是我的使用，并给出输出后，执行所有的程序。是这样的；
是否可以在通过PHP执行python输出时打印它。
浏览 14提问于2012-12-09得票数 10
我正在做这个php基础的刮板/爬虫程序，它工作得很好，直到它得到.net生成的链接__doPostBack(...)，你知道如何处理这个问题并抓取那些链接后面的页面吗？
浏览 0提问于2011-04-14得票数 2
回答已采纳
1回答
我有一些python抓取器(脚本)，我想将它们部署到云中，以便使用某种调度器或cronjob不时地运行它们。问题是我不知道哪个平台可以为我托管刮板和它的输出。
附言:我的脚本是基于Python的，使用BeautifulSoup模块。
浏览 1提问于2017-05-19得票数 1
我有个刮刀在Heroku上跑。我想尽快重新启动刮板机。实现这一目标的最佳途径是什么？
显而易见的解决方案是杀死或重新启动该dyno，然后Heroku将通过procfile重新运行刮刀。然而，目前还不清楚什么是最好的方法。
关联: Heroku是否自动检测到您的进程已停止运行，并自动关闭您的dyno？还是迪诺就坐在那里无所事事？
相关的#2:你能不能在刮板退出之前从你的刮板里面调用一个python脚本/程序，然后这个脚本可以等待5秒，然后执行
scrapy runspider myspider
那能行吗？想必是想执行
scrapy runspider myspider
蜘蛛本身就会导
浏览 0提问于2016-01-18得票数 2
1回答
我维护一个gem，它收集来自各种API的数据。对于需要API密钥的API，当没有设置API键时，我已经实现了刮板返回。
我目前测试刮板和API代码的解决方案是有两个规范文件，除了一个预挂钩之外，它们实际上是相同的。
在API规范中，我有一个before(:each)挂钩，它显式地设置API键。
在刮板规范中，我有一个before(:each)钩子，它显式地对API键无效。
除了这两个不同的钩子，规格基本上是一样的。但是，有一两个API规范与刮板规范不同的实例，因此我需要处理这个问题的能力。我想，仅仅检查一下API键是否已经设置就足够了。
另外要注意的是，我不想重新运行我的整个测试套件，因为只有
浏览 1提问于2016-03-13得票数 1
回答已采纳
我发送一个刮包，播种机，下载机和水蛭总是返回为0。
这是我最初的连接和刮板代码。
public void scrape() {
for (final String infohash : infoHashes) {
hashes += infohash;
}
outStream.writeByte(hashes.getBytes());
}
例如，我的输出是
3617635676834215396 %0
浏览 2提问于2015-12-15得票数 1
回答已采纳
我想从的中抓取录音的信息。不幸的是，可用的刮板无法处理文件格式，这就像
Django_Unchained_15.07.03_22-45_sf2_165_TVOON_DE.mpg.mp4.avi
重命名不是一个选项，因为文件名是otr的关键。我知道有一个名为的刮板，但它从未离开beta状态，似乎已经过时了。
对如何正确地在科迪显示这些文件有什么建议吗？是否有人为otr编写或启动了铲运机？
浏览 1提问于2015-08-21得票数 3
回答已采纳
1回答
关于设计刮板DSL的建议
、、、
我正在为我正在编写的刮取库创建一个DSL。我想建议如何设计一个DSL，如果我有下面的设计是好的。如果这是一个开放的问题，很抱歉，但是这个堆栈似乎是一个获得建议的好地方，所以我来了。
问题中的npm包被称为刮页。其基本思想是在编写刮板时避免编写代码。相反，刮板指令将以json格式存储。这个包已经开始工作了，但是我经常在配置结构应该是什么样子的问题上反复无常。它本质上是一个DSL。一位优秀的高级程序员曾经告诉我，在设计DSL时，数据结构才是最重要的，而不是语法。因此，我一直试图专注于一个清晰而简洁的配置结构。
当前的设计如下：
// I am hiding DownloadConfig and P
浏览 0提问于2019-09-08得票数 1
1回答
考虑以下应用程序结构。
📷
刮板类从页面中提取必要的信息，我想将它保存到DB中。
ORM类是sequelize.js的包装器。它建立到数据库的连接，加载模型，与数据库同步。
app.js在ORM中，然后在刮板类中。
我的问题是:刮板类应该如何将收集到的数据刷新到数据库？它应该导入ORM (连接)，并有一个刷新方法，该方法检查数据是否已经被刮过。如果没有，那就保存它。有件事告诉我，这不应该是刮板班的工作。
浏览 0提问于2017-07-10得票数 0
回答已采纳
我希望用户输入的URL和csv的名称在这个刮板。
<code>A0</code>
我的输出返回"NameError: name 'websites‘is not defined“，但这在代码中是很清楚的。我甚至尝试将其作为空列表添加到函数之前，但没有成功。
浏览 16提问于2020-11-19得票数 0
当我在python中使用带有selenium的Chromedriver时，我会收到许多对我没有用处并且不会影响刮板的控制台消息。我如何不输出这些？当我使用geckodriver时，我没有这个问题。例如，请看我不想要的东西的图片。
📷
浏览 0提问于2018-07-03得票数 2
1回答
我使用网站刮板npm来刮板一个网站，
我已经从网站上得到了保存在assests文件夹中的图片。现在我需要在一个新的动态html中显示图像，此脚本需要创建并显示此图像。我看到了这篇文章：，但它似乎没有帮助。
如何只使用JavaScript创建超文本标记语言？创建一个真正的html文件并将其保存到本地。或者我应该使用Nodejs？将图像传递到服务器端并将图像附加到hbs？其他选择？
浏览 1提问于2018-10-25得票数 1
回答已采纳
2回答
我正在开发一个npm包刮板库。我想添加集成测试，但我不确定如何最好地处理它。
我有一个示例文件夹，它显示了刮板是如何与现实世界的站点一起工作的，我想向每个站点添加集成测试，以证明它们是有效的。我想使用一个名为诺克的库，它可以记录请求并将其存储为每个外部端点，但我不确定是否能够在开放源码库中存储固定(本质上是html文件)。类似地，我想存储刮板从站点返回的快照，但我不知道是否可以在开源存储库中存储从网站解析的数据的快照。
以最普遍的方式来问，在开源库中存储被刮掉的网站内容是否令人不悦？
浏览 0提问于2018-12-26得票数 1
回答已采纳
1回答
所以我一直在研究我的项目，其中涉及刮刀。
接下来是工作流:现在有两个刮板。数据将被解析并推送到每个单独刮板的数组中，并传递给合并组件。
因此合并组件如下所示：
let mergedApartments = []; //Creating merged list of apartments
exports.mergeData = (apartments) => {
//Fetching all apartments that are passed from scraper(s)
mergedApartments.push(...apartments); //Pushing apart
浏览 2提问于2021-02-17得票数 0
1回答
我只能假设这是在Scrapy最基本的事情之一，但我只是不知道如何去做。基本上，我刮了一个页面来获得包含本周更新的urls列表。然后，我需要逐个进入这些urls，并从它们中获取信息。目前，我有两个刮刀设置，他们完美地手动工作。因此，我首先从第一个刮板中刮取urls，然后在第二个刮板上将它们硬编码为start_urls[]。
做这件事最好的方法是什么？它是否像调用刮板文件中的另一个函数一样简单，该函数接受urls列表并在那里进行抓取？
这是获取urls列表的刮板：
class MySpider(scrapy.Spider):
name = "myspider"
s
浏览 3提问于2016-11-25得票数 0
回答已采纳
2回答
用钢轨刮擦的耙作业
、、、
我开始写刮刀从不同的网站获取数据。我在一个rake文件中构建了第一个刮刀器，现在我开始编写第二个rake文件来从第二个站点获取数据。现在，我正在编写一个特定于我感兴趣的每个站点的刮板器(而不是试图构建一个通用的刮板)。
我有三个问题：
写rake任务对我来说是个好选择吗？我是否应该考虑其他选择？
如何向rake文件中添加函数/方法？(对不起，非常愚蠢的问题，但我不知道如何构造我的代码.因此，现在在一个长方法中只有500行不间断代码)，例如，我想要一个“get_description(节)”方法，它从页面返回描述。方法可能是不同的，这取决于我正在刮的网站。
如何用RSpec测试我的任
浏览 3提问于2010-12-09得票数 2
回答已采纳
所以我已经用Scrapy写了我的第一个刮板，我在接下来的步骤中遇到了一些麻烦。我想每天运行刮板，可能是使用cron，并跟踪我抓取的值的变化。当我导出到json或csv文件，然后再次运行刮板程序时，新数据被转储到同一文件中。有没有一种方法可以把每个抓取的导出文件放到一个单独的文件中？任何见解都会很棒，谢谢！
浏览 1提问于2014-01-17得票数 1
1回答
我试图做的是做一个刮板，并且有一个登录页面，我填充了下一页所需的三个值中的两个。
刮板需要用户名，密码，然后是令牌，
im自动填充用户名和密码，ive将html响应缩小到python中的一个输入标记。
标签代码是：
<input type="hidden" name="licence[_csrf_token]" value="SOME RANDOM CHECKSUM" id="licence__csrf_token" />
有没有办法得到这个，顺便说一句，校验和是动态的，因为它改变了长度。
浏览 4提问于2015-05-26得票数 0
回答已采纳
1回答
Ruby调度程序和暂停程序
、、、、
我正在为一个网站做一个刮板，这个网站每天晚上11点到凌晨5点关闭它的网站/数据库。因为我正在做的刮板需要大约70个小时才能完成，而且我很急着完成它，所以我每天早上4点半就得起床......也许有更好的方法..。
使用ruby gem可以设置代码的启动时间，比如：
every :day, :at => ['5am'] do
and then the code
但是，这并不会暂停代码。你如何让代码在晚上11点到第二天早上5点暂停，继续到晚上11点，暂停到第二天凌晨5点，等等？
浏览 0提问于2013-04-15得票数 0
1回答
刮伤-手动登录
、、、
我正在构建一个非常简单的刮板，使用刮除，以便从一组urls中刮取某个元素。然而，我必须登录到该网站，以做到这一点，我无法获得登录部分的我的刮板工作。
是否可以手动登录到网站，然后让我的刮刀完成刮刮任务？
浏览 3提问于2016-06-28得票数 0
回答已采纳
1回答
我想要刮一个聊天数据从一个抽搐剪辑。这就像一段保存下来的视频，你可以在那里看到人们当时的反应。我们可以以此为例：
因此，如果我通过使用查询选择器观看视频直到结束，我可以提取所有数据。然而，我想要做的是编写一个刮板，它获取一个剪辑的链接，并输出带有时间戳的原始文本数据。
我搜索了Twitch.com的API，但是没有任何关于剪辑的内容。
浏览 0提问于2018-08-31得票数 0
回答已采纳
当我执行一个刮板程序时，它使用这个方法加载url：
$html = scraperWiki::scrape("foo.html");
因此，每当我向刮板程序添加新代码并想要尝试它时，它会再次加载html，这需要相当长的时间。
有没有办法保存$html，这样它只会在第一次加载？
浏览 0提问于2012-09-09得票数 0
回答已采纳
1回答
我正在尝试使用Symfony 2的Dom Crawler 1构建一个黑客新闻刮板。
当我用chrome插件2试用xpath时，它就能工作了。但是当我在刮板上试着的时候，我总是得到The current node list is empty.
这是我的刮刀码：
$crawler1 = $client1->request('GET','https://news.ycombinator.com/item?id=8296437');
$hnpost->selftext = $crawler1->filterXPath('/html/body/c
浏览 7提问于2014-09-10得票数 0
回答已采纳
我试着用云运行来实现刮板刮板的效果。其主要思想是，每20分钟云调度程序cron应该触发网络刮板，并从不同的站点获取数据。所有站点都有相同的结构，所以我想使用相同的代码，并行执行刮取作业，比如scrapy crawl scraper -a site=www.site1.com和scrapy crawl scraper -a site=www.site2.com。
我已经部署了一个版本的刮板，但它只能执行scrapy crawl scraper。我如何在执行命令的站点更改时做到这一点？
另外，我应该使用云运行作业还是服务？
浏览 10提问于2022-10-01得票数 0
回答已采纳
1回答
我正在编写一个应用程序，它可以抓取genius.com，向用户显示前十首歌曲。然后，用户可以选择一首歌曲来查看歌词。
我想知道如何使用在刮板类中的方法中的cli类中收集的用户输入。
现在我有一部分刮板课外的刮擦，但我想要一个明确的责任分工。
下面是我代码的一部分：
Class CLI
def get_user_song
chosen_song = gets.strip.to_i
if chosen_song > 10 || chosen_song < 1
puts "Only the hits! Choose a number from 1-10."
浏览 0提问于2020-09-13得票数 1
回答已采纳
2回答
嗨，我用python2.5和漂亮的汤构建了一个刮板，但我遇到了一个问题……部分网页是在用户单击某个按钮后生成的，这些按钮通过使用适当的参数调用特定的javacsript函数来启动ajax请求
有没有办法模拟用户交互并得到这样的结果？我遇到了一个机械化模块，但在我看来，它主要是用来处理表单的……
我将感谢任何链接或一些代码样本，谢谢
浏览 0提问于2010-04-10得票数 4
回答已采纳
1回答
我感兴趣的是定期抓取一个特定的网站，该网站上有大约1亿条内容。刮板可以非常快地下载和处理项目，在50毫秒左右，但即使以这样的速度，它将需要数天完成。
最明显的解决办法是使用多个刮板。然而，在某个时候，底层的the服务将变得饱和，并开始放慢速度。我想要尊重服务，而不是DDoS服务，同时尽可能高效地抓取服务。
这显然是一个优化问题，但我不知道如何建模。理想情况下，我需要知道刮板的数量，以及每个刮板的目标延迟。有什么想法吗？
浏览 0提问于2018-02-15得票数 1
回答已采纳
1回答
我有多个刮刀，如下所示：
await scraper1.run
await scraper2.run
// etc
为了增加性能和响应时间，我使用了websocket，并将套接字连接向下传递到每个刮取器，并为(结果的)每个项发出。
const express = require('express')
const app = express()
const http = require('http').Server(app)
const cors = require('cors')
const puppeteer = require('pu
浏览 0提问于2018-06-10得票数 0
我有一个评估，以使现有的网站看起来更好与新的用户体验设计，并只是复制了整个页面与npm网站-刮板-木偶，但克隆的网站看起来与原始的有很大的不同。有没有人能说明一下如何解决这个问题？请参考屏幕截图。 *原始站点 ? *抓取的站点 ?
浏览 18提问于2021-01-21得票数 0
回答已采纳
3回答
我需要实现一些刮板爬行一些网页(因为网站没有开放的API)，提取信息并保存到数据库。我目前正在使用漂亮的汤来编写这样的代码：
discount_price_text = soup.select("#detail-main del.originPrice")[0].string;
discount_price = float(re.findall('[\d\.]+', discount_price_text)[0]);
我猜这样的代码很容易在网页被更改时变得无效，甚至是轻微的变化。除了编写定期运行的回归测试以捕捉失败之外，我应该如何编写不易受这些更改影响的刮板程序
浏览 3提问于2014-01-21得票数 11
回答已采纳
这是我的刮板控制器
class ScraperController < ApplicationController
def getinformation
require 'open-uri'
require 'nokogiri'
@information = Nokogiri::HTML(open('https://ibotta.com/rebates'))
end
end
这是我从nokogiri 得到的信息的网页
我没有得到任何产品名称，我不确定为什么？
浏览 15提问于2017-08-07得票数 0
回答已采纳
我有一个网络刮板脚本，使用木偶。我想在服务器上运行这个脚本，然后获得json格式的结果并更新我的数据库。如何在控制器中调用/run此脚本。我使用的是laravel 5.8？
浏览 17提问于2019-03-22得票数 1
2回答
我如何在刮板壳输出结果到一个文件，最好是csv？
我在我的bpython shell中有一个有趣的元素列表，我可以把它们做成item。但是如何将其重定向到文件呢？
浏览 2提问于2016-12-20得票数 2
回答已采纳
我有一个输出JSON的刮板。我想以编程的方式阅读这个输出(例如每天的输出)，并通过像Tastypie这样的RESTful API将其反序列化到我的Django模型中。在更新模型之前，我想检查是否有重复的条目/验证数据。
做这件事的最佳实践和最无缝的方法是什么？
--
刮板的JSON输出(返回结构化数据)
注意: exchange_id是Exchange模型中Exchange的外键
{“网站”：""，"exchange_id"：1，“滴答”："8002"，"full_name"："IGG公司“}
Django模型
class
浏览 1提问于2013-12-26得票数 0
回答已采纳
我有一个用Django制作的网站，点击网站上的一个按钮就会触发一个刮板启动。这个刮板程序使用selenium。我已经在我的heroku应用程序中添加了selenium所需的以下两个构建包： 1) https://github.com/heroku/heroku-buildpack-chromedriver 2) https://github.com/heroku/heroku-buildpack-google-chrome chrome_options = webdriver.ChromeOptions()
chrome_options.binary_location='/app/.
浏览 11提问于2019-05-21得票数 0
回答已采纳
3回答
网络刮板的多线程或多处理
、、、
我正在接触一些网络刮刀(总共5)。所有这些网页刮板访问不同的网站，其中一些利用硒，而另一些不需要硒。有些需要30秒才能跑，而另一些则需要45分钟。
我想做的是尽量减少运行这些铲运机所需的时间。多线程是解决这一问题的方法吗？我已经做了一些关于这个主题的阅读，似乎我可以做一个线程池，并将每一个刮刀传递给这个池进行处理。
还是多处理是在最快的时间内运行所有这些刮板的更好的方法？
浏览 6提问于2022-04-27得票数 0
我正在尝试用C#编写一个刮板，问题是我已经用PHP语言做了一个刮板，但我正试着迁移到C#上。 这是不是可以在C#上转换，因为我还不擅长用这种语言编码。 PHP函数： function fetchValue($string,$start,$end){
$str = explode($start,$string);
$str = explode($end,$str[1]);
return $str[0];
} 它所做的就是提取开头和结尾之间的第一个出现字符串。 它的使用方法： $exampleString = "long live stackoverflow
浏览 36提问于2019-01-19得票数 0
回答已采纳
2回答
创建自定义开放图
、、、
下面是一个场景，当你发布到Facebook的链接时，刮板会根据og标签制作一个开放的图表故事。但是，我想知道是否可以用用户加载的文件更改由刮板检索的图像。
想象一下，我想发布一个链接，但引用的网站没有图片，我想修改故事，使其图片是我手动上传。这有可能吗？
浏览 1提问于2016-12-23得票数 0
回答已采纳
作为熟悉Scrapy的学习实验，我正在编写一个刮板，它检查HTML页面的所有链接，并报告指向它们的HTTP请求的状态代码。事实上，在我的项目定义中，我有一个项字段，即parent_url，作为元数据处理--也就是说，我不打算在刮板的输出中显示它。
parent_url是在LinkItem类中定义的，如下所示：
class LinkItem(Item):
name = Field()
url = Field()
parent_url = Field() # Identifies what URL this item was extracted from
sta
浏览 0提问于2017-08-30得票数 0
可以创建一个脚本来输出我选择的instagram用户的关注者数量吗？
我正在尝试创建一个刮板，基于的HTML源。在页面上，源代码是我需要的所有东西显示在一个页面的追随者计数。
我是否必须使用APi来获取关注次数，或者是否有其他方法可以绕过它。
我怎么才能得到这个号码呢？如何将其集成到我的bash脚本中？
浏览 0提问于2017-04-10得票数 0
1回答
我已经安排了一些crontab的工作，以刮一些网站。
我设置了一些cron作业在凌晨1点运行刮板，scraper_1从1:01开始，scraper_2从1:03开始，scraper_3从1:05开始。
每个刮板可能需要3到6分钟才能完成，所以在运行的刮板之间有一些重叠的时间。
# start on 1:01
01 01 * * * cd /home/ubuntu/jobscrapers/scraper_1 && scrapy crawl spider_1 >> /tmp/scraper.log 2>&1
# start on 1:03
03 01 *
浏览 0提问于2021-04-01得票数 2
我正在使用python和selenium创建一个网络刮板，我注意到，当机器人用来扫描网页而不是人类时，chrome可以理解。我还猜测有些网站不允许机器人浏览他们的网站，比如航空公司，这是不方便的。
有没有一种方法可以创建一个不能被识别为机器人的网络刮板？
浏览 1提问于2022-08-07得票数 0
2回答
我是个刮东西的新手。我写了一个 刮板 它将擦伤 Maplin 商店。我使用Python语言和BeautifulSoup来抓取存储。 我想问的是，如果我需要清理一些其他的eCommerce商店(比如亚马逊、Flipkart)，我是否需要定制我的代码，因为它们具有不同的HTML ( 和 名字是不同的，另外还有其他东西)。所以，我写的刮板不适用于其他eCommerce商店。 我想知道比价网站是如何从所有在线商店中抓取数据的？他们对不同的在线商店有不同的代码，还是有通用的代码？他们会研究每个在线商店的HTML模式吗？
浏览 40提问于2014-12-28得票数 7
回答已采纳
我有一个AngularJS应用程序，它使用提供服务
我希望我的元标签(og:title，og:description，og:image)被动态填充，以便和其他刮板(比如Slack)在社交媒体网站上发布富链接。然而，这是很棘手的，因为这些刮板在角度动态插入适当的值之前对原来的HTML页面进行了抓取。所以刮板会看到占位符值。
解决这个问题的方法之一是描述。基本上:用已经填充好的og字段来填充刮板机器人静态HTML。我想这么做。但不像那个作者，我不使用apache。在http-server中，没有我知道的.m的.htaccess文件
我使用和$state-provider来处理提供给应用程序的URL
浏览 2提问于2017-05-30得票数 6
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
