腾讯云

文章/答案/技术大牛

发布

社区首页 >问答首页 >使用Ruby on Rails进行屏幕抓取

问使用Ruby on Rails进行屏幕抓取
EN

Stack Overflow用户

提问于 2009-11-01 18:12:20

回答 3查看 810关注 0票数 0

我是RoR的新手。我想开发一个rails应用程序，它可以从我的rails应用程序中搜索航班信息，从不同的航空公司网站(例如，亚洲航空公司和马来西亚航空公司)获取航班信息。在我的rails应用程序中显示这些结果。

我的搜索模块应该包括以下文本字段：

From: Kuala Lumpur
To: Dubai
Departure Date:2/11/2009
Return date: 19/11/2009
Departure Time: 12:00
Number of tickets: 2

用户可以在我的网站上输入上面的信息

一个脚本应该搜索航班根据这些信息在不同的航空公司网站和

显示带有提供此航班的航空公司标签的结果。

可以使用"Scrapi“或"Scrubyt”

ruby-on-rails

回答 3

Stack Overflow用户

发布于 2009-11-01 19:54:29

有人能提供帮助吗？

找到了另一个快速致富的方案。或者至少不要依赖于屏幕抓取。

它有很大的可能出错。找到另一种方法来获得聚合的信息。使用API(如果存在)并将计划存储在数据库中(它们很少以周为单位进行更改)。将东西存储在本地可以为您的客户提供更快的速度，还可以提供更多的服务。

以下是屏幕抓取的几个潜在问题：

对您正在抓取的站点进行

小更新可能会破坏您的工具。从你服务器的IP中抓取信息的尝试可以是denied.
Depending on
，你甚至可能会被起诉。

票数 5

Stack Overflow用户

发布于 2011-05-02 13:08:37

要开始抓取，您可以参考帖子-

http://rorguide.blogspot.com/2011/04/simple-ruby-screen-scraper-using.html (使用Mechanize，Hpricot和XPath的简单红宝石屏幕刮板)

http://rorguide.blogspot.com/2011/04/simple-ruby-screen-scraper-in-just-5.html (无需使用XPath，只需5行代码即可实现简单的Ruby屏幕抓取器)

这只是为了理解

票数 2

Stack Overflow用户

发布于 2013-04-07 04:43:02

止咳watir-webdriver (gem)

DOM无法隐藏

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/1657859

复制

Ruby On Rails 4 hello world,Ruby On Rails上手

ruby on rails ruby java django

有机会再试一试Rails了，仅仅是原来接触的是2，如今已然变成了4，似乎如今的安装比原来会快些。。

全栈程序员站长

2022/07/12

2.6K0

Ruby On Rails 4 hello world,Ruby On Rails上手

ruby on rails使用笔记

xcode ruby http

如果升级过程中说xcode版本太低还得先升级xcode 重启电脑后继续升级ruby 升级完系统依然报错说xcode版本太低可以使用以下命令切换xcode版本

lilugirl

2019/05/28

1.2K0

Debian 8 使用 Apache 部署 Ruby on Rails

ruby

Ruby on Rails 是一个快速开发的Web框架，Web设计人员和开发人员利用它能实现动态的全功能Web应用程序。本文使用 Phusion Passenger 或mod_rails 方法部署 Rails 应用程序。 Passenger 允许您直接在Apachen应用程序中嵌入 Rails 应用程序，而无需使用FastCGI或复杂的Web服务器代理。

Debian中国

2018/12/20

2.6K0

Ruby on Rails 基础（6）

bundle connect reset ssl

没有创建成功，但是反馈结果却是成功 (说明这是一批命令，最后一个反馈结果正常)，并且生成一个文件目录

franket

2021/11/25

1.7K0

Ruby on Rails 基础（7）

打包

Note: bundle install 过程中有一个警告，让我们不要使用 root，这样会让其它用户无法操作此应用，其实还有一定安全隐患，这里为图方便，只为了解功能就不去讲究这些了，生产环境下要非常注意 Don’t run Bundler as root. Bundler can ask for sudo if it is needed, and installing your bundle as root will break this application for all non-root user

franket

2021/11/25

1K0

Ruby on Rails 基础（9）

javascript bundler error load

报错：There was an error while trying to load the gem 'uglifier'. (Bundler::GemRequireError)

franket

2021/11/25

9500

Ruby on Rails 基础（1）

ruby on rails ruby

这两条编码哲学可以算是历代猴子们的智慧结晶，核心目标只有一个，最大化的减少代码规模，明确核心逻辑，而这样的好处是多多的(编码效率高，Debug也快)

franket

2021/11/25

1.2K0

Ruby on Rails 基础（2）

ruby

RVM (Ruby Version Manager) 是一个 CLI 工具，可以用来对 ruby 的多个版本进行安装，隔离和管理

franket

2021/11/25

8620

Ruby on Rails 基础（3）

ruby

查看可用ruby版本 [root@h202 ruby]# rvm list known -bash: rvm: command not found [root@h202 ruby]# su - root [root@h202 ~]# cd ruby/ [root@h202 ruby]# rvm list known # MRI Rubies [ruby-]1.8.6[-p420] [ruby-]1.8.7[-head] # security released on head [ruby-]1.9.1[-p

franket

2021/11/25

1.2K0

Ruby on Rails 基础（4）

ruby on rails

安装Rails 检查环境检查以下三个软件，确保已经安装 [root@h202 ruby]# ruby -v ruby 2.3.0p0 (2015-12-25 revision 53290) [x86_64-linux] [root@h202 ruby]# gem -v 2.5.1 [root@h202 ruby]# sqlite3 --version 3.6.20 [root@h202 ruby]# ---- 替换安装源如果不替换源，会很慢，或者根本没法获取包，因为有墙 [root@h202 rub

franket

2021/11/25

1.3K0

Ruby on Rails 基础（1）

ruby on rails ruby

franket

2021/11/25

1.2K0

Ruby on Rails 基础（8）

ruby ruby on rails spring

文件/文件夹作用 app/ 存放程序的控制器、模型、视图、帮助方法、邮件和静态资源文件。本文主要关注的是这个文件夹。 bin/ 存放运行程序的 rails 脚本，以及其他用来部署或运行程序的脚本。 config/ 设置程序的路由，数据库等。详情参阅 “设置 Rails 程序” 一文。 config.ru 基于 Rack 服务器的程序设置，用来启动程序。 db/ 存放当前数据库的模式，以及数据库迁移文件。 Gemfile, Gemfile.lock 这两个文件用来指定程序所需的 gem 依赖件，用于 Bun

franket

2021/11/25

1.9K0

Ruby on Rails 基础（11）

ruby on rails https grep ruby

启动浏览器，可以进行访问 ---- 命令汇总 gpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3 curl -sSL https://get.rvm.io | bash -s stable rvm list known rvm list rvm install 2.3 ruby -v gem -v sqlite3 --version gem source -l time

franket

2021/11/25

1K0

Ruby on Rails 基础（1）

ruby on rails ruby

franket

2021/11/25

6490

Ruby on Rails 基础（5）

程序

其实就是一捆gems Tip: 查看本地有哪些 gem ，可以通过如下方式 [root@h202 ruby]# gem list *** LOCAL GEMS *** actionmailer (4.2.6) actionpack (4.2.6) actionview (4.2.6) activejob (4.2.6) ... ... rdoc (4.2.1) rvm (1.11.3.9) sprockets (3.6.0) sprockets-rails (3.0.4) test-unit (3.1.

franket

2021/11/25

8600

Ruby on Rails 基础（10）

tcp/ip

成功启动，在本地启动浏览器，可以进行访问 (无法从外部访问，原因是并未绑定IP) 直接使用 Ctrl + C 就可以停止此应用如果希望从外部访问，可以进行如下配置 -b 可以绑定服务 IP [root@h202 blog]# rails server -b 0.0.0.0 => Booting WEBrick => Rails 4.2.6 application starting in development on http://0.0.0.0:3000 => Run `rails server -h

franket

2021/11/25

4320

框架分析（6）-Ruby on Rails

ruby rails 插件开发框架

Ruby on Rails（简称Rails）是一种使用Ruby编程语言开发的开源Web应用程序框架。它遵循MVC（Model-View-Controller）架构模式，旨在提供简单、高效的开发方式，以减少开发人员在构建Web应用程序时的重复劳动。

学编程的小程

2023/10/11

4440

使用rvm在Mac中安装ruby和rails

ruby ruby on rails

MacOS默认安装的是ruby 1.8.7，如果你想使用ruby 1.9.2的话，除了在官网下载源码编译安装外，可以使用rvm来协助安装。

EltonZheng

2021/01/22

3.2K0

在Debian 9上使用Apache安装Ruby on Rails

apache ruby

Ruby on Rails是一个服务器端Web应用程序框架。它维护了一组策划组件和“约定优于配置”的理念，使得我们可以快速开发应用程序而无需大量样板。本指南将向您展示如何使用Phusion Passenger在您的Linode上部署Rails应用程序。Passenger允许您直接在Apache应用程序中嵌入Rails应用程序，而无需担心FastCGI或复杂的Web服务器代理。

GIStudy

2018/08/28

5.9K0

MAC安装Ruby Rails brew gem

mac os http node.js 网站 ruby

Error running ‘requirements_osx_brew_libs_install autoconf automake libtool pkg-config libyaml readline libksba openssl’,

全栈程序员站长

2021/05/19

1.7K0

相似问题

Rails / Ruby -实时屏幕抓取？

高性能的屏幕抓取与Ruby on Rails！

使用ruby进行Web抓取

使用Ruby/Nokogiri进行屏幕抓取后返回的奇怪字符？

Ruby on rails使用nokogiri抓取HTML

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

社区富文本编辑器全新改版！诚邀体验～

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

问使用Ruby on Rails进行屏幕抓取
EN

回答 3

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

Rails / Ruby -实时屏幕抓取？

高性能的屏幕抓取与Ruby on Rails！

使用ruby进行Web抓取

使用Ruby/Nokogiri进行屏幕抓取后返回的奇怪字符？

Ruby on rails使用nokogiri抓取HTML

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用Ruby on Rails进行屏幕抓取EN

回答 3

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

Rails / Ruby -实时屏幕抓取？

高性能的屏幕抓取与Ruby on Rails！

使用ruby进行Web抓取

使用Ruby/Nokogiri进行屏幕抓取后返回的奇怪字符？

Ruby on rails使用nokogiri抓取HTML

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用Ruby on Rails进行屏幕抓取
EN