问Nokogiri返回的HTML与实际的HTML源代码不同
EN

Stack Overflow用户

提问于 2010-10-30 14:56:21

回答 1查看 344关注 0票数 1

我已经成功地对某些站点进行了屏幕抓取，但今天在某个站点上使用Nokogiri遇到了一些非常奇怪的行为。

如果我在某个页面上查看由Nokogiri拉下的HTML源代码和来自该站点的实际HTML scource代码，它将被截断。有些页面工作得很好，所有的数据都在那里，而另一些页面则会损坏并被截断。

www.bento.com/revj/0172.html (不起作用-由Nokogiri返回的HTML被截断) www.bento.com/revj/0101.html (效果很好)

scraped_jpage = Nokogiri::HTML(open(page_to_scrape)
puts scraped_pagej

我尝试了各种不同的代码，更改了编码(UTF-8，SHIFT_JIS等)，但我看不出任何原因，诺基亚截断返回的超文本标记语言。

这些页面的英文版本都工作得很好。

www.bento.com/rev/0172.html www.bento.com/rev/0101.html

感谢您的帮助-希望这是我明显遗漏的东西，而不是bug。

发布于 2010-11-21 16:05:06

因为具有不好html结构的源页。

尝试打印结果错误：

puts scraped_jpage.errors

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/4057635

复制

相似问题

问Nokogiri返回的HTML与实际的HTML源代码不同EN