抓取后丢失数据

文章/答案/技术大牛

发布

2回答

python、pandas、web-scraping、beautifulsoup、splinter

我正试图从谷歌上搜集排名前250的IMDB电影评分数据。soup.find_all('div', class_ = 'ellip rsj3fb') price.append(result.text) 在抓取之后

浏览 19提问于2020-08-22得票数 1

1回答

请求被抓取后丢失的数据

python、web-scraping、beautifulsoup、python-requests、python-requests-html

百万)”：我有一个脚本来尝试这样做，但是它没有使用数据表，而是说“数据目前不可用”。

浏览 1提问于2021-05-02得票数 1

回答已采纳

1回答

富片段错误消息是否阻止了新的SERP显示？

seo、google、rich-snippets

使用谷歌结构化数据测试工具(www.google.com/webmasters/tools/richsnippets)，我输入以下网址： http://www.eggrecipes.co.uk/recipes

浏览 0提问于2013-10-04得票数 1

2回答

我们正在构建一个python框架，它通过cffi接口从framegrabber卡中捕获数据。经过一些操作后，我们尝试以大约120 MB/s的速率将原始映像(使用tofile方法的numpy数组)写入磁盘。我们所遇到的问题是丢弃帧，通常是整个秒的数据从框架抓取器输出中完全丢失。该系统调用了同花顺背景团伙，这将堵塞帧抓取，并导致它跳过帧。毫不奇怪，将dirty_background_ratio设置为0%可以完全解决问题(值得注意的是，即使像1%和2%这样的小数字也会导致大约40%

浏览 1提问于2017-02-28得票数 2

回答已采纳

1回答

AngularJS-动态input[radio]不被检查

angularjs

我正在构建一个基于来自API的JSON数据的动态无线电输入列表。我用的是ngRepeat + track by，input[radio]和ngValue。任何新的XHR请求都将刷新作用域中的数据，但是当前检查的无线电(如果有的话)将未被选中。

浏览 3提问于2014-06-28得票数 0

回答已采纳

1回答

Wiki抓取丢失的数据

python

我正在尝试从https://en.wikipedia.org/wiki/Megacity中提取表，作为我进入抓取世界的第一次尝试(完全透明地，我从我读过的博客中摘取了这段代码)。

浏览 18提问于2020-04-09得票数 0

1回答

Oracle数据库行检查点

sql、database、oracle、row、checkpoint

我正在尝试从oracle数据库表中抓取数据，并希望有一个解决方案来为行设置检查点。这可能是一个基本的问题，但在处理数据库方面缺乏经验。

浏览 1提问于2012-12-17得票数 0

回答已采纳

1回答

自治-在不丢失数据的情况下强制重建索引

autonomy

我需要在我的自主HTTP抓取配置中添加一个新参数。ImportFieldOp2=ExpandImportFieldOpParam2=;;AUTHOR_M谢谢。

浏览 3提问于2013-02-25得票数 0

回答已采纳

2回答

Postgresql中哈希sha256的加密与解密

database、postgresql、hash、sha256

我试图使用sha256对postgresql中的字符串进行散列，如下所示：这将返回哈希值以下的值：现在，我想使用这个散列值检索我的初始字符串，但是无法在postgres文档中找到有关它的任何信息，有关它的任何帮助都将是非常可观的。

浏览 6提问于2020-11-13得票数 1

回答已采纳

2回答

如何绕过缺失的环节，继续抓取好的数据？

python、ubuntu

如何绕过缺失的环节，继续抓取好的数据？我正在抓取一个有多个链接到相关数据的网页。一些相关的链接丢失了，所以我需要一种方法来绕过丢失的链接并继续抓取。

浏览 0提问于2015-12-29得票数 0

1回答

抓取网站时丢失的数据

web-scraping、scrapy、scrapy-shell

从网站上，我试图放弃所有的信息，并将数据转移到json文件。关注：能够在“暗示”下报废数据，预计‘2017年9月的Intimation’无法在此选项卡下报废信息。对于“2017年9月的提示”，值存储在span标记中。

浏览 0提问于2018-07-21得票数 1

2回答

关于Web抓取和丢失数据

python、web-scraping、missing-data、review

我正在试着从yelp页面上抓取一些数据。然而，当我得到结果时，一些值丢失了，并且每次执行代码时，丢失的数据都会改变(例如:在第一次执行时缺少2个数据，在第二次执行时丢失1个数据)。

浏览 3提问于2020-09-11得票数 0

1回答

如何使用偏移量进行date_trunc？

sql、postgresql、clickhouse

我有一个api服务，它返回一个偏移量为1小时的aprx数据。这不是时区，而是他们聚集前一个日期的数据的方式，它发生在午夜后的下一个日期的第一个小时。因此，如果我按天进行date_trunc，并以这种方式进行分组，那么我会丢失午夜之后的某些部分数据。任务是将此数据分组为当前日期，并考虑到偏移跳过从当前日期开始的小时，并从随后的日期抓取数据，就好像它是当前日期一样。谢谢。

浏览 13提问于2021-05-18得票数 1

回答已采纳

1回答

如何在selenium(scrapy)中浏览javascript链接，然后返回到原始页面？

javascript、selenium、scrapy

现在，我必须一个接一个地导航到每个链接，抓取一些信息，然后返回列表，移动到下一个城市，继续抓取。问题是在使用selenium web驱动程序单击javascript链接后，当我导航回列表页面时，响应丢失，并得到如下错误： selenium.common.exceptions.NoSuchElementException

浏览 0提问于2014-07-24得票数 0

1回答

使用RSpec和rails测试"HTML fixtures“

ruby-on-rails、unit-testing、rspec、rspec2

我有一个从网站上解析html的网络抓取器，我正在试着为它写测试。所以我想做的是制作一组html文件，每个文件代表一个特定元素丢失的情况，等等。对于每个html文件，我还希望构造一个关联的散列数据，假设它工作正常，我希望抓取器提取的数据。所以我想写一个测试，它将遍历这些html文件，将被测试的类提取的

浏览 0提问于2011-06-02得票数 3

回答已采纳

1回答

重建已抓取的web的列的提示pdf

r、tidyverse、rvest

我在抓取这个web pdf表时遇到了问题： https://www.usbr.gov/mp/cvo/vungvari/milfln.pdf 转换成一个data.frame。library(pdftools)df <- pdf_text(df) 从这里看，似乎所有的数据都被抓取了

浏览 24提问于2019-06-13得票数 0

回答已采纳

4回答

如何抓取包含无效HTML的网站

php、web-scraping

我正在尝试从一个包含无效HTML的网站中抓取数据。会对其进行解析，但由于其处理无效超文本标记语言的方式而丢失了一些信息。内置的带有DOMXPath的DOM解析器不工作，它返回一个空的结果集。我能够让它(DOMDocument和DOMXPath)在通过PHP Tidy运行获取的HTML后在本地工作，但PHP Tidy没有安装在服务器上，而且它是一个共享托管服务器，所以我无法控制它。编辑:我正在抓取这个网站：。现在，我只想获取所有的课程链接。

浏览 1提问于2010-10-09得票数 2

回答已采纳

1回答