如何抓取IMDB评论

文章/答案/技术大牛

发布

2回答

web-scraping、scrapy、dataset、web-crawler、sentiment-analysis

为此，我从IMDB评论开始，特别是从这个页面开始： import requestsimport urlparse base_url = "http://www.imdb.com/title/tt2137109text()').re('".+

浏览 14提问于2017-06-16得票数 0

1回答

使用python的beautifulSoup库从IMDB网站抓取影评

python、web-scraping、beautifulsoup、imdb

我想从IMDB网站上抓取某部电影的所有评论。我已经使用了BeautifulSoup包的'Html-parser‘来做同样的事情。考虑这个链接，我想要抓取这部电影的所有评论(即Total = 69)，但由于在页面上可以看到25条评论，Soup将只提取25条评论，而不是这里的总评论。我的代码： url = "https://www.imdb.com/title/tt6654210

浏览 5提问于2021-06-11得票数 0

2回答

R-使用rvest将html_node限制为html_nodes结果的元素。

r、rvest

我正在使用rvest进行网络抓取--为了一次尝试，我正在从IMDB的电影中抓取评论分数。对于这个例子，我试图从获取所有的评论和相关的用户名。请注意，并不是所有的评论都有一个明星评级-所有我想要的是评论，其中有一个明星评级。我的起始代码：library(magrittr) reviews = paste0("http://www.imdb.c

浏览 2提问于2015-02-16得票数 4

回答已采纳

2回答

是否有一种使用IMDb提取IMDbPY评论的方法？

python、web-scraping、imdb、imdbpy

我希望使用IMDb或任何其他抓取方法从IMDbPY中提取电影评论。

浏览 2提问于2020-01-29得票数 1

回答已采纳

1回答

快速采矿器不保存爬虫Web结果

web、web-crawler、rapidminer、mining

我试图从IMDB网站上抓取一个特定电影评论的评论。为此，我使用爬行网站，我已经嵌入循环，因为有74页。爬网网址是：

浏览 2提问于2016-04-18得票数 0

回答已采纳

1回答

SSLError: HTTPSConnectionPool

python、html、web

我正在尝试通过以下代码从IMDB中进行一些网络电影评论的抓取： import requestsurl='https://www.imdb.com/titleref_=tt_urv' response= requests.get(url) 我得到了这个错误： SSLError: HTTPSConnectionPool(host='www.imdb.com',

浏览 84提问于2020-10-29得票数 3

2回答

在python中从imdb中抓取用户评论

python、screen-scraping、imdb

我非常需要一个api或一段代码，可以从imdb页面中提取某个电影的“用户评论”。有人能帮帮我吗？谢谢

浏览 0提问于2011-01-04得票数 1

回答已采纳

1回答

我现在正在创建一个网络爬虫，我想从imdb中抓取用户评论。很容易从原始页面直接获得10个评论和比率。例如，问题是要得到所有的评论，我需要按下“加载更多”，这样就会显示更多的评论，而url地址不会改变！所以我不知道怎样才能在Python3中得到所有的评论。我现在使用的是请求，bs4。from urllib.request import urlopen, urlretrieve url_link='h

浏览 9提问于2017-12-12得票数 0

回答已采纳

1回答

如何使用python在imdb中按下“加载更多”以获得更多评论

python、beautifulsoup、web-crawler、imdb

我现在正在创建一个网络爬虫，我想从imdb抓取用户评论。直接从原始页面获得10条评论和评分很容易。例如，的问题是获取所有评论，我需要按下“加载更多”，以便在url地址不变的情况下显示更多的评论！所以我不知道怎样才能在Python3上得到所有的评论。我现在用的是请求，bs4。from urllib.request import urlopen, urlretrieve url_link='http:

浏览 19提问于2017-12-13得票数 1

1回答

从IMDB获得插曲评论

r、web-scraping、dplyr、rvest

我正在尝试从IMDB上抓取插曲数据，以及他们的评论。我想把所有的剧集都储存在dataframe里。然而，我有一个问题:每集只有一个评论被刮掉。当我测试的时候，有一个例子，所有的评论都被刮掉了，但是它不再起作用了。有谁知道我如何刮掉所有的评论并将其存储在dataframe中吗？", ., sep="") cleanedReviewLink = ifelse(reviewLinks == &q

浏览 4提问于2022-03-12得票数 1

回答已采纳

2回答

ASP.NET:如何从表格html源中提取特定值？

c#、asp.net

我想提取IMDb`s的Boxoffice表中每一行的电影名称。style="text-align: right;"> </td> <img border="0" src="http://ia.media-imdb.com

浏览 1提问于2012-03-26得票数 2

1回答

在R中抓取IMDB电影的所有评论

r、web-scraping、rvest

我为一部电影写了代码来擦拭评论和详细的评论。require(rvest)MOVIE_URL <- read_html("https://www.imdb.comhtml_text() detialed <- MOVIE_URL %>% htm

浏览 4提问于2022-02-25得票数 1

2回答

尝试使用Node.js动态路由从IMDB中抓取电影内容。但是在我的output.json文件中没有定义？

javascript、json、node.js、cheerio、node.js-connect

实际上，我正在尝试使用节点从ImDb中抓取任何电影，但是在我提出请求之后，得到了output.JSON文件中未定义的内容(电影评级和评论应该出现在那里)。我正在向它的URL请求，以抓取评级和评论var express =需要量(‘express’)；var movie = req.params.movie; protocol

浏览 7提问于2016-05-10得票数 2

回答已采纳

2回答

为什么使用selenium时只能获取首页数据？

python、selenium-webdriver、web-scraping

我想用python从imdb抓取评论。它只显示25条评论，直到我点击“加载更多”按钮。我使用python包selenium自动单击"load more“按钮，这是成功的。但是为什么我不能在“加载更多”之后获取数据，而只是重复获取前25条评论数据？from bs4 import BeautifulSoupimport time seed = 'https://www.imdb</

浏览 0提问于2019-04-05得票数 2

1回答

如何在python中使用scrapy从图像元素中提取imdb格式的电影分级

python、scrapy

我正在尝试用蟒蛇抓取imdb。import ImdbItem name = "imdb" "http://www.imdb.com/title/tt0068646/reviews?('/@alt').e

浏览 0提问于2016-04-27得票数 0

2回答

显示链接中的照片或视频

javascript、jquery

有没有什么插件可以显示来自网站链接的照片或视频，比如如果你在Facebook上发布一个链接，它就会加载链接的缩略图？

浏览 1提问于2012-06-10得票数 0

1回答

无法用漂亮汤打印“无”：'NoneType‘对象不可订阅

python、beautifulsoup

我对python非常陌生，作为第一步，我想学习如何使用漂亮的soup从IMDB中抓取数据。我想刮电影的名字，IMDB评级和票数。名单上有些电影没有评级和票数，我得到的是:非常感谢你的评论。我得到的标题名称正确，但我希望输出返回一个“无”，如果标题没有IMDB或票数。到目前为止，这是我的代码：from bs4 import BeautifulSoup url = 'https://www.imdb<

浏览 2提问于2018-06-11得票数 0

回答已采纳

1回答

Android-使用/find/{external_id}和TheMovieDB API

android、imdb、themoviedb-api

我需要弄清楚如何使用IMDB来获取我想要搜索的电影的ID。对怎么做有什么想法吗？我正在尝试阅读IMDB，但我变得更加困惑。

浏览 1提问于2021-11-30得票数 0

1回答

Webscraping-Python循环卡住

python-3.x、loops、web-scraping

这只是一个在imdb上抓取前250部电影的正常程序。但是，当我试图转到每个单独电影的链接以获取更多信息时，循环被卡住了。import requestsd={} d["Name"]=item.find("a").text

浏览 14提问于2020-09-02得票数 1

1回答

节点为空，使用Xpath和HtmlAgilityPack。

c#、xpath、html-agility-pack、xmlnode

我已经为imdb网站写了一个抓取器，现在我需要解析这些页面。我要用HtmlAgilityPack来做。例如，我下载了这个页面： { doc.LoadHtml(&quo

浏览 4提问于2014-07-08得票数 1

回答已采纳

点击加载更多