我正在尝试使用python来抓取一个用无限滚动实现的网站。实际上，网络就是pinterest。我知道如何使用selenium来抓取具有无限滚动的web。但是，WebDriver基本上模仿了访问web的过程，而且速度慢得多，比使用BeautifulSoup和urllib进行抓取要慢很多。你知道有什么时间有效的方法来刮一个无
浏览 0提问于2014-12-29得票数 0
回答已采纳
问题是我的代码无法获取链接下的所有文章，因为它是可滚动的。我找到了一个名为selenium的包，但是仍然使用selenium，我的代码找不到所有的文章。import osfrom lxml import htmlfrom urllib.request importurlopen
from sele
浏览 24提问于2020-09-15得票数 1
我想刮youtube收集关于视频的描述基于我的搜索查询。我正在使用BeautifulSoup4来做到这一点。我已经成功地找到了视频网址。我面临的问题是，我想收集至少2000每个类别的视频链接。如何收集更多视频的网址？from bs4 import BeautifulSoup as bsBASE_SEARC
浏览 1提问于2019-04-25得票数 1
回答已采纳
我正在尝试刮这个名为的站点，下面是我用来抓取其中一个特定页面的简单代码。import requestsfrom bs4 import BeautifulSoup
pageSoup = BeautifulSoup
浏览 0提问于2019-04-06得票数 0
回答已采纳
我有一个网络爬行器，给出一个标签，将返回带有该标签的推文。我遇到的问题是，当我向twitter请求获取标签时，我只收到了大约20条tweet。我使用请求来发出请求并抓取页面源代码，其中只包含20条tweet。我相信twitter一次只渲染几个tweet，但我想知道是否有一种方法，可以在不使用twitter api的情况下，获得比最初在页面上呈现的更多的tweet。我当前发出请求的代码如下所示：from
浏览 0提问于2017-06-13得票数 0
1回答
我如何才能得到在同一网站的每个列表页面上提到的所有类别，即代码和标题，我正试图通过selenium刮取网站，并使用漂亮的汤来刮每一页。在这里，我试图从网站上抓取每一页，并将其作为df1附加到dataframe。CSS=51%&Type=desc&SS%27=%27") while True: soup = BeautifulSoup(x, &
浏览 2提问于2019-08-23得票数 1
回答已采纳
因为网页是无限滚动的，所以我使用selenium滚动到最后。但是，它不会滚动到使用Selenium的第一页之外。有人能告诉我我哪里做错了吗？import timefrom selenium import webdriver
from urllib.request import urlopendriver
浏览 0提问于2021-02-03得票数 0
1回答
我正在尝试使用请求库+漂亮的汤，从这个网站上显示的地图上拉出关于天线点的信息。http://www.sites.bipt.be/ 我最初的计划是遍历站点编号，在单击点时拉出左侧面板上显示的经纬度信息，并在Arc中显示该数据。到目前为止，我已经访问了单击点时该信息所在的元素( id = selectedsite ... )。但是python中的元素似乎是因为什么都没有点击
浏览 15提问于2020-01-15得票数 0
1回答
import bs4from bs4 import BeautifulSoup as soup
my_url=如何打印所有的游戏？
浏览 21提问于2020-06-15得票数 0
1回答
我尝试过从中抓取表格，但我无法使用BeautifulSoup找到该表格。import requestsurl = "https://www.windguru.cz/archive.php?id_spot=49308&id_model=3&date_from=2012-01-01&date_to=2012-12-31"
page = requests.g
浏览 2提问于2019-10-31得票数 0
我正在使用Selenium浏览网页。为了分析元素和数据，我使用了BeautifulSoup，因为它们提供了很好的选项，包括使用正则表达式进行搜索。所以现在我在BeautifulSoup中找到了一个元素。我想在Selenium中选择它。
我想我可以通过某种方式将XPath或CSS选择器从BeautifulSoup元素传递到Selenium元素。有没有从</e
浏览 4提问于2015-09-28得票数 3
2回答
我正试图从斯考卡的网页：中抓取埃弗顿和阿斯顿维拉之间拍摄的照片的x和y坐标。/g22/circle). )每个镜头圆的像素坐标包含在cx和cy属性中。我曾尝试使用Python中的scrapy模块刮取这些数字，但没有成功。我对此非常陌生，并基本上适应了刮除教程中的代码。它说它没有爬行任何<em
浏览 5提问于2014-10-26得票数 0
回答已采纳
我想在amazon lambda中运行BeautifulSoup和selenium webdriver，我的运行环境是python3.6。可以运行吗？如果是这样的话是怎么做的。我的意图是使用漂亮的Soup4和selenium从网页中删除数据(因为它必须删除由javascript动态生成的数据)
浏览 4提问于2018-04-21得票数 14
回答已采纳
我正在尝试使用selenium webdriver从youtube搜索中抓取标题和链接，目前我正在迭代这个过程，直到某个条件变为false。虽然我可以看到页面在启动时正在滚动，但我得到的数据似乎只来自第一个页面，然后才滚动一次。向下滚动后如何访问更新后的数据？这是我的一些代码：while (condition)
浏览 0提问于2020-07-25得票数 0
我目前正在做一个关于网络抓取的项目，我需要从谷歌学者的记录中获得信息。我需要提取文章的DOI，相应的HTML页面如下所示。="//doi.org/10.1007/s00508-019-1485-6">10.1007/s00508-019-1485-6</a> </span>page = BeautifulSoup(respons
浏览 4提问于2021-11-19得票数 0
我正在写一个小的私人应用，每天自动登录我的网上银行，并下载最新的交易。我把它写成Django应用程序，所以我在Python中工作。我的网上银行似乎没有JavaScript就不能工作--我认为它使用JavaScript分配某种类型的会话ID。通过httplib获取登录页面给了我一个页面，告诉我JavaScript是必需的。因此，我现在正在寻找获取web页面的库，和在它们上执行JavaScript。几乎是无头浏览器。
我
浏览 3提问于2010-01-24得票数 19
回答已采纳
我使用下面的代码从网站读取表格。在第一个例子中，一切都如预期的那样工作。对于第二个示例(注释变量)，我只得到第一列。我找不到原因。有人能帮忙吗？import pprint
URL = 'http://www.proplanta.de/Markt-und-Preis(URL,
浏览 1提问于2016-03-17得票数 1
回答已采纳
我有一个无限滚动的网页(只向下滚动)。我自动滚动，但过了一段时间，页面变得太大，无法进一步滚动。我从源代码中手动删除了读取的DIV块，它将网页大小减少到正常，但滚动速度仍然没有提高。我只能滚动1-2%的网页。有没有办法让我在这个网页的客户端获取完整的
浏览 2提问于2014-12-22得票数 1
2回答
我希望从一个给定的网站使用Python3和BeautifulSoup提取所有表单。下面是一个执行此操作的示例，但无法提取所有表单：from bs4 import BeautifulSoup
data = urlopen(url)
parser = Beautiful
浏览 0提问于2017-03-27得票数 2
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
