问无法使用请求从网页中获取所有链接
EN

Stack Overflow用户

提问于 2020-05-26 05:08:58

回答 3查看 427关注 0票数 7

我正在尝试获得连接到这个网页中的每个图像的所有链接。

如果让selenium脚本向下滚动到底部，我就可以得到所有的链接。我想要刮掉的一个链接是这一个。

现在，我的目标是使用请求解析所有这些链接。我注意到，我想解析的链接是使用这样的B-uPwZsJtnB短代码构建的。

但是，我正在尝试刮掉在该网页的页面源代码中找到的脚本标记中可用的不同的shortcode。页面中有600 shortcodes。我创建的脚本只能解析第一个70，例如shortcode，它最终可以构建70个限定链接。

如何使用请求获取所有600个链接？

到目前为止，我已经尝试过：

import re
import json
import requests

base_link = 'https://www.instagram.com/p/{}/'
lead_url = 'https://www.instagram.com/explore/tags/baltimorepizza/'

with requests.Session() as s:
    s.headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36'
    req = s.get(lead_url)
    script_tag = re.findall(r"window\._sharedData[^{]+(.*?);",req.text)[0]
    for item in json.loads(script_tag)['entry_data']['TagPage']:
        tag_items = item['graphql']['hashtag']['edge_hashtag_to_media']['edges']
        for elem in tag_items:
            profile_link = base_link.format(elem['node']['shortcode'])
            print(profile_link)

python

python-3.x

web-scraping

beautifulsoup

python-re

回答 3

Stack Overflow用户

发布于 2020-06-02 00:56:44

如果您想用requests来完成它，那么请考虑查询XHR/Ajax请求，以模拟Lazy。见以下图片：

您可以对instagram.com服务器进行类似于通过Python请求刮取JS延迟加载页面 post的查询。

免责声明

由于Instagram施加的一些动态cookie值或其他刮伤预防措施，您可能无法完成该任务。

票数 2

Stack Overflow用户

发布于 2020-05-30 23:28:03

Instagram网页使用延迟加载来加载图像。您可以通过以下两种方法来克服这一问题：

使用注释中提到的Instagram API
使用像硒这样的工具将滚动在页面上的所有图像加载到底部，然后获取链接

第一种方法是比较好的方法。

票数 0

Stack Overflow用户

发布于 2020-06-06 07:30:50

我建议您使用Instagram图API，如果您正在构建一个商业产品，因为使用instagram公开数据是需要同意的，因为GDPR。这个API将简化您的工作，但是在api限制下，您可以在每个用户令牌上查询30次搜索，为期7天。

如果您正在构建非商业工具，您有两种方法。

直接抓取instagram网页。如前所述，您可以使用selenium并自动进行页面交互，因为网页使用javascript来生成图像urls。这种方法的缺点是instagram和facebook做反刮方法来防止刮取它们的数据，例如用动态生成的类包装html元素，频繁地更改xpath。您可能需要花费大量的时间来编写代码并在稍后修复这些问题。
使用构建的第三方库来抓取instagram数据。github中有许多开源第三方库，寄生器是我的最爱。您可以使用单一命令下载所有hashtag搜索结果。这个库不仅下载图片，而且还下载与图片相关的帖子的数据json。因为库中有维护人员，所以您不必担心以后instagram网页的更改。在您的情况下，我推荐这种方法。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/62022907

复制

matlab展示两个向量之间的差异

matlab diff legend plot 函数

叶茂林

2023/10/07

2280