1回答
是否更容易抓取AMP版本的网页？
、、、、
我知道AMP协议要求Javascript的精简版本，我也知道Javascript (在一定程度上)使网站管理员能够检测/防止抓取。因此，从逻辑上讲，我认为抓取AMP网站会更容易一些。
浏览 11提问于2019-04-08得票数 0
2回答
我对此还是个新手。我正在尝试从网页中提取数据，但我实现的这个方法似乎有点慢。我使用了time模块来缩小延迟的原因。花费了大部分时间(1-5秒)始终如一地耗时0.15秒
浏览 1提问于2015-05-08得票数 2
我正在尝试以下代码：if __name__ == '__main__': import requests r = s.get(link) print(sou
浏览 1提问于2020-02-05得票数 0
它应该做的是浏览几个网站，点击一些按钮，抓取所需的信息，存储收集的信息，并填写一些表格。使用Python可以做到这一点吗？如果是，那么最紧凑的方法是什么？
浏览 1提问于2013-05-07得票数 0
1回答
为了与html页面进行交互，我试图把一些我需要的插件集合在一起。我需要的范围从简单的浏览和与按钮或网页链接(如“在这个文本框中写一些文本并按这个按钮”)进行交互，到解析html页面和向服务器发送自定义get/post消息。我正在使用Python3，到目前为止，我有Request用于简单的网页加载、自定义get和post消息，BeautifulSoup用于解析HTML树，我正在考虑尝试机械化来进行简单的网页交互。是否有某种集合的地方，所有的Python库挂起？因为我有时会发现很难找到我要找的东西。
浏览 3提问于2014-04-17得票数 1
回答已采纳
我想抓取一些网站。我正在使用selenium/PhantomJS抓取JS(react、angular、jquery等)。和python爬行其他所有的东西。我的主要问题是，我无法区分页面是否使用JS加载。
任何想法都将受到欢迎！
浏览 2提问于2018-03-16得票数 0
1回答
我使用python 4/selenium来、刮和抓取网页。我对刮这个很感兴趣。如您所见，有几个js图表。但是当我查看源代码时，我找不到点的值。我怎样才能刮掉这些价值。
浏览 3提问于2020-05-18得票数 0
2回答
我正在尝试使用Python抓取这个网站：'‘。但是，requests + BS4只给了我HTML格式的页面源代码。我假设这是因为内容是动态的。因此，我尝试了Selenium + BS4来抓取网站，但我仍然只能抓取页面源代码。eac/msca/jobs/import-jobs_en.htm'soup = BeautifulSoup(driver.page_
浏览 4提问于2020-02-02得票数 0
我正在建立我的网站，其中包含一个python(.py)文件，超文本标记语言，css和JS文件。我想知道，我怎样才能运行我的python脚本在我的网站从我的托管帐户，以便它可以从一个网站抓取数据，并输出一个JSON文件到Javascript文件，可以显示在网页上。
浏览 15提问于2021-01-06得票数 0
3回答
假设我们有一个需要web抓取的项目。(解析字符串(< 40)和抓取网页(获取元数据等等)我知道perl有非常好的适合这项工作的cpan模块，所以我可以采用这种方式，不用太麻烦自己。(可能是Python??)在速度方面，哪一个更适合这项工作？请解释一下。
提前谢谢。
浏览 0提问于2011-04-04得票数 4
回答已采纳
我在试着从https://hk.appledaily.com/search/apple..。我需要从div class="flex-feature"但它只返回[]..。希望大家能帮忙，谢谢！ from bs4 import BeautifulSoup
results = soup.find_all(
浏览 40提问于2020-10-06得票数 2
回答已采纳
我需要用纯Python来完成这个任务，但遗憾的是，BS4不支持JS页面，Selenium需要一个作为可执行文件的need驱动程序。是否有人知道/是否有任何方法可以使用纯Python和它的模块而不必运行任何exe来抓取JS呈现的页面？
如果可能的话，我并不要求精确的解，只要求方法和模块。表示完整的上下文：我试图每天在云上运行一个web抓取脚本，该脚本不允许运行任何前妻。使用Selenium和PhantomJS进行了尝试，但得到了一个无权限错误。
浏览 1提问于2018-08-22得票数 1
回答已采纳
1回答
我正在为一个特定的网页做网页抓取，我注意到我的代码只抓取了只显示第一个滚动的部分。当进一步向下滚动时，页面会自动显示更多信息。下面是似乎控制这种算法的代码。<div class="view-pagination text-right">
<ul class="js-pager__items pager" data-drupal-views-infinite-scroll-pagersome_links_here" title="Go to
浏览 1提问于2019-10-31得票数 0
1回答
我想通过刮擦刮刮结果页面()。
最初的问题是facebook只允许facebook用户访问信息，因此将我引向login.php。因此，在抓取这个url之前，我通过scrapy登录，然后通过这个结果页面登录。但是，即使这个页面的http响应是200，它也不会丢弃任何数据。
浏览 3提问于2013-05-31得票数 5
2回答
我想从一个使用highcharts.js显示图形的页面中抓取数据，这样我就完成了对所有页面的解析，以到达。但是，显示数据集的最后一页使用highcharts.js来显示图形，这似乎几乎不可能访问原始数据。还能解析它吗？
浏览 3提问于2016-09-03得票数 9
回答已采纳
1回答
我正在使用python抓取网页，这对静态内容非常有用。我试图从页面中抓取一个url，但结果是，它是通过javascript调用返回的。为此，我使用selenium，但无法弄清楚如何实现它。我怎样才能在我的程序中得到这个指南的网址？
我也面临着一个类似的问题，在以及获得尺寸指南。如果有人能指点这些链接，我会非常感激的。
浏览 2提问于2015-05-27得票数 0
回答已采纳
3回答
我正在用Django web框架用Python制作一个网络抓取应用程序。我需要用漂亮的汤库抓取多个查询。url) links = soup.find_all("a", {"class":"dev-link"})
实际上，网页的抓取是按顺序进行的我对Python中的线程化不是很了解。谁能告诉我，我怎样才能并行抓取？任何帮助都将不胜感激
浏览 0提问于2017-05-29得票数 2
我在做一个从网站上抓取的数据。我发现表数据在页面的源代码中显示为加载。我想知道如何使用python收集数据。它似乎是一个有反应的js网络应用。
网址：
浏览 2提问于2019-12-20得票数 1
回答已采纳
完成Node.js新手入门。最近，我接到一个任务，用python在web上抓取一个网站，然后使用Node.js中的python-shell包将python脚本连接到Node.js。我已经完成了抓取部分，但对Node.js没有任何先验知识。你能指导我如何解决这个问题吗？
浏览 0提问于2020-01-07得票数 0
2回答
我开发了一个web应用程序，它使用RangeNode.js/Express.js和MySQL开发。我的应用程序有一些页面，在从另一个web应用程序example: https://www.example.com获取数据后显示数据。由于另一个应用程序没有从哪里获取数据的API，所以在Python的帮助下，我使用了web 抓取，而则从站点中抓取数据。我用Node.js调用我的Python程序。
浏览 4提问于2021-05-31得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
