1回答
是否更容易抓取AMP版本的网页？
、、、、
我知道AMP协议要求Javascript的精简版本，我也知道Javascript (在一定程度上)使网站管理员能够检测/防止抓取。因此，从逻辑上讲，我认为抓取AMP网站会更容易一些。
浏览 11提问于2019-04-08得票数 0
我在某处读到BS只解析HTML内容，而不解析JS部分。我该怎么做呢？要快速遍历，请查找我想要抓取的ModuleId 372309。谢谢！！ <script type="text/javascript" src="//www.walmart.com/c/midas/hl.js"></script"
浏览 2提问于2014-04-13得票数 0
1回答
我需要抓取一个网站，然而，它的内容是动态的。Python中有没有可以调用js函数的包？例如，假设我在JS中有一个链接和JS函数1、2和3，我应该在该网页上调用，并且在所有JS函数调用之后我需要最终的网页。
浏览 16提问于2019-02-12得票数 0
1回答
我正在使用Python3，到目前为止，我有Request用于简单的网页加载、自定义get和post消息，BeautifulSoup用于解析HTML树，我正在考虑尝试机械化来进行简单的网页交互。是否有某种集合的地方，所有的Python库挂起？因为我有时会发现很难找到我要找的东西。
浏览 3提问于2014-04-17得票数 1
回答已采纳
完成Node.js新手入门。最近，我接到一个任务，用python在web上抓取一个网站，然后使用Node.js中的python-shell包将python脚本连接到Node.js。我已经完成了抓取部分，但对Node.js没有任何先验知识。你能指导我如何解决这个问题吗？
浏览 0提问于2020-01-07得票数 0
2回答
我知道使用Python的Beautiful Soup抓取HTML的基础知识。但是，页面会进行AJAX调用，以获取球员上场时间的数据。(我使用firebug识别了网络调用)。我的问题是:有没有可能使用python来“抓取”这些信息？我需要什么工具，除了HTML我还应该知道什么？(我目前正在阅读有关JavaScript和AJAX的文章)。更新:几天后，我提出了一个在Python语言中结合使用Selenium和PhantomJS的解决方案。基本上，我使用Selenium转到每个链接，等待页面加载，然后抓
浏览 0提问于2013-11-02得票数 0
1回答
我正在尝试用Python抓取一个quizlet匹配集。我想用class：TermText抓取所有的<span>标签import requestsraw最终返回的内容根本不包含任何标签或卡片当我检查网站的源代码时，它显示了我需要的所有TermText跨度，这意味着它不是JS加载的。因此，我不明白为什么我的HTML是错误的，因为它没有包含任何我需要的html。
浏览 18提问于2020-07-31得票数 1
回答已采纳
2回答
我需要从以下网站抓取等待时间：
对我来说，Selenium看起来有点过头了，因为我不需要单击任何东西-内容加载，只是不是直接在我可以抓取的HTML中。PhantomJS需要用JS编写，我读到人们在将其移植到亚马逊网络服务或非图形用户界面服务器时遇到了问题。
我见过Ghost.py，它看起来和BS4兼容，所以可能是最简单
浏览 2提问于2014-02-23得票数 0
我最近完成了Selenium Python刮板。当我在我的个人机器上运行它时，它运行的非常好，但是当我在服务器上运行它时，结果是不一样的。display = Display(visible=0, size=(800, 600))在本地机器上运行时，它完全抓取了由JavaScript生成的HTML，但当我在服务器上运行它时，它没有抓取JavaScript生成的HTML内容，因此我只得到了一个不包含任何JS生成内容的部分页面。屏幕截图显示页面被部分加载，<e
浏览 5提问于2016-06-15得票数 3
有一个网页是用JS：生成的默认情况下，scrapy只获取超文本标记语言，而不执行JS。我怎样才能改变它？
浏览 14提问于2018-01-16得票数 0
回答已采纳
我有兴趣尝试一个网络抓取项目。目标站点使用Javascript动态加载和更新内容。大多数在线讨论都表明，在尝试这样一个项目时，node.js、casper.js、phantom.js和nightmare.js都是相当流行的工具。Node.js似乎是最常用的。如果我正在运行一个烧瓶服务器，并且希望显示一个node.js的结果，例如，在我的站点上以表格格式刮擦，这是可能的吗？我会遇到兼容性问题吗？或者，为了保持一致性，我应该尝试使用基于python
浏览 6提问于2017-04-19得票数 0
回答已采纳
我正在尝试开发一个网络抓取工具。我有一个python脚本和一个javascript code.Python脚本调用javascript代码。我的javascript代码从网页中检索相关内容。并将该内容返回给python脚本。当我们在浏览器上手动运行Javascript代码时，它运行得很好。代码：js = open("generalized.js", "r&qu
浏览 20提问于2017-12-13得票数 0
我在试着从https://hk.appledaily.com/search/apple..。我需要从div class="flex-feature"但它只返回[]..。希望大家能帮忙，谢谢！ from bs4 import BeautifulSoup
results = soup.find_all(
浏览 40提问于2020-10-06得票数 2
回答已采纳
2回答
我很纠结于尝试抓取一个网站(使用Python/Selenium)，其中包含部分JS构建的链接和内容。在我的例子中，我想要获取的链接如下：{{link_ID}}def URL_from_JS (URL): print(new_URL) #for testing reasons
driv
浏览 2提问于2016-04-12得票数 2
5回答
LinkedIn网络抓取
、、、
是否有人知道适用于LinkedIn站点当前格式的任何web抓取工具或技术，或者如何弯曲API以进行更灵活的分析？最好是基于R或网络，但肯定对其他方法开放。
浏览 0提问于2015-05-13得票数 11
回答已采纳
1回答
Python抓取动态内容
、、、
我一直在努力搜索kith.com搜索结果，但是我得到了基本的示例代码。尝试使用scrapy、requests和selenium，但我没有设法使它们工作。from requests_html import HTMLSession
r = session.get("https://kith.com/pages/search-results-page?q=nike&tab=products&sort_by=created")
print(r)
据我所见，render
浏览 3提问于2020-02-07得票数 0
回答已采纳
1回答
我想分析网站的利率，但我不能从<td>元素中提取数据。from selenium import webdriver
driver.get('https://www.gpw.pl/wskazniki_spolek_full')print table
driv
浏览 1提问于2017-04-03得票数 1
3回答
从Python控制浏览器
、、、、
我正在寻找一种从Python控制浏览器的方法，即填写表单字段并提交它们，可能会调用JS函数。我看了一下，但据我所知，PyWebKitGtk只允许你将浏览器显示为图形用户界面元素，而不是界面。我用Python编写了我的程序逻辑，我不想把它移植到JS。除此之外，即使我使用纯JS“bookmarklet”，它们也不能读/写我的本地文件系统，不是吗？此外，页面上的一些内容是使用AJAX生成的，所以我正在寻找一种解决方案，让javascript正常运行。我需要为我的研究项目抓取<
浏览 0提问于2010-06-14得票数 2
回答已采纳
1回答
然而，我观察到的scrapy只适用于div、body、head等HTML标记，而不适用于角形js标记(如ng-view )，如果在ng-view标记中有任何元素，当我对页面进行右键单击并执行查看源时，标签内的内容就不会出现，它会显示为<ng-view> </ng-view>，所以我如何使用python预先在这个ng-view tags.Thanks中废弃元素。
浏览 1提问于2015-06-05得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
