我编写了一些基本的Python代码来抓取远程网页并获取一些数据。在我试图抓取的另一个页面上，数据从视图中隐藏，只有在更改<select>框的值后才会显示。在对远程网站的javascript进行清理和挖掘后，我确认它正在使用AJAX (我认为是原型的自定义实现)来切换我感兴趣的<table>的<tbody>。有没有办法使用Python (或通过Python使用Javascript )来触发该选择框的onChange事件
浏览 0提问于2012-01-20得票数 3
回答已采纳
2回答
我在使用BeautifulSoup抓取电子商务网站时遇到了问题。我做了一些谷歌搜索，但我仍然无法解决问题。但是当我运行python程序时，我无法在python结果中得到相同的代码和标记。在googling之后，我发现这个网站使用AJAX查询来获取数据。任何人都可以通过抓取AJAX站点来帮助我获得这些产品的数据。我想用在表格中显示数据。
浏览 0提问于2019-01-28得票数 2
回答已采纳
2回答
我知道使用Python的Beautiful Soup抓取HTML的基础知识。但是，页面会进行AJAX调用，以获取球员上场时间的数据。(我使用firebug识别了网络调用)。我的问题是:有没有可能使用python来“抓取”这些信息？我需要什么工具，除了HTML我还应该知道什么？(我目前正在阅读有关JavaScript和AJAX的文章)。更新:几天后，我提出了一个在Python语言中结合使用Selenium和PhantomJS的解决方案。基本上，我使用Se
浏览 0提问于2013-11-02得票数 0
3回答
Web从ajax页面抓取数据
、、、、
我正在尝试从here上抓取职位。 我正在学习python抓取技术，但我遇到了抓取像这样的Ajax页面的问题。我能够使用第一页的以下代码获得开发人员工具的响应数据。如何从这些数据中提取职位。不幸的是，我目前仅限于使用requests或另一个流行的python库。提前谢谢。
浏览 54提问于2021-07-21得票数 1
嗨，我已经成功地通过使用Python和正则表达式抓取了一些购物网站的所有页面。但现在我遇到了麻烦，要抓取某个特定网站的所有页面，该网站的下一页后续链接不存在于当前页面中，就像这里的我没有办法获得这些类型的网站的所有网页的源代码，其中下一页的后续链接在当前页面不可用。请帮我解决这个问题。
浏览 0提问于2013-05-28得票数 0
3回答
自动化网络任务？
、、、、
是否有一种方法可以用python或其他语言编写脚本，以帮助我自动化流程的任何部分？模拟点击链接的东西？除了单元测试之外，Capybara对类似的事情有用吗？硒？
我还没有太多的网页开发经验。
浏览 3提问于2013-12-23得票数 2
回答已采纳
1回答
因此，在抓取这个url之前，我通过scrapy登录，然后通过这个结果页面登录。但是，即使这个页面的http响应是200，它也不会丢弃任何数据。
浏览 3提问于2013-05-31得票数 5
我正在寻找一个爬虫，它能够处理与Ajax的页面，并能够在开始爬行网站之前与目标网站执行某些用户交互(例如，点击某些菜单项，填写一些表格等).I尝试webdriver/selenium (这是真正的网络抓取工具(用Java、Python或Ruby ...)如果是，我很感谢任何描述这一点的链接。
浏览 1提问于2011-06-28得票数 0
5回答
我正试着用python在youtube上废弃一个页面，里面有很多ajax
每次我都要调用java脚本来获取信息。但我真的不知道该怎么做。我正在使用urllib2模块打开URL。任何帮助都将不胜感激。
浏览 0提问于2009-08-15得票数 2
1回答
使用Python抓取Ajax
、、、、
我正在尝试获取这个网站的表中的数据，该表在页面加载后通过jquery更新(我有权限)：
我知道我可以通过专有的“屏幕刮板”软件获得它，但那是昂贵的。
浏览 2提问于2012-05-04得票数 3
回答已采纳
1回答
我一直在用Python练习我的抓取能力。我得到了相当好的，但遇到了一些网站，让我相当难倒。他们利用Ajax来寻找附近的位置。有几个网站也是这样设计的。其中一个网站是www.applebees.com。Python如何通过ajax调用请求位置？我完全被难住了。
该页面是www.applebees.com，在右侧有一个表单输入邮政编码，它拉出最接近该邮政编码的位置。请求/响应完全是ajax的，并且对html源代码是隐藏的，我从来没有见过这样的东西。我现在正在努力研究一个解决方案。
浏览 3提问于2012-02-27得票数 1
回答已采纳
1回答
我想分析网站的利率，但我不能从<td>元素中提取数据。我写了一些简短的代码来测试哪一行是数据标签的第一行：driver.get('https
浏览 1提问于2017-04-03得票数 1
我想从使用Ajax调用加载DOM元素的页面中抓取数据。如果有人知道任何特定的方法或工具，可以帮助我做一个POST请求，并在完全加载DOM后获取数据，这将对我有很大帮助。
浏览 0提问于2012-04-28得票数 2
回答已采纳
1回答
是否更容易抓取AMP版本的网页？
、、、、
我知道AMP协议要求Javascript的精简版本，我也知道Javascript (在一定程度上)使网站管理员能够检测/防止抓取。因此，从逻辑上讲，我认为抓取AMP网站会更容易一些。
浏览 11提问于2019-04-08得票数 0
1回答
我正在尝试从中抓取内容，请参见下面的代码。然而，我很好奇，如果我重复运行代码，我总是得到一个不同的工作位置列表(因此，评论)，即使在我的浏览器中显示的页面是相同的。我如何确保抓取所有内容(我需要重复几千页，所以我不想手动浏览废弃的数据)。
是相关的，但我不认为这是一个IP问题，因为我可以在第一次迭代中获得显示的内容。
浏览 4提问于2016-07-16得票数 1
回答已采纳
2回答
如何解析这种类型的文本？
、、、、
注意:我对python、javascript和scraping都很陌生。示例响应：d1=["m11“、"m12”、"m13“、"m21”、"m22“、”m23“)；d2=[”x11“、"x12”、"x21“、"x22”、"x31“、"
浏览 6提问于2015-05-06得票数 2
回答已采纳
1回答
我有有限的Python经验，并试图刮刮一个使用ajax调用的网站。我尝试过遵循不同网站上提供的示例，但是还没有成功，很可能是因为我的ajax调用的表单数据没有格式化为JSON。本例中的ajax调用具有以下格式的表单数据：filters[targetValueMax]: 15000000filters[financingTypes]:
filters[developmentPh
浏览 17提问于2018-05-28得票数 1
回答已采纳
我使用Scrapy用python编写了一个脚本，以便使用身份验证从网站上抓取数据。我正在抓取的页面真的很痛苦，因为主要是由javascript和AJAX请求组成的。我已经成功地从第一页抓取了所需的所有数据，然后使用以下代码更改了单击此输入按钮的页面： yield FormRequest.from_response(response,,
clickdata={"class":"PageNext&
浏览 38提问于2019-02-21得票数 0
我正在写一个python脚本来做一些公共网站的屏幕抓取。这很好，直到我想要与AJAX实现的树控件交互。显然，有大量的javascript控制AJAX请求。我应该尝试实现RichFaces AJAX的一个子集吗？
或者，在现有的网络浏览器周围包装一些代码会更好吗？如果是这样的话，是否有一个python库可以帮助解决这个问题？
浏览 0提问于2013-05-21得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
