1回答
嗨，我对python和web scraping都是新手。从我的脚本中，我想要POST请求，然后从中获取urls。但是我有一个问题，我不能从a标签中获取urls。当我检查网站时，我可以看到URL，但在我的脚本中，它显示为javascript。所以，我正在寻找一些想法来解决这个问题。谢谢。from bs4 import BeautifulSoup
url = 'http://www.ada
浏览 16提问于2021-07-06得票数 0
回答已采纳
我正在开发一个使用python和Django的网页抓取代码。我已经提供了所需的url，并且已经获取了数据。但是在url上有一个标签，上面写着“显示更多结果”。如何让我Django项目点击url上的“显示更多结果”选项卡并立即获取新的结果。 我已经使用Beautiful Soup库来进行web抓取/
浏览 16提问于2021-04-15得票数 0
5回答
如何从其他网站获取数据？
、、、
我想创建一个网站，从其他网站提取信息，并将它们打印到我的网站上，我正在进行研究，所以我想听取一些意见，这个项目的最佳解决方案是什么？我听说Python使用解析器可以做到这一点，我只是想知道我应该走哪条路，应该使用哪种语言？
浏览 1提问于2013-06-14得票数 4
2回答
我正在尝试开发一个语音助手，但我不知道该使用哪种语言。我希望这个应用程序在windows和android上都能正常工作。如果你有任何建议，请把它们贴出来。
浏览 46提问于2020-07-28得票数 2
1回答
我正在尝试抓取olx.in站点http://www.olx.in/newdelhi/bmw/，我已经将这个URL设置为start_url。现在要转到下一页，因为它不是普通的HTML，但是它是动态的，所以在network中，我看到next按钮用POST方法创建了一个XHR请求。现在我必须用请求方法来模拟它(我猜.)但我不知道它的参数是什么。
我对python和web抓取非常抱歉，如果它太
浏览 4提问于2016-01-12得票数 1
回答已采纳
1回答
网页抓取当前的镀铬标签
、、、、
目前，我知道你可以通过首先定义一个URL，打开它，然后读取信息来进行web抓取。然而，我正在寻找一种从当前打开的窗口中获取信息的方法。有没有办法从打开的chrome标签页上进行屏幕/网页抓取？
浏览 4提问于2021-05-20得票数 0
1回答
//此请求负责获取我将在web上删除的页面的URL apiKey: KEY,}).then(data => { });
//此请求负责对我从上一次
浏览 6提问于2022-08-26得票数 0
我们正在使用Facebook Graph API从我们的web应用程序中实现Facebook共享。我们调用图形API来使用post请求重新抓取要共享的url，如下所示： type: 'POST', "type": "http"
浏览 10提问于2017-08-06得票数 0
回答已采纳
1回答
在某些时候，我需要让用户从地图中选择纬度和经度。经过一些研究，实现地图搜索的最简单方法似乎是通过一些Javascript行使用google地图。我找到了这段代码，它几乎满足了我的需求：
但是，我需要在我的python函数中使用用户选择的坐标。如何将在Javaascript代码("latLng")中选择的纬度和经度传递给python？
浏览 12提问于2017-07-20得票数 0
所以我的问题是，我们能否从托管在Google App Engine上的应用程序访问tomcat上的应用程序( App URL )。
浏览 0提问于2016-02-12得票数 0
1回答
我过去使用请求库和我在这里使用的方法抓取了许多站点，但由于某些原因，尽管我可以在浏览器中访问信息，但由于某些原因，这个站点仍然返回500错误。(url): print(dirty.headers) # clean = json.loads(dirty)
test_pos
浏览 21提问于2019-12-22得票数 0
回答已采纳
1回答
我正在构建一个API，它可以从网页上抓取一些数据。要做到这一点，我需要向主页发送一个GET请求，从HTML中抓取一个' RequestVerificationToken‘，然后用用户名、密码和RequestVerificationToken发送另一个POST请求到同一个URL。在此之前，我已经能够使用Python完成此任务：result = ses
浏览 14提问于2022-08-12得票数 -2
回答已采纳
1回答
我想创建一个程序，可以从这个网站下载特定的CDF文件： http://research.ssl.berkeley.edu/data/psp/data/sci/fields/l2/mag_RTN_4_Sa_per_Cyc/2018/10/ 例如，我希望用户被问到他想要下载的具体日期，以及下载文件并将其存储为数据的程序。 在此站点中，所有文件名都以日期结尾。例如： psp_fld_l2_mag_RTN_4_Sa_per_Cyc_20181003_v01.cdf 其中，20181003表示2018年/10/03(日期) 这个是可能的吗？
浏览 13提问于2020-09-17得票数 1
回答已采纳
1回答
我正在尝试获取一个appStore，特别是每个应用的评论。问题是评论是动态的，客户端正在进行AJAX POST调用来获取数据。此调用的有效负载也是为每个页面动态生成的。我想知道是否有任何方法可以通过代码拦截这个请求以获得有效负载，使用它我可以使用请求或任何其他库进行调用。我可以使用从web浏览器的inspect Network Activity实用程序中获得的参数，通过POSTMAN进行此调用。= 'https://appexchange.
浏览 1提问于2019-05-10得票数 0
1回答
我正在做一个研究项目，我需要能够从大量的Tiktoks中抓取标签。Tiktok已经采取了很多措施来对抗web抓取的正常方法，但是我发现我可以从chrome下载HAR文件并从中提取哈希标签。我发现的每个HAR到JSON python或java模块要么不工作，要么在输出JSON文件中没有hashtag信息。大多数在线HAR查看器只显示标题和参数，而我需要原始的JSON文件才能访问哈希标签。我需要从单个HAR文件中获取多个
浏览 4提问于2022-11-06得票数 0
Googlebot正在爬行这些URL，但它试图使用GET方法而不是POST。这将导致谷歌搜索控制台中出现数百条404错误消息。
有什么最佳做法吗？我应该使用HTTP和POST方法来纠正这404错误吗？
浏览 0提问于2016-07-19得票数 3
我必须从一个名为morningstar.com的网站检索一些文本。要访问这些数据，我必须登录。一旦我登录并提供了网页的网址，我得到一个普通用户(未登录)的超文本标记语言文本.As的结果是无法访问该信息。ANy解决方案？
浏览 1提问于2011-06-02得票数 0
回答已采纳
Imports System.Net Public Function GetHTML(ByVal url As UriHttpWebResponse Request = HttpWebRequest.Create(urlSub Button1_Click(sender As System.Object, e As System.EventArgs) Hand
浏览 0提问于2012-07-02得票数 1
回答已采纳
我在带有url=x的网页上。在给出我的首选项后，该特定网页的url不会改变(如选择选项，..)或者在点击该网页上的按钮之后。问题：我正在尝试使用python从网页中抓取数据，如果我提供的是request_url=x，它就不会获取数据，因为我没有提供任何规范，所以我为request_url提供了上面提到的规范
如何在请求url</em
浏览 9提问于2018-08-14得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
