我最近想从一个网站提取数据，该网站似乎使用cookie授予我访问权限。我不太了解这些过程，但这似乎与我通过Python及其请求模块获取网站的html内容的方法有关。我正在运行的提取信息的代码包含以下几行：#...
response = requests.get(url, pr
浏览 12提问于2017-03-02得票数 0
我正在尝试构建一个小的python应用程序，它可以在网页加载时检测下载的资源(例如gifs、媒体文件等)。理想情况下，这将类似于Google Chrome Web浏览器中的Chrome Dev-tools组件，用户可以单击Network选项卡来获取动态下载的数据和资源。我已经尝试过通过Python Selenium来实现这一点，但是我不认为这会深入到动态下载的资源中去。
有没有人能确认这是否可以用Python来完成？
浏览 0提问于2020-01-20得票数 0
2回答
我正在尝试提取此页面的html源代码我试着在java中做到这一点，先使用bufferedreader，然后再使用jsoup。我也尝试过用python来做这件事，但是我一直收到下面的消息：最终目标是提取主表<em
浏览 1提问于2012-06-02得票数 1
回答已采纳
2回答
我正在抓取的网站有一个javascript，它设置一个cookie，并在后端检查它，以确保js是启用的。从html代码中提取cookie非常简单，但是在scrapy中设置cookie似乎是一个问题。/index\.html', )), callback='parse_page'),)
r
浏览 0提问于2012-08-14得票数 0
回答已采纳
5回答
如何从其他网站获取数据？
、、、
我想创建一个网站，从其他网站提取信息，并将它们打印到我的网站上，我正在进行研究，所以我想听取一些意见，这个项目的最佳解决方案是什么？我听说Python使用解析器可以做到这一点，我只是想知道我应该走哪条路，应该使用哪种语言？
浏览 1提问于2013-06-14得票数 4
我使用php和cURL来获取各种网站的内容。现在，我想要获取信息窗口中的内容。有办法做到这一点吗？
浏览 4提问于2012-04-25得票数 0
回答已采纳
4回答
我希望提取网页上渲染的数据的一些部分。我能够从页面中提取整个数据，并使用下面的代码将其保存在一个文本文件(RAW)中。curl http://webpage -o "raw.txt"
只是想知道是否还有其他的选择和优势。
浏览 0提问于2012-05-30得票数 9
回答已采纳
1回答
Python的新手。我想从一个谷歌搜索页面从多个网站(例如100+)提取信息。我知道如何从google搜索中收集网站URL列表；我还知道如何在查看页面的HTML后对单个网站进行网络抓取。我使用Request和BeautifulSoup来完成这些任务。但是，我想知道如何从所有这些(100+ !)中提取关键信息。网站，而不必逐个查看
浏览 18提问于2021-03-31得票数 1
我有一个大约10.000个指向在线新闻文章的URL列表。我已经使用Requests library(Python3.5)编写了一些代码来抓取这些新闻文章的html内容。我们的目标是使用Readability模块检索文章内容，并对其执行进一步的分析。这在大多数情况下都是有效的。然而，所有网站都是荷兰语，因此必须遵守欧盟的政策，即他们必须征得同意才能
浏览 0提问于2017-03-08得票数 2
1回答
我正在尝试通过curl登录一个页面。在这里，成功的登录会将你重定向到实际的网站，你会看到那里的内容。
基本上，有两个url，第一个url用于发布登录凭据，另一个url是在登录后内容可见的位置。我设法向登录url发送了一个post请求，它也成功地创建了一个有效的cookie，但我不知道如何使用cookie
浏览 1提问于2012-02-02得票数 1
1回答
我正在使用url-rewriting执行我的第一步操作，无法完成以下操作：<IfModule mod_rewrite.c>
RRewriteRule (.*)/(.*)?同样，在URL有效的情况下，用户输
浏览 2提问于2013-05-09得票数 2
回答已采纳
我想通过Javascript在会话/cookie中保存一些信息。请让我知道这个想法是否更好，并指导我如何通过javascript为会话/cookie变量赋值。例：
URL ="
浏览 3提问于2012-08-06得票数 0
我看过很多关于cookiejar的教程，但我的问题是，我想要显示的网页使用javascript创建cookie，而我似乎无法检索到cookie。有谁有解决这个问题的办法吗？
浏览 20提问于2009-07-12得票数 2
回答已采纳
1回答
所以我在过去的3天里一直在尝试解决这个问题，但我就是不知道为什么。我正在尝试访问这个网站的html，这需要先登录。 我尝试了所有可能的方法，但都带着同样的问题返回。这是我尝试过的： response = requests.get('https://de-legalization.tlscontact.com/eg/CAI/myapp.php', headers=headersPASS
浏览 64提问于2021-07-26得票数 0
我试图使用python机制登录并逐步通过一个网站，该网站的初始页面有一个警告，必须单击并确认，才能继续登录页面。警告的html是设置cookie的javascript如下
浏览 0提问于2013-12-08得票数 1
回答已采纳
2回答
我需要通过编程与WebObjects网站进行交互，并从响应中提取数据。我正在抓取的特定WebObjects站点使用组件操作，并将会话存储在cookie(而不是urls)中。关于抓取，我不确定是否有可能从网站中提取任何有意义的端点。例如，对于一个普通的网站，我会查看HTML并提取POST urls，然后在我的刮板
浏览 2提问于2014-02-11得票数 1
回答已采纳
2回答
我一直试图在Android上解析带有JSOUP的网站，以便提取HTML中存储的所有图像。我遇到的问题是，有些网站要求您在进一步浏览之前明确接受cookie的使用。在解析这些网站的HTML时，我只得到了要求您接受cookie的窗口的HTML，但是由于我是从代码
浏览 4提问于2016-02-10得票数 0
回答已采纳
1回答
我希望有人，可以提供一些关于cookie和Codeigniter的信息，我已经读过他们的用户指南，所以我对如何设置它们等有一个理解。我想知道的是我如何使用，例如，如果你看BBC网站，你可以拖放这些盒子，它会记住你把它们放在哪里，而不需要你注册或登录等，所以我假设它是存储在cookie中。在我的网站上，我有一个菜单系统，允许用户选择“他们的”页面上的内容，现在我不想
浏览 1提问于2010-01-14得票数 0
回答已采纳
我正在做一个项目，该项目需要从网站上提取数据，通过解析其html和从标题标签和元描述中获取内容。我能够解析来自正常网站的数据，但在这个问题上，网站只能使用IP地址作为URL.Is才能访问，它可以被提取，什么解决方案可以使用？
浏览 0提问于2016-05-12得票数 0
3回答
我正试图从Tripadvisor.com网页中抓取/提取公司/酒店的网站。当我检查网页时，我没有看到网站网址。知道如何使用python提取网站url吗？提前道歉，因为我最近才开始“在Python.请看到图像中的两个红色箭头。当我选择网站链接时，它会将我带到'‘--这就是我想使用<e
浏览 4提问于2018-02-01得票数 7
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
