从URL中带有"#“的网站中抓取数据时出错
从URL中带有"#"的网站中抓取数据时出错，这通常是因为URL中的"#"字符被解析为片段标识符（Fragment Identifier），用于指定网页中的特定位置。在网页加载过程中，浏览器会自动将URL中的片段标识符跳转到相应位置，而不会将其发送给服务器。因此，当使用爬虫或其他方式从URL中带有"#"的网站中抓取数据时，可能会遇到以下问题和解决方法：
问题：
- 无法直接通过URL获取完整的网页内容。
- 数据抓取结果不完整或缺失特定部分。
解决方法：
- URL编码：将"#"字符进行URL编码，替换为"%23"，以确保服务器能够正确解析URL并返回完整的网页内容。
- JavaScript渲染：某些网站使用JavaScript动态加载内容，包括片段标识符指定的位置。在这种情况下，可以使用无头浏览器（Headless Browser）模拟浏览器行为，执行JavaScript代码并获取完整的渲染结果。
- 直接请求片段标识符指定的位置：如果目标数据位于片段标识符指定的位置，可以尝试直接请求该位置的资源，而不是整个网页。例如，将URL中的"#"及其后面的内容去除，只请求URL中"#"之前的部分。
- API或其他数据源：如果目标数据可以通过其他方式获取，例如网站提供API接口或其他数据源，可以考虑直接使用这些方式获取数据，而不是从URL中抓取。
腾讯云相关产品推荐：
- 腾讯云爬虫服务：提供高性能、可扩展的爬虫服务，支持定制化的数据抓取需求。详情请参考：腾讯云爬虫服务
- 腾讯云无头浏览器服务：提供基于Chrome的无头浏览器服务，支持JavaScript渲染和页面截图等功能。详情请参考：腾讯云无头浏览器服务
- 腾讯云API网关：提供灵活、安全的API管理和发布服务，可用于构建和管理自定义API接口。详情请参考：腾讯云API网关
请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求进行评估和决策。
相关·内容
2回答
我有一个网站
当我试图分享一篇博客文章时，我决定不显示og:标签，而是显示一个自动选择。
此外，当我试图使用facebook的评论发布一条消息时，我得到了一个警告：“Facebook的服务器无法抓取。”
尝试使用facebook图形调试器获取新的抓取信息
返回：“解析输入URL时出错，没有缓存数据，或者没有抓取数据。”
注意:经过一段时间后，似乎facebook爬虫确实抓取了我的网站( facebook需要几天时间才能抓取我的网站)，然后一切都很好。(但仍有新帖子出现上述问题)
浏览 0提问于2014-11-17得票数 0
我正在尝试创建facebook应用程序与网站网址，但它说
错误
网站URL不是有效的URL。
另外，我还检查了
它显示错误解析URL:解析输入URL时出错，没有数据被抓取。
我不确定问题出在哪里。你能帮我解决这个问题吗？
浏览 0提问于2012-02-02得票数 4
回答已采纳
1回答
目前我正在使用PHP cURL和XPath进行抓取，但速度非常慢。
每个网站都有许多使用Javascript的带有许多子页面的URL。
一个网站将有30个产品类别，每个类别有大约70个子页面，每个页面上有10个项目。
我用上面的代码总共刮掉了大约150个网页。
一个脚本获取一个网站，并一次一个地从该页面中抓取所有URL。与此同时，另一个脚本正在运行，执行相同的操作。
每个脚本获取一个URL，将数据提取到一个变量中，然后使用XPath抓取该变量，然后将值存储在DB中。
许多页面使用带有微软ASP.NET视图状态的Javascript，所以需要执行许多循环才能从页面1跳到页面2，等等。
一个脚本可
浏览 1提问于2011-07-25得票数 1
4回答
我有问题从这个网站抓取数据：
我感兴趣的是从不同的桌子上获取球员的名字和分数。
我对python相对陌生，对web抓取完全陌生。以下是我到目前为止所拥有的：
from urllib.request import urlopen
from bs4 import BeautifulSoup
url = 'https://fantasy.premierleague.com/player-list'
html = urlopen(url)
soup = BeautifulSoup(html, "lxml")
rows = soup.find_all('
浏览 1提问于2020-06-22得票数 1
回答已采纳
我使用wordpress 3.4.1创建了我的网站，并尝试在facebook中分享我的网页。我在facebook的帖子中没有得到任何缩略图或基本的博客描述。相反，我得到的是“没有标题”。我知道这个问题在wordpress论坛上已经被问过很多次了。但是，他们中的大多数都在走向死胡同。有人能在这方面帮助我吗？
附言:我尝试使用facebook调试器()，我得到了以下信息
分析URL时出错:分析输入URL时出错，未抓取任何数据。
浏览 1提问于2012-08-16得票数 1
回答已采纳
1回答
我用RStudio编写了一个脚本(运行R3.5.2)，它可以从特定的网站抓取数据。脚本延伸到一个网站，使用download.file来提取底层代码，并使用标记提取所需的数据。
脚本在RStudio中运行时没有出错，但是当我试图在Azure中的"Execute“节点中运行代码时，它会抛出一个0063错误，说明它”无法到达URL“。代码完美地运行，直到它试图到达URL。(见下文代码)
我尝试过在Azure ML中切换R版本--这三个选项都不起作用。
for(a in 1:length(job_url)) {
download.file(url, destfile = filena
浏览 0提问于2019-05-01得票数 1
回答已采纳
我们有一个新闻网站，使用AddThis插件在Facebook上分享新闻，有时当我们尝试在Facebook上分享新闻时，它不会检测到页面信息(标题，描述，图片)，当我们把同样的网址放在Facebook调试器上时，一切都运行正常，页面信息被检测到，当我们返回网站并使用相同的网址时，我们可以正常分享它。
使用asp.net 4.0 + SQL server 2008 + iis 6创建的网站和防火墙后的网站
谢谢
=== (更新)..
在尝试Facebook调试器之后，我得到了这个错误：
分析URL时出错:分析输入URL时出错，未抓取任何数据。
在尝试2天后，我可以在不使用调试器的情况下分享链接。然
浏览 0提问于2013-09-01得票数 0
2回答
我正在进行一个网络抓取项目，它涉及到从一个基于搜索词的网站中抓取URL，将它们存储在一个CSV文件中(在一个列下)，最后从这些链接中抓取信息并将它们存储在一个文本文件中。
我目前被困在两个问题。
只有前几个链接被刮掉。我无法从其他网页提取链接(网站包含加载更多的按钮)。我不知道如何在代码中使用XHR对象。
代码的后半部分只读取最后一个链接(存储在csv文件中)，抓取相应的信息并将其存储在文本文件中。它并不是从一开始就贯穿所有的环节。我无法找出在文件处理和f.seek(0)方面出错的地方。
从pprint导入pprint导入csv从bs4 bs4 BeautifulSoup def ge
浏览 8提问于2017-07-19得票数 0
回答已采纳
我试图抓取整个网站使用刮刮。根据scarpy的文件
start_urls -当没有指定特定URL时，蜘蛛将开始从其中爬行的URL列表。因此，下载的第一页将是在这里列出的。随后的URL将依次从start URL中包含的数据生成。
因此，根据这个定义，scrapy应该遍历start_urls下提到的页面上的所有子url，但是它只爬行我指定的url。我确实按照中提到的那样指定了规则，但这没有帮助。它只抓取和输出我在start_urls中指定的页面。
下面是我的代码片段：
class AcdivocaFirstSpider(scrapy.Spider):
name = "exa
浏览 3提问于2014-10-29得票数 2
回答已采纳
1回答
我是一名学生，我正在尝试从我们的在线注册中抓取数据，以便不一致机器人可以发送关于不一致的信息，该网站需要登录，我可以使用以下代码： import requests
from lxml import html
session_requests = requests.session()
login_url ="url"
result = session_requests.get(login_url)
payload = {
"txtUser": "user",
"txtPassword": "pas
浏览 28提问于2020-09-08得票数 0
回答已采纳
我在看一些在线视频的时候创建了一个抓取蜘蛛。它从网站上抓取个人资料url。我想扩展这一点，以报废数据，如地址，姓名，电话，网站网址从每个配置文件网址抓取。 我在考虑创建分离的刮板。一个用于抓取配置文件url。以及从抓取的第一url中抓取数据的第二个url。 有没有其他的解决方案？ 这是我的爬虫，它抓取配置文件的urls。 # -*- coding: utf-8 -*-
import scrapy
from ..items import ...scraperItem
class SpiderSpider(scrapy.Spider):
name = 'spider'
浏览 22提问于2019-04-14得票数 1
回答已采纳
1回答
我想刮一个网站，列出了在南非的所有资格()
当你第一次转到这个链接时，你会注意到这是一个带有搜索条件的页面。我想要抓取所有的结果，这样我就不需要在搜索条件中输入任何东西-只需单击"GO“，然后返回我想要抓取的搜索结果。显示了20条记录的结果，共有16521页结果。在这个阶段，URL仍然是如上所述。
有没有可能刮掉这些结果？从我所做的在线搜索中，我已经找到了在URL中定义页面结果搜索条件的解决方案。然而，对于我想刮掉的网站，这不是选项
理想情况下，我希望使用R来进行抓取，但是如果在R中不可能的话，我愿意接受其他建议
非常感谢Ria
浏览 0提问于2016-07-05得票数 0
我正在尝试使用selenium和chromedriver从网站“”中抓取数据。当我运行代码时，chromedriver成功地输入了url，但无法加载页面，显示了一个空白页面。我尝试将目标网站切换到google.com，但抓取成功。我的结论是目标网站服务器检测到selenium并拒绝发送回数据。那么如何在Python语言中使用selenium和chromedriver从网站抓取数据呢？我是一个Python初学者，感谢您的帮助。下面是我的简单代码：
from selenium import webdriver
my_driver_path = r"C:\python chrome driv
浏览 0提问于2020-05-29得票数 0
2回答
我想从下面的网站抓取数据。我试图从网络选项卡中获取数据，但是它没有返回任何数据。然后，我尝试BeautifulSoup获取一些数据，但它只返回带有空tbody标记的Javascript。但是在in元素中，它在表中显示数据。
import requests
from bs4 import BeautifulSoup
url = 'https://dell.secure.force.com/FAP'
headers = {
'Connection': 'keep-alive'
}
data = {
'pt': "f
浏览 5提问于2022-02-03得票数 1
我试图抓取一个网站，在那里我使用div和class来获取其中的内容。
我能够获得正确的数据，但当我将其放入循环中时会出错。
html = BeautifulSoup(response, 'html.parser')
post_list = html.find_all('div', class_='eodLhs')
print(post_list)
i = 0
for values in post_list:
url_json = {'title': values.ul.li[i].a.text, 'url
浏览 7提问于2019-10-26得票数 0
回答已采纳
我从peoplefinders.com上抓取数据，这是一个无法从我的国家访问的网站，所以我基本上是在使用一个虚拟专用网络客户端。
我用会话帖子登录这个网站，通过同一会话，我从同一网站的不同页面获得项目。问题是，我在一个带有get请求的for循环中进行了抓取，但由于某些原因，我在几次迭代后收到了响应400错误。错误发生在平均抓取4-5页之后。
是不是因为我使用了vpn连接？不是所有来自同一会话的请求都包含相同的cookie，因此允许我在抓取同一网站的不同页面时保持登录吗？
谢谢
浏览 1提问于2017-02-07得票数 1
0回答
我正在抓取一个从各个JSON文件加载产品数据的网站。我通过检查网络流量找到了指向JSON的URL。
问题是:当我遵循JSON URL时，大多数链接都会提供JSON结果。但是带有特殊字符的产品的JSON URL返回一个空响应。当然，数据会显示在浏览器上，但我似乎不能直接获得JSON响应。
有什么建议吗？
(我正在试着找到一个类似的网站，也有类似的行为方式，这样我就可以在这里发布它，例如)
编辑：
下面是一个例子
产品A网址：
作品:A的JSON url：
产品B url：
返回NULL: B的JSON url：
(与我之前未回答的问题相关：，可能需要根据这个问题进行修改)
浏览 5提问于2017-11-30得票数 0
回答已采纳
1回答
我正在进行一个抓取项目，从一个网站中提取网页数据。我制作了一个脚本来遍历URL和解析HTML内容，并将结构化的内容输入到我的database.The脚本中，但是最近脚本被卡住了，在调查中发现目标站点阻塞了我们的IP。
我在这个项目中使用了PHP / CURL，现在我得到了一个403错误--访问禁止的，在一个web请求上出错。这影响了我的脚本的工作，没有任何网页可以从网页请求，每次我得到一个访问限制错误。
我知道有很多关于followed.Since的礼仪，我们无法预见他们是如何实现安全特性的，我对如何规范web请求调用感到困惑。我正在处理一个带有弹性IP的amazon实例，因此我对他们何时/是
浏览 3提问于2014-08-04得票数 1
所以现在我的网站被Facebook屏蔽了。我想找出原因。
我访问了facebook：的调试器，它显示链接url时出错。我不知道这是什么意思。
我如何帮助facebook "lint“我的url？
完整的错误是
“此链接已被阻止，或者您触发了过多的抓取。如果您认为您错误地看到了此链接，请让我们知道。”
“必须修复的严重错误-链接URL时出错链接URL时发生内部错误。”
有问题的URL是www.dreolo.com
浏览 1提问于2015-02-26得票数 0
1回答
所以我试着从一个网站上抓取一些数据。有一系列的名字需要抓取。发生的情况是，如果有15个名字需要抓取。其中只有5个名字被刮掉了。
当我检查原始站点时，他们也以类似的方式加载数据。在第一次加载网站时。仅显示五个名称。在重新加载时，将显示10个名称，并再次尝试显示所有15个数据。
谁能告诉我如何让我的cURL在抓取原始数据之前等待几秒钟。这样所有的内容都可以被抓取？
以下是带有curl set选项的代码的部分代码片段：
$post = curl_init();
curl_setopt($post, CURLOPT_URL, $url);
curl_setopt($post,
浏览 0提问于2013-04-16得票数 3
我正在学习网络抓取，并试图从抓取信息。
下面是我的代码: rm(list=ls())
library(httr)
library(rvest)
library(xml2)
library(curl)
url <- "https://www.kununu.com/us/google1/reviews"
reviews <- url %>%
read_html() %>%
html_nodes(".panel-body")
quote <- reviews %>%
html_nodes("h2
浏览 0提问于2016-05-31得票数 2
1回答
我是编程新手，需要一点帮助从网站获得数据，并将其传递到我的PHP脚本。
该网站是。
我想插入一个名字(名字和姓氏)并检索结果。我知道您可以通过在URL中传递名称来查询站点，但我在抓取结果时遇到了问题。
我正在使用file_get_contents($URL)函数获取页面，但之后需要帮助。具体地说，如果某个名称有多个结果，我只想抓取该状态的结果。
谢谢你的帮助。
浏览 1提问于2013-03-25得票数 1
因此，我有一个从数据库中提取的URL列表，我需要抓取和解析每个URL的JSON响应。一些URL返回null，而其他URL返回发送到csv文件的信息。我目前使用的是Scrapy，但它需要大约4个小时来抓取这12000个URL。我研究过像、和这样的东西，但我不确定它们是否适合我的用例，因为它们似乎是围绕着抓取网站上找到的URL。
对于单机抓取的如此多的URL来说，4小时是“正常”时间吗？或者，有没有更适合我的包，当页面被抓取时，没有“关注”链接？
浏览 0提问于2020-08-25得票数 0
facebook返回“解析URL时出错:解析输入URL时出错，未抓取任何数据。”当我使用Facebook Linter的时候。我已经试着去掉meta标签，然后把它们放回原处。我不能让它工作，请帮帮忙。
浏览 0提问于2012-06-20得票数 1
回答已采纳
1回答
我是R中的web抓取的新手，最近在引用javascript的网站上遇到了一个问题。我正在尝试从下面的网页中抓取数据，但没有成功。我相信javascript链接会阻止我访问该表。结果，带有函数"readHTMLTable“的R包"XML”出现null。
library(XML)
library(RCurl)
url <- "http://votingrights.news21.com/interactive/movement-voter-id/index.html"
tabs <- getURL(url)
tabs <- htmlParse(ur
浏览 1提问于2014-12-06得票数 1
我有一个从网站地图.xml文件中抓取数据的文件，并从每个页面下载一些数据。每次启动抓取函数时，我都会转到这个xml来获取要抓取的url，将它们放在一个列表中，将它们与我已经下载的url列表进行比较，因此只需要抓取剩下的url。我使用这些URL作为mongodb的_id：
list_of_ids = collection.find().distinct('_id')
start_urls = list(set(new_url_list)-(set(list_of_ids)))
我现在收到了以下错误：
pymongo.errors.OperationFailure: distinc
浏览 142提问于2021-03-14得票数 0
回答已采纳
我写了一个从网站抓取数据的抓取程序，如果我抓取到json文件或csv文件，程序会抓取成功，当我尝试抓取postgres数据库时出现问题，下图显示了我收到的错误，我如何修复错误： ? def process_item(self, item, spider):
"""Save deals in the database.
This method is called for every item pipeline component.
"""
self.cur.execute("insert into
浏览 458提问于2020-12-04得票数 5
我必须从几个网页中抓取信息，并使用BeautifulSoup + requests +线程。我创建了许多工作人员，每个工作人员从队列中获取一个URL，下载它，从HTML中抓取数据，并将结果放到结果列表中。是我的代码，我认为它太长了，不能直接粘贴在这里。
但是我遇到了以下问题--这个网站的概率限制了每分钟来自一个IP的请求的数量，所以抓取变得没有它可能的那么快。但是有一个服务器有一个不同的IP，所以我想我可以利用它。
我想为服务器创建一个脚本，用于侦听某个端口(带有套接字)并接受URL，对它们进行处理，然后将结果发送回我的主计算机。
但我不确定是否有现成的解决办法，这个问题对我来说是很常见的。如
浏览 3提问于2015-10-07得票数 0
回答已采纳
1回答
我在尝试从新闻网站抓取所有链接urls时遇到了麻烦。
这是网站链接，我正在尝试抓取文章标题上的所有超链接URL。下面是我想出来的代码--认为'.card-title‘是一个类，'href’是一个属性，
library(httr)
library(rvest)
library(readr)
url <- paste('https://www.lightreading.com/archives.asp?section_id=120&piddl_month=12&piddl_year=2020')
data_url <- read_h
浏览 0提问于2020-12-21得票数 1
2回答
我在从一个网站上抓取数据时遇到了一些问题。我对网络抓取没有太多的经验。我的计划是使用R从以下网站刮取一些数据：
更确切地说，我想列出一些制裁的国家名单。
library(XML)
url <- paste0("https://www.fatf-gafi.org/countries/")
source <- readLines(url, encoding = "UTF-8")
parsed_doc <- htmlParse(source, encoding = "UTF-8")
但这不会显示预期的信息，因为它不是在表下
浏览 1提问于2022-06-02得票数 0
回答已采纳
1回答
从其他网站捕获搜索数据
、、、
有没有办法从其他网站获取搜索数据？例如，如果用户访问任何带有搜索字段的网站，我感兴趣的是该用户在该搜索字段中键入了什么内容才能找到所需的blogpost/webpage/product。我想知道这是否可能通过抓取网站，或任何其他方式。此外，在第三方网站上执行抓取操作以记录此类数据是否违法？另外，是否可以使用PHP和Python？
浏览 0提问于2012-07-24得票数 2
我使用paths_allowed函数从robotstxt包中找出数据是否可以从特定的网站(以为例)进行抓取，但每次我这样做都会出错
library(robotstxt)
paths_allowed(paths = "https://news.google.com/?hl=en-IN&gl=IN&ceid=IN%3Aen")
错误消息如下所示：
news.google.com Error in if (is_http) { : argument is of length zero
谢谢。
浏览 4提问于2019-09-25得票数 1
我想从其他网站页面上抓取数据，这些页面动态加载表格的数据。我正在使用Php和简单的Html Dom进行抓取，搜索后没有找到任何解决方案，如何从网页中抓取动态数据？或者有另一种方法可以做到这一点？
我必须从这个url->中抓取表数据。
我使用下面的代码来做这件事。
$url = "https://fantasy.premierleague.com/a/leagues/standings/313/classic";
$html = file_get_html($url);
$html->find('div#ismr-classic-standings')
浏览 3提问于2016-08-23得票数 2
我正在尝试从zacks.com的表格中抓取收入日历数据，url附在下面。
问题是，我试图从表中抓取所有数据，但它有一个下拉列表，可以在一页上选择10、25、50和100行。理想情况下，我想要抓取所有100行，但是当我从下拉列表中选择100行时，url不会改变。我的代码如下。
注意到网站阻止了用户代理，所以我不得不使用chrome驱动程序来模拟访问web的人类。从pd.read_html获得的结果是所有表的列表，d4返回的是只有10行的收入日历(我希望将其更改为100行)
driver = webdriver.Chrome('../files/chromedriver96')
浏览 4提问于2021-11-28得票数 0
在R教程中，我一直在使用readLines()从网站上抓取信息。我现在希望从我自己的网站提取数据(特别是awstats数据)，但是该域是受密码保护的。
有没有办法传递我需要的特定awstats数据的url和用户名和密码。
url的格式为：
谢谢。
浏览 0提问于2011-03-24得票数 13
回答已采纳
下面是一个场景:我在URL中粘贴一个链接()，它返回一个错误：
解析输入URL时出错，没有数据被缓存，或者没有数据被抓取。
当我检查刮过的URL时，它会显示完整的html输出。但是，当单击Fetch新刮取信息时，它现在将显示正确的输出。
为什么会这样？我怎么才能修好它？
该网站使用Laravel 5作为其框架。PHP 5.4版以防万一。
您可以在这里查看其他链接：
http://abantenextgen.com/test/test.php
http://abantenextgen.com/test/test1.php
http://abantenextgen.com/test/tes
浏览 2提问于2015-07-07得票数 2
当我试图从以下网站抓取数据时
url =
我从网站外的床上得到了这个，如果我使用请求和美丽的汤，我什么都得不到。为什么会这样呢？
代码：
r = requests.get(url)
soup = BeautifulSoup(r.content,'lxml')
soup.find_all('span', class_ = 'BVRRReviewAbbreviatedText')
返回值为空：[]
浏览 2提问于2018-04-20得票数 2
回答已采纳
2回答
如何在网站抓取中搜索任何网站
、、、、
我正在从事一个使用DOM解析从网站抓取数据的项目。它可以使用页面url从特定网站提取数据。
我想添加功能来传递一个php变量到该网站的搜索框。并搜索该查询。当用户在网站搜索框中手动输入一个值并按下搜索时，结果就出来了，我们选择该结果。我想通过编程的方式来做这件事。
如何将php变量传递到网站搜索框并在该网站上进行搜索？
浏览 1提问于2016-03-07得票数 0
3回答
网络刮擦冠状病毒互动图
、、、、
我正在尝试抓取新冠肺炎的相关数据。我可以从网站上下载一些数据，例如，病例总数，但不能从交互式图表中下载数据。
我通常通过在inspect element页面的'network‘中查找源代码来获取json的交互图。然而，我找不到交互式图形的“网络”来抓取。
有没有人可以帮我从“总死亡人数”图中抓取数据？或者来自网站的任何其他图表。谢谢。
只是想说清楚。我不想从国家/地区表中抓取数据。我已经这么做了。我想做的是从图表中获取数据。例如，死亡比率图与日期或活动病例与时间日期图中的数据。
谢谢
import requests
import urllib.request
import time
i
浏览 2提问于2020-03-06得票数 0
1回答
我正在尝试从我收集的多个网站中抓取一些URL。我将已经收集的网站保存在一个名为meetings2017_2018的数据帧中。问题是，除了URL的第一部分：https://amsterdam.raadsinformatie.nl之外，URL看起来并不是很相似。urls的第二部分保存在数据帧中。下面是一些示例： /vergadering/458873/raadscommissie%20Algemene%20Zaken /vergadering/458888/raadscommissie%20Wonen /vergadering/458866/raadscommissie%20Jeugd%20
浏览 21提问于2019-03-18得票数 0
回答已采纳
我有一个功能刮刀，从数据库中抓取大量网站，并将结果读取到相同的数据库中。我从数据库中获取域，并手动附加。在网址上。即使这个url不正确，绝大多数站点都可以正确地重定向爬行器，但是对于一些站点，我得到了一个DNSLookup错误，因为没有重定向，即使该站点明显存在并且可以通过浏览器访问。
我的问题是，有没有办法重试获得DNSLookup错误的抓取，但使用不同的URL？我目前在errback中处理我的错误，我根据我得到的错误类型将必要的信息插入到数据库中。有没有办法从抓取结果中请求新的抓取？
浏览 0提问于2019-04-08得票数 1
我正在尝试从纽约证券交易所的网站上抓取数据，网址是：
nyse = http://www1.nyse.com/about/listed/IPO_Index.html
使用请求，我可以像这样设置我的请求：
page = requests.get(nyse)
soup = BeautifulSoup(page.text)
tables = soup.findAll('table')
test = pandas.io.html.read_html(str(tables))
然而，我一直收到这个错误
'ValueError: stat:路径对于Windows太长‘
我不知道如
浏览 4提问于2014-07-30得票数 2
我对网络抓取很陌生，我使用以下工具和方法来废弃：
我使用R(带有packages、XML等)读取网页(带有url链接)，并使用htmlTreeParse函数解析html页面。
然后，为了了解我想要的数据，我首先使用开发工具insepct来对代码进行加密。
当我知道数据在哪个节点时，我就使用xpathApply来获取它们。
通常情况下，效果很好。但是我对这个网站有个问题：
当您单击该链接时，您将加载该页，实际上它是页面1(产品之一)。
您必须再次加载url (输入第二次url)，才能获得第2页。
当我使用通常的过程读取数据时。htmlTreeParse函数总是给我
浏览 1提问于2016-05-12得票数 0
1回答
我已经向中文百度提交了我的网站的站点地图文件。
我的网站地图包括：
1)使用gzip压缩的 16 sitemap文件，每个文件小于10 16，包含更少的50K url。
2)带有指向上述站点地图gzipped文件的链接的站点地图索引。
我看到的是百度非常奇怪的行为--它将我的一些站点地图文件标记为Failed (抓取失败)，而其他文件似乎是经过处理的(正常--正常)。
当我重新提交同一组站点地图时，其他文件随机成为失败的爬行文件，而以前失败的文件可以不出错地进行处理。
除了百度留言“失败的爬虫”(抓取失败)之外，我找不到我的站点地图有什么问题。
我变得疯狂，因为百度标记文件“失败的爬虫”相当随
浏览 3提问于2016-10-18得票数 0
回答已采纳
我刚刚开始使用python进行网络抓取。我使用了两个库来抓取:请求和漂亮的汤。我打开给定的URL，并在该页面上传递所需数据的日期间隔。当我按submit时，URL不会改变，但是数据在页面上。然后我就可以访问那个页面了。我就是这样访问这个网站的：
r = requests.get("https://....... ")
c = r.content
soup = BeautifulSoup(c, "html.parser")
如果我想获取数据，我使用以下代码从存储数据的网站获取数据：
all = soup.find_all("table", {
浏览 3提问于2017-02-20得票数 1
回答已采纳
我的python代码成功地从https://www.groupeactual.eu/offre-emploi中抓取文本并将其保存到csv文件中。 然而，在上面的网站上有多个页面可用，我希望能够在其中刮。 例如，使用上面的url，当我单击指向"page 2“的链接时，整个url会发生变化，但当我在代码中使用该url时，我会得到来自page 1的结果。 如何更改我的代码以从所有列出的可用页面中抓取数据？ 我的代码： from bs4 import BeautifulSoup
import requests
import pandas as pd
response = requests
浏览 16提问于2020-07-17得票数 1
1回答
我想从网站上抓取数据。这个表扩展到多个页面上，但是url没有像page=3这样的东西，所以我不能遍历各个页面来获取数据。
有没有其他方法可以像这样抓取数据，而不会在不同的页面上循环？如何从python访问不同的页面来抓取数据？
浏览 19提问于2018-03-04得票数 0
1回答
当我运行代码时，当我从html表中抓取数据时，在这个特定的网站上，我已经成功地使用了。
url <- "http://www.sanzarrugby.com/superrugby/competition-stats/2016-team-ranking/"
rankings <- url %>%
read_html %>%
html_nodes("table") %>%
html_table()
返回的只是一个空列表。可能出什么事了？
浏览 0提问于2016-05-12得票数 1
回答已采纳
1回答
我正在尝试使用Orange中的BeautifulSoup4从同一网站抓取的URL列表中抓取数据。 当我手动设置URL时，我已经成功地从单个页面中抓取了数据。 from urllib.request import urlopen
from bs4 import BeautifulSoup
import requests
import csv
import re
url = "https://data.ushja.org/awards-standings/zone-points.aspx?year=2021&zone=1§ion=1901"
req =
浏览 21提问于2021-07-23得票数 1
回答已采纳
3回答
我需要从这个网站上抓取唯一的表格：
我使用了漂亮的汤和请求，但没有成功。你们能告诉我哪里出错了吗？
mandal_url = "https://core.ap.gov.in/CMDashBoard/UserInterface/eAgriculture/eAgricultureVillagewise.aspx?mandal=Agali&district=Anantapuramu"
r = requests.get(mandal_url, verify=False).content
soup = bs4.BeautifulSoup(r, 'lxml')
df
浏览 0提问于2019-09-23得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
