我尝试使用BeautifulSoup获取多个网站的股票代码。我尝试了下面的循环代码，但当我运行输出时，它只为一个网站提供了一个滚动条： url = ['https://finance.yahoo.com/quote/AAPL/key-statistics/',/finance.yahoo.com/quote/BOX/key-statistics/']
for pg
浏览 8提问于2019-02-22得票数 1
回答已采纳
我正在使用scrapy (网络爬行框架)。是否可以在网页中获取某个元素(包含"sometext")的xpath，以便提取具有类似xpath的元素？我不希望我的xpath被硬编码，因为我将爬行多个网站。
我刚开始刮擦，我已经找了好几天了，什么也找不到
浏览 2提问于2016-01-16得票数 0
回答已采纳
我在刮擦时得到属性错误from bs4 import BeautifulSoup
page = urllib2.urlopen(quote_page)
name_box = soup.find
浏览 2提问于2019-08-07得票数 0
1回答
我使用selenium +美汤(使用selenium打开包含大量javascript的页面，并使用javascript命令将其转换为BeautifulSoup对象)来从体育网站上抓取数据，但由于某些原因，我不能使用无头浏览器。当我使用chromedriver实现无头浏览器时，我几乎不会像让chromedriver打开并运行时那样抓取大量数据。有没有人有类似的问题，或者有什么建议？(site, 'html.parser
浏览 2提问于2020-05-09得票数 0
3回答
用python刮网站
、、、、
我试图在网上刮一个网站，以获取价格和标题从它。我已经看过多个教程和博客，最常见的库是漂亮汤和scrapy。如果有一种方法可以在不使用任何第三方库(如beautifulsoup和scrapy )的情况下抓取一个网站，那么就可以使用beautifulsoup。
浏览 1提问于2020-06-09得票数 1
回答已采纳
这是我之前关于如何使用python抓取网站的问题。我对此有一个后续问题但问题是，我已经开始运行脚本一个小时后，到现在我只得到了3000个网站的结果。所以，我想这需要很长的时间才能得到所有的一百万个网站
有没有人能建议一种更好的方法来完成同样的任务，并更快地取得结果
浏览 2提问于2020-02-01得票数 0
我正在尝试使用Python的BeautifulSoup从this网站上抓取网球比赛的结果。我尝试了很多东西，但我总是得到一个空的列表。我是不是犯了什么明显的错误？当我检查这个类时，它在网站上有多个实例，但它似乎没有找到它。import requests
url = 'https://www.flashscore.com/tennis/atp-singles&#
浏览 34提问于2020-09-17得票数 1
1回答
我正在寻求两方面的帮助：(1)抓取网页；(2)将被抓取的数据转化为熊猫的数据(主要是为了以.csv的形式输出，但现在仅仅创建一个熊猫df就足够了)。violations_serious_initial 主要依靠BeautifulSoup4通过将注意力集中在带有单个检查记录的页面版本上，我想也许我可以通过使
浏览 1提问于2020-01-24得票数 1
回答已采纳
2回答
我试着用漂亮的汤(bs4)抓取页面，但在抓取数据时遇到了问题，我甚至提到了标题，正如答案中指出的这是我的代码import requestsconnection without" response
我甚至尝试过使用用户代理
浏览 0提问于2018-05-24得票数 1
5回答
如何从其他网站获取数据？
、、、
我想创建一个网站，从其他网站提取信息，并将它们打印到我的网站上，我正在进行研究，所以我想听取一些意见，这个项目的最佳解决方案是什么？我听说Python使用解析器可以做到这一点，我只是想知道我应该走哪条路，应该使用哪种语言？
浏览 1提问于2013-06-14得票数 4
3回答
我试图从一个网站上抓取用户列表，但它有多个页面，我可以抓取第一个页面，但当我抓取每个页面时就卡住了。代码-import requests
for profile i
浏览 5提问于2018-01-09得票数 1
回答已采纳
我正在尝试运行一段代码，该代码将抓取以下网站： </style>
<meta content="text/html; charset=utf-8" http-equiv="Content-Type
浏览 2提问于2017-02-07得票数 1
回答已采纳
我的python代码成功地从https://www.groupeactual.eu/offre-emploi中抓取文本并将其保存到csv文件中。然而，在上面的网站上有多个页面可用，我希望能够在其中刮。例如，使用上面的url，当我单击指向"page 2“的链接时，整个url会发生变化，但当我在代码中使用该url时，我会得到来自page 1的结果。 如何更改我的代码以从所有列出的可用页面中抓取数据？我的代码： from bs4 import B
浏览 16提问于2020-07-17得票数 1
1回答
我需要在我的python代码中使用一个特定的网站(将英语翻译成我的语言)，而且我也不想在python中使用googletrans，这是大量的数据，所以我需要使用python来快速完成它，是否有任何引用或标题比我能读到的
浏览 3提问于2020-05-12得票数 1
回答已采纳
我试图制作一个脚本从不同的网站抓取一两篇文章(仅限于文章URL)，我制作了一个Python脚本，使用BeautifulSoup获取网站的HTML，通过它的类名查找网站的Navbar菜单，并在每个网站部分循环，问题是每个网站对于Navbar菜单和它的部分都有不同的类名或Xpath。有没有办法让脚本在尽可能少的人工干预下为多个网站工作？谢谢
浏览 1提问于2018-04-25得票数 0
回答已采纳
1回答
我想使用BeautifulSoup抓取这个website，首先提取每个链接，然后一个接一个地打开它们。一旦他们被打开，我想刮公司的名称，它的股票代码，股票交易和提取多个PDF链接时，他们是可用的。为了实现这一点，我首先尝试这样做： import requestsimport re url = base + link
浏览 18提问于2021-04-11得票数 0
回答已采纳
我正在使用Python3.5的BeautifulSoup，并且我试图抓取所有h-tags的网站(所以所有的h1、h2..等等)。我的问题是让程序在网站上打开其他链接来抓取它们的标签。因此，假设我有一个网站，它有一个导航菜单，其中包含一些链接，这些链接贯穿整个网站，并且都包含某种类型的h标记。我该如何抓取我所选网站上的所有内容呢？这是我到目前为止用来抓取特定url中的h1-tag的代码：
import
浏览 0提问于2016-04-19得票数 2
有没有办法使用BeautifulSoup来获取页面上的所有内容？
浏览 18提问于2018-08-24得票数 0
我对python很陌生，我正在尝试从一个网站的多个页面中抓取一张表。import pandas as pdfrom bs4 import BeautifulSoup
from tabulate import tabulate&page=1"
浏览 0提问于2019-01-06得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
