使用selenium、bs4或请求从交互式图表中抓取数据
是一种常见的数据爬取技术，可以用于从网页中提取交互式图表中的数据。
- Selenium是一个自动化测试工具，可以模拟用户在浏览器中的操作，包括点击、输入等。通过使用Selenium，可以打开网页并与其进行交互，获取动态生成的图表数据。
- bs4（Beautiful Soup 4）是一个Python库，用于解析HTML和XML文档。它提供了一种简单而灵活的方式来遍历文档树，搜索特定的标签和提取数据。使用bs4，可以解析网页的HTML结构，定位到包含图表数据的标签，并提取出所需的数据。
- 请求库（如Python的requests库）可以发送HTTP请求并获取响应。通过发送HTTP请求，可以直接获取包含图表数据的API接口的响应，然后解析响应中的数据。
这种技术适用于需要从交互式图表中获取数据的场景，例如金融数据分析、市场研究、数据挖掘等。通过自动化地模拟用户操作或直接请求API接口，可以获取到最新的、实时更新的图表数据。
腾讯云提供了一系列与数据爬取和处理相关的产品和服务，以下是一些推荐的产品和对应的介绍链接：
- 腾讯云函数（Serverless）：https://cloud.tencent.com/product/scf 腾讯云函数是一种事件驱动的无服务器计算服务，可以按需运行代码片段。可以使用腾讯云函数来定时触发数据爬取任务，并将获取的数据进行处理和存储。
- 腾讯云数据库（TencentDB）：https://cloud.tencent.com/product/cdb 腾讯云数据库是一种高性能、可扩展的云数据库服务，支持多种数据库引擎。可以使用腾讯云数据库来存储和管理爬取到的数据。
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos 腾讯云对象存储是一种安全、高可靠、低成本的云存储服务，适用于存储和管理大量的非结构化数据。可以使用腾讯云对象存储来存储爬取到的数据文件。
请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求和项目要求进行评估。
相关·内容
我想从这个页面上的图表中抓取数据：http://188.166.44.172/match/live-stats/100941310 我尝试了requests和bs4，但没有获得任何数据，我也尝试了selenium，但也没有数据。 下面是使用请求的代码： import requests
from bs4 import BeautifulSoup
headers = {'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:76.0) Gecko/20100101 Firefox/76.0'}
ses
浏览 29提问于2021-04-06得票数 3
回答已采纳
我刚用Python开始了几个web抓取项目。我目前使用lxml，Beautiful Soup和requests模块来抓取网页。我需要知道是否有任何方法可以只从网站获得我们需要的数据，而不是加载整个页面。requests模块执行GET请求并接收整个，bs4，lxml只过滤数据。我尝试过Selenium，但这也打开了浏览器，这不太适合工业项目。我对scrapy和splash一无所知。 我也不是在寻找API key方法，它并不适用于所有地方。
浏览 28提问于2021-11-13得票数 0
回答已采纳
1回答
我有使用C的经验，我开始接触Python，主要是为了好玩。我想在这里刮一下这个页面，。由于具有我感兴趣的内容的表是在连接到页面后动态创建的，所以我使用：
在browserBeautiful 4中加载页面，以抓取加载的数据
目前，我能够抓取前25个条目中所有感兴趣的字段，这些条目一旦连接到页面就会加载。我可以在一页中有多达100个条目，但总共有1045个条目，它们在不同的页面中被分割。问题是，对于所有页面，url都是相同的，并且表的内容在运行时被动态加载。我想要做的是找到一种方法，能够抓取所有的条目，也就是1045。通过互联网阅读，我知道我应该发送一个正确的帖子请求(我还发现他们从我的代码中检索
浏览 3提问于2020-11-12得票数 1
回答已采纳
我试图从kicksusa.com中抓取数据，但遇到了一些问题。
当我尝试一个基本的BS4方法时，像这样(导入是从使用所有这些的主程序复制/粘贴的)：
import requests
import csv
import io
import os
import re
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
from datetime import datetime
from
浏览 1提问于2019-03-10得票数 1
回答已采纳
1回答
我想问一下，在您看来，是否有可能用beautifulsoup4刮掉genius.com的评论。我问这个问题是因为当我用bs4抓取页面时，我找不到注释的部分，因为它们在一个可扩展的容器后面。如果我从浏览器中查看页面的html，即使我没有点击“展开”按钮，也可以看到注释，但是当我用bs4抓取时，我在html源代码中找不到它们。
我怎样才能解决这个问题？有一种方法可以用bs4刮掉评论吗？还是我应该用硒？(我想避免使用selenium，因为我必须刮掉很多数据，而且使用selenium，这可能太慢了)。
浏览 2提问于2021-12-15得票数 -1
1回答
我想为我的大数据项目从Spotify图表中抓取数据，但是由于Spotify最近改变了，它不允许用户在不登录的情况下查看图表，我的python代码不像以前那样工作，因为会将我重定向到他们的主页，而不是我想要刮掉的数据的链接。有什么办法能解决这个问题吗，谢谢。这是我的python代码：
from bs4 import BeautifulSoup
import requests
import urllib.request
from selenium import webdriver
from webdriver_manager.firefox import G
浏览 9提问于2022-01-02得票数 2
1回答
我正在尝试使用BS4 + selenium学习web抓取。网站链接为
评论文本具有更大的跨度，单击该跨度时，使用AJAX将更多的文本加载到同一div中。
但是我的代码在selenium单击More按钮之前输出了评论文本。
如何使用selenium等待抓取更多按钮
from selenium import webdriver
from bs4 import BeautifulSoup
def openUrl(link):
driver = webdriver.Firefox()
driver.get(link)
elem1 = driver.find_ele
浏览 4提问于2017-06-20得票数 0
我对R非常陌生，所以请原谅我的天真。我正在尝试使用R和Selenium从Fangraphs中抓取棒球数据。不幸的是，我想使用的图表是javascript，并且图表的备份数据是公开不可用的(或者我无法使用inspect找到它)。我正在尝试使用Selenium来抓取这些数据，但对代码并不熟悉。
我正在尝试从这个图表中提取数据，并使用循环迭代地提取不同的不同日期。
如果我能提供更多的信息，请告诉我。我真诚地感谢所有的帮助。感谢您的阅读！
浏览 3提问于2017-02-06得票数 1
回答已采纳
我试图刮网站，但我遇到了一个问题。当我试图抓取数据时，它看起来与我点击检查选项时看到的不同。我试图刮"“网站，以获得分行名称和地址的所有分行的银行。
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by i
浏览 2提问于2020-11-05得票数 0
回答已采纳
3回答
网络刮擦冠状病毒互动图
、、、、
我正在尝试抓取新冠肺炎的相关数据。我可以从网站上下载一些数据，例如，病例总数，但不能从交互式图表中下载数据。
我通常通过在inspect element页面的'network‘中查找源代码来获取json的交互图。然而，我找不到交互式图形的“网络”来抓取。
有没有人可以帮我从“总死亡人数”图中抓取数据？或者来自网站的任何其他图表。谢谢。
只是想说清楚。我不想从国家/地区表中抓取数据。我已经这么做了。我想做的是从图表中获取数据。例如，死亡比率图与日期或活动病例与时间日期图中的数据。
谢谢
import requests
import urllib.request
import time
i
浏览 2提问于2020-03-06得票数 0
我目前正在使用Selenium从一些网站抓取数据。与urllib不同，我似乎并不需要像BeautifulSoup这样的解析器来解析HTML。我可以简单地找到一个带有Selenium的元素，并使用Webelement.text来获取我需要的数据。正如我所看到的，有些人在web爬行中同时使用Selenium和BeautifulSoup。真的有必要吗？bs4可以提供哪些特殊特性来改进爬行过程？谢谢。
浏览 3提问于2017-04-02得票数 8
回答已采纳
有没有一种方法可以使用像bs4或请求这样的python库从图表中抓取数据？
我试图查看网站的源数据，但我看不到HTML中任何地方的数据点。
我看到了一个变量，当我在图表上移动鼠标时会发生变化，但我不知道它是如何工作的。
关于如何下载和保存这些数据点，有什么想法吗？
浏览 1提问于2021-06-23得票数 0
回答已采纳
我正在尝试使用Selenium或BeautifulSoup4从https://www.finishline.com中抓取数据。到目前为止，我还没有成功，所以我向Stackoverflow寻求帮助--希望有人知道如何绕过他们的抓取保护。 我试过使用Beautifulthon4和Selenium。下面是一些简单的例子。 在我的主程序中使用的常规导入： import requests
import csv
import io
import os
import re
from selenium import webdriver
from selenium.webdriver.common.keys
浏览 34提问于2019-04-12得票数 4
回答已采纳
1回答
我正在尝试用Python和Selenium从instagram上抓取点赞信息。 我有以下情况： ? 我想刮掉"63“这个数字。 我有以下源代码(带有inspect)。 ? 我多次尝试用selenium抓取数字"63“：按类名、按xpath…… 例如： Likes=browser.find_element_by_xpath("xpath").text 在本例中，我得到的结果是"None“。 对于其他尝试，我什么都没有，或者是“无”：我不能选择63。 我该如何处理selenium (我不想使用BS4)。
浏览 8提问于2020-04-19得票数 0
我正在尝试从High表中从以下URL中抓取数据：
下面的代码将从标签为(松散)的默认图表数据中获取数据，但我需要从图表上列出的其他项目中提取数据。(CIB，新的，分级，装箱，手册)。我真的被困住了，不知道如何从其他图表中获取信息。
下面是我的代码，它只适用于“松散”(默认选项)。
import time
import pandas as pd
from selenium.webdriver.chrome.service import Service
from selenium import webdriver
service = Service(executable_path="
浏览 5提问于2022-07-29得票数 0
回答已采纳
我是网络抓取的新手，我正在尝试使用BeautifulSoup从网站中提取链接和表格数据。但是，即使网页中有链接，它也会返回none。我可以通过在浏览器中查看网页来找到链接。 下面是我使用的代码 from bs4 import BeautifulSoup as soup
from selenium import webdriver
driver = webdriver.Chrome()
url = "http://www.ms2soft.com/tcds/?loc=Txdot&mod=tcds&local_id=57CC441"
driver.get(url)
浏览 23提问于2020-04-04得票数 0
1回答
使用随机选择器抓取表
、、、
我正在尝试从中抓取数据。我需要有结果按照他们的日期排序。但是当我仔细观察时，我发现它们没有通用的选择器，用来选择日期相同的行。
我试过在Selenium中使用bs4和xpath，但是什么都搞不懂。
是否有任何方法可以使用selenium或bs4来做到这一点。
浏览 0提问于2019-07-02得票数 0
我正试着从URL上盗取一张桌子 我可以使用Scrapestorm工具抓取表格数据。我是python的新手，不能从这个URL获取数据。 from bs4 import BeautifulSoup
page = requests.get('https://pantheon.world/explore/rankings?show=people&years=-3501,2020')
soup = BeautifulSoup(page.text) Excel中所需的输出： enter image description here 从网页上抓取表格数据和图片是可能的吗？
浏览 61提问于2020-12-23得票数 1
回答已采纳
目前，我正试图在整个网页中获取一些文本数据。一开始，我抓取所有的网页，然后慢慢地在网页中筛选，从每一页抓取我需要的数据。例如，由于动态ID的原因，我在抓取诸如平方英尺或邻居之类的项目时遇到了困难。我通过XPath或CSS选择器看到的许多例子都涉及到搜索文本，但在我试图抓取的每一页上都会发生变化。有什么办法能捕捉到这片土地或社区吗？
from bs4 import BeautifulSoup
from selenium import webdriver as wd
from selenium.common.exceptions import StaleElementReferenceExcep
浏览 3提问于2019-02-05得票数 0
1回答
我想用Python脚本将表中的数据保存到Excel文件中，这也不是问题。然而，该网站的源代码并不包含任何我想要的价值。如果我使用Chrome插件"DataMiner"，它可以读出数值。我如何在Python中实现这一点？在图片中，显示了我想要抓取的数据。不幸的是，这些数据并没有包含在源代码中。
from selenium import webdriver
import time
from bs4 import BeautifulSoup
import requests
url = 'https://herakles.webuntis.com/WebUntis/monit
浏览 6提问于2021-12-03得票数 0
2回答
我正试着从inc5000站点(“”)中抓取所有的公司名称。问题是公司名称是用JavaScript显示的。我尝试过使用selenium和requests_html来呈现站点，但是当我获取页面的源代码时，我得到了JavaScript。这就是我尝试过的。我对网络抓取很陌生，所以我可能犯了一些愚蠢的错误。请指导。
这是我的密码。
...
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.chrome.options import
浏览 2提问于2022-07-05得票数 0
回答已采纳
我正在刮这个网站：
我无法使用bs4或Selenium提取动态图表值。我可以得到html，但没有数据值。当我使用Selenium时，我可以捕获html，但不需要数据。有什么是我缺少的吗?还是一个更强大的工具，可以操纵动态的web？
页码？
浏览 3提问于2021-08-12得票数 2
回答已采纳
2回答
我正在尝试使用Python抓取这个网站：'‘。
首先，我注意到我感兴趣的表实际上位于这个url：
但是，requests + BS4只给了我HTML格式的页面源代码。我假设这是因为内容是动态的。
因此，我尝试了Selenium + BS4来抓取网站，但我仍然只能抓取页面源代码。
from selenium.webdriver import Firefox
from bs4 import BeautifulSoup
import lxml
driver = Firefox()
url = 'https://ec.europa.eu/assets/eac/msca/jobs/im
浏览 4提问于2020-02-02得票数 0
这是我第一次尝试在selenium和bs4中使用python。我正在尝试从这个website中抓取数据 首先，我从cantone下拉菜单中选择GE，单击复选框"Conffermo“和按钮"Ricerca”。然后我就可以看到数据了。我必须单击每个箭头来展开数据，并从每个人那里抓取数据(这是一个循环，不是吗)。然后在下一页上执行相同的操作(单击页面底部的"Affiggere le seguenti entrate“) 我想对数据使用相对xpath，因为不是所有人都有所有的数据(当数据丢失时，我想在excel中放一个空单元格) 这是我到目前为止的代码： import u
浏览 22提问于2019-01-18得票数 0
我正在尝试从网站抓取数据，但问题是，有更多的按钮来查看下50条记录，就像我不得不点击直到记录结束。
我只能取50个名字和地址。需要把所有的东西都取下来，直到负载更多。
对于动态单击按钮，我在python中使用selenium。
我想找出所有零售商的姓名、地址和联系方式。
我的尝试：
import time
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
url = "https://www.test.
浏览 1提问于2017-09-18得票数 1
回答已采纳
我正在尝试使用带有python的从BS4中抓取数据。我尝试过许多方法，但无法检索到任何信息。看起来这是API什么的直接响应。有人能帮我朝正确的方向走吗？
待收集的数据：
谢谢,
浏览 0提问于2018-10-29得票数 0
回答已采纳
1回答
我正在尝试从这个表URL：中抓取表数据
在之前的测试中，我使用了以下Python包:从bs4导入BeautifulSoup导入请求导入mysql.connector作为pd从sqlalchemy导入create_engine
但是这个url的HTML不包含表数据，而是从外部数据库中提取数据。
有人能告诉我用这种HTML设置使用python脚本来抓取表数据的正确方向吗？
我试着用我以前刮过的方法做一次盲刮。
from bs4 import BeautifulSoup
import requests
import mysql.connector
import pandas as pd
浏览 3提问于2022-04-02得票数 -1
回答已采纳
2回答
我正试图从的图表中抓取数据。我试着使用框中数据的各自xpath访问数据，但它似乎不起作用。
我试过使用Scrapy：
date = response.xpath('//*[@id="highcharts-0"]/div/span/b[1]').get()
market_value = response.xpath('//*[@id="highcharts-0"]/div/span/b[1]').get()
club = response.xpath('//*[@id="highcharts-0"]/div
浏览 10提问于2022-09-05得票数 0
我正在尝试从here获取‘销售历史’的数据。 因为数据来自JavaScript，所以我参考了这个link并尝试抓取数据。然而，当我运行下面的代码时，新窗口不能正确显示网页。 如果你能建议如何在这种情况下获得数据，我将不胜感激。 # import libraries
import urllib.request
from bs4 import BeautifulSoup
from selenium import webdriver
import time
import pandas as pd
# specify the url
urlpage = 'https://nonfungibl
浏览 18提问于2019-03-30得票数 0
回答已采纳
正如标题所示，我正在尝试从一个网站(使用Selenium的)抓取一些数据，但是我很难从Pro结果表中获取隐藏在每一行中的数据，即单击shows按钮(+)时显示的数据。
这是我的密码：
from bs4 import BeautifulSoup
from selenium import webdriver
# Set some Selenium Options
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox
浏览 10提问于2020-04-04得票数 1
回答已采纳
我正在抓取facebook页面数据，但要访问所有数据，我需要登录到我正在使用的帐户。
import wget
from bs4 import BeautifulSoup
url = "https://www.facebook.com/hellomeets/events"
down = wget.download(url)
f = open(down, 'r')
htmlText = "\n".join(f.readlines())
f.close()
print htmlText
如何登录账号，抓取页面的所有数据？
浏览 4提问于2015-06-17得票数 2
1回答
我想从这个网站上抓取表格，因为它每小时都在更新，所以我也想跟踪变化。我尝试过使用selenium抓取数据，但它们都在一个列中，没有任何表。如何使用pandas和Beautiful Soup以结构化的格式抓取表格并跟踪更改。这就是我想弄明白的代码。 import pandas as pd
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, "html.parser")
table = soup.find('table', attrs={'id':'subs noBorders
浏览 7提问于2020-09-23得票数 0
回答已采纳
2回答
单击两个按钮后的Web抓取
、、、、
我正在尝试通过单击2个单选按钮，然后从类似的列表中进行选择，从此网站中抓取数据
我需要对该列表中的所有可用选项执行此操作，并将表添加到数据框中。到目前为止，我尝试了以下操作，但未起作用
from bs4 import BeautifulSoup
pip install selenium
from selenium import webdriver
browser=webdriver.Chrome()
url = "http://rgphentableaux.hcp.ma/Default1/"
browser.get(url) #
浏览 0提问于2021-01-04得票数 1
1回答
web使用身份验证刮取动态表
、、、、
我对python和web抓取很陌生，我正在尝试刮一个使用JavaScript的网站。我已经通过Selenium成功地按顺序自动化了日志，但是当我试图发送API调用来获取数据时，我什么也得不到。我假设这是因为API调用需要某种身份验证。我怎么能熬过这一关？
这是我的密码：
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriver
浏览 1提问于2022-04-14得票数 2
我正在研究如何抓取Linkedin source (https://www.linkedin.com/mynetwork/invite-connect/connections/)，但似乎不可能使用无限滚动。如何应对？我不想使用Selenium (稍后我想实现为web服务)。 import bs4
from bs4 import BeautifulSoup
import requests
def scraping(webpage):
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X
浏览 27提问于2020-01-19得票数 1
回答已采纳
1回答
我正在尝试获取这个网页的内容：
我不能把它全部弄明白。许多元素是空的。我被告知是这样的，因为它是js代码，bs4不能读取js，我不得不使用selenium，但是我想用bs4来实现，而且我知道有一种方法可以这样做。我还被告知，是这样的，因为我没有在正确的iframe，但我似乎不是真的。例如，如果您检查列出的价格之一(例如，$2,200/mo)，您将看到它包含在ul列表中，并且列出的每一套公寓都是该列表的li元素。但是当我用bs擦拭页面时，这些li元素中的大多数似乎都是空的。另外，请记住，我是一个网络抓取和蟒蛇新手，所以请酷一点。谢谢!
下面是我用来获取页面html的代码：
self.respon
浏览 6提问于2022-03-13得票数 0
1回答
我已经尽我所能了，但我似乎不能从表中抓取数据。我已经在stackoverflow中搜索了答案，但似乎没有什么结果。从本质上讲，这个表是空的，或者我根本找不到表中的元素。我正在使用雅虎每日幻想网页上的一张桌子。 注意:当前使用的网址可能会每周更改一次，因此将来可能不是有效地址。 当前代码： from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.com
浏览 1提问于2019-09-29得票数 0
回答已采纳
1回答
我正在尝试使用python (请求和BeautifulSoup4库以及Selenium)来抓取数据。
当我试图从网站中获取一些数据时，数据在延迟后加载，它返回一个空值。我明白，对于这个任务，我必须使用WebDriverWait。
import requests
from bs4 import BeautifulSoup
# selenium imports
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import
浏览 0提问于2018-06-24得票数 2
回答已采纳
3回答
解决方案：这个特定站点的action是action="user/ajax/login"，因此为了实现有效负载，必须将其附加到主站点的url中。(action可以通过在ctrl + f中搜索action在Page Source中找到)。url是将要刮掉的东西。with requests.Session() as s:是在站点内部维护cookies的内容，这就是允许一致刮取的内容。res变量是将有效负载发布到登录url中的响应，允许用户从特定的帐户页面中刮取。在发布之后，请求将达到指定的url。在此基础上，BeautifulSoup现在可以从accounts站点中获取和解析HTML
浏览 6提问于2020-05-24得票数 0
回答已采纳
2回答
我正试着从高图表中抓取数据。我看了一下类似的问题，但不明白script_execute是如何工作的，也不知道如何使用浏览器检测js。以下是我的当前代码：
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
# Core settings
chrome_path = r"C:\Users\X\Y\chromedriver_win32\chromedriver.exe"
driver = webdriver.Chrome(chrome_path)
driver.implici
浏览 3提问于2017-10-20得票数 8
回答已采纳
3回答
我希望从这个站点的中抓取数据，并解析几个高图表表。我正在使用selenium单击一个链接，然后切换到图表。我转到这个站点，点击Artem Lobov行中的+420作为Pinnacle列。这将创建一个弹出图表。然后切换到活动元素。我想捕捉高图表的图表，以回应点击。
我使用selenium的方式如下：
actions = ActionChains(driver)
actions.move_to_element(driver.find_element_by_id(pin_id))
actions.click()
actions.perform()
time.sleep(3)
driver.switc
浏览 6提问于2017-05-01得票数 5
回答已采纳
我正在尝试使用selenium从一个网站上的反应图中抓取数据。我可以定位元素，但不能得到数据。我从该图表中需要的特定数据位于嵌套系列中：
"data":[{"name":"December 2019",
"....",
"coverage":107.9}
在元素<script id=react_5X8YGgN8H0GoMMQ4RLqjrQ </script>中
最后的结果应该如下所示，从data.name和data.coverage中提取：
mont
浏览 3提问于2021-02-05得票数 1
回答已采纳
我正在学习使用Python Selenium和BeautifulSoup进行web抓取。目前，我正在尝试抓取谷歌搜索趋势上的热门搜索
这是我当前的代码。然而，我意识到完整的html没有下载，我只有最近几个日期的内容。我能做些什么来纠正这个问题？
from selenium import webdriver
from bs4 import BeautifulSoup
googleURL = "http://www.google.com/trends/hottrends#pn=p5"
browser = webdriver.Firefox()
browser.get(googl
浏览 1提问于2013-05-17得票数 15
3回答
我试着用selenium抓取一个动态的，但是无法获得selenium的网站内容。
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from webdriver_manager.chrome import ChromeDriverManager
driver = webdriver.Chrome(ChromeDriverManager().install())
from bs4 import BeautifulSoup
import time
url = 'https://ww
浏览 2提问于2020-09-20得票数 1
1回答
我试图从Robintrack中抓取数据，但是，我无法从增加/减少部分获得数据。我只能抓取主页数据。这是我的汤 import bs4
import requests
from urllib.request import urlopen as uReq
from bs4 import BeautifulSoup as soup
robin_track_url= 'https://robintrack.net/popularity_changes?changeType=increases'
#r = requests.get('https://robintrack.net
浏览 18提问于2020-07-25得票数 0
回答已采纳
2回答
我正在做一个Python练习，它要求我通过网络抓取并打印到控制台，从Google新闻网站获得最重要的新闻。当我这样做的时候，我只是用美丽的汤库来检索新闻。这是我的密码：
import bs4
from bs4 import BeautifulSoup
import urllib.request
news_url = "https://news.google.com/news/rss";
URLObject = urllib.request.urlopen(news_url);
xml_page = URLObject.read();
URLObject.close();
s
浏览 2提问于2018-04-20得票数 0
回答已采纳
1回答
我试图通过编写一个web抓取python脚本并将其部署到Azure，从而自动从ASX ()网站提取数据到我的数据库中。当前，我拥有的脚本正在Visual代码中工作，但是当我试图在数据库中运行它时，它会崩溃，引发下面的错误。
Could not get version for google-chrome with the command: google-chrome --version || google-chrome-stable --version || google-chrome-beta --version || google-chrome-dev --version
我相信，我需要简化
浏览 4提问于2022-03-18得票数 -1
回答已采纳
1回答
从地下刮取历史气象资料
、、、
我对数据抓取很陌生，最近，我试图用python的selenium库从wunderground.com中抓取数据。但是，我发现，有时候selenium web驱动程序无法成功地打开网页，我认为这个问题可能与网站使用的JavaScript有关，但不确定哪些部分出错了。有人知道怎么解决吗？提前谢谢。
下面是正确显示的示例：
这里显示了问题所在：
我的代码在这里，这是一个非常简单的selenium调用。
import requests
from bs4 impor
浏览 5提问于2021-09-09得票数 2
回答已采纳
1回答
我正在尝试使用Python3将这个网站上的图表从web上抓取到一个.csv文件中：
图表的开头是这样的：
Tuesday, October 25
8:00 PM Knicks/Cavaliers TNT
10:30 PM Spurs/Warriors TNT
Wednesday, October 26
8:00 PM Thunder/Sixers ESPN
10:30 PM Rockets/Lakers ESPN
我正在使用这些包：
from bs4 import BeautifulSoup
import requests
import pandas as pd
import numpy as
浏览 13提问于2020-05-22得票数 1
回答已采纳
1回答
我在搜索框中创建了一个脚本，用于获取与此State Province不同的名称，将Country筛选为Alabama，将Country筛选为United States。脚本可以解析第一页中的名称。但是，我不知道如何使用请求从下一页获得结果。
有两个选项可以得到所有的名字。选项一:使用此show all 410和选项二:使用next button。
我尝试过(能够从第一页抓取名字)：
import re
import requests
from bs4 import BeautifulSoup
URL = "https://cci-online.org/CCI/Verify/CCI/C
浏览 2提问于2021-01-09得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
