bs4 python web抓取

文章/答案/技术大牛

发布

3回答

python、web-scraping、beautifulsoup

edgtf-pli-title entry-title" itemprop="name">from bs4我对抓取很陌生，所以请帮我一点忙，如果有什么好的api用来抓取wiki表，也推荐给我一个

浏览 29提问于2020-09-06得票数 0

2回答

Python web抓取返回错误

python、python-2.7、web-scraping

我目前正在学习Python，并尝试学习web抓取。我一直在使用我从一些教程中获得的示例代码，但我在查看的一个网站上遇到了问题。文档类型与我无法从文档中抓取有什么关系吗？

浏览 1提问于2013-10-18得票数 0

2回答

将数据从Tripadvisor导入Google电子表格或Excel

excel、web-scraping、import、tripadvisor

是否可以获取此数据的列表：阿姆斯特丹所有餐馆的名单。如果可能的话，还有详细的地址等等。非常感谢！

浏览 1提问于2020-09-17得票数 0

2回答

Visual Studio Python的美汤

visual-studio、beautifulsoup

我正在使用Python的Visual Studio。我想安装用于web抓取的Beatifulsoup。作为解释器安装的Python 3.4。from urllib.request import urlopenhtml = urlopen("http://www.pythonscra

浏览 21提问于2017-01-10得票数 0

1回答

从html页面不显示数据的url读取数据

beautifulsoup、python-3.5

main__': import requests from bs4

浏览 1提问于2020-02-05得票数 0

1回答

访问HTML注释中的标记

python、html、web-scraping、beautifulsoup

我已经通过BS4熟悉了使用Python进行web抓取的过程。我还没有找到嵌入在注释中的DOM标记的解决方案。</div><!</div> 我一直无法找到通过BS4访问它的方法。有办法绕道吗？谢谢。

浏览 0提问于2018-12-11得票数 0

回答已采纳

2回答

在云中运行Python代码的最简单方法

python、cloud

我有一些web抓取Python代码，使用下面的一些模块在网上或云上运行我的代码的最简单的方式或平台是什么？

浏览 0提问于2016-11-28得票数 1

1回答

使用python从文本文件中检索特定html标记之间的文本。

python、python-3.x

我浏览了人们之前在这个论坛上提出的这个问题。但是我找不到我的解决方案。所以，我真的为类似的问题道歉。我有一个文本文件，其中包含HTML标记和文本。我想检索特定HTML标记之间的文本。例如, "<span class="proflinkWrapper"><span class="proflinkPrefix">+</span><a class="proflink" href="https://xyzlink

浏览 1提问于2019-01-19得票数 1

1回答

beautifulSoup 4可以在python2.6上工作吗？

beautifulsoup、python-2.6

我正在尝试使用bs4做一个web抓取项目，但是在远程服务器上他们安装了Python2.6.6。 File "/home/infoforense/public_html/citius-scraping.py", line 16, in <module> Fil

浏览 26提问于2019-11-05得票数 0

1回答

‘无法导入'bs4’pylint‘- vs代码

python-3.x、visual-studio-code、beautifulsoup

我正在尝试使用Python (Python3)学习web抓取，但是我似乎无法导入任何包，特别是BeautifulSoup，我也尝试过导入openpyxl，但同样的错误也出现了。import openpyxl as xl from bs4 import BeautifulSoup 我的控制台立即闪烁，并显示以下错误： unable to import 'bs4' pyline(

浏览 42提问于2021-04-08得票数 0

2回答

如何在抓取web的同时创建日志文件(Python 3)？

python、python-3.x、logging、web-scraping、web-crawler

我刚接触Python，我发现在python中理解日志的整个概念真的很难。我目前正在使用Python3做这个web抓取项目。我使用了BeautifulSoup4来帮助我:下面是我写的代码：import urllib3 import urllib.requestweb = "https://docs.python.org/3/howto&#x

浏览 0提问于2017-04-22得票数 1

1回答

Selenium下载完整的html页面

python、selenium

我正在学习使用Python Selenium和BeautifulSoup进行web抓取。目前，我正在尝试抓取谷歌搜索趋势上的热门搜索from bs4 import BeautifulSoup googleURL = "http://www.google.com/trends

浏览 1提问于2013-05-17得票数 15

2回答

BS4返回[]而不是所需的HTML标记

python、html、parsing、beautifulsoup

我想要解析给定的网站并抓取表。在我看来，代码看起来是正确的。python和web解析新手from bs4 import BeautifulSoup response = requests.get('https://delhifightscorona.in

浏览 12提问于2020-11-15得票数 1

回答已采纳

1回答

将BeautifulSoup导入猴子运行程序

python、beautifulsoup、monkeyrunner

有没有一种方法可以将BeautifulSoup (或类似于web抓取的东西)导入到猴运行程序？在深入研究之后，我附加了BeautifulSoup路径名 sys.path.append("path/to/monkeyrunner但是，抱怨BeautifulSoup中的某些内容；请参见下面的内容： from bs4 import Bea

浏览 1提问于2015-03-19得票数 2

回答已采纳

2回答

使用python调度cronjob找不到模块bs4

python、cron、beautifulsoup

我写了一个脚本来抓取一些我想每10分钟运行一次的web数据。当我从命令行执行脚本时，它运行得很好，但是当我尝试每10分钟使用一个cronjob运行它时，我得到一个错误，因为它不能导入bs4‘。我得到了这个错误：我的crontab： */10 * * * * PYTHONPATH=/Library/Frameworks/Python.framework/Versions/2.7/lib/

浏览 0提问于2017-12-24得票数 2

1回答

Pycharm中未使用的import语句"import lxml“

python-3.x、pycharm、initialization

我的代码： import requestsimport lxml res = requests.get("https://en.wikipedia.org/wiki/Pacific_blue-eye我是python和web抓取的新手，所以如果我做了一些愚蠢的事情，请原谅我。提前谢谢。

浏览 235提问于2021-01-06得票数 1

回答已采纳

1回答

Web通过python抓取问题，不能读取html文件吗？

python-3.x、web-scraping、beautifulsoup

web抓取Python已经有一段时间了，最近我遇到了这个问题。BeautifulSoup似乎无法读取html文件。例如，我正试着从这个网站上抓取from bs4 import BeautifulSoupurl_episode = 'https://www.thetvdb.comurl_episode) soup = BeautifulSoup(getdetail_episode.content,'html.parse

浏览 1提问于2020-04-06得票数 0

1回答

Python3web抓取雅虎财务股票代码

python、python-3.x、web-scraping、stockquotes

这里是Python 3的代码，用于web抓取雅虎财务AAPL的股票价格。import urllib.requestTraceback (most recent call last): File "C:/<em

浏览 2提问于2014-01-02得票数 1

回答已采纳

1回答

用查克比实现BeautifulSoup到Android

python、android、beautifulsoup、chaquopy

目前，我正在使用Android和BeautifulSoup开发一个网络抓取应用程序。我如何实现？从bs4导入BeautifulSoup python { pip{

浏览 2提问于2021-12-03得票数 3

回答已采纳

4回答

如何在BS4中有效抓取多个URL

python、python-3.x、web-scraping、beautifulsoup

我正在尝试找到一种在BS4中抓取多个页面的有效方法。我能够轻松地抓取第一页，并获得我需要的所有数据，但不幸的是，并不是所有的数据都在上面。还有另外两个页面需要抓取，而不是硬编码并更改第二个和第三个页面的URL，我想知道是否有更好的方法使用BS4在Python中实现这一点。唯一需要更改的部分是page=1到相应的页码(1、2、3)。import csv from bs4 import BeautifulSoup url = "

浏览 0提问于2018-04-04得票数 0

点击加载更多