Python Web抓取:如何获取内部站点的HTML
Python Web抓取是指使用Python编程语言来获取内部站点的HTML内容。通过Web抓取，我们可以获取网页的源代码，进而进行数据分析、信息提取、爬虫等操作。
Python提供了多个库和工具来实现Web抓取，其中最常用的是requests和BeautifulSoup库。下面是一个完善且全面的答案：
概念： Python Web抓取是指使用Python编程语言来获取内部站点的HTML内容。通过发送HTTP请求，获取网页的源代码，进而进行数据分析、信息提取、爬虫等操作。
分类： Python Web抓取可以分为两种方式：基于HTTP请求的抓取和基于浏览器的抓取。
- 基于HTTP请求的抓取：使用Python的requests库发送HTTP请求，获取网页的源代码。这种方式简单高效，适用于大多数情况。
- 基于浏览器的抓取：使用Python的Selenium库模拟浏览器行为，获取网页的源代码。这种方式可以处理一些需要JavaScript渲染的网页，但相对于基于HTTP请求的抓取，速度较慢。
优势： Python Web抓取具有以下优势：
- 简单易用：Python语言简洁易懂，上手快，适合初学者。
- 强大的库支持：Python拥有丰富的第三方库和工具，如requests、BeautifulSoup、Scrapy等，可以方便地进行Web抓取。
- 处理HTML和XML：Python的库可以轻松处理HTML和XML格式的数据，方便进行数据提取和处理。
- 可扩展性：Python可以与其他技术和工具结合使用，如数据库、机器学习等，提供更多的功能和应用。
应用场景： Python Web抓取广泛应用于以下场景：
- 数据采集：通过抓取网页数据，获取需要的信息，如新闻、商品价格、股票数据等。
- 网络爬虫：通过抓取网页数据，自动化地获取大量信息，如搜索引擎的索引、社交媒体的数据等。
- 数据分析：通过抓取网页数据，进行数据清洗、处理和分析，得出有价值的结论。
- 监控和测试：通过抓取网页数据，监控网站的状态和性能，进行网站质量测试。
推荐的腾讯云相关产品和产品介绍链接地址： 腾讯云提供了多个与Web抓取相关的产品和服务，如云服务器、云数据库、云函数等。以下是一些推荐的腾讯云产品和产品介绍链接地址：
- 云服务器（ECS）：提供弹性计算能力，适用于搭建Web抓取的环境。产品介绍链接：https://cloud.tencent.com/product/cvm
- 云数据库MySQL版（CDB）：提供高性能、可扩展的MySQL数据库服务，适用于存储和管理抓取的数据。产品介绍链接：https://cloud.tencent.com/product/cdb_mysql
- 云函数（SCF）：提供事件驱动的无服务器计算服务，适用于处理和分析抓取的数据。产品介绍链接：https://cloud.tencent.com/product/scf
请注意，以上链接仅供参考，具体选择产品和服务应根据实际需求进行评估和决策。
相关·内容
2回答
我开发了一个web应用程序，它使用RangeNode.js/Express.js和MySQL开发。我的应用程序有一些页面，在从另一个web应用程序example: https://www.example.com获取数据后显示数据。由于另一个应用程序没有从哪里获取数据的API，所以在Python的帮助下，我使用了web 抓取，而则从站点中抓取数据。我用Node.js调用我的Python程序。
我想问的是，这是一个机器人之间的连接，它发送请求到目标站点是否安全？selenium自动浏览器是否向站点发送加密连接？或者，我是否必须连接到代理来保护我的连接。我不想泄露我服务器的IP。
任何帮助都将不胜感
浏览 4提问于2021-05-31得票数 1
回答已采纳
2回答
我基本上试图得到与下面的代码相同的结果，但使用了多进程。下面的代码是一个基本的网络爬虫，它打印给定网站内的所有URL。我希望能够检查新的网址从多个网站一次使用多个进程。我有一个单独的web抓取脚本，它使用pools和apply_async一次抓取多个站点，但我从URL的静态列表开始。然后我有这个脚本，它一次迭代一个站点，以获得一个非重复URL的完整列表。不过，我想不出怎么才能两全其美。因为我的URL列表不是静态的(它是随着新的URL被添加到其中的)，所以我不知道如何遍历它并使用apply_async返回结果。
我已经读过了，我觉得队列可能是解决方案的关键，但我已经尝试了所有方法，但都不能正常工
浏览 0提问于2014-02-13得票数 0
我正在使用Python中的Selenium webdriver进行web抓取项目。
如何打印selenium.WebElement的HTML文本？
我打算使用BeautifulSoup来解析HTML以提取感兴趣的数据。
谢谢
浏览 19提问于2011-11-30得票数 5
回答已采纳
我正在使用Access VBA做一些网络抓取。
在大多数地方，它可以很好地抓取表列，但我发现，当存在字符串时，例如
Mon&day，它实际上返回Mon&day。
我正在使用IE对象进行web抓取。
Set ie = CreateObject("InternetExplorer.Application")
对于我正在做的单个细胞的抓取：
tdRow(subCounter).innerHTML
我知道&是HTML中的一个特殊字符，这可能就是发生这种情况的原因。是否有一种方法可以返回HTML，而不是让VBA进行进一步的解析？
浏览 2提问于2019-12-29得票数 1
回答已采纳
1回答
我想制作一个能与Symbolab交互的python。这是一个。我尝试使用请求库和HCTI库示例将页面呈现为图像。每当我这样做时，页面就会松开它的格式。我对网络抓取是新的，但我想这是由于css没有呈现，因为我只是抓住了html。我有没有办法保存像Symbolab这样的站点的图像文件，使页面呈现为web浏览器(所有方程都是可读的，等等)？
浏览 4提问于2022-04-28得票数 -1
3回答
如何检测这两个URL驱动到相同的站点(所以它们是相同的URL)而不必使用web抓取来读取内容？
例如:我需要检查(使用GET请求)
两个url都是同一个站点，但我如何检测？
我更喜欢Ruby或Python，但我可以使用任何语言。
编辑：
另一个像 & 这样的案例。这个网站有一些随机横幅，当重新加载时会改变，所以HTML --它与每次重新加载不一样。
谢谢!
浏览 3提问于2014-06-20得票数 1
回答已采纳
2回答
我有一个有许多用户的应用程序，其中一些用户在外部网站上有一个我想要抓取的数据的帐户。
此外部网站有一个由电子邮件/密码表单保护的成员区域。这会在提交时设置一些cookie(几个ASP )。然后，您可以打开所需的页面并获取外部站点为刚登录的用户保存的数据。
外部站点没有API。
我设想我的应用程序要求用户提供外部站点的凭据，代表他们登录并获取我们想要的数据。
我该如何在Python中实现这一点呢?也就是说，我是否需要在Python提供的服务器上运行GUI web浏览器来处理cookie(我不希望这样做)？
浏览 2提问于2015-05-05得票数 0
您好，感谢您的帮助， 我一直使用Python和Newspaper3k来抓取网站，但我注意到有些函数是...well的……不起作用。特别是，我只能抓取大约1/10甚至更少的站点的HTML这篇文章。下面是我的代码： from newspaper import Article
url = pageurl.com
article = Article(url, keep_article_html = True, language ='en')
article.download()
article.parse()
print(article.title + "\n" +
浏览 61提问于2020-07-17得票数 1
回答已采纳
2回答
抓取javascript网站
、、、、
我能够从基本的html页面中抓取数据，但是我在从下面的站点抓取数据时遇到了麻烦。看起来数据是通过javascript提供的，我不知道如何处理这个问题。如果可能的话，我更愿意使用R来抓取，但也可以使用Python。
有什么想法/建议吗？
编辑:我需要抓取年度/制造商/型号，S/N，价格，位置，和简短的描述(以“拍卖：”开头)的每一个上市。
浏览 1提问于2014-03-05得票数 6
回答已采纳
2回答
我目前正在使用PHP与CURL和简单的HTML DOM分析器进行HTML抓取。我需要刮大量的内容，它需要存储。我使用PHP作为我的主要语言，使用MySQL作为存储DB，但是我对任何语言的选项都感兴趣，并且可以将它集成到我的工作流中。
还有其他的HTML抓取包我应该调查吗？我听说过基于Python的名为“Scrapy”和“Beautiful”的web抓取库。
非常感谢你的建议。)
浏览 0提问于2014-03-05得票数 0
回答已采纳
1回答
因此，我试图读取一个HTML文件的内容，从一个特定的网站上抓取一些元数据。
然而，我遇到的问题是，使用cocoa调用执行objective中的HTTP请求将给我一个不同的HTML文件，而当我通过web浏览器或实现的python调用执行调用时。
这很烦人的原因是，我正在抓取在每个请求中生成的密钥。当我通过可可而不是从python库或浏览器执行请求时，这个站点似乎知道了。
有人能解释一下这件事吗？
下面是我执行的以下python代码：
self.url = 'http://sample-site.com/1?ax=1ts=123123.12'
request = urllib2.R
浏览 2提问于2011-03-20得票数 1
1回答
内部跟踪事务Python
、、、
我一直试图找出使用python获取网络内部/跟踪事务的最佳方法。
我在论坛上读过其他主题，其中说这些内容没有记录在区块链上，所以web3.py不是一个选项，您必须使用一种专门的EVM来使用契约来模拟给定的事务，我试图避免这种情况，因为在python上似乎很复杂.
我正在考虑使用以太扫描站点内部交易净额，我可能会使用漂亮的汤进行网络抓取，但我不知道是否有人知道一个更好的方法，它可以使用基于python的api来实现这个功能(包含一个散列，返回内部事务)，它可以与以太扫描/愤怒交互.
浏览 0提问于2020-02-28得票数 3
回答已采纳
2回答
我正在用Python开发一个web抓取工具，我需要深入了解某些站点上各种HTML标签的功能。不幸的是，Chrome、Firefox和Safari提供的“视图源”不能输出格式化良好的HTML源代码--它倾向于在同一行中放置大量的标签。浏览器是否提供了一些插件，可以让事情变得更清晰一些，或者我是否需要在Python中获得/开发某种工具，将肮脏的HTML作为输入并输出干净格式化的HTML？
浏览 1提问于2013-01-29得票数 3
1回答
我正在尝试抓取olx.in站点http://www.olx.in/newdelhi/bmw/，我已经将这个URL设置为start_url。
现在要转到下一页，因为它不是普通的HTML，但是它是动态的，所以在network中，我看到next按钮用POST方法创建了一个XHR请求。现在我必须用请求方法来模拟它(我猜.)但我不知道它的参数是什么。
我对python和web抓取非常抱歉，如果它太笼统，但任何帮助都将不胜感激。
浏览 4提问于2016-01-12得票数 1
回答已采纳
我正在制作python脚本，它从在线站点获取文本数据。这是一个简单的web抓取脚本，语言只是python。我不使用硒，只使用漂亮的汤。而且我可以从<p>或<div>，甚至<h>和<a>中抓取文本，但是当我试图从<td>获取文本时，代码不起作用。下面我分享了我的代码。
from threading import Thread
from bs4 import BeautifulSoup
from lxml import etree
detailPage = requests
浏览 5提问于2021-07-16得票数 1
回答已采纳
2回答
我正在尝试使用python 从这个站点抓取数据
我读了一些解释，但我仍然对请求头感到困惑。通过DOT#或公司名称抓取上述站点/搜索的python代码是什么？
谢谢。
浏览 20提问于2018-09-01得票数 0
回答已采纳
1回答
真的需要这个社区的帮助！
我正在使用Selenium和Beautiful Soup在Python中对动态内容进行web抓取。问题是，即使使用以下代码，也无法将定价数据表解析为Python：
html=browser.execute_script('return document.body.innerHTML')
sel_soup=BeautifulSoup(html, 'html.parser')
然而，我后来发现，如果我在使用上面的代码之前单击WebPage上的“查看所有价格”按钮，我可以将该数据表解析为python。
我的问题是，我如何解析和访问我的py
浏览 15提问于2018-02-14得票数 2
1回答
从网络抓取开始
、、
首先，我想让您知道，我对html和css非常陌生，目前我还不知道如何使用Java脚本。我在看关于如何制作网络刮刀的视频，我有一些问题：
我看到了很多教程在python中进行web抓取，因为我非常了解python，所以我问自己，什么更适合web抓取？Python还是Java脚本，我应该使用哪一个？我可以将python程序与html连接起来吗？
我需要使用网站抓取一个网站，我正在尝试做一些事情，从其他网站获取特定的数据，然后显示在我的网站上，这样人们就可以看到他们。你对如何开始有什么建议吗？
请注意，我不是太好的英语，没有教程或视频的网页刮我的语言和借口在这篇文章的错误。
浏览 1提问于2019-12-31得票数 0
回答已采纳
我正在创建webscraper，它将从这个网站中动态地生成玩家数据。
我想要创建一个循环，它将从下拉菜单中为播放器生成数据，刮取数据，然后循环遍历下拉菜单中的所有播放器列表。
我很好奇是否使用selenium与站点交互是最好的方法。但我也注意到，每个播放器的URL都遵循特定的模式，所以我考虑了抓取初始页面来收集我需要的所有数据，然后使用这些数据构造URL列表，然后循环遍历URL列表并将它们作为静态页面处理。
是否有为这种特定类型的web抓取构建的python工具？
浏览 6提问于2020-03-18得票数 1
回答已采纳
3回答
我正在尝试使用python请求库来抓取网页。但我无法下载完整的html源代码。当我使用我的web浏览器检查元素时，它给出了完整的html，我相信它可以用于抓取，但当我使用python请求库访问这个url时，那些包含数据的html标记就消失了，我无法从这些标记中抓取数据。下面是我的示例代码：
import requests
from bs4 import BeautifulSoup as BS
import urllib
import http.client
url = 'https://www.udemy.com/topic/financial-analysis/?lang=en&#
浏览 5提问于2019-07-30得票数 1
我正在创建一个依赖于地址的工具。出于测试的目的，我想创建大量有效的美国地址。我有，我想为美国大约41,000个邮政编码中的每个邮政编码生成一些真实地址。
我找到了像和这样的网站，它们声称可以生成随机的、有效的美国地址。这些站点是如何工作的？我怎样才能在不依赖抓取这些网站的情况下做同样的事情？
理想情况下，我希望能够用Python语言完成这项工作；利用web服务就可以了( FakeAddressGenerator或FakeName似乎都没有提供这样的web服务)。
谢谢!
浏览 0提问于2018-04-04得票数 5
回答已采纳
1回答
我正在编写一个python应用程序，它可以从我制作的web应用程序中抓取传感器数据。我想使用lxml从HTML中收集某些span元素，这些元素通过JQuery脚本定期更新。似乎lxml没有获取使用JQuery更新的文本，因为我只检索加载原始HTML的空字符串。JQuery的值是在查看网页时反映出来的，而不是在web抓取工具上。如何才能始终如一地检索使用JQuery更新的数据？
HTML
<!--Blower Speed Well -->
<div class = "col-xs-4">
浏览 8提问于2016-07-06得票数 0
回答已采纳
我正在尝试重建一个简单的c#时间工具，它显示关于web工作时间的某些统计信息，但是，我没有访问服务器的权限，所以我不能使用像PHP这样的服务器代码，如果可以的话，我会这样做，而这一任务将是一件轻而易举的事情。
员工的工作信息存储在内部网站点上，C#工具可以通过抓取该站点并获取所需内容来访问该站点。我如何做到这一点(刮取内部网站点)而不使用服务器代码，而只使用客户端的东西，如HTML、JavaScrit/jQuery？
编辑:忘了提到Windows机器没有安装.net
浏览 0提问于2013-09-06得票数 0
我目前正在学习网络抓取，我在漂亮的soap模块中遇到了一个问题。我运行了以下代码：
import requests, bs4
res = requests.get('http://www.weather.gov/')
res.raise_for_status()
soup = bs4.BeautifulSoup(res.text, "html.parser")
comicElem = soup.find('#topnews p')
print (len(comicElem))
当我运行时，它会显示结果，但也会显示标记和它在哪个元素中。比如：
浏览 5提问于2016-04-17得票数 0
回答已采纳
2回答
我是Python的新手，所以很抱歉这是一个新手问题。
我正在尝试构建一个涉及web抓取的程序，我注意到Python3的web抓取模块似乎比Python2.x系列少得多。
美汤、机械化和scrapy -这三个模块向我推荐--似乎都是不兼容的。
我想知道这个论坛上有没有人有使用python3进行网络抓取的好选择。
任何建议都将不胜感激。
谢谢，威尔
浏览 1提问于2011-08-11得票数 5
10回答
我找不到任何好的基于Java的web抓取API。我需要抓取的站点也不提供任何API；我想使用一些pageID遍历所有网页，并在它们的DOM树中提取HTML标题/其他内容。
除了网络抓取之外，还有其他方法吗？
浏览 1提问于2010-07-08得票数 72
回答已采纳
我正在尝试使用Python和Beautifulsoup来抓取一个站点，但是这个站点需要很长时间才能加载，而且抓取速度很快，并且不能完全恢复。我想知道如何等待5秒才能使用Beautifulsoup检索源代码。
我认为密码是这样的：
from urllib.request import Request, urlopen
from bs4 import BeautifulSoup
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
url = 'https://www.edocente
浏览 9提问于2022-02-09得票数 0
我在我的服务器上安装了一个PHP站点，上面也安装了mod_wsgi +Python2.5。
有时我会被要求提供整个站点的压缩文件，我希望使用Python而不是PHP来完成这项工作。
我能做的最简单的配置是什么，这样我的python脚本就可以通过web访问，这样它就可以wget和抓取我站点的静态文件，将我的媒体( css，js )目录添加到压缩包中，并提供该压缩包供下载？
浏览 3提问于2010-06-23得票数 0
回答已采纳
2回答
我目前正在使用Selenium和PhantomJS与Python一起抓取呈现的网页。很容易检查HTML内容中是否存在某个单词(例如。)，但是我有兴趣在页面中搜索包含值大于或等于某个值的if "example" in html属性的元素。
例如，最理想的做法是抓取一个站点列表，并保存具有CSS为元素提供z索引的页面，这个值异常大。所有内容都是构建的，除了呈现的页面的CSS爬行功能。有人对此有什么建议吗？
浏览 8提问于2015-01-06得票数 0
回答已采纳
页面源
<html>
<title>Example Web</title>
<script>
$(document).ready(function(){
document.getElementById('output').value = "Hi There""
}
)
</script>
<body>
<div id='output'></div>
</body>
</html>
正如预期的那样，Page加
浏览 4提问于2014-05-19得票数 0
回答已采纳
1回答
我该如何为谷歌chrome扩展网站编写一个爬虫呢？
我正在做一些关于chrome扩展的安全研究。每个类别大约有100个扩展，我现在遇到的问题是编写一个爬虫来至少抓取UID。这个网站似乎是用javascript更新的。如果我抓取html，我将什么也得不到，因为该站点似乎会在稍后阶段加载页面的其余部分。换句话说，我需要的核心内容(即包含所有扩展元素的DOM )似乎是在我使用python抓取HTML之后加载的。有什么想法吗？
浏览 2提问于2012-04-21得票数 1
回答已采纳
试图摆弄现场的刮擦。我使用的例子是这个站点：
目的是利用数据帮助冰球、游泳池等
现在，当我做一个简单的抓取时，例如：
var data = UrlFetchApp.fetch('http://www.oddsshark.com/nhl/computer-picks');
Logger.log(data.getBlob().getDataAsString());
身体里的数据都没有出现。我认为这是因为数据是通过javascript从某个地方检索的，但就理解web开发而言，这是我的最后一步。我想如果是这样的话，有两部分，
如何才能看到在HTML中获取数据的位置
浏览 2提问于2016-12-10得票数 0
回答已采纳
我正在抓取web (使用Python请求和漂亮的汤)，我需要浏览项目列表中的所有页面，但我需要单击下一页，到目前为止，代码只返回代码中的第50行
import pandas as pd
import requests
from bs4 import BeautifulSoup
url = 'http://sistemas.anatel.gov.br/se/public/view/b/licenciamento'
antenas = requests.get(url)
if antenas.status_code == 200:
print('Requisição be
浏览 2提问于2021-02-23得票数 0
3回答
我是网络抓取的新手，并试图抓取以下网站：
我正在尝试使用python进行抓取。我已经尝试了请求，PhantomJS，selenium chromedriver来获取html。但是我得到的html与我在使用google chrome进行检查时看到的html不匹配。
我对抓取非常陌生，对html的了解很少，对JavaScript几乎一无所知。我的主要难题是获得我在google chrome中看到的html，这样我就可以开始抓取了。
提前感谢！
浏览 30提问于2018-02-01得票数 0
4回答
我有一个报告，当前我允许用户在提供报告参数(日期范围、过滤器等)时选择输出选项(HTML或PDF)。
我想更改报表，使其始终执行HTML，并在呈现的HTML页面上放置一个链接，以便用户可以在需要时抓取PDF。
如何修改我的IIS6/IIS7配置、用户权限等，以允许我的站点将PDF写入文件系统？任何C#代码都会受到欢迎。
我计划创建具有随机文件名的PDF，并添加一个进程来清理旧的PDF，这样我就不会有磁盘空间问题。这是一个很少使用的web应用程序，所以我不担心有很多旧的PDF文件挂在周围。
浏览 1提问于2009-03-26得票数 2
回答已采纳
2回答
我抓取了一些页面，这些页面检查我的IP是否是vpn或代理(假IP)如果发现是假的站点正在阻止我的请求请看是否有方法可以每x次使用真实IP更改我的IP而无需使用vpn或代理或重启路由器注:我正在使用Python脚本进行此过程
浏览 26提问于2021-11-16得票数 0
我现在正在学习Go自己，并且被困在获取和解析HTML/XML中。在Python中，我通常在进行web抓取时编写以下代码：
from urllib.request import urlopen, Request
url = "http://stackoverflow.com/"
req = Request(url)
html = urlopen(req).read()
，然后我可以以string或bytes的形式获得原始的HTML/XML，然后继续使用它。在围棋中，我该如何应对呢？我希望得到的是原始的HTML数据，这些数据存储在string或[]byte中(虽然可以很容易地转换，
浏览 5提问于2013-09-03得票数 0
回答已采纳
我正在学习使用Python Selenium和BeautifulSoup进行web抓取。目前，我正在尝试抓取谷歌搜索趋势上的热门搜索
这是我当前的代码。然而，我意识到完整的html没有下载，我只有最近几个日期的内容。我能做些什么来纠正这个问题？
from selenium import webdriver
from bs4 import BeautifulSoup
googleURL = "http://www.google.com/trends/hottrends#pn=p5"
browser = webdriver.Firefox()
browser.get(googl
浏览 1提问于2013-05-17得票数 15
1回答
我一直在评估网络抓取的科学。我使用的框架是Python/Scrapy。我相信可能还有更多。我的问题更多地围绕着基础知识。假设我必须抓取新闻内容。因此，我抓取一个页面，然后编写选择器来提取内容、图像、作者、发布日期、子描述、评论等。
问题是，我如何优化它，使其可扩展到大量数据源。例如，可能有数千个新闻站点，每个站点都有自己的html/页面结构，因此我不可避免地需要为每个站点编写一个抓取逻辑。虽然这是可能的，但这将需要一个庞大的资源团队，花费大量的时间来创建和更新这些爬虫/抓取器。
有什么简单的方法可以做到这一点吗？我能以某种方式简化为每个数据源(网站)创建不同的抓取器的过程吗？
像recorde
浏览 2提问于2014-09-19得票数 2
2回答
我正在制作一个Django页面，它有一个侧边栏，其中包含一些从外部网站加载的信息(例如，公交车到达时间)。
我是web开发的新手，我认识到这是一个瓶颈。实际上，在从其他站点加载数据时，页面会挂起不到一秒。在获得此信息之前，它不会显示任何内容，因为在将数据烘焙到html之前，它会运行python脚本来获取数据。
理想情况下，它会显示直接从我的web服务器加载的大部分页面，然后有一个小的“加载”gif或其他东西，直到它真正设法在显示之前抓取数据。
我如何才能做到这一点？我想javascript会有用吧？我如何让它与我现有的轮询器脚本集成？
浏览 1提问于2012-04-17得票数 1
我是一个Python程序员，专门从事web抓取，我不得不问这个问题，因为我发现没有任何相关的东西。
我想知道Python有哪些流行的、文档齐全的框架可以用来抓取纯Javascript站点？目前我知道Mechanize和Beautiful Soup，但它们不与Javascript交互，所以我在寻找不同的东西。我更喜欢像机械化那样优雅和简单的东西。
我做了一些研究，到目前为止，我听说过Selenium、Selenium 2和Windmill。
现在我正试着在这三个中选择一个，我不知道还有其他的。
那么，谁能指出这些框架的特点以及它们的不同之处？我听说Selenium使用一个单独的服务器来完成它的所
浏览 5提问于2011-06-12得票数 2
我已经学会了如何使用python进行网络抓取并创建react应用程序，我想知道如果我想用python在web上刮擦数据，如果可能的话，会以什么样的方式在一个react应用程序上显示这些数据呢？
浏览 16提问于2022-07-13得票数 0
回答已采纳
下面是我的python3脚本：
import bs4, requests
def getCompAddress(https://www.google.com/search):
res = requests.get(https://www.google.com/search)
res.raise_for_status()
soup = bs4.BeautifulSoup(res.text, 'html.parser')
elems = soup.select('#rhs_block.LrzXr')
prin
浏览 0提问于2018-07-09得票数 0
我用nutch 1.4抓取一个站点，我知道nutch不会抓取这个站点中的所有链接。我没有过滤器，也没有爬行的限制规则。例如，nutch从不抓取此链接：
/سوء-استفاده-از-نام-كمیته-امداد-برای-جمع-آوری-رای-در-مناطق-محروم/سياسي/
如果我把这个链接给nutch抓取，nutch永远不会抓取这个链接。这个网站是波斯语，而不是英语。如何抓取此链接？
浏览 0提问于2012-01-31得票数 0
我是python web抓取的新手。我正在试着从一个文本文件上抓取表格。该文本文件是附件，我想把“使用收益”的表格刮成一个excel文件或至少一个文本文件。
我从一小部分代码开始，但不知道如何继续。
url_text = requests.get(text_file)
data = url_text.text
soup = BeautifulSoup(data, 'html.parser')
tables = soup.find('td')
tables1 = tables.find_all('td')
但tables1的返回值为none。有人能
浏览 1提问于2020-05-16得票数 0
2回答
第一步-温柔点！
我开始学习Python，并希望从网页()中的表中获取信息给熊猫。
我正在使用Google，从研究中我了解到这个过程与'web抓取‘有关，将HTML提交给.CSV。
欢迎任何想法。值得注意的是，由于工作的安全性，我无法下载更多的软件，这限制了我的工作。
谢谢。
浏览 9提问于2022-04-13得票数 -1
5回答
我的(Python) AppEngine程序从另一个站点获取网页并从中抓取数据--但似乎第三方站点阻止了来自Google App Engine的请求！--我可以从开发模式获取页面，但不能在部署时获取。
我可以通过使用某种类型的免费代理来解决这个问题吗？
我可以使用免费的代理来隐藏我正在向App Engine请求的事实吗？
如何查找/选择代理？--我需要什么？--我如何执行获取？
还有什么是我需要知道或注意的吗？
浏览 3提问于2010-01-12得票数 4
我有下面的代码，它适用于一些我尝试过抓取信息的站点，但是它不会在我尝试过的特定站点上工作，并且我得到了错误“基础连接被关闭:连接被意外关闭”。为什么这会在一些网站上起作用，而在其他网站上不起作用？例如，如果在siteA上使用，我将得到div“包装器”中的最后一个超链接。但在另一个网站上，我只是被关闭了连接。请帮帮忙。
Private Function getText() As String
Dim web = New HtmlWeb()
Dim html As HtmlDocument
html = web.load("http://some-website.
浏览 7提问于2014-05-23得票数 3
回答已采纳
1回答
您好，我在python3.4上使用漂亮的汤来解析html，但我似乎找不到正确的代码来正确显示这些html标签中的信息。我已经成功地解析并提取了来自其他站点的信息，但是由于某种原因，当我使用此代码完成显示内容的循环时，空方括号显示为[]，就好像没有信息一样。
web=requests.get('https://www.scutify.com/company.aspx?ticker=AAPL')
Info=web.content
Scutify=BeautifulSoup(Info,'html.parser')
price=Scutify.f
浏览 3提问于2015-07-25得票数 0
1回答
Webscrape w/o美汤
、、、、
一般来说，我对web scraping和python是个新手，但是我有点纠结于如何纠正我的函数。我的任务是抓取以特定字母开头的单词的站点，并返回匹配的单词列表，最好使用正则表达式。感谢您的时间，这是我到目前为止的代码。
import urllib
import re
def webscraping(website):
fhand = urllib.urlopen(website).read()
for line in fhand:
line = fhand.strip()
if line.startswith('h'):
浏览 0提问于2016-12-03得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
