开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

当我使用beatifulsoup (python)请求HTML时，我得不到值

当您使用BeautifulSoup库进行HTML请求时，无法获取值可能是由于以下几个原因：

网络连接问题：请确保您的网络连接正常，可以尝试使用其他网络环境或者检查您的网络设置。
请求URL错误：请确认您传递给BeautifulSoup的URL是否正确，包括协议、域名、路径等。
请求被阻止：有些网站可能会对爬虫进行限制，您可以尝试添加请求头信息来模拟浏览器访问，例如User-Agent等。
HTML解析问题：BeautifulSoup是一个HTML解析库，如果您无法获取值，可能是因为HTML结构不正确或者您的选择器表达式有误。您可以使用BeautifulSoup提供的各种方法和选择器来定位和提取您需要的值。

以下是一些可能有用的链接和腾讯云产品推荐：

BeautifulSoup官方文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/
腾讯云云服务器（CVM）：腾讯云提供的云服务器产品，可用于搭建和运行各种应用程序。https://cloud.tencent.com/product/cvm
腾讯云内容分发网络（CDN）：腾讯云提供的全球加速服务，可将静态和动态内容分发到全球各地，提供更快的访问速度。https://cloud.tencent.com/product/cdn

请注意，以上链接仅作为参考，具体的产品选择和使用需根据您的实际需求和情况进行评估和决策。

相关搜索:当我使用python请求写入文件时，某些html标记丢失。当我使用这行代码时，为什么我得不到10的所有倍数？当我使用AngularJS运行$http POST请求时，我收到404错误当我尝试使用retrofit上传图像时，我得到空值当我在Python3.9中请求文档页面时，我发出了多少个http请求？为什么在使用授权密码和授权码请求令牌时，我得不到相同的声明？当我尝试使用Swagger在AngularJS上构建post请求时，我收到了错误的请求当我在子进程中使用Python -request时，我的python程序意外退出当我在HTML中使用变量内容时，它不会显示(来自Python、Flask)当我尝试使用或返回它时,我可以避免使用枚举值吗？当我使用Flask呈现一个模板时，为什么我的html代码没有输出变量的值？当我发送下面的http get请求时，我得到一个错误。我使用flutter 2.5 当我使用递归时，为什么我不能在类中使用obj返回值？我在使用BeautifulSoup获取html输入值时遇到了问题。当我必须向HTTP请求发送有效负载时，我应该使用PUT而不是DELETE吗？当我尝试使用python 3.9安装pygame时，我得到一个错误窗口如果我使用异步存储，为什么当我改变屏幕时，我的值被重置为0？当使用请求时，我得到的是html，但所有的[š，č，ž，..]字符已更改当我设置DEBUG=False时，Django给了我400个坏请求，我正在使用[docker，nginx，django，gunicorn]当我用React.js在Heroku中使用Axios执行GET请求时，我应该使用哪个基本url

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

windows下python常用库的安装

windows下python常用库的安装，前提安装了annaconda 的python开发环境。只要已经安装了anaconda，要安装别的库就很简单了。只要使用pip即可，正常安装好python，都会自带pip安装工具，在python的scripts安装目录下可以查看。具体安装步骤：使用Anaconda在windows下管理python开发环境 python常用库的安装是python爬虫开发的基石。

03

破解点评网字体反爬，深入挖掘系统背后的原理

从这里可以看到，网页上显示的文字和源码中显示的文字有些出入，并不是一一对应，那继续查看sources中的代码。

02

Python+urllib携带Cookie验证信息使用POST方式爬取网页数据

编写Python程序，使用标准库urllib+re采集“2024年普通高校招生专业（专业类）选考科目要求”中各高校选考科目要求。

04

★ Android基础篇 Android 数据存储与性能

最近到了一家公司，跟一个同事做项目，比如常规的一些操作用SharedPreferences就很好搞定，他跟我说SharedPreferences 会影响性能说了一堆… 难道别的存储方式就不耗费性能吗？不消耗内存吗？

02

爬一爬有道词典~

格式不调了，看原文：http://www.cnblogs.com/scios/p/8531201.html 网络爬虫，是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。但是当网络爬虫被滥用后，互联网上就出现太多同质的东西，原创得不到保护。于是，很多网站开始反网络爬虫,想方设法保护自己的内容。 ------摘自百度百科本文以有道翻译为例作为讲解，使用的 python 3.5.2 版本，涉及到反爬虫手段有 sign签名、时间戳，逆向解析 js 来确定签名算法。研究

08

学多线程的看过来，带你学习多线程中断机制

当我们点击某个杀毒软件的取消按钮来停止查杀病毒时，当我们在控制台敲入quit命令以结束某个后台服务时……都需要通过一个线程去取消另一个线程正在执行的任务。Java没有提供一种安全直接的方法来停止某个线程，但是Java提供了中断机制。

03

python爬虫实战项目之爬取豆瓣最受欢迎的250部电影

Python现在非常火，语法简单而且功能强大，很多同学都想学Python！所以小的给各位看官们准备了高价值Python学习视频教程及相关电子版书籍，欢迎前来领取！

01

如何爬取asp动态网页？搞定可恶的动态参数，这一文告诉你！

这个asp网站是我的学校的电费查询系统，需要学校的内网才能查询，所以这文说下思路和我遇到的一些坑。我搞这个网站主要是为了方便查电费而已，其实也方便不了多少。而且这个asp网站还不是很容易爬，因为里面有两个可变的参数，会根据页面来变化。好了，先看看页面

03

Python爬虫之Xpath学习问题解决用xpath方法爬取豆瓣图书top250分析总结

问题解决这是我昨天发的简书python爬虫之豆瓣音乐top250大牛们解决了一大部分的问题 1 MySQL报错问题字段长度设置太小，说着也很奇怪，我用的vachar(20)都说小了，哎，后面建表干

04

爬虫 | 时间日期获取

在爬虫中，我们在爬取某些网页时，需要的数据中有时间日期，静态的网页直接就可以爬取，但碰到动态加载的对应的时间可能就是 js 代码生成的，直接爬取得不到。小编给大家带来了两个例子来爬取对应的时间日期。

02

Golang-optimization「1」: 数组和切片

本系列的第一个部分，本文就来谈谈日常开发中几乎是最常用的，且在 Golang 中又有一定特殊性的数组和切片中有哪些值得注意的优化点

03

WPF/Silverlight中的Command

这里所讨论的Command就是设计模式中的Command模式：命令（Command）模式属于对象的行为模式【GOF95】。命令模式又称为行动（Action）模式或交易（Transaction）模式。命令模式把一个请求或者操作封装到一个对象中。命令模式允许系统使用不同的请求把客户端参数化，对请求排队或者记录请求日志，可以提供命令的撤销和恢复功能。在我们日常的应用程序操作中，经常要处理各种各样的命令和进行相关的事件处理，比如需要复制、粘贴文本框中的内容;上网查看网页时，可能需要返回上一网页查看相应内容;而当

05

Mac os 安装Python Pycharm 配置环境「建议收藏」

大家好，又见面了，我是你们的朋友全栈君。主要就是这三个库的安装

01

webapp开发实战_html5开发手机app实例

从事单页相关的开发一年有余，期间无比的推崇webapp的网站模式，也整理了很多移动开发的知识点，但是现在回过头来看，webapp究竟是好还是不好真是一言难尽哟！

02

webApp开发心得「建议收藏」

从事单页相关的开发一年有余，期间无比的推崇webapp的网站模式，也整理了很多移动开发的知识点，但是现在回过头来看，webapp究竟是好还是不好真是一言难尽哟！

04

jmeter参数化并在jenkins上执行

如果我想将接口用不同的账号，运行在不同的环境，那怎么弄?jmeter命令运行又不能传参数。又不太方便每次去手动改参数。我想到了两个办法，第一个是通过python，根据不同的参数，生成文件，然后jme

03

用23行代码爬取豆瓣音乐top250

豆瓣对于爬虫十分友好，而且豆瓣上面又有各种电影图书音乐等资源，是我们学习爬虫一个很不错的锻炼目标。基本上每个学习爬虫的人都会拿豆瓣来练练手。网上有各种爬取豆瓣电影top250的教程，虽然豆瓣音乐top250和豆瓣电影top250的爬取十分类似，但是我大致对比了一下，我这种方法应该是最简单的，仅需要23行代码。好吧，如果你有更简单的方法，欢迎给我评论留言交流交流，共同进步。抓取目标：豆瓣音乐top250的歌名、作者（专辑）、评分和歌曲链接使用工具：requests + lxml + xpath。我认为

05

使用Hystrix对微服务进行保护

在微服务实战这本书中提到过一个健康的微服务架构，一定是可伸缩的，弹性的。可伸缩的的无非是服务从单机变成了集群，可以根据服务的业务能力把控住服务分片的数量。自然可伸缩的也不是今天要讨论的重点，下一个弹性的才是今天要Battle的课题。

01

机器学习web服务化实战：一次吐血的服务化之路 (转载非原创)

在公司内部，我负责帮助研究院的小伙伴搭建机器学习web服务，研究院的小伙伴提供一个机器学习本地接口，我负责提供一个对外服务的HTTP接口。

03

分享1个爬虫小案例，还能语音播报！

要用到requests库，lxml库，pyttsx3库，没有的，可以先安装一下，都可以通过pip安装：

04

高级性能测试系列《12. 使用V函数，进行变量引用，得到想要的结果值》

但是，在性能测试中，能不用，坚决不要用带有任何Beanshell字样的元件，相关脚本里都不要去使用这个。

02

SSDP协议_sntp协议

近来在研究SSDP，Simple Service Discovery Protocol (简单服务发现协议)。

03

详细分析Java中断机制

1.引言当我们点击某个杀毒软件的取消按钮来停止查杀病毒时，当我们在控制台敲入quit命令以结束某个后台服务时……都需要通过一个线程去取消另一个线程正在执行的任务。Java没有提供一种安全直接的方法来停止某个线程，但是Java提供了中断机制。如果对Java中断没有一个全面的了解，可能会误以为被中断的线程将立马退出运行，但事实并非如此。中断机制是如何工作的？捕获或检测到中断后，是抛出InterruptedException还是重设中断状态以及在方法中吞掉中断状态会有什么后果？Thread.stop与中

04

详细分析Java中断机制

1.引言当我们点击某个杀毒软件的取消按钮来停止查杀病毒时，当我们在控制台敲入quit命令以结束某个后台服务时……都需要通过一个线程去取消另一个线程正在执行的任务。Java没有提供一种安全直接的方法来停止某个线程，但是Java提供了中断机制。如果对Java中断没有一个全面的了解，可能会误以为被中断的线程将立马退出运行，但事实并非如此。中断机制是如何工作的？捕获或检测到中断后，是抛出InterruptedException还是重设中断状态以及在方法中吞掉中断状态会有什么后果？Thread.stop与中断

06

死锁、活锁、饥饿锁、无锁

死锁、活锁、饥饿是关于多线程是否活跃出现的运行阻塞障碍问题，如果线程出现了这三种情况，即线程不再活跃，不能再正常地执行下去了。

01

关于拼多多的 “anti_content” 参数这道题

今天来聊聊关于拼多多的 anti_content 参数这道问题，另外可以借这个文章复习下思路，大家也可以学习下思路，学了之后最好自己实践一遍，这样才会真正学到东西。我也是学习来的，废话不多说，开始学习！！！

02

String.split()用法以及特殊分隔符注意,ps:|

转载：http://www.cnblogs.com/mingforyou/archive/2013/09/03/3299569.html 在java.lang包中有String.split()方法,返回是一个数组我在应用中用到一些,给大家总结一下,仅供大家参考: 1、如果用“.”作为分隔的话,必须是如下写法,String.split("\\."),这样才能正确的分隔开,不能用String.split("."); 2、如果用“|”作为分隔的话,必须是如下写法,String.split("\\|"),这样才能

09

原生JS实现选中文字分享

当我们在阅读某些文章时，会看到一些比较精彩的语句急于分享，下面分享一个选中文字分享的功能，实现类似于下面的效果。

01

python爬虫：爬取笔趣小说网站首页所有的小说内容，并保存到本地(单线程爬取，似乎有点慢)

这几天在进行新的内容学习，并且在尝试使用据说是全宇宙唯一一款专门开发python的ide工具，叫做pycharm。

01

httpclient连接池管理，你用对了？

因为使用它可以有效降低延迟和系统开销。如果不采用连接池，每当我们发起http请求时，都需要重新发起Tcp三次握手建立链接，请求结束时还需要四次挥手释放链接。而链接的建立和释放是有时间和系统开销的。另外每次发起请求时，需要分配一个端口号，请求完毕后在进行回收。

01

httpClient连接池管理，你用对了？

因为使用它可以有效降低延迟和系统开销。如果不采用连接池，每当我们发起http请求时，都需要重新发起Tcp三次握手建立链接，请求结束时还需要四次挥手释放链接。而链接的建立和释放是有时间和系统开销的。另外每次发起请求时，需要分配一个端口号，请求完毕后在进行回收。

02

React Suspense 进阶用法，结合 useTransition 使用

我们在前面学习了 Suspense。Suspense 的 fallback 与子组件内容的显示是一个互斥关系。因此，当我们在请求过程中，需要显示 Loading 时，内容就会被隐藏掉。

01

Cookie禁用了，Session还能用吗？原因详解

Cookie与 Session，一般认为是两个独立的东西，Session采用的是在服务器端保持状态的方案，而Cookie采用的是在客户端保持状态的方案。但为什么禁用Cookie就不能得到Session呢？因为Session是用Session ID来确定当前对话所对应的服务器Session，而Session ID是通过Cookie来传递的，禁用Cookie相当于失去了Session ID，也就得不到Session了。是不是Cookie让禁用了，Session就一定不能用了呢？

03

定位flash上传出现IO Error #2038的错误

去年曾经使用Extjs开发一个游戏运维集成系统，其中有一个功能是使用flash上传文件，例如excel、sql等，后台程序来处理上传的文件。而这个flash上传工具是我之前写的，可是同事现在在系统中上传一个2M多的文件时，传到40%左右就提示出现io错误，让人查一下是否是flash有超时的情况。

02

Redis Pipeline管道命令使用

上过程称为Round Trip Time（RTT，往返时间），mget和mset命令节约了RTT，但是大部分指令不支持批量操作。

00

面试系列之-http与https（JAVA基础）

GET：传递参数长度受限制，因为传递的参数是直接表示在地址栏中，而特定的浏览器和服务器对URL的长度是有限制的。因此GET请求不适合用来传递私密数据，也不太适合拿来传递大量数据；

01

Ajax异步&同步请求

Ajax请求最重要的问题是代码执行的顺序。最长遇到的问题是，我们定义一个变量接收ajax异步请求的返回结果，后续代码使用，然而后续代码在使用时该变量为初始值，始终得不到想要的结果！！！

03

java中断机制zz

一般的代码中，尤其是作为一个基础类库时，绝不应当吞掉中断，即捕获到InterruptedException后在catch里什么也不做，清除中断状态后又不重设中断状态也不抛出InterruptedException等。因为吞掉中断状态会导致方法调用栈的上层得不到这些信息。当然，凡事总有例外的时候，当你完全清楚自己的方法会被谁调用，而调用者也不会因为中断被吞掉了而遇到麻烦，就可以这么做。总得来说，就是要让方法调用栈的上层获知中断的发生。假设你写了一个类库，类库里有个方法amethod，在amethod中检测并清除了中断状态，而没有抛出InterruptedException，作为amethod的用户来说，他并不知道里面的细节，如果用户在调用amethod后也要使用中断来做些事情，那么在调用amethod之后他将永远也检测不到中断了，因为中断信息已经被amethod清除掉了。如果作为用户，遇到这样有问题的类库，又不能修改代码，那该怎么处理？只好在自己的类里设置一个自己的中断状态，在调用interrupt方法的时候，同时设置该状态，这实在是无路可走时才使用的方法。 2、中断的响应程序里发现中断后该怎么响应？这就得视实际情况而定了。有些程序可能一检测到中断就立马将线程终止，有些可能是退出当前执行的任务，继续执行下一个任务……作为一种协作机制，这要与中断方协商好，当调用interrupt会发生些什么都是事先知道的，如做一些事务回滚操作，一些清理工作，一些补偿操作等。若不确定调用某个线程的interrupt后该线程会做出什么样的响应，那就不应当中断该线程。 4. Thread.interrupt VS Thread.stop Thread.stop方法已经不推荐使用了。而在某些方面Thread.stop与中断机制有着相似之处。如当线程在等待内置锁或IO时，stop跟interrupt一样，不会中止这些操作；当catch住stop导致的异常时，程序也可以继续执行，虽然stop本意是要停止线程，这么做会让程序行为变得更加混乱。那么它们的区别在哪里？最重要的就是中断需要程序自己去检测然后做相应的处理，而Thread.stop会直接在代码执行过程中抛出ThreadDeath错误，这是一个java.lang.Error的子类。在继续之前，先来看个小例子： 01 package com.ticmy.interrupt; 02 import java.util.Arrays; 03 import java.util.Random; 04 import java.util.concurrent.TimeUnit; 05 public class TestStop { 06 private static final int[] array = new int[80000]; 07 private static final Thread t = new Thread() { 08 public void run() { 09 try { 10 System.out.println(sort(array)); 11 } catch (Error err) { 12 err.printStackTrace(); 13 } 14 System.out.println("in thread t"); 15 } 16 }; 17 18 static { 19 Random random = new Random(); 20 for(int i = 0; i < array.length; i++) { 21 array[i] = random.nextInt(i + 1); 22 } 23 } 24 25 private static int sort(int[] array) { 26 for (int i = 0; i < array.length-1; i++){ 27 for(int j = 0 ;j < a

03

Yarn中的三种调度策略

这个策略没啥好讲的，提交一个任务进入队列，调度器根据优先级和到达先后进行排序，一次给每一个应用分配资源，知道没有资源为止。没有人会在生产环境用这个策略，性能太差了。

04

【吊打面试，击中要害】缓存穿透、缓存击穿和缓存雪崩

2019磕磕碰碰总算过去了，2020年秉承开源共享原则，继续分享在工作中遇到的各种问题和干货。2020年在面试题开始，祝愿小伙伴在2020年都能谋到一份好差事。

01

【愚公系列】2021年12月 python爬虫自动化-爬虫环境搭建

https://tbi.tencent.com/ 腾讯指数 http://index.baidu.com/#/ 百度指数

03

IIS配置优化

[2] 启动32位应用程序：默认值False，改为True，否则安装一些32的组建或32位的php都会出错。

02

Ajax 异步&同步请求

XMLHttpRequest 支持同步和异步通信。但是，一般来说，出于性能原因，异步请求应优先于同步请求。同步请求阻止代码的执行，这会导致屏幕上出现“冻结”和无响应的用户体验。

03

网络爬虫之投票

一、前言在你心中什么是网络爬虫？在网线里钻来钻去的小虫？先看一下百度百科的解释：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。看完之后有何感想，其实百度、Bing、Google等都是大网络爬虫。当然我们不可能去做一个像百度一样的搜索引擎，那么爬虫对我们普通人有什么用？用处很大，小到刷你的博客流量、大到获取商业机密

06

如果有人问你Python爬虫抓取技术的门道，请叫他来看这篇文章

web是一个开放的平台，这也奠定了web从90年代初诞生直至今日将近30年来蓬勃的发展。然而，正所谓成也萧何败也萧何，开放的特性、搜索引擎以及简单易学的html、css技术使得web成为了互联网领域里最为流行和成熟的信息传播媒介；但如今作为商业化软件，web这个平台上的内容信息的版权却毫无保证，因为相比软件客户端而言，你的网页中的内容可以被很低成本、很低的技术门槛实现出的一些抓取程序获取到，这也就是这一系列文章将要探讨的话题—— 网络爬虫。

01

爬虫技术的门道，这篇文章总结的最全

Web是一个开放的平台，这也奠定了Web从90年代初诞生直至今日将近30年来蓬勃的发展。然而，正所谓成也萧何败也萧何，开放的特型、搜索引擎以及简单易学的HTML、CSS技术使得Web成为了互联网领域里最为流行和成熟的信息传播媒介；但如今作为商业化软件，Web这个平台上的内容信息的版权却毫无保证，因为相比软件客户端而言，你的网页中的内容可以被很低成本、很低的技术门槛实现出的一些抓取程序获取到，这也就是这一系列文章将要探讨的话题—— 网络爬虫。

04

【Java线程】工作三年，活锁、饥饿竟然不知道？来来我们一起扒开线程安全的底裤。

大家好，我是Coder哥，之前我们聊到多线程的实现，但是线程开发不只是实现一个线程这么简单，线程的实现只是多线程开发的第一步，实现线程后我们还需要保证线程运行的安全性，高效性。不安全的线程实现会导致程序运行结果错误，也可能会导致程序永久性卡死也就是死锁。为了避免这些问题，我们就需要了解什么是线程安全。

03

FPGA设计心得（10）关于行为仿真的一点观点

事实上，上面三点说的是针对一种情况，我们举一个简单的例子说明。我们的设计文件，很简单，就是一个检测上升沿的程序：

03

【原创】Java并发编程系列16 | 公平锁与非公平锁

上一篇提到重入锁 ReentrantLock 支持两种锁，公平锁与非公平锁。那么这篇文章就来介绍一下公平锁与非公平锁。

02

网络安全自学篇（十八）| XSS跨站脚本攻击原理及代码攻防演示（一）

跨网站脚本（Cross-site scripting，XSS）又称为跨站脚本攻击，是一种经常出现在Web应用程序的安全漏洞攻击，也是代码注入的一种。XSS是由于Web应用程序对用户的输入过滤不足而产生的，攻击者利用网站漏洞把恶意的脚本代码注入到网页之中，当其他用户浏览这些网页时，就会执行其中的恶意代码，对受害者用户可能采取Cookie窃取、会话劫持、钓鱼欺骗等各种攻击。这类攻击通常包含了HTML以及用户端脚本语言。

07

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭