Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >C# HttpClient使用和注意事项,.NET Framework连接池并发限制

C# HttpClient使用和注意事项,.NET Framework连接池并发限制

原创
作者头像
SpringSun
发布于 2023-02-24 01:06:48
发布于 2023-02-24 01:06:48
3.3K0
举报
文章被收录于专栏:技术赋能学术技术赋能学术

System.Net.Http.HttpClient 类用于发送 HTTP 请求以及从 URI 所标识的资源接收 HTTP 响应。 HttpClient 实例是应用于该实例执行的所有请求的设置集合,每个实例使用自身的连接池,该池将其请求与其他请求隔离开来。 从 .NET Core 2.1 开始,SocketsHttpHandler 类提供实现,使行为在所有平台上保持一致。

HttpClient实例是执行网络请求的设置集合,每个实例会使用一个连接池。通过这段描述我们知道实际使用HttpClient的时候我们只需要实例化一个就行了,在处理程序实例内池连接,并在多个请求之间重复使用连接。也就是官方提倡的使用单个实例,如果每次请求就实例化一个HttpClient,则会创建不必要的连接降低性能,并且TCP 端口不会在连接关闭后立即释放。

所以如果是大批量创建HttpClient请求则大量负载下可用的套接字数将耗尽,这种耗尽将导致 SocketException 错误。

使用方式

  1. 使用静态变量。
代码语言:txt
AI代码解释
复制
static readonly HttpClient httpClient = new HttpClient();
  1. 使用单例模式
代码语言:txt
AI代码解释
复制
    public class HttpClientInstance

    {

        private static readonly HttpClient \_HttpClient;



        static HttpClientInstance()

        {

            _HttpClient = new HttpClient();

        }



        public static HttpClient GetHttpClient()

        {

            return _HttpClient;

        }

    }

实例化参数

可以通过构造参数(如 HttpClientHandler (或 SocketsHttpHandler .NET Core 2.1 或更高版本) )作为构造函数的一部分来配置其他选项。 实例化HttpClient后无法更连接属性,因此,如果需要更改连接属性,则需要创建新的 HttpClient 实例。

配置可以在构造期间配置 HttpClientHandler 或 SocketsHttpHandler 传入,SocketsHttpHandler可以设置额外参数包括 MaxConnectionsPerServer, PooledConnectionIdleTimeout、PooledConnectionLifetime、ConnectTimeout。

  • MaxConnectionsPerServer:HttpClient 对象所允许的最大并发连接数。
  • PooledConnectionIdleTimeout: PooledConnectionLifetime 指定的时间范围过后,系统会关闭连接,然后创建一个新连接。
  • PooledConnectionLifetime:指定要用于连接池中每个连接的超时值。 如果连接处于空闲状态,则连接会立即关闭;否则,连接在当前请求结束时关闭。
  • ConnectTimeout:指定在请求需要创建新的 TCP 连接时使用的超时。 如果发生超时,将取消请求 Task<TResult> 。
代码语言:txt
AI代码解释
复制
var handler = new SocketsHttpHandler

{

    PooledConnectionLifetime = TimeSpan.FromMinutes(15)

};

var httpClient = new HttpClient(handler);

在.NET Framework 只能使用HttpClientHandler,且没有PooledConnectionIdleTimeout和PooledConnectionLifetime等参数。

代码语言:txt
AI代码解释
复制
HttpClientHandler httpClientHandler = new HttpClientHandler();

//最大并发连接数

httpClientHandler.MaxConnectionsPerServer = 100;



HttpClient httpClient=new HttpClient(httpClientHandler);

//超时设置

httpClient.Timeout = new TimeSpan(5000);

可以是设置MaxConnectionsPerServer,可以设置Timeout。Timeout 为来自 HttpClient 实例的所有 HTTP 请求设置默认超时。 超时仅适用于导致启动请求/响应的 xxxAsync 方法。 如果达到超时,则会 Task<TResult> 取消该请求。这个超时时间是包含从请求到响应的整个时间段,而不像上面参数可以设置连接超时。

##请求实现

HttpClient这是一个高级 API,用于包装其运行的每个平台上可用的较低级别功能。

在每个平台上, HttpClient 尝试使用最佳可用传输:

注意事项

在上面实现可以看到在不同的框架下HttpClient的实现是不一样的,在.NET Framework下是使用HttpWebRequest支持。

所以还会受限HttpWebRequest的实现,如果我们要启用多线程高频率调用接口,那么这里要注意HttpWebRequest的连接并发的数量限制。HttpWebRequest通过ServicePoint设置,我们通过反编译看到HttpWebRequest构造函数。

ServicePoint.DefaultConnectionLimit获取允许的最大并发连接数。 对于 ASP.NET 托管的应用程序,默认连接限制为 10,对于所有其他应用程序,默认连接限制为 2。DefaultConnectionLimit 对现有 ServicePoint 对象没有影响;它只影响更改后初始化的对象。如果未直接或通过配置设置此属性的值,则该值默认为常量 DefaultPersistentConnectionLimit

如果是应用连接池默认只有2个并发,所以当你启用很多线程的时候实际效率是不会提升的,一直只有两个并发在阻塞排队,如果请求比较耗时后面的请求还有异常的可能。

因此当你使用多线程的时候要注意初始化HttpClient的httpClientHandler.MaxConnectionsPerServer = n;该参数用于设置。

RestSharp

平时我们可能使用RestSharp 用于网络请求,实际也是在HttpWebRequest上的封装,在官网我们可以看到如下说明:

在最新的v107换成了HttpClient,以前的版本也是HttpWebRequest。如果要设置RestSharp的连接池并发数需要修改默认值。

代码语言:txt
AI代码解释
复制
System.Net.ServicePointManager.DefaultConnectionLimit = n;

然后再实例化RestClient。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
三张大图剖析HttpClient和IHttpClientFactory在DNS解析问题上的殊途同归
在开发者便利度角度,我们很轻松地使用HttpClient对象发出HTTP请求,只需要关注应用层协议的BaseAddr、Url、ReqHeader、timeout。
有态度的马甲
2025/04/07
1060
三张大图剖析HttpClient和IHttpClientFactory在DNS解析问题上的殊途同归
dotnet 6 HttpClientHandler 和 SocketsHttpHandler 有什么差别
本文来告诉大家在 dotnet 6 的 HttpClientHandler 和 SocketsHttpHandler 两个类型有什么不同
林德熙
2022/08/12
1.1K0
.NET 9 的网络改进
继续我们的传统,我们很高兴分享一篇博客文章,重点介绍新 .NET 发布版本中网络领域的最新和最有趣的变更。今年,我们在 HTTP 领域引入了更新,新增了 HttpClientFactory API,改进了 .NET Framework 的兼容性等。
郑子铭
2025/03/27
1410
.NET 9 的网络改进
dotnet 6 精细控制 HttpClient 网络请求超时
本文告诉大家如何在 dotnet 6 下使用 HttpClient 更加精细的控制网络请求的超时,实现 HttpWebRequest 的 ReadWriteTimeout 功能
林德熙
2022/08/12
1.3K0
dotnet 6 使用 HttpClient 的超时机制
在 dotnet 6 里,推荐的网络通讯是使用 HttpClient 类型,在国内诡异的网络环境下,有很多弱网环境需要考虑,其中很重要一点就是网络超时。本文将来告诉大家如何合理使用 HttpClient 的超时机制
林德熙
2022/08/12
1.4K0
dotnet 6 精细控制 HttpClient 网络请求超时
本文告诉大家如何在 dotnet 6 下使用 HttpClient 更加精细的控制网络请求的超时,实现 HttpWebRequest 的 ReadWriteTimeout 功能
郑子铭
2023/08/30
4080
dotnet 6 精细控制 HttpClient 网络请求超时
网关使用 Apache HttpClient 连接池出现异常
两个主机建立网络连接是一个比较复杂的过程,涉及到多个数据包的交换。建立网络连接本身就很耗时间,而 Http 连接需要三次握手,开销就更大。但是可以直接使用已经建立好的 Http 连接,那么花费就比较小。耗时更短,从而提高访问的吞吐量。
BUG弄潮儿
2022/06/30
1.1K0
.Net Core HttpClient处理响应压缩「建议收藏」
在上篇文章[ASP.NET Core中的响应压缩]中我们谈到了在ASP.NET Core服务端处理关于响应压缩的请求,服务端的主要工作就是根据Content-Encoding头信息判断采用哪种方式压缩并返回。之前在群里有人问道过,现在的网络带宽这么高了还有必要在服务端针对请求进行压缩吗?确实,如今分布式和负载均衡技术这么成熟,很多需要处理高并发大数据的场景都可以通过增加服务器节点来进行。但是,在资源受限的情况下,或者是还没必要为了某一个点去增加新的服务器节点的时候,我们还是要采用一些程序本身的常规处理手段来进行处理。笔者个人认为响应压缩的使用场景是这样的,在带宽压力比较紧张的情况,且CPU资源比较充足的情况下,使用响应压缩整体效果还是比较明显的。
全栈程序员站长
2022/09/14
7680
HttpClient参观记:.net core 2.2 对HttpClient到底做了什么?
.net core 于 10月17日发布了 ASP.NET Core 2.2.0 -preview3,在这个版本中,我看到了一个很让我惊喜的新特性:HTTP Client Performance Improvements ,而且在Linux上性能提升了60% !
ShenduCC
2018/12/05
1.1K0
HttpComponents HttpClient连接池(10)-使用建议
在以前文章里我们分别介绍了 httpclient 连接池的连接的申请,连接的释放,连接的重用,连接的 keep alive ,连接的可用性检查,空闲连接的清理,请求的 retry ,ssl 请求的支持,长连接的支持等。在这里我们主要总结连接池中的使用建议。
TA码字
2020/04/15
3.2K0
掌握 C# 中的 Fluent Builder 模式:从基础到高级方案
流畅构建器模式(Fluent Builder pattern)是一种强大的设计模式,它通过更具可读性和可维护性的接口来创建复杂对象。本文将深入探讨如何在 C# 中实现流畅构建器模式,探索基本和高级场景,并分析 .NET 标准库中的实际示例。
郑子铭
2025/04/04
1240
掌握 C# 中的 Fluent Builder 模式:从基础到高级方案
Http 持久连接与 HttpClient 连接池
HTTP协议是无状态的协议,即每一次请求都是互相独立的。因此它的最初实现是,每一个http请求都会打开一个tcp socket连接,当交互完毕后会关闭这个连接。
用户1257393
2018/07/30
2.2K0
Http 持久连接与 HttpClient 连接池
揭秘Windows10 UWP中的httpclient接口[2]
概述 作为一个Universal Windows Platform (UWP)开发者,如果你尝试使用http与web服务或其他服务端通讯时,有多个API可以选择。 UWP中最常见并推荐使用的HTTP客户端API实现是System.Net.Http.HttpClient和Windows.Web.Http.HttpClient。 这些APIs相比旧的应该优先使用,比如旧APIs的WebClient和HttpWebRequest(尽管它的子集在UWP中是向后兼容的)。 我们收到一些关于问题反馈,关于这些APIs
蘑菇先生
2018/05/21
1.6K0
httpClient连接池管理,你用对了?
因为使用它可以有效降低延迟和系统开销。如果不采用连接池,每当我们发起http请求时,都需要重新发起Tcp三次握手建立链接,请求结束时还需要四次挥手释放链接。而链接的建立和释放是有时间和系统开销的。另外每次发起请求时,需要分配一个端口号,请求完毕后在进行回收。
加多
2020/06/12
1.5K0
HttpClient4.X 升级 入门 + http连接池使用
http://blog.csdn.net/shootyou/archive/2011/05/12/6415248.aspx
全栈程序员站长
2022/09/15
6770
HttpClient连接池设置引发的一次雪崩
我在凤巢团队独立搭建和运维的一个高流量的推广实况系统,是通过HttpClient 调用大搜的实况服务。最近经常出现Address already in use (Bind failed)的问题。很明显是一个端口绑定冲突的问题,于是大概排查了一下当前系统的网络连接情况和端口使用情况,发现是有大量time_wait的连接一直占用着端口没释放,导致端口被占满(最高的时候6w+个),因此HttpClient建立连接的时候会出现申请端口冲突的情况。
猿天地
2019/07/18
4.9K0
HttpClient连接池设置引发的一次雪崩
C#编写HttpClient爬虫程序示例
要写一个使用C#和HttpClient的爬虫程序。首先,我需要了解HttpClient的基本用法。HttpClient是用来发送HTTP请求和接收响应的类,对吧?我记得在C#中使用它的时候需要注意一些事情,比如最好使用单例实例,而不是频繁创建和销毁,这样可以避免端口耗尽的问题。
华科云商小徐
2025/04/07
1840
HttpClient介绍
使用RestSharp 库消费Restful Service 中介绍了一个开源的Http Client库RestSharp。在ASP.NET MVC 4中也带来.NET框架中的Http Client。它提供了一个灵活的、可扩展的API来访问一切通过HTTP公开的RESTful服务。HttpClient是ASP.NET Web API 的一部分,直接包含在.NET 4.5中,也可以单独安装ASP.NET MVC4,可以通过Nuget包获取,包里面包含以下3部分: System.Net.Http: The ma
张善友
2018/01/19
1.4K0
HttpClient介绍
HttpComponents HttpClient连接池(1)-结构
在我们平时进行 http调用的时候经常使用apache httpclient这个组件,它提供了http连接池管理,这里我们对它的实现做分析。另外除了httpclient组件,也可以使用spring的resttemplate组件,resttemplate一般也是整合 httpclient 组件来实现 http 调用。对于比较老的httpclient 版本(3.x)建议不要使用,这里我们基于http components httpclient 4.5.9版本,包括一下内容:
TA码字
2020/04/01
1.6K0
HttpComponents HttpClient连接池(1)-结构
HttpClient与CloseableHttpClient
起因是最近做的一个历史遗留项目,需要加些新需求,在本机进行压测时,发现在并发600的状态下跑一段时间后,就会开始偶现500的错误。可能是老项目用的人少(B2B的项目),实际部署后以前也没有人反馈过这个问题,大致跟踪了下日志,发现是系统在调用第三方服务出现异常,这种情况原因很多,需要仔细看异常堆栈打出来的Exception信息,将问题范围缩小并求证,这次抛出的是java.net.SocketException: Too many open files。表明服务器上开启了过多socket句柄,超上限了(一般是1024),这种情况下是无法建立新的网络连接的。
全栈程序员站长
2022/07/25
1.8K0
HttpClient与CloseableHttpClient
相关推荐
三张大图剖析HttpClient和IHttpClientFactory在DNS解析问题上的殊途同归
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档