Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >Netty入门之消息边界处理以及ByteBuffer大小分配

Netty入门之消息边界处理以及ByteBuffer大小分配

作者头像
@派大星
发布于 2023-06-28 06:26:07
发布于 2023-06-28 06:26:07
24200
代码可运行
举报
文章被收录于专栏:码上遇见你码上遇见你
运行总次数:0
代码可运行

以上三篇内容主要讲了NIO的三大组件ByteBuffer文件编程阻塞非阻塞Selector等,需要了解像详情的请移步查看。

本章主要讲解如何处理在消息传递过程中的边界问题。

处理消息边界(如图)

如图所示:在实际项目中,消息有可能要比ByteBuffer长,或者比ByteBuffer短; 针对以上的几种情况,应该如何去处理呢?有两种方案:

  1. 固定消息长度,数据包大小一样,服务器按照预定长度读取,缺点是浪费带宽。
  2. 按分隔符拆分,但是效率低。
  3. TLV格式,即Type类型、Length长度、Value数据,类型和长度已知的情况下,就可以方便获取消息的大小,从而分配合适的buffer,缺点是buffer需要提前分配,如果内容过大,则会影响server的吞吐量
  • Http1.1 是TLV格式
  • Http2.0 是LTV格式

上代码(⚠️一定要注意代码中的注释):

  • server
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
@Slf4j
public class Server {

    private static void split(ByteBuffer source) {
        source.flip();
        for (int i = 0; i < source.limit(); i++) {
            // 找到一条完整消息
            if (source.get(i) == '\n') {
                int length = i + 1 - source.position();
                // 把这条完整消息存入新的 ByteBuffer
                ByteBuffer target = ByteBuffer.allocate(length);
                // 从 source 读,向 target 写
                for (int j = 0; j < length; j++) {
                    target.put(source.get());
                }
                debugAll(target);
            }
        }
        source.compact();
    }


    public static void main(String[] args) throws IOException {
        // 1. 创建 selector, 管理多个 channel
        Selector selector = Selector.open();
        ServerSocketChannel ssc = ServerSocketChannel.open();
        ssc.configureBlocking(false);
        // 2. 建立 selector 和 channel 的联系(注册)
        // SelectionKey 就是将来事件发生后,通过它可以知道事件和哪个channel的事件
        SelectionKey sscKey = ssc.register(selector, 0, null);
        // key 只关注 accept 事件
        sscKey.interestOps(SelectionKey.OP_ACCEPT);
        log.debug("sscKey:{}", sscKey);
        ssc.bind(new InetSocketAddress(8080));
        while (true) {
            // 3. select 方法, 没有事件发生,线程阻塞,有事件,线程才会恢复运行
            // select 在事件未处理时,它不会阻塞, 事件发生后要么处理,要么取消,不能置之不理
            selector.select();
            // 4. 处理事件, selectedKeys 内部包含了所有发生的事件
            Iterator<SelectionKey> iter = selector.selectedKeys().iterator(); // accept, read
            while (iter.hasNext()) {
                SelectionKey key = iter.next();
                // 处理key 时,要从 selectedKeys 集合中删除,否则下次处理就会有问题
                iter.remove();
                log.debug("key: {}", key);
                // 5. 区分事件类型
                if (key.isAcceptable()) { // 如果是 accept
                    ServerSocketChannel channel = (ServerSocketChannel) key.channel();
                    SocketChannel sc = channel.accept();
                    sc.configureBlocking(false);
                    ByteBuffer buffer = ByteBuffer.allocate(16) // 利用 附件的方式将buffer注册关联到selectionKey上
                    SelectionKey scKey = sc.register(selector, 0, buffer);
                    scKey.interestOps(SelectionKey.OP_READ);
                    log.debug("{}", sc);
                    log.debug("scKey:{}", scKey);
                } else if (key.isReadable()) { // 如果是 read
                    try {
                        SocketChannel channel = (SocketChannel) key.channel(); // 拿到触发事件的channel
                        // 取上次注册的buffer
                        ByteBuffer buffer = (ByteBuffer)key.attachment();
                        int read = channel.read(buffer); // 如果是正常断开,read 的方法的返回值是 -1
                        if(read == -1) {
                            key.cancel();
                        } else {
                            split(buffer)
                            // 这里说明原有的buffer满了
                            if (buffer.position() == buffer.limit()) {
                                ByteBuffer newByteBuffer = ByteBuffer.allocate(buffer.capacity() * 2 )
                                buffer.flip();
                                newByteBuffer.put(buffer);
                                // 替换原有的附件buffer
                                key.attach(newByteBuffer); 
                            }
                        }
                    } catch (IOException e) {
                        e.printStackTrace();
                        key.cancel();  // 因为客户端断开了,因此需要将 key 取消(从 selector 的 keys 集合中真正删除 key)
                    }
                }
            }
        }
    }
}
  • client
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
public class Client {
    public static void main(String[] args) throws IOException {
        SocketChannel sc = SocketChannel.open();
        sc.connect(new InetSocketAddress("localhost", 8080));
        SocketAddress address = sc.getLocalAddress();
        sc.write(Chaset.defaultCharset().encode("012345677890abcdef"))
        System.in.read();
    }
}

demo 解析: 上述server端代码用到了附件这个概念

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
ByteBuffer buffer = ByteBuffer.allocate(16) // 利用 附>件的方式将buffer注册关联到selectionKey上
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
SelectionKey scKey = sc.register(selector, 0, buffer);

重新关联附件buffer key.attach(newByteBuffer);

说明:

上述代码就是简单做了一个消息边界的处理,相信大家也看到了一些问题,它只能是做到自动扩容,无法自适应,也就是缩小。暂时先提前告诉大家Netty是可以做到自适应的。

如何处理消息边界问题以及ByteBuffer大小分配的问题已经说完了,接下来给大家说一下ByteBuffer的大小如何分配的注意点。

每个Channel都需要记录可能被切分的消息,因为ByteBuffer不能够被多个Channel共同使用,因此需要为每个channel维护一个独立的ByteBUffer

  • ByteBuffer不能太大,比如一个ByteBuffer1Mb的话,需要支持百万连接就要1Tb内存,因此需要设计大小可变的ByteBUffer
    • 思路一:首先分配一个较小的buffer,例如4k,如果发现数据不够,再分配8k的buffer,将4kbuffer内容拷贝至8k的buffer,优点是消息连续容易处理,缺点是数据拷贝耗费性能。
    • 思路二:用多个数组组成buffer,一个数组不够,把多出来的内容写入新的数组,与前面的区别是消息存储不连续解析复杂,优点是避免了拷贝引起的性能损耗

好了本次的文章就到这里了后续再为大家带来关于Netty的更多内容。切记:一定要好好消化上述的demo案例。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-09-08,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 码上遇见你 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Netty 入门篇 Day 3---网络编程
在阻塞模式下,会导致 线程暂停 ssc.accept(); // 阻塞的方法 会导致线程暂停,一直等到有client连接 才继续工作 channel.read(buffer); // 阻塞的方法 会导致线程暂停,一直等client发送信息 才继续进行读操作 服务器端的单线程模式下,阻塞方法会导致这个线程暂停(闲置); 同时 多个client相到受影响,几乎不能正确工作,需要服务器端的多线程支持 服务器端的多线程模式缺点:1) 占用内存多 2)多线程切换,带来比较大的内存开销
猫头虎
2024/04/08
1120
Netty 入门篇 Day 3---网络编程
【Netty】「NIO」(四)消息边界与可写事件
本篇博文是《从0到1学习 Netty》中 NIO 系列的第四篇博文,主要内容是介绍如何处理消息边界以及通过可写事件解决写入内容过多的问题,往期系列文章请访问博主的 Netty 专栏,博文中的所有代码全部收集在博主的 GitHub 仓库中;
sidiot
2023/08/30
2460
Netty入门之可写事件以及多线程版的通信
通过上述结果我们不难发现这个server端发送数据的时候并不是一次全部发送出去的,他尝试了很多次,效率很低, 并且有的时候Buffer是满的( server端打印0的时候,它是无法写的)他也无法发送,这样其实无法满足非阻塞模式的,接下来进行一个优化: 当buffer满的时候,我去进行别的操作,当buffer清空了触发一个写事件 上代码:
@派大星
2023/07/15
2070
Netty入门之可写事件以及多线程版的通信
Netty-nio
channel 有一点类似于 stream,它就是读写数据的双向通道,可以从 channel 将数据读入 buffer,也可以将 buffer 的数据写入 channel,而之前的 stream 要么是输入,要么是输出,channel 比 stream 更为底层
sgr997
2022/11/10
7150
Netty-nio
🎯 Java NIO 基础
✏️ 写在前面的话: Netty本质是一个NIO框架,适用于服务器通讯相关的多种应用场景。 Netty作为一款基于Java开发的高性能网络框架,想要从认识到熟悉再到掌握最终理解,因此我们需要从最基础的NIO开始学习。如果你已经学习并掌握了NIO相关知识,那么可以直接进入Netty相关文章的学习;如果没有了解过也没有关系,那我们就从当前文章开始学习吧!🎉🎉🎉 这里我们先简单了解一下这一篇文章中我们将要学习的内容: 首先是NIO的基本介绍,了解NIO的三大组件 ByteBuffer 字节缓冲区的基本使用
爱吃糖的范同学
2023/02/11
8250
Netty网络编程第一卷
channel 有一点类似于 stream,它就是读写数据的双向通道,可以从 channel 将数据读入 buffer,也可以将 buffer 的数据写入 channel,而之前的 stream 要么是输入,要么是输出,channel 比 stream 更为底层
大忽悠爱学习
2022/05/06
7110
Netty网络编程第一卷
Netty入门之网络编程
以上两篇内容主要讲了NIO的三大组件、ByteBuffer、文件编程等,需要了解像详情的请移步查看。
@派大星
2023/06/28
1630
Netty入门之网络编程
【Netty】「NIO」(三)剖析 Selector
本篇博文是《从0到1学习 Netty》中 NIO 系列的第三篇博文,主要内容是介绍通过使用 Selector,一个单独的线程可以有效地监视多个通道,从而提高应用程序的处理效率,往期系列文章请访问博主的 Netty 专栏,博文中的所有代码全部收集在博主的 GitHub 仓库中;
sidiot
2023/08/30
3090
【Netty】「NIO」(三)剖析 Selector
NIO:为什么Selector的selectedKeys遍历处理事件后要移除?
接着,切换到客户端的调试模式窗口,按Alt+F8,或者点击Evalute图标,打开评估器,切换成代码模式:
借力好风
2021/10/27
1.4K0
NIO:为什么Selector的selectedKeys遍历处理事件后要移除?
终结全网!手写Netty面试题答案
创建一个线程,注册到 Selector,将 serversocketchannel 注册到Selector selectionKey 里就有具体的事件
JavaEdge
2021/10/18
2240
【Netty】「NIO」(五)多线程优化
本篇博文是《从0到1学习 Netty》中 NIO 系列的第五篇博文,主要内容是使用多线程对程序进行优化,充分利用 CPU 的能力,往期系列文章请访问博主的 Netty 专栏,博文中的所有代码全部收集在博主的 GitHub 仓库中;
sidiot
2023/08/30
3990
【Netty】「NIO」(五)多线程优化
java socket发送中文乱码_java Socket接收数据乱码问题「建议收藏」
2.如果我用strSql = String.valueOf(buffer,0,nDataLen – 1 );则输出的是方块
全栈程序员站长
2022/09/08
1.5K0
Netty01-nio
channel 有一点类似于 stream,它就是读写数据的双向通道,可以从 channel 将数据读入 buffer,也可以将 buffer 的数据写入 channel,而之前的 stream 要么是输入,要么是输出,channel 比 stream 更为底层
海仔
2021/05/18
1.1K0
Netty01-nio
Java中的NIO基础知识
上一篇介绍了五种NIO模型,本篇将介绍Java中的NIO类库,为学习netty做好铺垫
Janti
2018/08/01
5440
Java中的NIO基础知识
Java网络编程之NIO
有人称之为New I/O,因为它是相对于之前的I/O库是新的,不过在NIO之前是BIO,即阻塞I/O,所以NIO的目标是让Java支持非阻塞的I/O,所以有人也称之为非阻塞I/O。
心平气和
2021/03/16
2710
Java NIO 实现网络通信
Java NIO 的相关资料很多,对 channel,buffer,selector 如何相关概念也有详细的阐述。但是,不亲自写代码调试一遍,对这些概念的理解仍然是一知半解。
水货程序员
2018/11/13
1K0
java架构之路-(netty专题)初步认识BIO、NIO、AIO
  本次我们主要来说一下我们的IO阻塞模型,只是不多,但是一定要理解,对于后面理解netty很重要的
小菜的不能再菜
2020/02/21
4560
Java NIO
通常在进行同步I/O操作时,如果读取数据,代码会阻塞直至有 可供读取的数据。同样,写入调用将会阻塞直至数据能够写入。传统的Server/Client模式会基于TPR(Thread per Request),服务器会为每个客户端请求建立一个线程,由该线程单独负责处理一个客户请求。这种模式带来的一个问题就是线程数量的剧增,大量的线程会增大服务器的开销。大多数的实现为了避免这个问题,都采用了线程池模型,并设置线程池线程的最大数量,这由带来了新的问题,如果线程池中有200个线程,而有200个用户都在进行大文件下载,会导致第201个用户的请求无法及时处理,即便第201个用户只想请求一个几KB大小的页面。传统的 Server/Client模式如下图所示:
conanma
2021/12/06
4520
NIO源码阅读
  自己对着源码敲一遍练习,写上注释。发现NIO编程难度好高啊。。虽然很复杂,但是NIO编程的有点还是很多:
用户3003813
2018/09/06
4930
NIO源码阅读
Bio、Nio、Aio的用法系列之NIO客户端(三)
上一篇文章我们提到了NIO,大家应该对NIO有了一定的了解,接下来我们继续学习NIO的客户端实现
用户1257393
2018/07/30
3610
相关推荐
Netty 入门篇 Day 3---网络编程
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验