Nvidia技术壁垒之一--NVLink&NVSwitch

单个 NVLink 数据包的范围从 1 到 18 个 flit。每个 flit 为 128 位，允许使用单个 header flit 和 16 个 payloa...

Mixtral混合专家模型

模型地址：mistralai (Mistral AI_) (huggingface.co)，需要在这个网页上申请权限（地址填国外）

Llama3.1技术报告解读

Llama3.1共开源了8B、70B、405B三种参数量的模型，三个模型具体信息如下图，其中405B除了BF16精度，还有FP8量化版模型，针对8B额外开源了经...

MInference：通过动态稀疏Attention加速长文本推理

由于注意力机制的二次复杂度，举例来说（如图1 a 所示），在单台装有 A100 的机器上为 LLaMA-3-8B 提供服务时，如果提示有 30 万个 token...

大语言模型--Llama3 token结束符问题

结束符是一个句子（prompt）的结尾标记，再大语言模型中，句子中的每个单词都会被编码成数字才能被模型处理。同样的，结尾标记也会被编码成一个数字。再Meta给的...

大语言模型--评价指标

衡量语言建模能力的重要指标，通过计算给定文本序列概率的倒数的几何平均，来衡量模型对于语言的建模能力。基础公式如下：

大语言模型--KV Cache量化论文

论文地址：[2402.02750] KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache ...

大语言模型--Llama3新特性

词表大小从32000增加到128256，这也是导致参数量从7B增至8B的主要原因。更大的词表使得模型涵盖的语言更多、更加通用

大语言模型--流水线并行原理及实现

Google 2019年发表的论文GPipe: Easy Scaling with Micro-Batch Pipeline Parallelism，1811....

大语言模型--张量并行原理及实现

NCCL是一个Nvidia专门为多GPU之间提供通讯的通讯库，或者说是一个多GPU卡通讯的框架 ，提供了包括AllReduce、Broadcast、Reduce...

大语言模型--开源数据集

Huggingface开源大模型排行榜: Open LLM Leaderboard - a Hugging Face Space by HuggingFaceH...

TensorRT LLM--RMSNorm

TensorRT LLM vs OpenPPL LLM

PPL LLM只支持baichuan、chatglm、llama三个模型，Tensor-LLM支持几乎所有大模型。

TensorRT LLM--Beam Search

Beam Search思想介绍：如何通俗的理解beam search？ - 知乎 (zhihu.com)

TensorRT LLM--Paged KV Cache

技术出处：vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention | vLLM Blog

TensorRT LLM--In-Flight Batching

TensorRT LLM依赖于一个名为Batch Manager的组件来支持请求的即时批处理，该技术旨在减少队列中的等待时间，达到更高的GPU利用率。

Mxnet模型性能优化

导语：模型优化有很多方法，比如模型压缩、模型剪纸、转tensorrt等。本文讨论mxnet模型tesorrt优化，主要解决动态batch、Op不支持问题。

记一次排查模型推理变慢原因

导语：使用nvidia dali库来做图片加载和transforms得到的tensor，比pillow+torchvision得到的tensor，在模型推理时候...

不重训模型情况下，MMDetection模型V1升级V2

导语：MMDetection是一个基于Pytorch实现的目标检测框架，支持Faster-RCNN、Mask-RCNN、Fast-RCNN等主流目标检测算法。旧...

Golang分布式限流开源实现

导语：流量上涨常常造成系统的不稳定，进而出现雪崩。本文讨论常见的限流算法，以及对比一些开源实现。