- 综合排序
- 最热优先
- 最新优先
- 来自专栏DeepHub IMBA
LoRA及其变体概述：LoRA, DoRA, AdaLoRA, Delta-LoRA
在本文中，我们将解释LoRA本身的基本概念，然后介绍一些以不同的方式改进LoRA的功能的变体，包括LoRA+、VeRA、LoRA- fa、LoRA-drop、AdaLoRA、DoRA和Delta-LoRA LoRA+ LoRA+[2]通过为矩阵a和b引入不同的学习率，引入了一种更有效的训练LoRA适配器的方法。LoRA在训练神经网络时，学习率是应用于所有权重矩阵。 LoRA-FA LoRA- fa[4]，是LoRA与Frozen-A的缩写，在LoRA-FA中，矩阵A在初始化后被冻结，因此作为随机投影。 LoRA-drop[5]则引入了一种算法来决定哪些层由LoRA微调，哪些层不需要。 LoRA-drop包括两个步骤。在第一步中对数据的一个子集进行采样，训练LoRA进行几次迭代。 Delta-LoRA Delta-LoRA[8]引入了另一种改进LoRA的思想，让预训练矩阵W再次发挥作用。LoRA的主要思想是不要调整预训练矩阵W，因为这太费资源了。
5.3K32编辑于 2024-03-20 - 来自专栏喔家ArchiSelf
解读LoRA
对于具有更高秩的LoRA（即，更大的r->laα），需要更大的α值。 1.3 LoRA与LLM适配层的区别 乍一看，LoRA使用的方法可能类似于适配器层。 这些变化的最大影响是，与原始预训练模型相比，LoRA没有增加推理延迟。当将微调的LoRA模型部署到生产中时，可以直接计算并存储从LoRA导出的更新权重矩阵。 通过存储模型的预训练权重和从几个不同任务的微调中获得的LoRA模块，可以通过以下方式“切换”LoRA模块： 从模型的权重中减去一个任务的LoRA更新。 将另一个任务的LoRA更新添加到模型的权重中。 因此，除了LoRA之外，我们还可以执行端到端的微调，并在LoRA之上应用其他微调技术。 5. LoRA的各种变体 LoRA的提出促进了整个大模型微调领域的发展，进而涌现出了很多变体。 尽管以上3个是值得关注的LoRA变体，但实际上也各种各样基于LoRA的扩展，例如GLoRA，Tied-LoRA，LoRA-FA，LQ-LoRA，MultiLoRA等等。 6.
1.5K22编辑于 2023-12-20 - 来自专栏机器学习
什么是Lora
本文将详细介绍LoRA的原理、应用场景、优点以及如何在实际项目中使用LoRA进行模型微调。一、LoRA简介1.1 什么是LoRA？ 1.2 LoRA 的基本原理LoRA 依赖于以下两个核心概念：低秩矩阵：在矩阵分解中，低秩矩阵是可以通过较少的参数来逼近高秩矩阵的。 1.3 LoRA 的优点高效性：LoRA 通过低秩矩阵来更新模型权重，显著减少了训练参数的数量，从而降低了计算和存储成本。 , 5)# 用 LoRA 包装原始模型model_with_lora = LoRAModel(original_model)3.4 训练和微调模型在集成 LoRA 之后，我们可以正常地进行模型训练和微调 五、LoRA的局限性与挑战虽然 LoRA 在许多方面表现出色，但它也存在一些局限性和挑战：适用性限制：LoRA 主要适用于预训练模型的微调，对于从头训练的新模型，LoRA 的优势可能不明显。
3.5K00编辑于 2024-08-10 - 来自专栏All-in-IoT
LoRa初体验
参考github中的教程，创建LoRa产品； image.png 定义数据模板； image.png 创建设备 image.png 记录设备信息； image.png Explorer控制台设置就完成了
8368369发布于 2020-09-09 LoRa基站与LoRa网关：殊途同归的“连接者”
在 LoRaWAN 网络架构中，LoRa 基站和 LoRa 网关是两个常被提及的术语。很多人会疑惑：它们之间到底有什么区别？ 其实，从技术角度来说，LoRa 基站和 LoRa 网关在功能上是完全一致的，都是负责接收 LoRa 终端设备的数据，并将其转发到网络服务器（Network Server）。为什么会有两个不同的称呼？ 这种称呼上的差异主要源于不同的使用场景和语境：LoRa 网关（LoRa Gateway）这是一个更通用、更技术化的术语，强调设备在 LoRaWAN 网络中作为“网关”的作用，即连接终端设备与网络服务器之间的桥梁 LoRa 基站（LoRa Base Station）这个称呼更多出现在运营商或大规模广域网部署的语境中。 总结LoRa 基站和 LoRa 网关本质上是同一类设备，它们在 LoRaWAN 网络中承担着连接终端与网络服务器的关键角色。不同的称呼更多是基于部署规模和使用场景的习惯性表达。
37610编辑于 2025-09-24- 来自专栏AI算法能力提高班
Multi-LoRA Composition | 无需训练的任意LoRA组合
Multi-LoRA Composition | 无需训练的任意LoRA组合 本文主要介绍无需训练的任意数量LORA的切换与组合方法，说人话就是“可以将每个Lora的特色合成到一张图像上，比如人物、服装 01 亮点介绍 无需训练，即可将任意数量的LoRA模型进行切换或者组合 LoRA Switch 和 LoRA Composite 无需微调即可动态、精确地集成多个 LoRA。 LoRA Switch (LoRA-S) 切换，训练中等间隔切换Lora 为了探索在每个去噪步骤中激活单个 LoRA，我们提出了 LoRA Switch。 LoRA Composite (LoRA-C) 组合，多个Lora元素组合为一个图像 为了探索在每个时间步合并所有 LoRA，而不合并权重矩阵，提出了 LoRA Composite。 LORA SWITCH在每个去噪步骤中交替激活不同的LoRA，而LORA COMPOSITE同时结合所有LoRA以指导更连贯的图像合成。
1.8K10编辑于 2024-03-14 - 来自专栏物联网思考
LoRa连接到chirpstack
LoRa服务器有很多，今天聊聊ChirpStack，ChirpStack(https://www.chirpstack.io/)是一个开放源代码的的网络服务器，提供了丰富了应用API，用户可以部署在自己的服务器上
2.4K20发布于 2021-01-08 LoRa 通信协议
LoRa 案例：土壤湿度监测 项目需求 通过 LoRa 通信协议，将土壤湿度传感器数据从一个 LoRa 节点发送到 LoRa 网关。 网关接收数据并通过串口显示。 LORA_SS 10 // LoRa 模块的 SS 引脚 #define LORA_RST 9 // LoRa 模块的 RESET 引脚 #define LORA_DIO0 Serial); pinMode(SOIL_SENSOR_PIN, INPUT); // 初始化 LoRa 模块 LoRa.setPins(LORA_SS, LORA_RST, LORA_DIO0 接收端（LoRa Gateway） #include <SPI.h> #include <LoRa.h> #define LORA_SS 10 // LoRa 模块的 SS 引脚 # Serial); // 初始化 LoRa 模块 LoRa.setPins(LORA_SS, LORA_RST, LORA_DIO0); if (!
72910编辑于 2025-08-29- 来自专栏DeepHub IMBA
使用LORA微调RoBERTa
一般来说我们只是使用LORA来微调大语言模型，但是其实只要是使用了Transformers块的模型，LORA都可以进行微调，本文将介绍如何利用PEFT库，使用LORA提高微调过程的效率。 LORA可以大大减少了可训练参数的数量，节省了训练时间、存储和计算成本，并且可以与其他模型自适应技术(如前缀调优)一起使用，以进一步增强模型。 但是，LORA会引入额外的超参数调优层(特定于LORA的秩、alpha等)。并且在某些情况下，性能不如完全微调的模型最优，这个需要根据不同的需求来进行测试。 首先我们安装需要的包： ! () peft_lora_finetuning_trainer = get_trainer(peft_model) peft_lora_finetuning_trainer.train() peft_lora_finetuning_trainer.evaluate() 可以看到 模型参数总计:125,537,288，而LORA模型的训练参数为:888,580，我们只需要用LORA训练~0.70%
82111编辑于 2024-02-21 - 来自专栏物联网思考
LoRa没有凉，工信部发话了，LoRa应该这么玩！
这份公告中与LoRa相关的主要是以下内容： ? LoRa工作在ISM频段，各个国家的ISM频段有所不同，国内主要是470-510M，也就是报告中关于民用计量仪表的相关内容。 并没有所谓的禁止使用LoRa，而是规范了LoRa的使用。 说到LoRa就不得不说NB-IoT。 LoRa构建物联网的优势在于，灵活组网，一次布网，永久免费使用，数据私密性强。 LoRa作为当下物联网的典型代表，一路走来是市场的选择。 从LoRa联盟官网（https://lora-alliance.org/）了解到，全球有超过140多个国家部署了LoRa网络。 与此同时，前一阵阿里向LoRa联盟提交的LoRaWAN中国地区的参数，已经获得了LoRa联盟的认可。
5.2K21发布于 2020-09-27 - 来自专栏自然语言处理(NLP)论文速递
GSU | 提出VB-LoRA，仅需LoRA参数的0.4%，就超越了LoRA微调效果
但参数高效微调 (PEFT) 方法，比如LoRA及其变体会产生大量的参数存储和传输成本。 在对 Llama2-13B 模型进行微调时，VB-LoRA 仅使用了 LoRA 存储参数的 0.4%就超过了LoRA微调效果，可见实力强悍。 例如：低秩自适应 (LoRA)方法就是通过近似自注意力模块的累积梯度更新来实现矩阵参数的内部耦合；Tied-LoRA方法通过跨所有层的权重绑定来实现矩阵参数的跨层共享。 VB-LoRA 「LoRA局限性」 LoRA通过在模型的权重矩阵上添加低秩矩阵来调整模型参数，而不是更新整个权重矩阵。 对Llama2模型（7B和13B参数版本）进行微调，VB-LoRA在使用极少的存储参数（Llama2 7B为0.8M，Llama2 13B为1.1M）的情况下，实现了比LoRA更高的分数。
67910编辑于 2024-05-30 - 来自专栏twowinter
LoRa Gateway 笔记汇总
1 基础环境搭建 2 Packet forward 这是LoRa网关的开源应用。 2.2 源码分析 3 LoRa Gateway 这是 HAL 库。 3.1 功能使用 3.1.3 帮助程序 util_pkt_logger 进行 LoRa 空口抓包 以前小能手使用 SX1276 做过一个 LoRa抓包工具，最大的局限是不能抓多个频点的数据。 3.2 源码分析 3.2.1 LoRa Gateway 源码工程梳理 手痒研究LoRaWAN基站，初步了解了LoRaGateway的github工程，做些梳理记录。 END
1K10发布于 2020-04-17 - 来自专栏个人博客
LoRA 笔记 - plus studio
LoRA[1]冻结预训练模型权重并将可训练的秩分解矩阵注入到 Transformer 架构的每一层中，大大减少了下游任务的可训练参数的数量。 与用 Adam 微调的 GPT-3 175B 相比，LoRA 可以将可训练参数的数量减少了 10,000 倍，GPU 内存需求减少了 3 倍。 你可能会想问，LoRA作为一个微调大语言模型和图文大模型的方法，关矩阵的秩什么事？ 为什么需要LoRA LoRA并不是第一个进行微调大模型的，从迁移学习开始有很多的尝试，以语言建模为例，在有效适应方面有两种突出的策略：添加适配器层或优化某种形式的输入层激活。 LoRA到底怎么工作 神经网络包含许多执行矩阵乘法的密集层。这些层中的权重矩阵通常具有满秩。
45110编辑于 2024-02-28 - 来自专栏物联网思考
LoRa串口透传
前言：串口透传也是用的最多的一种，用户把需要发送的数据通过串口发送到模块，模块正确接收后，然后通过LoRa发送出去，发送完后再切换到接收模式。模块不分主从机，但是要确保两个模块的射频参数一致。 SR USART2->DR;//DR USART_ClearITPendingBit(USART2, USART_IT_IDLE); COMRecvIDLE(true); }} 3、LoRa LoRa点对点通信，OLED显示（内附代码） 4、串口透传
1.6K10发布于 2021-03-09 - 来自专栏twowinter
LoRa笔记03 LoRa sx1276 sx1278空中唤醒研究
这篇笔记将讲LoRa节点的空中唤醒具体应用。 我正在学习LoRa和LoRaWAN，基本按照 官方资料+梳理解析+相关源码 的方式来记录笔记，相信对不少同行者有所帮助，可点此查看帖子LoRa学习笔记_汇总。 在前文的空中唤醒的原理中，已经提到CAD功能是LoRa调制的一个特色，比普通RSSI检测方式要强大得多。 操作原理介绍 信道活动检测模式旨在以尽可能高的功耗效率检测无线信道上的LoRa前导码。在CAD模式下， SX1276/77/78快速扫描频段，以检测LoRa数据包前导码。 信道活动检测时长取决于使用的LoRa调制设置。下图针对特定配置显示了典型CAD检测时长，该时长为LoRa符号周期的倍数。
3.2K10发布于 2020-04-17 - 来自专栏物联网思考
LoRa物联网的架构
前言：时隔一个月再次更新文章，从本篇文章开始，将开始一个系列，从0到1搭建LoRa物联网。 什么是LoRa？ LoRa是Lang Range的简称，属于LPWAN（low-power Wide-Area Network，低功耗广域网）通信技术的一种，由美国Semtech（升特）公司2013年发布和推广的一种基于扩频技术的超远距离 LoRa的频率范围从137MHz到1020MHz，LoRa 主要在全球免费频段运行，如169MHz、433MHz、868MHz和915MHz。 由于LoRa独特的调制技术，接收灵敏度可达-148dBm，有168dB的链路预算。因此传输距离很远，在城镇可达3-5 Km ， 郊区可达15 Km 以上。 LoRa物联网的分类 LoRa物联网的架构主要分为三大类：LoRaWAN、LinkWAN、私有协议。 LoRaWAN:是由LoRa联盟制定的基于LoRa的网络通信协议和系统架构。
2.4K31发布于 2020-09-27 - 来自专栏深圳架构师同盟
LoRA大模型微调介绍
5、LoRA 秩（LoRA rank）LoRA（低秩适应）中的秩（Rank）是决定模型微调时参数更新 “表达能力” 的关键参数。它通过低秩矩阵分解的方式，控制可训练参数的规模与模型调整的灵活程度。
22410编辑于 2026-01-21 - 来自专栏twowinter
LoRa Gateway 源码工程梳理
lora_gateway\libloragw\tst 目录下还有不同子模块的测试程序。 1.1 HAL介绍 这部分也就是LoRa集中器的HAL层(LoRa concentrator Hardware Abstraction Layer)，它是个C库，让大家使用少量的C函数就可以对LoRa集中器芯片进行配置硬件 LoRa集中器是数字化的多信道多数据包标准的射频芯片，使用LoRa或者FSK模式进行收发数据。 这个软件用来检测主CPU与LoRa协调器寄存器文件的连接的稳定性。 这个软件用来设置LoRa集中器为持续TX模式，用于频谱测试。
2K20发布于 2020-04-17 - 来自专栏物联网简史
「应用案例」LoRa通信技术
什么是LoRa LoRa(Long Range) 是 Semtech 在2012年开发出来的一款适合物联网使用的射频IC、其设计理念为低功耗、长距离、低成本、网路简单、易于扩展。 在一般的通信中、通信的距离与功耗成正比、传输距离越远、功耗越高，而LoRa可以实现远距离的低功耗通信，即高穿透性。 LoRa是基于展频跳变技术发展的，因此其频率偏移及容错空间相比同类IC要高得多，同时其灵敏度也更高。 LoRaWAN 网路模型 LoRaWAN 是基于LoRa芯片的通信协议。 节点通过LoRa通信技术与网关通信，节点可以连接一个或多个网关，其与网关的通信是双向。 LoRa节点分类 图片 LoRa节点分类 LoRa应用案例 致力保护野生动物、智能公园方案。
2.1K30编辑于 2022-09-23 - 来自专栏物联网思考
LoRa连接到The Things Network
本文聊聊如何LoRa如何连接到The Things Network。 ? 可以看出thethingsnetwork(下称TTN)上运行了上万台网关，分布在150多个国家和地区。
2.5K20发布于 2020-12-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号