Python: 3.7 或更高版本（推荐 3.8 或 3.9，与 PyTorch 和 Transformers 兼容性更好）。

最近在看一篇github上大佬的文章，从0开始训练llama3，觉得对于《从0开发大模型》有点帮助，于是翻译一下，发现其中很多内容当前系列文章的知识点相似。 原...

这里，我们就需要用到 PyTorch 提供的一个“神器”：with torch.no_grad()。

本文基于Pytorch复现论文 Towards Effective Visual Representations for Partial-Label Learn...

在强化学习（RL）领域，如何稳定地优化策略是一个核心挑战。2015 年，由 John Schulman 等人提出的信赖域策略优化（Trust R...

解决方法1 WHISPER使用的时候出现的问题，因为并不想动之前的pytorch环境，解决办法在参数中加入fp16=False即可

大家好，我是默语。今天我们来讨论一个在深度学习框架PyTorch中常见的问题：AssertionError: Torch not compiled with C...

torch.nn 模块是PyTorch中专门用于构建和训练神经网络的模块。它提供了一系列的类和函数，帮助我们轻松地定义和操作神经网络。无论是简单的线性回归模型，...

图结构数据在现实世界中无处不在，从社交网络中的用户关系，到推荐系统中的用户-物品交互，再到生物信息学中的分子结构。传统的机器学习模型在处理这些数据时常常力不从心...

PyTorch 计算的数据都是以张量形式存在, 我们需要掌握张量各种运算. 并且, 我们可以在 CPU 中运算, 也可以在 GPU 中运算.

自动微分（Autograd）模块对张量做了进一步的封装，具有自动求导功能。自动微分模块是构成神经网络训练的必要模块，在神经网络的反向传播过程中，Autograd...

PyTorch 是一个 Python 深度学习框架，学习PyTorch在当今深度学习领域至关重要。PyTorch以其动态计算图、易于使用的API和强大的社区支持...

可以用torch.stack()函数将多个张量合并，torch.stack()函数和torch.cat()函数有略微的差别，torch.stack()函数用于进...

7B的baichuan、qwen等模型出厂默认为float32，占用显存32G，对于V100的单卡，很容易爆显存。需要在AutoModelForCausalLM...

  二维卷积运算是信号处理和图像处理中常用的一种运算方式，当给定两个二维离散信号或图像

  二维卷积运算是信号处理和图像处理中常用的一种运算方式，当给定两个二维离散信号或图像

前馈神经网络的优点包括能够处理复杂的非线性关系，适用于各种问题类型，并且能够通过训练来自动学习特征表示。然而，它也存在一些挑战，如容易过拟合、...

假设输入的尺寸是(𝑁,𝐶,𝐻,𝑊)，输出尺寸是(𝑁,𝐶,𝐻𝑜𝑢𝑡,𝑊𝑜𝑢𝑡)，kernel_size是(𝑘𝐻,𝑘𝑊)，可以写成下面形式 ：

这里将介绍如何从零开始，使用Transformer模型训练一个最小化的聊天机器人。该流程将尽量简化，不依赖预训练模型，并手动实现关键步骤，确保每一步都容易理解。