首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

PyTorch生态系统中的连续深度学习:使用Torchdyn实现连续时间神经网络

神经常微分方程(Neural ODEs)是深度学习领域的创新性模型架构,它将神经网络的离散变换扩展为连续时间动力系统。与传统神经网络将层表示为离散变换不同,Neural ODEs将变换过程视为深度(或时间)的连续函数。这种方法为机器学习开创了新的研究方向,尤其在生成模型、时间序列分析和物理信息学习等领域具有重要应用。本文将基于Torchdyn(一个专门用于连续深度学习和平衡模型的PyTorch扩展库)介绍Neural ODE的实现与训练方法。

Torchdyn概述

Torchdyn是基于PyTorch构建的专业库,专注于连续深度学习和隐式神经网络模型(如Neural ODEs)的开发。该库具有以下核心特性:

支持深度不变性和深度可变性的ODE模型

提供多种数值求解算法(如Runge-Kutta法,Dormand-Prince法)

与PyTorch Lightning框架的无缝集成,便于训练流程管理

本教程将以经典的moons数据集为例,展示Neural ODEs在分类问题中的应用。

数据集构建

首先,我们使用Torchdyn内置的数据集生成工具创建实验数据:

from torchdyn.datasets import ToyDataset

import matplotlib.pyplot as plt

# 生成示例数据

d = ToyDataset()

X, yn = d.generate(n_samples=512, noise=1e-1, dataset_type='moons')

# 可视化数据集

colors = ['orange', 'blue']

fig, ax = plt.subplots(figsize=(3, 3))

for i in range(len(X)):

  ax.scatter(X[i, 0], X[i, 1], s=1, color=colors[yn[i].int()])

plt.show()数据预处理

将生成的数据转换为PyTorch张量格式,并构建训练数据加载器。Torchdyn支持CPU和GPU计算,可根据硬件环境灵活选择:

import torch

import torch.utils.data as data

device = torch.device("cpu") # 如果使用GPU则改为'cuda'

X_train = torch.Tensor(X).to(device)

y_train = torch.LongTensor(yn.long()).to(device)

train = data.TensorDataset(X_train, y_train)

trainloader = data.DataLoader(train, batch_size=len(X), shuffle=True)Neural ODE模型构建

Neural ODEs的核心组件是向量场(vector field),它通过神经网络定义了数据在连续深度域中的演化规律。以下代码展示了向量场的基本实现:

import torch.nn as nn

# 定义向量场f

f = nn.Sequential(

  nn.Linear(2, 16),

  nn.Tanh(),

  nn.Linear(16, 2)

)

接下来,我们使用Torchdyn的NeuralODE类定义Neural ODE模型。这个类接收向量场和求解器设置作为输入。

from torchdyn.core import NeuralODE

t_span = torch.linspace(0, 1, 5) # 时间跨度

model = NeuralODE(f, sensitivity='adjoint', solver='dopri5').to(device)基于PyTorch Lightning的模型训练

Torchdyn与PyTorch Lightning的集成简化了训练流程。这里我们定义一个专用的Learner类来管理训练过程:

import pytorch_lightning as pl

class Learner(pl.LightningModule):

  def __init__(self, t_span: torch.Tensor, model: nn.Module):

      super().__init__()

      self.model, self.t_span = model, t_span

  def forward(self, x):

      return self.model(x)

  def training_step(self, batch, batch_idx):

      x, y = batch

      t_eval, y_hat = self.model(x, self.t_span)

      y_hat = y_hat[-1] # 选择轨迹的最后一个点

      loss = nn.CrossEntropyLoss()(y_hat, y)

      return {'loss': loss}

  def configure_optimizers(self):

      return torch.optim.Adam(self.model.parameters(), lr=0.01)

  def train_dataloader(self):

      return trainloader

最后训练模型:

learn = Learner(t_span, model)

trainer = pl.Trainer(max_epochs=200)

trainer.fit(learn)实验结果可视化深度域轨迹分析

训练完成后,我们可以观察数据样本在深度域(即ODE的时间维度)中的演化轨迹:

t_eval, trajectory = model(X_train, t_span)

trajectory = trajectory.detach().cpu()

fig, (ax0, ax1) = plt.subplots(1, 2, figsize=(10, 2))

for i in range(500):

  ax0.plot(t_span, trajectory[:, i, 0], alpha=0.1, color=colors[int(yn[i])])

  ax1.plot(t_span, trajectory[:, i, 1], alpha=0.1, color=colors[int(yn[i])])

ax0.set_title("维度 0")

ax1.set_title("维度 1")

plt.show()向量场可视化

通过可视化学习得到的向量场,我们可以直观理解模型的动力学特性:

x = torch.linspace(trajectory[:, :, 0].min(), trajectory[:, :, 0].max(), 50)

y = torch.linspace(trajectory[:, :, 1].min(), trajectory[:, :, 1].max(), 50)

X, Y = torch.meshgrid(x, y)

z = torch.cat([X.reshape(-1, 1), Y.reshape(-1, 1)], 1)

f_eval = model.vf(0, z.to(device)).cpu().detach()

fx, fy = f_eval[:, 0], f_eval[:, 1]

fx, fy = fx.reshape(50, 50), fy.reshape(50, 50)

fig, ax = plt.subplots(figsize=(4, 4))

ax.streamplot(X.numpy(), Y.numpy(), fx.numpy(), fy.numpy(), color='black')

plt.show()Torchdyn进阶特性

Torchdyn框架的功能远不限于基础的Neural ODEs实现。它提供了丰富的高级特性,包括:

高精度数值求解器

平衡模型支持

自定义微分方程系统

无论是物理模型的数值模拟,还是连续深度学习模型的开发,Torchdyn都提供了完整的工具链支持。

作者:Abish Pius

喜欢就关注一下吧:

点个在看你最好看!

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OcAFk3pYF6P0fJZFEHnKvjEg0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券