# 人工智能之数学基础 线性代数

第五章 张量


---

# 前言

虽然“张量”一词在物理学、微分几何中有更广义的定义，但在**现代数据科学、机器学习和数值计算**中，**张量通常被理解为多维数组（multi-dimensional array）**。本文将从这一实用视角出发，系统介绍**张量的基本概念、3 维及以上张量的运算规则**，并提供完整的 **Python（NumPy / PyTorch）代码实现**。

---

# 一、什么是张量？

## 1. 阶数（Order / Rank）

张量的“阶”指其维度数量（注意：不是矩阵的秩！）：

| 阶数 | 名称       | 数学对象     | NumPy shape 示例 |
|------|------------|--------------|------------------|
| 0    | 标量（Scalar） | 单个数        | `()`             |
| 1    | 向量（Vector） | 一维数组      | `(5,)`           |
| 2    | 矩阵（Matrix） | 二维数组      | `(3, 4)`         |
| 3    | 3 阶张量     | 三维数组      | `(2, 3, 4)`      |
| n    | n 阶张量     | n 维数组      | `(d₁, d₂, ..., dₙ)` |

> ✅ **关键点**：
> 
> - 矩阵是 2 阶张量的特例；
> - 张量 ≠ 必须满足坐标变换规则（那是物理定义），在深度学习中 = 多维数组。

---

# 二、3 阶张量的直观理解

一个形状为 `(I, J, K)` 的 3 阶张量可视为：

- **I 个 `J×K` 矩阵堆叠而成**（如彩色图像：3 个通道 × 高 × 宽）
- **J 个 `I×K` 矩阵沿第 1 维切片**
- **K 个 `I×J` 矩阵沿第 2 维切片**

## 🌰 示例：彩色图像

```python
# 一张 64×64 的 RGB 图像
image = np.random.rand(64, 64, 3)  # shape: (height, width, channels)
```

- 第 0 维：高度（64）
- 第 1 维：宽度（64）
- 第 2 维：颜色通道（R, G, B）

---

# 三、张量的基本运算

## 1. 张量加法与标量乘法

- **要求**：两个张量形状完全相同（或可广播）
- **操作**：逐元素进行

```python
import numpy as np

A = np.random.rand(2, 3, 4)
B = np.random.rand(2, 3, 4)

C = A + B          # 逐元素相加
D = 2.5 * A        # 标量乘法
```

---

## 2. 广播（Broadcasting）

NumPy 允许不同形状的张量在满足规则下进行运算。

```python
A = np.random.rand(2, 3, 4)   # shape (2,3,4)
b = np.random.rand(4,)        # shape (4,) → 可广播到 (2,3,4)

C = A + b  # b 被自动扩展到每个 (i,j,:) 位置
```

广播规则（从后往前对齐维度）：

- 每一维要么相等，要么其中一个是 1，要么缺失。

---

## 3. 张量缩并（Contraction）—— 推广的“乘法”

### (a) **内积（点积）沿指定轴**：`np.tensordot`

`np.tensordot(A, B, axes)` 对 `A` 和 `B` 的指定轴求和。

> **经典例子**：矩阵乘法是 `tensordot` 的特例：
> 
> ```python
> C = np.tensordot(A, B, axes=([-1], [0]))  # A: (m,n), B: (n,p) → C: (m,p)
> ```

#### 📌 3 阶张量示例：

```python
# A: (2, 3, 4), B: (4, 5, 6)
# 想对 A 的第 2 轴（size=4）和 B 的第 0 轴（size=4）做缩并
C = np.tensordot(A, B, axes=([2], [0]))  # 结果 shape: (2, 3, 5, 6)
```

### (b) **爱因斯坦求和约定（Einstein Summation）**：`np.einsum`

极其强大且灵活的张量运算工具！

语法：`np.einsum('subscripts', operand1, operand2, ...)`

#### 常见用法：

```python
A = np.random.rand(2, 3, 4)
B = np.random.rand(4, 5)

# 1. 矩阵乘法（最后维 × 第一维）
C = np.einsum('ijk,kl->ijl', A, B)  # shape (2,3,5)

# 2. 沿某轴求和（迹、均值等）
sum_over_k = np.einsum('ijk->ij', A)  # 对 k 求和，shape (2,3)

# 3. 转置
A_transposed = np.einsum('ijk->kji', A)  # shape (4,3,2)

# 4. 逐元素乘 + 求和（类似内积）
x = np.random.rand(2, 3, 4)
y = np.random.rand(2, 3, 4)
inner = np.einsum('ijk,ijk->', x, y)  # 标量
```

> 💡 `einsum` 是处理高维张量的瑞士军刀！

---

## 4. 张量重塑（Reshape）与转置（Transpose）

```python
T = np.random.rand(2, 3, 4)

# 重塑
T_flat = T.reshape(-1)          # 展平为 (24,)
T_reshaped = T.reshape(6, 4)    # (2,3,4) → (6,4)

# 转置（任意维度重排）
T_trans = np.transpose(T, (2, 0, 1))  # 原 (0,1,2) → 新 (2,0,1)，shape (4,2,3)
# 等价于
T_trans2 = T.transpose(2, 0, 1)
```

---

## 5. 沿轴聚合操作（Aggregation）

```python
T = np.random.rand(2, 3, 4)

mean_axis0 = T.mean(axis=0)    # shape (3,4)
sum_axis12 = T.sum(axis=(1,2)) # shape (2,)
max_all = T.max()              # 标量
```

---

# 四、3 阶张量的“乘法”类型详解

| 运算类型 | 描述 | NumPy 实现 |
|--------|------|-----------|
| **逐元素乘** | `A * B` | `A * B` |
| **模态积（Mode-n Product）** | 张量 × 矩阵（沿某一模式） | 自定义或 `einsum` |
| **张量-向量积** | 张量 × 向量（缩并一维） | `einsum` |
| **张量-矩阵积** | 如 Tucker 分解中的核心运算 | `einsum` 或专用库 |

## 🔧 模态积（Mode-n Product）示例

设张量 $\mathcal{X} \in \mathbb{R}^{I \times J \times K} $，矩阵  $U \in \mathbb{R}^{P \times I} $，则 **mode-1 product** 定义为：

$$
\mathcal{Y} = \mathcal{X} \times_1 U \in \mathbb{R}^{P \times J \times K}
$$

其中：

$$
\mathcal{Y}(p, j, k) = \sum_{i=1}^I \mathcal{X}(i, j, k) \cdot U(p, i)
$$

### Python 实现：

```python
X = np.random.rand(3, 4, 5)   # (I,J,K) = (3,4,5)
U = np.random.rand(2, 3)      # (P,I) = (2,3)

# Mode-1 product: X ×₁ U
Y = np.einsum('pi,ijk->pjk', U, X)  # 注意 U 是 (p,i)，所以是 'pi'
print("Y shape:", Y.shape)  # (2,4,5)
```

同理：

- Mode-2: `np.einsum('qj,ijk->iqk', V, X)`
- Mode-3: `np.einsum('rk,ijk->ijr', W, X)`

> 这是**高阶 SVD（HOSVD）** 和 **Tucker 分解** 的基础。

---

# 五、高级张量分解（简介）

虽然超出基础范围，但值得了解：

| 分解 | 描述 | 应用 |
|------|------|------|
| **CP 分解** | 将张量表示为秩-1 张量之和 | 推荐系统、信号分离 |
| **Tucker 分解** | $\mathcal{X} = \mathcal{G} \times_1 U^{(1)} \times_2 U^{(2)} \times_3 U^{(3)}$ | 数据压缩、特征提取 |
| **Tensor Train (TT)** | 链式低秩表示 | 高维函数逼近 |

> 可使用 `tensorly` 库实现：
> 
> ```python
> import tensorly as tl
> from tensorly.decomposition import tucker
> 
> X = tl.tensor(np.random.rand(10, 10, 10))
> core, factors = tucker(X, rank=[5, 5, 5])
> ```

---

# 六、PyTorch / TensorFlow 中的张量

深度学习框架中的张量支持 GPU 加速和自动微分。

## PyTorch 示例：

```python
import torch

# 创建 3 阶张量
T = torch.randn(2, 3, 4, requires_grad=True)

# 运算（自动记录计算图）
U = torch.randn(5, 2)
Y = torch.einsum('pi,ijk->pjk', U, T)  # mode-1 product

# 反向传播
loss = Y.sum()
loss.backward()

print("T.grad shape:", T.grad.shape)  # (2,3,4)
```

---

# 七、完整代码示例：3D 张量操作汇总

```python
import numpy as np

# 创建 3 阶张量
X = np.random.rand(2, 3, 4)
print("X shape:", X.shape)

# 1. 逐元素运算
Y = X * 2 + 1

# 2. 沿轴求和
s0 = X.sum(axis=0)      # (3,4)
s01 = X.sum(axis=(0,1)) # (4,)

# 3. tensordot 缩并
A = np.random.rand(4, 5)
Z = np.tensordot(X, A, axes=([2], [0]))  # (2,3,5)

# 4. einsum 多种操作
# 转置
X_t = np.einsum('ijk->kij', X)
# mode-1 product
U = np.random.rand(7, 2)
X_mode1 = np.einsum('pi,ijk->pjk', U, X)  # (7,3,4)
# 内积
inner = np.einsum('ijk,ijk->', X, X)

# 5. 重塑
X_flat = X.reshape(-1)
X_reshaped = X.reshape(6, 4)

print("Z shape:", Z.shape)
print("X_mode1 shape:", X_mode1.shape)
print("Inner product:", inner)
```

---

# 八、总结

| 概念 | 说明 |
|------|------|
| **张量 = 多维数组** | 阶数 = 维度数 |
| **基本运算** | 加法、标量乘、广播 |
| **核心乘法** | `tensordot`、`einsum`（推荐） |
| **模态积** | 张量 × 矩阵（沿特定模式），用于高阶分解 |
| **工具** | NumPy（CPU）、PyTorch/TensorFlow（GPU + 自动微分） |
| **应用** | 视频数据（帧×高×宽×通道）、医学影像（3D MRI）、多关系图（实体×关系×实体） |

> 💡 **建议**：
> 
> - 对于复杂张量运算，优先使用 `np.einsum`，它清晰、高效、通用；
> - 在深度学习中，张量是数据的基本载体，理解其操作是构建模型的基础。

# 后续

python过渡项目部分代码已经上传至gitee，后续会逐步更新。

# 资料关注

公众号：咚咚王

《Python编程：从入门到实践》
《利用Python进行数据分析》
《算法导论中文第三版》
《概率论与数理统计（第四版） (盛骤) 》
《程序员的数学》
《线性代数应该这样学第3版》
《微积分和数学分析引论》
《（西瓜书）周志华-机器学习》
《TensorFlow机器学习实战指南》
《Sklearn与TensorFlow机器学习实用指南》
《模式识别（第四版）》
《深度学习 deep learning》伊恩·古德费洛著 花书
《Python深度学习第二版(中文版)【纯文本】 (登封大数据 (Francois Choliet)) (Z-Library)》
《深入浅出神经网络与深度学习+(迈克尔·尼尔森（Michael+Nielsen）》
《自然语言处理综论  第2版》
《Natural-Language-Processing-with-PyTorch》
《计算机视觉-算法与应用(中文版)》
《Learning OpenCV 4》
《AIGC：智能创作时代》杜雨+&+张孜铭
《AIGC原理与实践：零基础学大语言模型、扩散模型和多模态模型》
《从零构建大语言模型（中文版）》
《实战AI大模型》
《AI 3.0》

虽然“张量”一词在物理学、微分几何中有更广义的定义，但在现代数据科学、机器学习和数值计算中，张量通常被理解为多维数组（multi-dimensional array）。本文将从这一实用视角出发，系统介绍张量的基本概念、3 维及以上张量的运算规则，并提供完整的 Python（NumPy / PyTorch）代码实现。

人工智能之数学基础 线性代数：第五章 张量

技术岗

人工智能

编程语言

算法

本文系统介绍张量的基本概念与运算规则，涵盖3维及以上张量的加法、标量乘法、广播、缩并等核心操作，并提供完整的NumPy/PyTorch代码实现。深入讲解模态积、爱因斯坦求和约定等高级运算，帮助读者掌握多维数组在数据科学和深度学习中的实际应用。适合机器学习、数值计算从业者学习张量运算基础。

自然语言处理

深度学习框架

计算机视觉

智能创作

机器学习

深度学习

大数据

Python

AI驱动 智领未来

4核4G3M云服务器 新用户低至38元/年！

bigdata-class

ai-class

腾讯云BI新客户首次购买9.9元起！


5位重磅专家聚焦 AI 时代开发者核心成长需求，带你深入解锁全栈进化、人机协作关键路径！点击报名到场：<a href="https://cloud.tencent.com/developer/salon/salon-2403/signup" target="_blank">https://cloud.tencent.com/developer/salon/salon-2403/signup</a><br/> 
 <img src="https://qcloudimg.tencent-cloud.cn/raw/487c82639d2338df3ef66dfb1450601a.png"/>

腾讯技术创作特训营「年度论坛」正在报名中！

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

人工智能之数学基础 线性代数：第五章 张量-腾讯云开发者社区-腾讯云

人工智能之数学基础线性代数：第五章张量

人工智能之数学基础线性代数：第五章张量

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

人工智能之数学基础 线性代数：第五章 张量

人工智能之数学基础 线性代数：第五章 张量

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

人工智能之数学基础线性代数：第五章张量

人工智能之数学基础线性代数：第五章张量