前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >上次的问题解决啦,重新送上Go ORM 单元测试全流程讲解

上次的问题解决啦,重新送上Go ORM 单元测试全流程讲解

作者头像
KevinYan
发布于 2022-05-23 06:39:10
发布于 2022-05-23 06:39:10
96400
代码可运行
举报
文章被收录于专栏:网管叨bi叨网管叨bi叨
运行总次数:0
代码可运行

从上次发文说起

在上次发布的文章《在项目里怎么给 GORM 做单元测试》中对 ORM 的 Update 操作的测试中,因为 ORM 库每次做更新操作时,都会针对updated_at字段进行自动更新,导致我们在写Mock的时候没办法精致匹配这个字段的值,这个问题也就作为一个未解决的问题在文章中发布了出去。

没想到上一周在CSDN上一位读者的留言给了这个问题解决的思路,因为微信不允许更改发布的文章,只能重开一篇文章把这个遗留问题加以解决,至此也算是一个 ORM Mock 单元测试的完整教程了,对前文有印象的读者朋友,请直接跳到文章后半部分进行观看

前言

真实的开发场景下我们的项目一般都会使用 ORM ,而不是原生的database/sql来完成数据库操作。在很多使用ORM工具的场景下,也可以使用go-sqlmock库 Mock数据库操作进行测试,今天这篇内容我就以 GORM 为例,讲解怎么给项目中的 ORM 数据库操作做单元测试。

项目准备

为了场景足够真实,我用 2020 年我更新的 「Go Web 编程」项目中的例子给大家演示怎么为使用了 GORM 的 DAO 层逻辑做 Mock 测试。

这里使用的GORM版本为 1.x,有可能在2.x版本下不兼容

在这个例子中我们有一个与 users 表

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
type User struct {
 Id        int64     `gorm:"column:id;primary_key"`
 UserName  string    `gorm:"column:username"`
 Secret    string    `gorm:"column:secret;type:varchar(1000)"`
 CreatedAt time.Time `gorm:"column:created_at"`
 UpdatedAt time.Time `gorm:"column:updated_at"`
}

func (m *User) TableName() string {
 return "users"
}

以及几个使用 User 的 DAO 函数:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
var _DB *gorm.DB

func DB() *gorm.DB {
 return _DB
}

func init() {
  //这里逻辑省略,就是初始化 GORM 的DB对象,
  // 设置连接数据库的配置
  // 真实代码可以公众号回复【gohttp15】获得
 _DB = initDB() 
}

func CreateUser(user *table.User) (err error) {
 err = DB().Create(user).Error

 return
}

func GetUserByNameAndPassword(name, password string) (user *table.User, err error) {
 user = new(table.User)
 err = DB().Where("username = ? AND secret = ?", name, password).
  First(&user).Error

 return
}

func UpdateUserNameById(userName string, userId int64) (err error) {
 user := new(table.User)
 updated := map[string]interface{}{
  "username": userName,
 }
 err = DB().Model(user).Where("id = ?", userId).Updates(updated).Error
 return
}

接下来我们就用 go-sqlmock 工具给这几个 DAO 函数做一下 Mock 测试。

初始化测试工作

首先我们需要做一下测试的初始化工作,主要是设置Mock的DB连接,因为要给三个方法做Mock测试,最简单的办法是在三个方法里每次都初始化一遍 Mock 的 DB 连接,不过这么做实在是显得有点蠢,这里给大家再介绍一个小技巧。

Go 的测试支持在包内优先执行一个 TestMain(m *testing.M) 函数,可以在这里为 package 下所有测试做一些初始化的工作。

下面是我们为本次测试做的初始化工作。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
// 给公众号「网管叨bi叨」发私信
// gohttp15 获得源码
var (
 mock sqlmock.Sqlmock
 err  error
 db   *sql.DB
)
// TestMain是在当前package下,最先运行的一个函数,常用于初始化
func TestMain(m *testing.M) {
  //把匹配器设置成相等匹配器,不设置默认使用正则匹配
 db, mock, err = sqlmock.New(sqlmock.QueryMatcherOption(sqlmock.QueryMatcherEqual))
 if err != nil {

  panic(err)
 }
 _DB, err = gorm.Open("mysql", db)

 // m.Run 是调用包下面各个Test函数的入口
 os.Exit(m.Run())
}
  • 在这个初始化函数里我们创建一个 sqlmock 的数据库连接 dbmock对象,mock对象管理 db 预期要执行的SQL。
  • 让sqlmock 使用 QueryMatcherEqual 匹配器,该匹配器把mock.ExpectQuery 和 mock.ExpectExec 的参数作为预期要执行的SQL语句跟实际要执行的SQL进行相等比较。
  • m.Run 是调用包下面各个Test函数的入口。

准备工作做好了,下面正式对 DAO 操作进行Mock测试。

对Create进行Mock测试

首先对 GORM 的Create 方法进行Mock测试。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
// 给公众号「网管叨bi叨」发私信
// gohttp15 获得源码
func TestCreateUserMock(t *testing.T) {
 user := &table.User{
  UserName:  "Kevin",
  Secret:    "123456",
  CreatedAt: time.Now(),
  UpdatedAt: time.Now(),
 }
 mock.ExpectBegin()
 mock.ExpectExec("INSERT INTO `users` (`username`,`secret`,`created_at`,`updated_at`) VALUES (?,?,?,?)").
  WithArgs(user.UserName, user.Secret, user.CreatedAt, user.UpdatedAt).
  WillReturnResult(sqlmock.NewResult(1, 1))
 mock.ExpectCommit()
 err := CreateUser(user)
 assert.Nil(t, err)

}

因为 sqlmock 使用的是 QueryMatcherEqual 匹配器,所以,预期会执行的 SQL 语句必须精确匹配要执行的SQL(包括符号和空格)。

这个SQL怎么获取呢?其实我们先随便写一个SQL,执行一次测试,在报错信息里就会告知CreateUser操作在写表时 GORM 真正要执行的 SQL 啦, 也可以通过GORM提供的Debug()方法获取到。

比如运行一下下面这个设置了Debug()的创建用户操作,GORM就会打印出执行的语句。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
func CreateUser(user *table.User) (err error) {
 // 打印出要执行的SQL语句 ,记得改回去
  err = DB().Debug().Create(user).Error
 // err = DB().Create(user).Error

 return
}

我们执行下这个测试

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 go test -v -run TestCreateUserMock

--------
=== RUN   TestCreateUserMock
--- PASS: TestCreateUserMock (0.00s)
PASS
ok      golang-unit-test-demo/sqlmock_gorm_demo 0.301s

可以看到,测试函数执行成功,我们还可以故意把SQL改成,做一下反向测试,这个就留给你们自己联系啦,结合上表格测试分别做一下正向和反向单元测试。

Get 操作的Mock测试

GORM 的查询操作的Mock测试跟Create类似。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
// 给公众号「网管叨bi叨」发私信
// gohttp15 获得源码
func TestGetUserByNameAndPasswordMock(t *testing.T) {
 user := &User{
  Id:        1,
  UserName:  "Kevin",
  Secret:    "123456",
  CreatedAt: time.Now(),
  UpdatedAt: time.Now(),
 }

 mock.ExpectQuery("SELECT * FROM `users`  WHERE (username = ? AND secret = ?) "+
  "ORDER BY `users`.`id` ASC LIMIT 1").
  WithArgs(user.UserName, user.Secret).
  WillReturnRows(
   // 这里要跟结果集包含的列匹配,因为查询是 SELECT * 所以表的字段都要列出来
   sqlmock.NewRows([]string{"id", "username", "secret", "created_at", "updated_at"}).
    AddRow(1, user.UserName, user.Secret, user.CreatedAt, user.UpdatedAt))
 res, err := GetUserByNameAndPassword(user.UserName, user.Secret)
 assert.Nil(t, err)
 assert.Equal(t, user, res)
}

这里就不在文章里运行演示啦,有兴趣的自己把代码拿下来试一下。

Update 操作的Mock测试

GORM的Update操作的单元测试,一开始是这样写的:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
func TestUpdateUserNameByIdMock(t *testing.T) {
 newName := "Kev"
 var userId int64 = 1
 mock.ExpectBegin()
 mock.ExpectExec("UPDATE `users` SET `updated_at` = ?, `username` = ?  WHERE (id = ?)").
  WithArgs(time.Now(), newName, userId).
  WillReturnResult(sqlmock.NewResult(1, 1))
 mock.ExpectCommit()

 err := UpdateUserNameById(newName, userId)
 assert.Nil(t, err)
}

运行测试后,会有下面的报错信息:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
ExecQuery 'UPDATE `users` SET `updated_at` = ?, `username` = ?  WHERE (id = ?)', arguments do not match: argument 0 expected [time.Time - 2022-05-08 18:13:08.23323 +0800 CST m=+0.003082084] does not match actual [time.Time - 2022-05-08 18:13:08.234134 +0800 CST m=+0.003986334]

GORM 在UPDATE 的时候会自动更新updated_at 字段为当前时间,与这里withArgs传递的 time.Now() 参数不一致(毫秒级的差距也不行)。

这种情况可以选择在 Mock 要执行的更新 SQL 时给 updated_at字段的值设置成sqlmock.AnyArg(),就能测试通过了,上面的 UPDATE 测试改成下面这样:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 mock.ExpectBegin()
  mock.ExpectExec("UPDATE `users` SET `updated_at` = ?, `username` = ?  WHERE (id = ?)").
    WithArgs(sqlmock.AnyArg(), newName, userId).
  WillReturnResult(sqlmock.NewResult(1, 1))
 mock.ExpectCommit()

这个方法是sqlmock提供的用来断言匹配任意字段值的一个特殊的类型。在其注释里也有说明,尤其适合time.Time类型字段的断言。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
// AnyArg will return an Argument which can
// match any kind of arguments.
//
// Useful for time.Time or similar kinds of arguments.
func AnyArg() Argument {
 return anyArgument{}
}

当然使用sqlmock.AnyArg()在测试代码的可读性上,以及严谨性上都会差点意思,因为如果真实执行的 SQL 中如果updated_at字段设置的值不是time.Time类型的,使用sqlmock.AnyArg()做断言匹配是无法测出来的。

所以我们也可以选择实现自己定义一个 AnyTime 类型,让它实现sqlmock.Argument接口,比如下面的示例:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
// 定义一个AnyTime 类型,实现 sqlmock.Argument接口
// 参考自:https://qiita.com/isao_e_dev/items/c9da34c6d1f99a112207
type AnyTime struct{}

func (a AnyTime) Match(v driver.Value) bool {
 // Match 方法中:判断字段值只要是time.Time 类型,就能验证通过
 _, ok := v.(time.Time)
 return ok
}

AnyTime 类型实现接口定义的Match方法的逻辑是:判断字段值只要是time.Time 类型,就能验证通过。这种方式比使用 sqlmock.AnyArg() 限制性更强一些,代码可读性也会更好。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 mock.ExpectBegin()
 mock.ExpectExec("UPDATE `users` SET `updated_at` = ?, `username` = ?  WHERE (id = ?)").
  WithArgs(AnyTime{}, newName, userId).
  WillReturnResult(sqlmock.NewResult(1, 1))
 mock.ExpectCommit()

总结

这篇内容我们把ORM的 Mock 测试做了一个讲解,覆盖了 ORM 的所有操作,对了这里没有讲关于 DELETE 操作的讲解,这块有需要的自己研究一下吧。还有一点重要的原因是,在公司里做项目,使用的数据库账号一般不授予 DELETE 权限,为什么不让做 DELETE 操作?领导故意难为你出一堆规范?其实是为了避免出线上事故,还有因为不是 DELETE 就一定能释放 MySQL 磁盘空间的,大家可以在评论区里发挥一下,看自己的 MySQL 的知识储备咋样。

如果你觉得有用,可以点赞、在看、分享给更多人,谢谢各位的支持,后面会与时俱进再搞一篇 Go 1.18 Fuzing 测试的使用介绍。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-05-23,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 网管叨bi叨 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
Linux进程间通信--管道(pipe和fifo)
       通过管道来实现进程间的通信的方法很经典,因为多个进程共享3-4G中的内核,所以在内核中存在一个管道(缓冲区),然后进程通过连接管道的两端从而实现通信。假如说我们现在有一根管道,我们从左端放入一个小球,那么它会从右端滚出来,那么如果我们同时向两端都放入一个小球,那么就不可能实现交叉传递了,所以管道是半双工通信(即双方都可以发送信息,但是双方不能同时发送信息),因此管道的两端一端是读端,一端是写端。那么要实现两个进程的同时读写操作,就需要用两个管道。
Ch_Zaqdt
2020/03/03
3.9K0
【Linux进程#1】IPC 进程间通信(一):管道(匿名管道&命名管道)
✨ 无人扶我青云志,我自踏雪至山巅 🌏
IsLand1314
2025/06/02
1350
【Linux进程#1】IPC 进程间通信(一):管道(匿名管道&命名管道)
【Linux】IPC 进程间通信(一):管道(匿名管道&命名管道)
为了实现两个或者多个进程实现数据层面的交互,因为进程独立性的存在,导致进程通信的成本比较高
IsLand1314
2024/11/19
4350
【Linux】IPC 进程间通信(一):管道(匿名管道&命名管道)
Linux:进程间通信(一.初识进程间通信、匿名管道与命名管道、共享内存)
这种双重性使得管道既具有机制的灵活性,又具有文件的可操作性。它可以在不同的进程之间建立连接,实现数据的传递和共享,同时也可以通过标准的文件操作接口进行访问和控制。
是Nero哦
2024/07/09
5750
Linux:进程间通信(一.初识进程间通信、匿名管道与命名管道、共享内存)
Linux 的进程间通信:管道
本文介绍了管道(pipe)在Linux系统中的实现方式,从三个方面进行了详细阐述:管道的原理,命名管道,以及通过匿名管道进行的进程间通信。同时,文章还探讨了管道在Linux系统中的实际应用,包括shell脚本、cron任务以及Linux中的各种守护进程等。
邹立巍
2017/07/31
8.5K3
Linux 的进程间通信:管道
进程间通信(一)/管道
有时候需要多进程协同,让每一个进程专注于自己的事,然后把结果交给另外一个进程去处理。比如使用管道,让多进程协同,简单的有:
二肥是只大懒蓝猫
2023/03/30
5290
进程间通信(一)/管道
Linux 进程间通信之管道(pipe)、命名管道(FIFO)与信号(Signal)
管道可用于具有亲缘关系进程间的通信,有名管道克服了管道没有名字的限制,因此,除具有管道所具有的功能外,它还允许无亲缘关系进程间的通信。
用户6543014
2020/12/21
2.6K0
Linux 进程间通信之管道(pipe)、命名管道(FIFO)与信号(Signal)
【linux学习指南】 进程间通信&&匿名管道&&理解管道的本质
在 Unix/Linux 系统中,我们可以使用 fork() 系统调用来创建子进程,并通过共享管道(pipe)进行进程间通信。下面是使用 fork() 来共享管道的原理:
学习起来吧
2024/11/18
1510
【linux学习指南】 进程间通信&&匿名管道&&理解管道的本质
进程间通信
什么是管道? 可以理解为内存中的一个缓冲区,用于将某个进程的数据流导入,由某一个进程导出,实现通信。 再通俗的说,看图:
看、未来
2020/08/26
9030
进程间通信
C++进程间通信 详解2
Linux环境下,进程地址空间相互独立,每个进程各自有不同的用户地址空间。任何一个进程的全局变量在另一个进程中都看不到,所以进程和进程之间不能相互访问。
Freedom123
2024/03/29
9830
C++进程间通信 详解2
进程通信(一)无名管道和有名管道
《王道考研复习指导》 管道通信是消息传递的一种特殊方式。所谓“管道”,是指用于连接一个读进程和一个写进程以实现它们之间通信的一个共享文件,又名pipe文件。向管道(共享文件)提供输入的发送进程(即写进程),以字符流的形式将大量的数据送入(写)管道;而接受管道输出的接受进程(即读进程),则从管道接受(读)数据。为了协调双方的通信,管道机制必须提供一下三个方面的协调能力:互斥、同步和确定对方存在。 下面以linux的管道为例进行说明。在linux中,管道是一种频繁使用的通信机制。从本质上讲,管道也是一种文件,但它又和一般的文件有所不同,管道可以克服使用文件通信的两个问题,具体表现为: 1)限制管道的大小。实际上,管道是一个固定大小的缓冲区。在Linux中,该缓冲区的大小为4KB,使得它不像文件那样不加检验的增长。使用单个固定缓冲区也会带来问题,比如在写管道时可能变满,当这种情况发生时,随后对写管道的write()调用将默认的阻塞,等待某些数据被读取,以便腾出足够的空间供write()调用写。 2)读进程也可能工作的比写进程快。当所有当前进程数据已被读走时,管道变空。当这种情况发生时,一个随后的read()调用将默认设置为阻塞,等待某些数据被写入,这解决了read()调用返回文件结束的问题。 注意 :从管道读数据是一次性操作,数据一旦被读走,它就从管道中被抛弃,释放空间以便写更多的数据。管道只能采用半双工通信,即在某一时刻只能单向传输。要实现父子进程双方互动,需要定义两个管道。
lexingsen
2022/02/24
1.6K0
进程通信(一)无名管道和有名管道
从零开始:实现进程间管道通信的实例
匿名管道(Anonymous Pipe)是进程间通信(IPC)的一种机制,它主要用于本地父子进程之间的通信。
绝活蛋炒饭
2024/12/16
2180
从零开始:实现进程间管道通信的实例
进程间通信Linux
首先自己要用用户层缓冲区,还得把用户层缓冲区拷贝到管道里,(从键盘里输入数据到用户层缓冲区里面),然后用户层缓冲区通过系统调用(write)写到管道里,然后再通过read系统调用,被对方(读端)读取,就要从管道拷贝到读端,然后再显示到显示器上。
ljw695
2024/11/15
2880
进程间通信Linux
【Linux】基于管道进行进程间通信
进程间通信是两个或者多个进程实现数据层面的交换。但是由于进程间存在独立性,所以导致进程间通信的成本比较高。
YoungMLet
2024/03/01
2620
【Linux】基于管道进行进程间通信
深入了解linux系统—— 进程间通信之管道
本篇博客所涉及到的代码一同步到本人gitee:testfifo · 迟来的grown/linux - 码云 - 开源中国
星辰与你
2025/06/08
760
深入了解linux系统—— 进程间通信之管道
C语言第四章(进程间的通信,管道通信,pipe()函数)
本文讲解的是C语言的进程之间的通信,这里讲解的是管道通信,和相关的函数pipe().
GeekLiHua
2025/01/21
2070
Linux进程间通信之管道
1,进程间通信 (IPC ) Inter-Process Communication   比较好理解概念的就是进程间通信就是在不同进程之间传播或交换信息。 2,linux下IPC机制的分类:管道、信号、共享内存、消息队列、信号量、套接字 3,这篇主要说说管道:本质是文件,其他理论什么的网上已经有一大堆了,我就只写一点用法吧。 3.1 特点      1)管道是最古老的IPC,但目前很少使用      2)以文件做交互的媒介,管道分为有名管道和无名管道      3)历史上的管道通常是指半双工管道 3.2 管
xcywt
2018/01/11
2.7K0
Linux进程间通信之管道
【Linux】进程间通信——管道
而我们所说的不同通信种类本质就是:上面所说的资源,是OS中的哪一个模块提供的。如文件系统提供的叫管道通信;OS对应的System V模块提供的…
平凡的人1
2023/10/15
3400
【Linux】进程间通信——管道
进程间通信--管道
有时候我们需要多个进程协同的去完成某种任务,因此需要进程之间能够相互通信。但是进程之间具有独立性,要让进程之间能通信就要打破这种独立性,所以通信的代价一定是不低的。打破这种独立性就是要让两个不同的进程看到同一份资源,这个资源只能由操作系统来提供。因为如果是某个进程来提供因为独立性,这个资源就只能被提供这个资源的进程看到。
始终学不会
2023/10/17
2450
进程间通信--管道
Linux进程通信之管道解析
管道是 UNIX系统 IPC的最古老的形式,所有的UNIX系统都提供此种通信。所谓的管道,也就是内核里面的一串缓存,从管道的一段写入的数据,实际上是缓存在内核中的,令一端读取,也就是从内核中读取这段数据。对于管道传输的数据是无格式的流且大小受限。对于管道来说,也分为匿名管道和命名管道,其中命名管道也被叫做 FIFO,下面则分别阐述这两种管道。
wenzid
2021/07/20
1.4K0
Linux进程通信之管道解析
推荐阅读
相关推荐
Linux进程间通信--管道(pipe和fifo)
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档