ent M2M模型在pxc集群中的一个大坑

ent M2M模型在pxc集群中的一个大坑

事故简要分析

PXC集群3个节点，在插入数据时，如果使用数据库自己生成的主键，一般顺序为1,4,7,10…

这里就是坑的源头，在ent底层代码中，在做M2M模型插入时，会先插入两个模型，再插入中间表。即，假设M2M模型为group和user（https://entgo.io/docs/schema-edges#m2m-two-types），这里数据库会产生3张表，users, groups 和 user_groups，其中user_groups存放userid和groupid，这样就组成了一个多对多模型。

事故复原

假设先插入一个group，再插入一堆user，而在使用ent的CreateBulk插入user时，问题就发生了，我们在测试环境永远无法复现出问题，而只要一上生产环境，问题必然出现。原因就在于测试环境使用单节点mysql，生产环境使用的pxc集群！

先看插入代码：

// Add Group
hub := client.Group.
        Create().
        SetName("GitHub").
        SaveX(ctx)

// Add Users
bulk := make([]*User, len(users))
for i, user:= range users {
            bulk[i] = client.User.
        Create().
        SetAge(30).
        SetName("a8m").
        AddGroups(hub)
}
_, err = client.User.CreateBulk(bulk...).Save(ctx)
if err != nil {
    return errors.Wrap(err, "User.CreateBulk") // pxc集群必然报错
}

源码分析

.Save()中调用了BatchCreate，又跳转nodes

Untitled.png

nodes中主要两行代码是batchInsert和batchAddM2M，直观理解就是，先插入users，在插入user_groups，而插入user_groups时需要拿到所有users的id，由于我们是在一个事务里完成的，因此实际数据并未真正插入，因此ent做了一个看起来没问题的骚操作。

Untitled 1.png

从batchInsert到c.insertLastIDs

Untitled 2.png

重点来了，MySQL数据库id的处理结果是插入一条，剩下的数据加1，这是理想情况。比如插入时，第一条user的id是4，那剩下的id就是5,6,7,8,9…，但实际上，pxc集群处理时并不是这样，因此造成插入users时，id实际是4,7,10,13…，因此最终执行M2M插入操作时报错：add m2m edge for table

Untitled 3.png

正确的应该是1,4 1,7。于是报错：Error 1452: FOREIGN KEY constraint failed

Untitled 4.png

解决方式

PXC集群下

• 能不用M2M就不用M2M。M2M改O2M；
• 必须使用M2M时，不使用CreateBulk。该批量为单条；
• 必须使用CreateBulk时，手动指定id。自行使用分布式id。