滑动窗口模式在 TPS 限制中的应用

引言

在我们构建和优化高并发系统时，往往会遇到需要对服务的请求数进行限制的需求。这是因为无论服务多么强大，其处理能力总是有限的。超出处理能力的请求可能会导致服务过载，进而影响到整个系统的稳定性。对于这种情况，我们可以采用限流的方式来控制进入服务的请求数量，以保证服务的稳定运行。其中，滑动窗口模式是一种常见的限流算法。

在这篇文章中，我们将探讨滑动窗口模式，了解它的工作原理，以及如何在 Go Web 服务中实现滑动窗口模式的 TPS 限制。

什么是滑动窗口模式？

滑动窗口模式是一种用于网络数据传输或者服务请求控制的技术。其核心思想是将时间划分为多个固定的时间窗口，通过计算某段时间窗口内的请求数量，来决定是否允许新的请求。如果某段时间窗口内的请求数量已达到阈值，则新的请求将被阻止或者排队等待，直到进入下一个时间窗口。

与固定窗口模式相比，滑动窗口模式更加平滑。在固定窗口模式中，窗口的更换可能导致突然大量的请求得到处理，进而导致服务压力的突然增加。而滑动窗口模式通过持续滑动的窗口，可以避免这种情况，实现更平滑的请求控制。

如何实现滑动窗口模式的 TPS 限制？

实现滑动窗口模式的关键在于如何记录和计算每个时间窗口的请求数量。常见的方法是使用一个队列来记录每个请求的时间戳，队列的长度就代表了窗口内的请求数量。

当新的请求来时，我们首先把请求的时间戳添加到队列的末尾，然后从队列的头部开始，移除所有时间戳已经超出窗口范围的元素。这样，队列中就只保留了当前窗口内的请求时间戳，队列的长度就是当前窗口内的请求数量。

接下来，我们只需要判断队列的长度是否超过了设定的 TPS 限制。如果超过了限制，就拒绝或者延迟处理新的请求；如果没有超过限制，就直接处理请求。

这个算法可以用以下 Go 代码来实现：

type SlidingWindowLimiter struct {
    window time.Duration
    max    int
    slots  []time.Time
    mu     sync.Mutex
}

func (l *SlidingWindowLimiter) Allow() bool {
    l.mu.Lock()
    defer l.mu.Unlock()

    now := time.Now()
    begin := now.Add(-l.window)

    // 移除已经超出窗口的时间戳
    for len(l.slots) > 0 && l.slots[0].Before(begin) {
        l.slots = l.slots[1:]
    }

    // 检查当前窗口内的请求数是否超过了限制
    if len(l.slots) >= l.max {
        return false
    }

    l.slots = append(l.slots, now)
    return true
}

总结

滑动窗口模式是一种有效的限流算法，它可以保证服务在处理请求时的平稳性，避免因为窗口切换导致的服务压力突然增加。通过合理的设置窗口大小和 TPS 限制，我们可以对服务的并发处理能力进行精细控制，从而提高服务的稳定性和响应速度。