使用数组实现数据去重

在上一篇数据去重文中，介绍了使用hashtable这种数据结构实现对一组数据的去重操作，那么这种方式是否存在优化的空间？先来看一道题，给定一组整数无序数组，获取重复的数据 如：[1,2,3,1] 在数据去重第一篇文章中，使用的hashtable, hashtable这种数据结构内部实现上也借用了数组，那么我们是否可以直接使用数组呢？

1. 首先要保证去重的数组是一组正整数，并且数组最大值<整数n
2. 声明长度为n的bool型数组
3. 遍历去重数组的值，判断该索引值是否为false, false则将该索引设置为true

代码：

package main

import "fmt"

func main() {
	nums := []int{1, 2, 3, 1, 4, 5, 4, 5, 6, 7, 3, 6, 8}
	filter := [10]bool{}
	res := []int{}

	for _, val := range nums {
		if !filter[val] {
			filter[val] = true
			res = append(res, val)
		}
	}

	fmt.Println(res)
}

以上基于数组实现了简单的去重算法，在使用数组去重时，需要注意以下几点：

1. 去重的数据为整数
2. 去重数据的最大值小于整数n
3. 数据的离散性不能过于分散，如果像1， 100 ，1000 这样的范围分散，那么使用数组进行去重空间复杂度会有些高

如果数据量很大的情况下，那么怎么实现去重？基于以上的数组去重算法思想，在下篇文章中，将介绍大数据的去重算法。