从长亭的wiki上获取我想要的数据

本文作者：myh0st

那么，如何寻找喜欢分享，有可能加入我们的同学呢？

通常有自己博客的朋友都可以算作是喜欢分享，技术能力是次要的，只要爱分享就是我们所寻找的有缘人。

那么如何寻找有博客的朋友呢？

国内有两个 wiki 平台，一个是 www.sec-wiki.com，另一个就是 wiki.ioin.in 了，这上面，大家提交了很多质量比较好的文章，有些是为了推广平台自己添加上去的，有些是一些朋友看到好的文章主动提交的，所以这就是一个比较好的资源库，有大量的喜欢分享的朋友在上面，所以这就是我的目标。

今天的主题是长亭的 wiki，也就是 wiki.ioin.in。

获取 wiki 平台上所有的文章链接

这个工作肯定不是通过纯手工可以搞定的，必须使用工具，那么自己写工具吗？

作为一个懒人，很久没写代码了，所以就用已有的工具来完成吧，这里用到的工具有：burp、emeditor。

打开 wiki.ioin.in，如图：

url 中的页数是可以遍历的，所以我们就用 burp 来设置参数，遍历一下，如图：

遍历完之后，将响应返回的结果保存下来，保存选项如下图：

保存完之后，就可以用我们的 emeditor，这个编辑器是我最喜欢的，功能很强大，把所有短链接提取出来，如下图：

从上图可以看出，短链接是有规律的，所以只需要把行里有 <a href="/url 导出来就可以了，如图：

提取后的结果如图：

将提取后的结果保存在一个文件里，然后设置下一波爆破，如图：

设置完，启动爆破，然后把结果保存下来，如图：

把含有 Location: 的行提取出来，然后替换掉就获得了所有的链接，如图：

分析获取的链接数据

拿到结果之后，我们要把这里面涉及的网站做个统计，看看哪些网站出现的次数最多，发布的文章最多，这里可以使用 linux 下的两个命令：sort 、 uniq。

1、将结果中的域名提取出来

用 emeditor 将域名之前的 http 的部分替换掉，可以用正则替换，如: http[s]?://，然后将域名后面的部分替换点，正则如：/.*，然后获得结果如下：

2、对以上结果进行排序统计

可以使用如下命令对文件进行处理：

sort links.txt | uniq -c > 1.txt sort -r -k 1 -n 1.txt > 2.txt

处理结果如图：

下面就可以看小伙伴的博客，如果内容比较好的，我就联系大家了。