全网URL采集工具，支持关键词采集，域名采集，联系人采集

**今天介绍的这款全网URL采集工具可以运用于全网域名/网址/IP信息检索、指定关键词批量数据采集、SEO、网络推广分析、内容源收集，以及为各种大数据分析等提供数据支撑。**

**软件提供本地WEB管理后台对软件进行相关操作，无需使用复杂的命令，功能强大且简单易上手!**

在这里插入图片描述

软件优势：

1：多搜索引擎支持

**支持全网采集，目前基本支持全网主流的搜索引擎，包括baidu，sogou，bing,Google,Yandex,Want,神马，DuckDuckGo,**

**后续还会推出更多的支持，敬请期待......**

在这里插入图片描述

2: 多种过滤方案

灵活的过滤方案可以根据我们的业务需求，自己定制符合的过滤方案，避免获得重复冗余数据，使我们的数据更加的精确，高效

系统内置了多种过滤方案：

在这里插入图片描述

同时支持根据域名，IP归属，网页标题，网页内容，访问状态等..进行自定义过滤

在这里插入图片描述

3: 灵活的推送方案

软件不仅支持将结果保存在本地，而且还支持远程的数据推送，可以和自己内部的业务系统相结合，便于数据的再次利用分析，

核心功能

1： 关键词采集

根据提供的关键词采集全网的数据，

重复判断：可以选择根据域名或者网址进行重复判断，

采集字段包括域名，网址，IP地址，IP所属国家，标题，描述，访问状态等。

过滤方案支持：可以根绝自己的业务需要设置自己的过滤方案

支持相关词扩展，自动添加网页推荐的相关词

关键词自动扩展支持

推送方案WebHook支持：根据自己业务需要进行远程数据推送，方便再次做统计分析。

在这里插入图片描述

2： URL采集

根据提供的URL数据批量采集全网被收录的数据，

重复判断：可以选择根据域名或者网址进行重复判断，

支持线程数自定义，可根据自己机器配置调整最优

采集字段包括域名，网址，IP地址，IP所属国家，标题，描述，访问状态等。

过滤方案支持：可以根绝自己的业务需要设置自己的过滤方案

防站群陷阱：可防止二级域名站群导致爬虫陷阱

推送方案WebHook支持：根据自己业务需要进行远程数据推送，方便再次做统计分析。

**创建爬虫任务**

在这里插入图片描述

在这里插入图片描述

3： 联系任务

可根据提供的域名地址采集被收录的联系方式等信息

包含手机。电话，qq，邮箱等

远程结果推送支持：可将结果推送到远程的服务器

**创建联系任务**

在这里插入图片描述

URL采集工具可以帮助我们进行数据**抓取、处理、分析，挖掘**。

URL采集工具帮助我们灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。这样可以保证，数据的完整性，时效性，特征性，提高分析的准确性。

更多关注：

msray官网：https://www.msray.net/

在线文档：https://www.msray.net/doc/

免费版获取：https://github.com/super-l/msray