问什么是网络爬虫？

网络爬虫说通俗点其实就是数据采集，因为网页是用html存储信息的，所以需要有requests这样的http请求工具去获取网页，然后用xpath去解析网页，这里在python、js中都能找到相应的库去实现。

但很多情况下爬虫会遇到反爬机制，像是动态网页、验证码、ip封锁呀等等，自己处理会很麻烦，有亮数据这种专门的数据采集平台可以解决，它的抓取浏览器可以自动模拟浏览器指纹、解锁验证码呀等等，提取动态数据也不在话下。

我之前测试过亮数据还有专门的数据采集APIs，类似于爬虫接口，可以一键抓取各种主流电商数据，相当于帮你写好采集过程，直接调用即可，挺方便的。

总的来说，爬虫是在网络上抓取数据的过程，需要在法律允许前提下进行，不要冒险损害目标网站，这是底线。

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。