问python爬虫学习的难度在哪里？

我做过商品数据分析，经常需要收集各种平台的商品数据做竞品分析，像用户评论情感、产品标题、销量等等，所以经常会用到Python爬虫去采集数据，一般会用到requests、selenium两种采集框架，其实对于静态页面的采集非常简单，一个商品的核心信息字段也就十几个，但是会遇到IP访问限制、验证码、人机验证、动态渲染、逆向js等各种问题，这才是爬虫的最大苦难。

为了能节省时间，可以考虑用亮数据，能自动化的解决网站解锁、登录验证、ip代理问题，只需要python写个接口代码接入亮数据提供的api即可，提交url能直接获取对应的html文档，并解析相应的数据字段。

比如说无界浏览器抓取功能，模拟真人操作，内置了解锁功能，可以处理ip反爬监测，通过Puppeteer和Playwright 来实现自动化的数据采集，把擦屁股的事情都处理好了，只需要提交请求即可。