最近有些想法,就是想做一个小说网站(大家别笑,纯粹拿来练手,怕很久不做爬虫忘记了)
ok,那想要做网站,总的有数据吧?数据从哪儿来?当然是“偷取”别人的咯。。。。(好像挺理所当然)
好吧,既然要头数据,不免要找个冤大头,我这里找的是笔趣阁网站的,
1、目标:爬取网站章节、url、章节内容;
2、使用python库:urllib.request,re,bs4(无此环境的自行安装啊)
3、数据存储;(预留)
4、前端显示;(预留)
嗯,就是这几个任务。首先我把爬取目录等的代码贴上。
结果展示:
之后会进行数据存储和前端展示,,敬请期待~~
领取专属 10元无门槛券
私享最新 技术干货