Python爬虫日记第二天之磨刀不误砍柴工

Python爬虫日记第二天之磨刀不误砍柴工

磨刀不误爬虫工，往往一个环境的好坏会影响到你的开发效率以及开发体验，所以小编在此给大家介绍几个写Python爬虫经常用到的工具

首先不得不说的是，Python2.7 以及 Python3.6 这两个版本的Python安装包；对于该学Python2还是Python3这个问题，我个人的建议是可以直接上手Python3，因为Python3的话是Python未来的方向，而且我在实际应用中遇到的Python2跟3需要注意的不同之点除了print方式不同，以及一些包的导入问题和语法问题，其他屈指可数，完全可以上手

接下来开始步入正题：

D

Python的集成开发环境--PyCharm

PyCharm是一种Python IDE，带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。此外，该IDE提供了一些高级功能，以用于支持Django框架下的专业Web开发

小编我用起来也是得心应手，但是对于刚会一点Python基础的萌新，还是建议可以先用Notepad，这类简单编辑器写代码，能够帮你熟练Python语法，不会变成没了IDE就不会写代码的新手了

我也是刚开始用了很久的Notepad，之后才是用上了PyCharm，一股鸟枪换炮的气势油然而生，相信我，这感觉错不了！

这里提醒各位同学，如果有校园邮箱或者可以申请的话，可以免费使用PyCharm专业版哦；后期也会出一篇有关安装以及pycharm基本模块的文章

D

数据库：关系型数据库MySQL，非关系型数据库MongoDB

一个爬虫获取到的数据，可以直接以文本，音频，视频，csv等形式保存在本地，当然更多的会考虑保存在数据库中；小编我一开始用的是mongodb，后来才开始使用MySQL，

mysql的重要性自不必多说，前几天还遇到一个问题，在爬虫在爬取百万信息的时候，越来越慢，结果纠结了我半天，发现mysql没有加索引！真蠢......如果说没加索引之前是蜗牛，那加了索引之后就TM是火箭！

在小编分享的Python的开发环境资源中，包含了MySQLl以及MongoDB的安装包，还有二者的可视化工具

D

模拟请求工具：Postman

在爬取网站的时候，有的网站会做些反爬措施，比如需要你的User-Agent，或者需要cookie才能访问，面对简单的小网站还好，而面对反爬措施十足的网站时，你再通过这样直接的多次发起请求而去分析得到的响应时，小心有些网站还会把你IP封了，这时候你就需要一款贴心的Postman了

对就是这个脑袋朝斜上方45度的货

通过postman你可以模拟向浏览器发送请求，这样一来你可以就可以判断，得到这个网站响应的条件是什么了，是user-agent，还是cookie，又具体是繁长的cookie中的哪一个值，又或者需要添加哪些data

D

抓包工具：Fiddler

在爬取网站时，有很多的网页内容是动态加载的，也就是说你在页面源代码中是看不到这些内容的；又或者你需要爬取APP上的信息，这个时候你可能需要fiddler了，通过抓包，你可以找到所有网络请求中你需要的请求，进而对此分析，再由这个链接去获得对应的内容

基本的环境工具就介绍到这里，想熟练运用这些工具还需要大家多多使用哦，遇到问题，第一Google，第二百度，第三可以找小编 ~ 若有错误，欢迎指正

觉得不错，欢迎点赞，把我们举高高，咳咳

说人话！

能置顶是极好的~