首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Python登录豆瓣影评

    一、需求背景 之前猪哥带大家爬取了优酷的弹幕生成词云图片,发现优酷弹幕的质量并不高,有很多介词和一些无效词,比如:哈哈、啊啊、这些、那些。。。...三、技术方案 我们看下简单的技术方案,大致可以分为三部分: 分析豆瓣的登录接口并用requests库实现登录保存cookie 分析豆瓣影评接口实现批量抓取数据 使用词云做影评数据分析 方案确定之后我们就开始实际操作吧...由上图我们可以看到,对于http客户端python官方文档也推荐我们使用requests库,实际工作中requests库也是使用的比较多的库。...4.批量爬 我们爬、提取、保存完一条数据之后,我们来批量爬一下。...from=singlemessage&isappinstalled=0 当然也可以加入到猪哥的Python新手交流群中和大家一起学习,遇到问题也可以在群里提问!

    1.6K20

    Python求列表的差、交集与

    公众号新增加了一个栏目,就是每天给大家解答一道Python常见的面试题,反正每天不贪多,一天一题,正好合适,只希望这个面试栏目,给那些正在准备面试的同学,提供一点点帮助!...废话不多说,开始今天的题目: 问:简单Python求列表的差、交集与? 答:先来说说这三者的定义,读过初中数学的应该都知道吧 。...差:A,B是两个集合,所有属于A且不属于B的元素构成的集合, 就是差。 ? 交集:A,B是两个集合,既属于A又属于B的元素构成的集合, 就是交集。 ?...:A,B是两个集合,把他们所有的元素合并在一起组成的集合,就是。 ? 说完了定义,接下来说下Python怎么求两个列表中的差、交集与的方法 。...[1,2,3] list2 = [3,4,5] temp = list(set(list1).intersection(set(list2))) print(temp) #[3] 求两个list

    1.5K30

    使用Python下载腾讯动漫

    开发环境 操作系统:windows 10 Python版本 :3.6 爬网页模块:selenium,PhantomJS 分析网页模块:BeautifulSoup4 关于Selenium selenium...自动测试的工具,可以用来操作一些浏览器Driver,例如Chrome,Firefox等,也可以使用一些headless的driver,例如PhantomJS 具体请参加官网: http://selenium-python.readthedocs.io...这里我们通过bs4 来提取出所有img地址 之后通过Python将其保存成图片 程序原理 ?...新建目录下载图片 这里首先判断是否有该漫画的目录,如果没有则新建,之后下载图片,图片的名称为列表的索引号 ? 执行结果 ? ?...注意事项: 建议先用Chrome测试OK,再改用PhantomJS执行 Chrome和PhantomJS在实际向下翻页时有差异,需测试后调节循环次数 为防止被ban,每次爬采用了随机延迟的方法 只能爬免费的内容

    85910

    Python小说写入word文档

    进入首页,选择我们要爬的书籍,点进去,刷新页面,确定书籍的url。...这里我们可以确定本网站每本书的url是固定的; 小说概览页 小说详情页,主要是两个部分,一部分是上面的书名、作者、类别等详情信息,另外一部分就是下面的章节信息了; 进一步确认,章节信息全部加载渲染...pip install lxml pip install docx # docx包的运行需要依赖python-docx,所以也要安装 pip install python-docx 章节与url获取...请求数据 请求网页数据就比较简单,python有很多相关的包,这里就使用requests包就行;另外这种小网站,正常是没有发爬虫机制的,但是为了严谨一点,还是设置一下请求头数据。...") break 小说内容获取 上面获取到了每个章节的url和标题; 接下来就直接拼接url获取数据即可; 方法和获取章节信息是相同的,利用requests包请求以及xpath解析即可

    78510

    Python爬虫:爬拉勾网职位分析

    前言 本文从拉勾网爬深圳市数据分析的职位信息,并以CSV格式保存至电脑,之后进行数据清洗,生成词云,进行描述统计和回归分析,最终得出结论。 1....用到的软件包 Python版本: Python3.6 requests:下载网页 math:向上整 time:暂停进程 pandas:数据分析保存为csv文件 matplotlib:画图 statsmodels...工作经验均值,工资区间的四分位数值,比较接近现实。...词云 我们将职位福利这一列的数据汇总,生成一个字符串,按照词频生成词云实现python可视化。以下是原图和词云的对比图,可见五险一金在职位福利里出现的频率最高,平台、福利、发展空间、弹性工作次之。...这点不难理解,即使职位都叫数据分析师,实际的工作内容差异比较大,有的只是用Excel做基本分析,有的用Python、R做数据挖掘。另外,各个公司的规模和它愿意开出的工资也不尽相同。

    1.6K21
    领券