豆瓣用python - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

用 Python 爬取豆瓣电影海报

伪君子读完需要 9 分钟速读仅需 4 分钟 0 前言之前写过一篇用 Python 爬取豆瓣上的图片，那今天就来写一下爬取豆瓣上的电影海报，算是姐妹篇。...1 环境说明 Win10 系统下 Python3，编译器是 PyCharm 。...requests 可以直接用 pip install requests 安装，lxml、selenium 也一样，要是不知道该怎么安装，那还是用 PyCharm 安装吧。 ?...2 代码代码不算多，为了能解释清楚，所以也是按顺序分开来，用的时候按顺序复制就好。...search_text=' + query + '&cat=1002' + '&start=' + str(i) 先去豆瓣电影那搜索一下王祖贤，把每一页的链接都看一遍。

1.7K4 0

八佰：用Python看知乎 vs 豆瓣的战斗

（知乎、豆瓣对《八佰》评价的两极分化）之前的国产电影《战狼2》、《流浪地球》等也曾出现过很大的争议，但都没有达到如此程度。而且！...在开刚上映初，知乎的评分比这还低，在另一平台则是点映9.2、豆瓣8.3分。《八佰在豆瓣的初始评分》要不我们用Python爬爬评论看看差异吧？...爬取豆瓣再来个词云参考一款高颜值的词云包让我拍案叫绝 import stylecloud from IPython.display import Image stylecloud.gen_stylecloud...fa-frown',size=400, output_name='八佰-知乎.png') Image(filename='八佰-知乎.png') 生成词云：豆瓣...比如知乎的最高赞回答：豆瓣的最热门短评：你明白吧，双方陷入了一种 emmm 矫枉过正？还是想体现出自己的大局观？在看你就戳戳我！ ?

6824 0

您找到你想要的搜索结果了吗？

是的

没有找到

教你用python登陆豆瓣并爬取影评

这是我的第二篇原创文章在上篇文章爬取豆瓣电影top250后，想想既然爬了电影，干脆就连影评也爬了，这样可以看看人们评价的电影，再加上刚出不久的移动迷官3好像挺热的，干脆就爬他吧，爬完看看好不好看！...鼠标所点的就是我接下来要爬的网站，先看看他的response和请求头之类的信息，他的请求方式时get，response是一个网页结构，这就好办了，我们就可以用正则来匹配出所要的数据，正则还是个很好用的东西...2.用re+requests获取数据获取信息 ?...3.模拟登陆豆瓣首先需要看看登陆需要什么参数，这个参数是在豆瓣的登陆网址，先打开登陆，打开开发者工具(要不会看不到后面这个所需要的网页)，填好信息点击登陆，然后点击这个login网页，往下拉就会看到From...若需要完整代码在我后台回复影评即可，若需要python相关的电子书也可以回复pdf获得，日后还会有更多福利发给你

90210 0

Python pip 使用豆瓣源

Adminstrator 下新建一个pip文件夹然后在里面新建一个pip.ini 内容为 [global] index-url = https://pypi.douban.com/sample 这样全局都可以使用豆瓣源了...index-url=https://pypi.douban.com/sample Linux和macOS一样，都是在自己的用户目录下新建一个.pip目录，然后在目录下部署一个pip.conf然后就可以使用豆瓣了

3K2 0

python 修改豆瓣pip源

豆瓣pip源地址 https://pypi.doubanio.com 之前的pypi.douban.com 现已修改为 pypi.doubanio.com 阿里云pip源地址 https://mirrors.aliyun.com.../pypi/ 163 pip源地址 https://mirrors.163.com/pypi/ 手动指定源：在pip后面跟-i 来指定源，比如用豆瓣的源来安装web.py框架： pip install

2.5K3 0

python豆瓣代替pip安装python模块

5 次查看 python下使用pip3 freeze -> requirements.txt命令迁移模块功能介绍：将自己电脑上已经安装的python的模块名和版本进行打包，方便移植。...requirements.txt 会生成requirements.txt文件打开cmd运行：pip3 install -r requirements.txt 将requirements.txt文件的模块全部安装 python...pip 安装速度慢，总是出现超时失败解决办法：推荐豆瓣下载pip3 install -i https://pypi.doubanio.com/simple/ pip3 install -i

1.6K2 0

Python2.0抓取豆瓣图片

import urllib.request from html.parser import HTMLParser import re import ...

6642 0

Python用16行代码就搞定了爬取豆瓣读书页面

点击蓝字“python教程”关注我们哟！...我们一直说Python比较简单，代码体量没有别的程序那么大，对于初学者，尤其是零编程基础的初学者来说，感触没有那么明显，那么今天就让你见识一下：爬取豆瓣读书页面，Python用16行代码就搞定了!...首先我们先确定好要爬取的目标网页：豆瓣读书下一个标签为小说的页面：敲黑板!干货来了同志们!下面我将带领着大家用16行代码实现我们的这个爬虫。仅仅需要16行代码，看了不吃亏，看了不上当!...注意事项 01 对Python开发技术感兴趣的同学，欢迎加下方的交流群一起学习，相互讨论。...02 python交流学习扣扣群：934109170，多多交流问题，互帮互助，群里有不错的学习教程和开发工具。学习python有任何问题（学习方法，学习效率，如何就业），可以随时来咨询我好啦！

8162 0

python爬取豆瓣电影榜单

python爬取豆瓣电影榜单 python爬取豆瓣电影榜单并保存到本地excel中，以后就不愁没片看了。目标确定我们想要抓取的电影的相关内容。...抓取豆瓣top250电影的排名、电影名、评价（总结很到位）、评分、点评人数及电影的豆瓣页面。抓取各种电影类型的排行榜前100。编码省略需求到编码中间的繁文缛节，直接上手编码。...Font, Alignment class DouBanMovieList1(): def __init__(self): self.path = r'D:\Download\豆瓣电影榜单...\豆瓣电影.xlsx' def get_moviedata(self): data = [] headers = { 'User-Agent': 'Mozilla...\豆瓣电影.xlsx' self.type_dict = { 11: '剧情', 24: '喜剧', 5: '动作', 13: '爱情', 17: '科幻', 25: '动画',

1K3 0

使用豆瓣源安装python包

Python pip安装的原理就是从Python的官方源https://pypi.python.org/pypi下载到本地安装，但是访问官方源网络不稳定，速度较慢，我经常会遇到一个问题，pip安装包由于速度较慢...后来我使用了豆瓣源安装Python包，速度超快！...豆瓣源地址： https://pypi.douban.com/simple/ 使用豆瓣源安装： sudo pip install -i https://pypi.douban.com/simple/ pymysql

2.5K2 0

python 爬虫豆瓣图书TOP250

import requests from bs4 import BeautifulSoup

4622 0

python评分卡代码_python爬虫书籍豆瓣评分

如果你好奇我方如何将give me some credit数据集AUC达到0.929，可参考教程《python信用评分卡建模（附代码）》《python信用评分卡建模（附代码）》中give me some...《python信用评分卡建模（附代码）》讲解Kmeans，等频分箱、等距分箱，卡方分箱,决策树分箱算法原理和python实现分箱代码。《python信用评分卡建模（附代码）》还告诉你如何选择分箱方法？...单个 bin 内的所有观测值的概率相同，因此用概率替换相当于将决策树决定的截止值内的观测值分组。决策树分箱算法好处和缺点是：好处：概率预测返回的决策树与目标单调相关。...目前流行Java，python或R多种语言构建评分卡自动化模型系统。如果数据量大，建立自动信用化评分系统并非易事，需要专业团队不断测试和更新。...基于Python的信用评分卡模型-give me some credit就为大家介绍到这里了，参考资料：python金融风控评分卡模型和数据分析微专业课（加强版）> 版权声明：文章来自公众号(python

1.7K6 0

Python登录豆瓣并爬取影评

，用代码讲解下Cookie的会话状态管理（登录）功能。...而豆瓣口碑一直不错，有些书或者电影的推荐都很不错，所以我们今天来爬取下豆瓣的影评，然后生成词云，看看效果如何吧！二、功能描述我们使用requests库登录豆瓣，然后爬取影评，最后生成词云！...由上图我们可以看到，对于http客户端python官方文档也推荐我们使用requests库，实际工作中requests库也是使用的比较多的库。...1.分析豆瓣影评接口首先在豆瓣中找到自己想要分析的电影，这里猪哥选择一部美国电影《荒野生存》，因为这部电影是猪哥心中之最，没有之一！ ?...from=singlemessage&isappinstalled=0 当然也可以加入到猪哥的Python新手交流群中和大家一起学习，遇到问题也可以在群里提问！

1.9K2 0

票房20亿，豆瓣7.0？Python分析电影《孤注一掷》豆瓣评论数据

前言环境使用 Python 3.8 解释器 Pycharm 编辑器所需模块 import parsel >>> pip install parsel import requests >>> pip...x: x[1]) c = ( Pie(init_opts=opts.InitOpts(bg_color="#2c343c")) .add( series_name="豆瓣影评...x: x[1]) d = ( Pie(init_opts=opts.InitOpts(bg_color="#2c343c")) .add( series_name="豆瓣影评

5762 0

12行Python暴力爬《黑豹》豆瓣短评

今天，本文将带领小伙伴们通过12行简单的Python代码，初窥爬虫的秘境。爬虫目标本文采用requests + Xpath，爬取豆瓣电影《黑豹》部分短评内容。...通过tqdm模块实现了良好的交互工具准备 chrome浏览器（分析HTTP请求、抓包）安装Python 3及相关模块（requests、lxml、pandas、time、random、tqdm） requests...随机数生成工具，配合time使用 tqdm：交互好工具，显示程序运行进度基本步骤网络请求分析网页内容解析数据读取存储涉及知识点爬虫协议 http请求分析 requests请求 Xpath语法 Python...豆瓣短评页面请求分析通过请求分析，我们找到了目标url为 'https://movie.douban.com/subject/6390825/comments?...作为简单demo，本文仅对前11页内容进行爬取） requests请求通过requests模块发送一个get请求，用content方法获取byte型数据，并以utf-8重新编码；然后添加一个交互，判断是否成功获取到资源

9366 0

python爬虫获取豆瓣图书Top250

在上一篇博客《python爬虫获取豆瓣电影TOP250》中,小菌为大家带来了如何将豆瓣电影Top250的数据存入MySQL数据库的方法。...这次的分享,小菌决定再带着大家去研究如何爬取豆瓣图片的Top250信息，并将数据保存在csv文件中!...我们先根据网址https://book.douban.com/top250来到豆瓣图书Top250的页面。。 ? 同样，我们发现需要爬取10个网页的内容。 ?...AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36' } for url in urls: # 用requests...本次的分享就到这里了，喜欢的小伙伴们记得点赞加关注~(更多关于python基础的内容小伙伴们移步至Python 基础|菜鸟教程)学习( • ̀ω•́ )✧

1.7K1 0

Python分析《我不是药神》豆瓣评论

别私信我了，我800年前就知道《达拉斯》也是真事改编） author = 徐若风, date = 2018-06-06 00:00:00, vote = {{16426:0}}, comment = 放豆瓣语境下...comment = 小时候路过一家药店，门口的对联写着“只愿世间无疾病，何愁架上药染尘” 15 天评论量分布、走势 15天评论量分布图 15天评论量走势图我有一个微信公众号，经常会分享一些python...技术相关的干货；如果你喜欢我的分享，可以用微信搜索“python语言学习”关注欢迎大家加入千人交流答疑裙：699+749+852

1K12 0

12行Python暴力爬《黑豹》豆瓣短评

今天，本文将带领小伙伴们通过12行简单的Python代码，初窥爬虫的秘境。爬虫目标本文采用requests + Xpath，爬取豆瓣电影《黑豹》部分短评内容。...通过tqdm模块实现了良好的交互工具准备 chrome浏览器（分析HTTP请求、抓包）安装Python 3及相关模块（requests、lxml、pandas、time、random、tqdm） requests...随机数生成工具，配合time使用 tqdm：交互好工具，显示程序运行进度基本步骤网络请求分析网页内容解析数据读取存储涉及知识点爬虫协议 http请求分析 requests请求 Xpath语法 Python...豆瓣短评页面请求分析通过请求分析，我们找到了目标url为 'https://movie.douban.com/subject/6390825/comments?...作为简单demo，本文仅对前11页内容进行爬取） requests请求通过requests模块发送一个get请求，用content方法获取byte型数据，并以utf-8重新编码；然后添加一个交互，判断是否成功获取到资源

7163 0

Python etree解析豆瓣电影TOP250

book = xlwt.Workbook(encoding="utf-8", style_compression=0) sheet = book.add_sheet('豆瓣电影

5011 0

python爬虫获取豆瓣电影TOP250

在之前的博客中,小菌分享了几篇关于python爬虫的小程序，受到了许多小伙伴们的认可,小菌还是比较激动٩(๑>◡python方向的,很多的内容都是自己找资料自学的...同样本篇博客,小菌将继续分享实用的爬虫—获取豆瓣电影Top250的内容,并保存在MySQL数据库中。...关于豆瓣电影在百度百科上的描述,如下: 豆瓣电影提供最新的电影介绍及评论包括上映影片的影讯查询及购票服务。你可以记录想看、在看和看过的电影电视剧,顺便打分、写影评。...是不是心动了,嘿嘿~我们先根据网址https://movie.douban.com/top250来到豆瓣Top250的官网页面。 ? 我们发现该网页共有十页的数据!...可以看见我们的数据库中,存储着豆瓣电影Top250的数据,说明我们的爬虫程序成功了!那本次的分享也就到这里了,学到了的小伙伴们不要忘了点赞并关注小菌吖~点赞加关注,小白不迷路ヾ(๑╹◡╹)ﾉ"

1.2K1 0

点击加载更多

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭