腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

微博订阅评论

参考：http://open.weibo.com/wiki/%E7%A4%BA%E4%BE%8B%E4%BB%A3%E7%A0%81 微博开放平台给出的代码有很多bug,在此纠正如乱码问题的解决： String

2018-08-24

1.2K0

标签:

微博爬虫 | 微博评论爬取下载，同步获取一二级评论

今天给大家分享一款简单到有点简陋的微博评论专门的爬取下载小工具。很多同学写论文、自媒创作想要从微博上去爬取一些素材，总是感到力不从心，有了这款小工具，相信以后就再也不用发愁了。言归正传，下面我们就来看看这款小工具：简单或者说简陋的界面我们先打开更新cookie的教程链接，更新一下软件目录下的weibo_cookie，因为微博是需要登录后才可以显示更多内容的。所以这个登录信息必须要提前做，不然将只能查看一页也就是只能采集到一页的评论内容。 cookie文件cookie值要复制到文件当中，过期了要更新一下这个Mid，也就是博文采集表格当中的这列字段，对应后面的评论数，我们随便找一个。复制一下，粘贴到软件当中，回车，软件就自动运行了。导出的文件发现一级及二级评论均已经在表格当中了，字段包括评论数，点赞数，评论内容、评论用户、时间等。

2022-11-14

2.3K1

标签:

如何爬取微博评论

01 前言微博，想必大家都非常熟悉。人人都可以在上面发表自己的观点。到现在微博已经成为了官方和明星等“新闻发布”的第一阵地，比如前几天范冰冰宣布和李晨分手，双宋CP宣布离婚，瞬间微博就爆炸。主要是因为微博不同于其他的社交平台，不需要对方关注你或是成为好友，就可以看到所有你想看到的信息和动态。所以，微博信息量巨大，也为我们爬数据提供了基础！数据爬取是的，今天，我们就来爬一下微博的评论，前面已经给大家介绍了很多经典算法，大家对于python基本的内容已经熟悉啦，今天，我们就简单的来学习一下如何爬数据。 Tip：准备工作 ? 微博页面如下图所示： ? 总结这次我们只介绍了爬取新浪微博移动端的评论数据（因为这个比较简单....）大家可以用这个方法试着爬取网页端或者手机端的数据哦~我们下期再见！

2019-07-10

2.4K0

标签:

Python爬虫抓取微博评论

.decode("utf-8") # 预登陆获得 servertime, nonce, pubkey, rsakv def get_server_data(self, su): """与原来的相比，微博的登录从注册的手机号） password = "123456" # 密码 cookie_path = "Cookie.txt" # 保存cookie 的文件名称 id = '4477416430959369' # 爬取微博的 ', 'username', 'following', 'followed', 'gender']) start_crawl(get_cookies(), id) 第八步：获取id 你需要获得想要找的微博首先找到你想爬的微博，这里以微博故事为例，在浏览器内按下F12，并且点击评论按钮点击‘网络’，找到一条像图中的get请求。 .decode("utf-8") # 预登陆获得 servertime, nonce, pubkey, rsakv def get_server_data(self, su): """与原来的相比，微博的登录从

2022-05-11

2.4K0

标签:

2023 微博评论爬虫 | 突破 1000 页限制，抓取 10w 条微博评论

相比较一条微博的正文内容，微博的评论区往往有着更多的态度和情感极性，是不错的语料分析文本来源，因此对微博评论的抓取需求较大，笔者在以往分享过几个微博评论抓取的代码或者教程： 2021 新版微博评论及其子评论爬虫发布新增 ip 属地，抓得更多，微博超级评论爬虫大更新维护了三年依然有效，但是有一个问题，由于接口限制，很多微博评论只能抓到前面几十页或者几百页，对应的评论数量也就是几百条或者几千条，怎么在一条微博中爬到上万条评论甚至几十万条评论呢这是一个全新的微博评论爬虫系统，抓取的 csv 结果字段包括评论 id、评论时间、评论内容、评论回复数、点赞数、评论用户 id、评论用户名、评论用户性别、评论用户地址、评论用户认证类型、评论用户的粉丝数和关注数等字段在趋势分析 tab，可以按照月、天、小时、分钟四个维度对评论的评论数和点赞数、回复数的变化趋势可视化。在属地分析 tab，可以直观的看到评论用户的属地分布：情感分析 tab 则是对每一条评论文本的情感做了极性比例可视化：最后一个 tab 则是对所有的评论文本分词后进行词云可视化，并且可以在网页上自定义停用词

2023-07-03

4.9K2

标签:

查看微博评论数据文件

0 2020-10-15 22:29 /warehousedrwxr-xr-x - root supergroup 0 2020-10-15 22:29 /workspace 六、需求：上传蔡徐坤微博评论数据到里面包含了大量蔡徐坤微博相关的评论数据集，我们需要将这些数据集上传到HDFS中。 <dst> （2）上传微博评论数据创建对应的文件夹。

2021-08-31

1.2K0

标签:

微博评论功能系统设计

图片微博评论功能是一种非常常见的社交媒体功能，它允许用户对微博进行评论和互动。在设计微博评论功能时，需要考虑用户体验、安全性、性能和可扩展性等方面。本文将详细介绍如何设计微博评论功能。功能需求分析在设计微博评论功能之前，需要进行功能需求分析，明确该功能需要实现哪些功能。具体功能如下：（1）用户可以在微博下方评论框内输入文本并提交评论。评论表的结构如下图所示：评论表包括以下字段：（1）评论ID：唯一标识评论的ID。（2）微博ID：评论所属微博的ID。（3）评论内容：评论的文本内容。（4）评论人ID：评论人的ID。具体API接口如下：（1）添加评论API地址：/comment/add请求方法：POST请求参数：微博ID：微博的ID。评论内容：评论的文本内容。评论人ID：评论人的ID。请求示例：{"commentId": "789"}返回参数：无（4）查询评论列表API地址：/comment/list请求方法：GET请求参数：微博ID：微博的ID。

2023-03-22

2K0

标签:

根据话题爬取微博与评论

思路阐述微博获取 weibo.com获取微博url、用户名称以及微博内容等信息进一步根据用户名称在weibo.com中进行用户url获取根据构建的用户url在weibo.cn中爬取微博发布者的信息微博评论获取根据上面获取的微博标识，构建weibo.cn中对应微博的地址根据正则表达式获取评论内容完整代码 # -*- coding: utf-8 -*- # @Time : 2021/12/ card-wrap"][' + str(i) + ']/div[@class="card"]/div[1]/div[2]/div[1]/div[2]/a')[0].text # 微博 = 0: print('正在爬取第',page,'页，第',i,'条微博的评论。') ', '关注数', '粉丝数', '评论内容', '评论时间', '点赞次数']) getTopic(url) #去话题页获取微博详细讲解更多详细的内容记录在CSDN平台上了：https:

2022-12-26

8940

标签:

Python爬虫之微博评论爬取

專欄 ❈ 罗罗攀，Python中文社区专栏作者专栏地址： http://www.jianshu.com/u/9104ebf5e177 ❈ 提交Cookie信息模拟微博登录需要爬取登录之后的信息，大家都是望而止步，不要担心，今天呢，给大家提供一个超级简单的方法，就是提交Cookie信息登录微博，首先，我们找到某明星的微博网址：http://m.weibo.cn/u/1732927460 这里是登录的移动端，你会发现，你点击网址会自动跳转到登录微博的界面（没有跳转的注销掉自己的账号），如下图所示： ? 然后登录自己的账号密码，这时记得打开Fiddler进行抓包，如图所示，提取Cookie做为请求某明星微博网址的请求头即可。 ? 异步加载数据如何爬取我在网上看过移动端的微博数据很好爬，没有异步加载，可是不知道为什么，我的评论数据就是异步加载的，其实异步加载不可怕，找到相应js包即可，如下图为某明星的一条微博和评论的js包。

Python中文社区

2018-02-01

1.6K0

标签:

围观微博网友发起的美胸比赛学习爬取微博评论内容

------ 首先进入开发者工具看一下微博结构： [weibocom.png] 这只是一小部分，微博评论和微博用户发的微博页面，里面都是以html5格式传到本地的，把内容格式化之后就会发现，层级非常复杂上图就是微博评论列表的评论，可以看到每条评论如果有图片，就会有 pic 属性，但是要注意在 pic 下的直接子 url 只是预览图链接，并非原图。 + cid + max_id + max_id_type' 其中 cid 是每一条微博的唯一ID，max_id 是下一次传回数据的最后一条评论的 ID。也就是往下翻看评论，每次显示十条，并在这次所看的评论里就传回下十条评论的最后一条评论的唯一 ID，微博是根据这个 ID 传回下十条内容。这也就直接限制了每次爬评论、微博、二级评论时只能一次获取十条，也无法利用线程池加速，因为只有获取了这十条才知道下十条请求地址里 max_id 的值。

2019-07-15

3.3K0

标签: