新浪微博开放平台:https://open.weibo.com/ 1.注册账号 注册新浪微博账号 进入首页。
接下来就是新浪微博的抓取,一般的http访问新浪微博网站得到的html都是很简略的,因为新浪微博主页是用js动态生成的并且要进过多次的http请求与验证才能访问成功,所以为了数据抓取的简便,我们走一个后门...,也就是访问新浪微博的手机端,weibo.cn进行抓取,但随之而来的一个问题是,新浪微博的访问不管哪一端都需要强制的登陆验证,所以我们需要在http请求的时候附带一个cookie进行用户验证。...weibo.cn的cookie(WeiboCN.java) 利用WebCollector和获取的cookie爬取新浪微博并抽取数据(WeiboCrawler.java) WeiboCN.java import...; /** * 利用Selenium获取登陆新浪微博weibo.cn的cookie * @author hu */ public class WeiboCN { /** *...获取新浪微博的cookie,这个方法针对weibo.cn有效,对weibo.com无效 * weibo.cn以明文形式传输数据,请使用小号 * @param username 新浪微博用户名
设计 用户的实体类 import java.util.Date; import java.util.Objects; public class User { // 用户名 private...编写 注册用户 的测试类 import java.util.HashSet; import java.util.Scanner; public class UserRegister { static...= ci.checkInfo(username, password, repassword, birthday, phone, email); System.out.println("注册的结果是...编写 用户校验的 工具类 import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Date...try { dateBirthday = sdf.parse(birthday); // 字符串转为 日期类型 有可能出现错误、错误了 则执行catch内的代码
本文实例讲述了redis+php实现微博注册与登录功能。...分享给大家供大家参考,具体如下: (一)、微博功能概况 微博用户账号注册 微博用户登录 微博发布 添加微博好友(粉丝) 微博推送 微博冷数据写入mysql数据库 (二)、redis数据结构设计 这节分享微博用户注册与登录...zhangshan set user:userid:1:password 1212121212 set user:username:zhangshan:userid 1 发布微博表:post...注册代码: include("function.php"); //用户表单提交数据接收 $username = I('username'); $password = I('password'); $pwd...:userid",$userid); header("location:home.php"); 登录代码: include("function.php"); //如果用户已经登录调整到微博列表页面 if
前言 个人网站最近增加了评论功能,为了方便用户不用注册就可以评论,对接了 QQ 和微博这 2 大常用软件的一键登录,总的来说其实都挺简单的,可能会有一点小坑,但不算多,完整记录下来方便后来人快速对接。...,都已经登录了还让用户注册,什么鬼!...随意发微博、删微博、加关注等等,很危险。...注意事项 微博接口都有频率限制,不过一般不会超过; 需做好错误兼容; 微博直接返回的uid,可以根据这个uid直达用户微博主页 https://weibo.com/u/xxxxx ,所以可以把用户头像链接到这里...; 其实也有现成的js-sdk,可以根据自己实际需要选择是否使用; 微博的接口是https,并且是post,需要注意; 相关链接 微博开放平台:open.weibo.com/ 微博登录授权机制:
前言 个人网站最近增加了评论功能,为了方便用户不用注册就可以评论,对接了 QQ 和微博这 2 大常用软件的一键登录,总的来说其实都挺简单的,可能会有一点小坑,但不算多,完整记录下来方便后来人快速对接...其实这个并不用我们特别操心,就以微博登录为例,用户登录成功之后会回调一个code 给我们,然后我们再拿code去微博那换取accessToken,如果这个code是用户乱填的,那这一关肯定过不了,所以,...随意发微博、删微博、加关注等等,很危险。...注意事项 微博接口都有频率限制,不过一般不会超过; 需做好错误兼容; 微博直接返回的uid,可以根据这个uid直达用户微博主页 https://weibo.com/u/xxxxx ,所以可以把用户头像链接到这里...; 其实也有现成的js-sdk,可以根据自己实际需要选择是否使用; 微博的接口是https,并且是post,需要注意; 相关链接 微博开放平台:open.weibo.com/ 微博登录授权机制:open.weibo.com
一:获取app-key 和 app-secret 使用自己的微博账号登录微博开放平台,在微博开放中心下“创建应用”创建一个应用,应用信息那些随便填,填写完毕后,不需要提交审核,需要的只是那个app-key...在“微博开放平台”的“管理中心”找到刚才创建的应用,点开这个应用,点开左边“应用信息”栏,会看见“App key”和“App Secret”的字样,这两个东西是要在后面程序中使用的。...三:安装微博 python SDK 有两种安装方式: 1:http://github.liaoxuefeng.com/sinaweibopy/下载新浪微博SDK 2:python有个简单的安装方式:直接在命令行下键入...: sudo pip install sinaweibopy 四:实例验证,获取当前登录用户及其所关注(授权)用户的最新微博 这里需要注意的是在浏览器弹出一个页面,要先点击“授权”(这里进行的OAuth...以下为我的关注用户的微博: ? ? ? ? 拿上边代码为例,这里我们获取的信息有: ?
前言 个人网站最近增加了评论功能,为了方便用户不用注册就可以评论,对接了 QQ 和微博这 2 大常用软件的一键登录,总的来说其实都挺简单的,可能会有一点小坑,但不算多,完整记录下来方便后来人快速对接。...其实这个并不用我们特别操心,就以微博登录为例,用户登录成功之后会回调一个code 给我们,然后我们再拿code去微博那换取accessToken,如果这个code是用户乱填的,那这一关肯定过不了,所以,...随意发微博、删微博、加关注等等,很危险。...注意事项 微博接口都有频率限制,不过一般不会超过; 需做好错误兼容; 微博直接返回的uid,可以根据这个uid直达用户微博主页 https://weibo.com/u/xxxxx ,所以可以把用户头像链接到这里...; 其实也有现成的js-sdk,可以根据自己实际需要选择是否使用; 微博的接口是https,并且是post,需要注意; 相关链接 微博开放平台:open.weibo.com/ 微博登录授权机制:open.weibo.com
>", "", text) return content 以上所有代码,复制到 py 文件中即可用~
爬取某人的微博数据,把某人所有时间段的微博数据都爬下来。...具体思路: 创建driver—–get网页—-找到并提取信息—–保存csv—-翻页—-get网页(开始循环)—-…—-没有“下一页”就结束, 用了while True,没用自我调用函数 嘟大海的微博...:https://weibo.com/u/1623915527 办公室小野的微博:https://weibo.com/bgsxy 代码如下 from selenium import webdriver...from selenium.webdriver.common.keys import Keys import csv import os import time #只有这2个参数设置,想爬谁的微博数据就在这里改地址和目标
文章为原创首发地址:https://hooyes.net/p/nodejs-weibo-spider [5a9dfda4106f9 (1).png] 思路 通过关键字搜索抓取新浪微博的数据,分析得出新浪微博的搜索地址格式如下...: http://s.weibo.com/weibo/关键字 爬虫代码文件为 weibo-spider.js 假设我们要查询的关键字为 哈佛大学 则运行方式为 node weibo-spider.js...伪代码 将上面的思路用以下用伪代码表示过程 // 主程序 async function Main(keyword) { let url = 'http://s.weibo.com/weibo/'+keyword...真代码 weibo-spider.js 100行代码,依赖一个request模块和自定义xhtml模块。 完整代码已放到Hooyes的Github上开源,欢迎Fork或提建议。
这几天在完善博客内容,想增加一个新浪微博的关注,但是并没有找到html的,一般都是增加head和js标签的,因为之前弄过这个,所以找了一下之前的代码,代码如下: 这个需要多说一下,怎么查看你微博的...ID,这里的ID并非新浪微博的个性域名,而是你在申请新浪微博时,系统自动分配的,跟后期自己购买的数字ID不是一个,点开自己的微博,登陆,点击右侧的设置,账号设置,如图: ?...然后找到“预览我的主页”会弹出一个网页,地址栏会有一串数字,那段数字就是你的新浪微博ID: ? 然后把这段ID黏贴在我刚才的代码之中就OK了。
保证阅读体验,文中广告已关闭~ 超级方便的微博用户信息爬虫 是根据微博用户 Uid 来抓取公开的用户微博信息,但是很多时候,我们可能只知道这个用户的微博名字,并不知道 Uid,本次开放的爬虫就是完成从微博用户名到...主要抓取逻辑如下,可以像 不写一行,自动生成爬虫代码 文章里说的那样自动生成该部分代码。 def getUidByName(name): # https://s.weibo.com/user?...dfAddUserLink('test.csv', user_name_column='user_name') 代码地址在: https://github.com/Python3Spiders/WeiboSuperSpider...最后依旧是微博话题爬虫的日常更新,修复了群里朋友提出的若干问题,提升了稳定性。可以去 2021 新版微博话题爬虫发布 获取最新的微博话题爬虫。
全文简介 本文是用Python爬取微博移动端的数据。可以看一下Robots协议。另外尽量不要爬取太快。如果你毫无节制的去爬取别人数据,别人网站当然会反爬越来越严厉。...环境介绍 Python3 Windows-10-64位 微博移动端 网页分析 以获取评论信息为例(你可以以自己的喜好获得其他数据)。...Python代码 代码写的丑,凑合着看吧。
新浪微博: http://service.weibo.com/share/share.php?...(可选,允许为空) &appkey=用于发布微博的来源显示,为空则分享的内容来源会显示来自互联网。...(可选,允许为空) &title=分享时所示的文字内容,为空则自动抓取分享页面的title值(可选,允许为空) &pic=自定义图片地址,作为微博配图(可选,允许为空) &ralateUid=转发时会@...相关的微博账号(可选,允许为空) &language=语言设置(zh_cn|zh_tw)(可选) 腾讯微博: http://share.v.t.qq.com/index.php?
下饭:微博子域名跳转到腾讯 如图所示: ? 新浪微博子域名 help.weibo.com 解析到 1.1.1.1 并且设置跳转 t.qq.com(腾讯微博)。...起因: 今天找回新浪微博密码时候访问到 help.weibo.com,结果是如下页面。 ?...(发现时是不能访问的,至于跳转到腾讯微博,是后面help.weibo.com做了一些操作。) ? 为什么会这样? 当然最终的锅还是在微博上,(也许他的内网在用1.1.1.1?)...就等同于此人拥有了help.weibo.com的解析权,于是这位就带来了今天的下饭操作:跳转到腾讯微博。可能微博会找实习生背锅吧。 我们应该如何避免? 当然,这种行为是不恰当的。
代码网上参考的,一共有两种,自己优化了一下: 1.离线方法 参考:http://www.iganlei.cn/demo/186.html <?
数学建模已结束,刚开始的目标就是不熬夜,结果还是熬夜了(QAQ),缓了一天就来写简书了,感觉很久没爬虫了,今天就爬下移动端的微博好友圈信息。...代码 import requests import json headers = { 'Cookie':'xxxxxxxx', 'User_Agent':'Mozilla/5.0 (Windows...format=cards' get_info(url,1) 代码分析 提交cookie模拟登陆微博 好友圈的信息也是异步加载,如图为第一页的url ?
,虽然有了也不见得有人会真的分享哈,但是人就是这样,我可以不用,但是你不能没有,嗯嗯,貌似很有道理,所以前些天把百度的代码更换了本地分享,更换之后发现,微博分享的来源显示“分享代码”,这就很不正规,所以把代码又双叒叕重新折腾一番...,终于可以实现自定义微博的小尾巴了,教程开始。...首先申请微博开发者,注册并完善账号信息,然后申请未连接,选择网站接入: ? 创建新应用,设置应用名称,注意,此名称也可用于来源显示,应用分类选择网页应用,如图: ?...在新弹出的界面,点击左侧导航栏的控制台,查看如图App Key的值,复制下来,粘贴在分享代码里就可以了,本站主题已经有微博分享接口,没有的别急,会一批批更新此功能的。 ?...回到后台首页,刷新缓存编译模板,随便打开一篇文章,点击分享到微博,来一起看看效果吧: ?
之前发表过一篇博客“IOS开发之新浪围脖”,在编写代码的时候太偏重功能的实现了,写完基本功能后看着代码有些别扭,特别是用到的四种cell的类,重复代码有点多,所以今天花点时间把代码重构一下。...在原来的代码上就把cell的代码进行了重写,所以本篇作为补充,关键代码还得看之前的博客。 1.第一种cell,只有微博内容,没有图片,效果如下: ? ...dd日 HH:mm"]; 44 self.dateLabel.text = [resultFormatter stringFromDate:date]; 45 46 //设置微博博文...,如果我们再加第二个cell(原微博带图片的)就简单多了,可以继承与上面的cell ? ...self.contentImage setImageWithURL:[NSURL URLWithString:dic[@"thumbnail_pic"]]]; } @end 3.第三种cell,是转发微博不带图片的
领取专属 10元无门槛券
手把手带您无忧上云