微博,想必大家都非常熟悉。人人都可以在上面发表自己的观点。到现在微博已经成为了官方和明星等“新闻发布”的第一阵地,比如前几天范冰冰宣布和李晨分手,双宋CP宣布离婚,瞬间微博就爆炸。主要是因为微博不同于其他的社交平台,不需要对方关注你或是成为好友,就可以看到所有你想看到的信息和动态。所以,微博信息量巨大,也为我们爬数据提供了基础!
这个十月份引起了我的注意。 大家复工了,大会开完了,NBA开赛了,人工智能更强了。似乎都是好消息。 但是似乎总觉得有什么不对。 比如,朋友们在微信朋友圈发图晒照搞分享的明显少了。内容平台们十月份是不是有点什么变化? 于是我做了一点小小的“毫无科学性”可言的评测工作。评测主流的内容平台们在十月份是否关注度下降。这些平台分别是:今日头条、微信、知乎、微博。 我的工具是这些内容平台们自己的“指数”:百度指数、微指数(微博的)、头条指数(今日头条的)。微信指数(微信的)在手机上,用起来费劲,所以不截图了,不过趋势
我是个微博重度用户,工作学习之余喜欢刷刷timeline看看有什么新鲜事发生,也因此认识了不少高质量的原创大V,有分享技术资料的,比如好东西传送门;有时不时给你一点人生经验的,比如石康;有高产的段子手
文章简介 经常刷微博的同学肯定会关注一些有比较意思的博主,看看他们发的文字、图片、视频和底下评论,但时间一长,可能因为各种各样的原因,等你想去翻看某个博主的某条微博时,发现它已经被删除了,更夸张的是发现该博主已经被封号。那么如果你有很感兴趣的博主,不妨定期将Ta的微博保存,这样即使明天微博服务器全炸了,你也不用担心找不到那些微博了。(自己的微博也同理哦。) 看网上一些微博爬虫,都是针对很早之前的微博版本,而且爬取内容不全面,比如长微博不能完整爬取、图片没有爬取或没有分类,已经不适用于对当下版本微博内容的完
昨晚,女足16年后重夺亚洲杯,决赛落后两球,依然能保持对比赛的观察和思考,下半场从容调度人手,最后完成逆转。
本次用fiddler抓包移动端(ipad)微博,再用python爬虫获取老树画画微博几乎全部内容。因为老树画画发布的微博结构较为简单,几乎都是:一幅画,配上一段文字,所以在忽略转发内容后,获取画作、诗、发布时间、转发数、评论数、点赞数等内容,共计3395条数据。再用PIL库拼接图片,并用Echarts进行数据可视化。
專 欄 ❈ 罗罗攀,Python中文社区专栏作者 专栏地址: http://www.jianshu.com/u/9104ebf5e177 ❈ 提交Cookie信息模拟微博登录 需要爬取登录之后的信
昨日,中国最大IT社区CSDN总编刘江在其认证微博透露,马云在一个小型沟通会称将“大力”进军游戏,与腾讯直接竞争。马云和马化腾私交甚好,还联合马明哲三马齐推众安在线保险公司,或许是怕马化腾接受不了自己的变化,马云还说“这种竞争不是像美国巨头那样你死我活,而是充满乐趣”。 没错,是“大力”。马云和阿里副总裁王帅均表示过,阿里不投资或者不做网络游戏。去年6月淘宝推出游戏联运平台小试牛刀,现在则要大力进军。马云最近一反常态,多次讲话均弥漫着前所未有的杀气,大有与腾讯对决的势头。进军游戏,意味着阿
2014年4月17日,新浪微博成功登顶纳斯达克,代码为WB。3个月后,腾讯对网络媒体事业群进行调整,微博团队与新闻团队被合二为一,办公大厦“腾讯微博”标志被“腾讯视频”取而代之,这被外界视作是腾讯放弃微博业务的标志事件。在此之前,腾讯微博与新浪微博缠斗多年,在搜狐、网易早已事实上放弃微博业务之后,腾讯战略放弃微博业务,让“新浪微博”一夜之间缩短为“微博”——因为,微博类玩家,就只剩新浪一家了,新浪在这场为期五年的大战中胜出了。 2014年下半年到2015年这段时间,微博颇有几分“拔尖四顾心茫然”的感觉,环
7 月 4 日,林丹在微博上宣布了自己退役的消息,7 月 6 日,林丹出轨女主赵雅淇发文诉委屈,先简单看一下他们发的微博。
1.先安装Python环境,作者是Python 2.7.8 2.再安装PIP或者easy_install 3.通过命令pip install selenium安装selenium,它是自动测试、爬虫的工具 4.然后修改代码中的用户名和密码,填写你自己的用户名和密码 5.运行程序,自动调用Firefox浏览器登陆微博
腾讯战略投资搜狗,包括搜索引擎在内的中国互联网格局再次发生剧变。搜狗在最近一年的传言中,一直游走于BAT3这四个巨头之间。360更是无限接近搜狗。最新一次现已被证伪的传言是:“搜狗作价14亿美金被360收购,张朝阳出任360董事长”。彼时是五月的初夏。 4个月后中秋将至,腾讯以4.48亿美金注资搜狗,同时将自有搜索引擎搜搜及关联业务并入收购,获得了搜狗摊薄后的36.5%的股份,近期占股将提升至40%。搜狐将依然保持控股,搜狗独立运作。张朝阳及王小川仍留任董事长及CEO。 我的观点是:
作者:维舟 摘自:豆瓣 从2005年3月6日正式上线算起,豆瓣诞生已将十年,此时稍作回顾或许也正合宜。在这十年间,对豆瓣自不免有许多批评和质疑(这些声音恐怕大多来自它的用户),但不可否认,它堪称创造了历史。豆瓣的模式在中国迄今没有哪家能完全复制(在这一意义上,它是没有竞争对手的),它属于那种“只发生一次”的历史事件。不论好坏,它的出现,为广大文艺青年、普通青年及若干二逼青年提供了一个交流分享阅读、电影、音乐等体验的公共平台,不夸张地说,如果没有这样一个巨大的虚拟咖啡馆,我们这个时代的精神生活可能会贫瘠许多
最近喜欢看《火星情报局》,搞笑中也不缺内涵。记得2016年的最后一期,里面说到,年终总结只需一个字,而沈梦辰给自己的是一个黑字,2016的她如此招黑,那今天我爬取她2017年的一篇微博评论,看看2017有什么变化呢? 提交Cookie信息模拟微博登录 需要爬取登录之后的信息,大家都是望而止步,不要担心,今天呢,给大家提供一个超级简单的方法,就是提交Cookie信息登录微博,首先,我们找到沈梦辰的微博网址:http://m.weibo.cn/u/1732927460 这里是登录的移动端,你会发现,你点
有媒体近日报道了云云被新浪收购的消息:传闻中创始人刘骏已到百度任职,其他创始成员已纷纷套现离开。此前,云云融资后已经有过第一波创始成员离职。在豪华的Google班底支撑下,云云一直游走于搜索市场玩家之间,热点事件时它的身影总是若隐若现。在这一年获得的关注远远高过其市场位置。 社交搜索不是救命稻草,更不是创业公司的 云云产品定位传统网页搜索+轻博客系统+社会化问答+微博搜索,什么热做什么,过于繁杂。不过究其背后的核心逻辑则是社会化搜索,这也是Google、百度、360和搜狗等搜索玩家并未涉
用户的时间和注意力正在加速向移动端迁徙。初期人们仅仅将碎片时间花在移动设备上。在移动设备、应用和内容日益丰富时,移动设备足以承载需要集中精力才能完成的任务。我们可以花上半天时间用IPad看书或者办公;花几个小时在手机App购物。 移动阅读受到的影响便是,深度内容向移动端迁移。这就解释了为什么Twitter和微博的活跃度会一日不如一日。因为碎片化的内容适合浅层阅读。深度长内容在移动端正在受到青睐。 除了电子书,人们一部分移动阅读则花在了“文章”上。这里文章是指介于微博这类短信息和书籍这
❈ 作者:麦艳涛,挖掘机小王子,数据分析爱好者。 ❈ 本文简要讲述用Python爬取微博移动端数据的方法。可以看一下Robots协议。另外尽量不要爬取太快。如果你毫无节制的去爬取别人数据,别人网站当然会反爬越来越严厉。至于为什么不爬PC端,原因是移动端较简单,很适合爬虫新手入门。有时间再写PC端吧! 环境介绍 Python3/Windows-10-64位/微博移动端 网页分析 以获取评论信息为例(你可以以自己的喜好获得其他数据)。如下图: 在这里就会涉及到一个动态加载的概念,也就是我们只有向下滑动鼠
專 欄 ❈ 作者:麦艳涛,挖掘机小王子,数据分析爱好者。 ❈ 本文简要讲述用Python爬取微博移动端数据的方法。可以看一下Robots协议。另外尽量不要爬取太快。如果你毫无节制的去爬取别人数据,别
全文简介 本文是用Python爬取微博移动端的数据。可以看一下Robots协议。另外尽量不要爬取太快。如果你毫无节制的去爬取别人数据,别人网站当然会反爬越来越严厉。所以,不要难为别人,到最后其实是在难为你自己。至于为什么不爬PC端,原因是移动端较简单,很适合爬虫新手入门。有时间再写PC端吧! 环境介绍 Python3 Windows-10-64位 微博移动端 网页分析 以获取评论信息为例(你可以以自己的喜好获得其他数据)。如下图: 在这里就会涉及到一个动态加载的概念,也就是我们只有向下滑动鼠标滚轮才会加
每一波技术浪潮到来,洗牌、颠覆、破局都会上演。4G就是这样的技术浪潮。大流量应用将爆发,视频App首当其冲。对视频App来说,4G是机遇,也是挑战。搜狐视频客户端4.0就是搜狐顺应4G浪潮的改版。 4.0界面走向极简、扁平化 搜狐视频4.0UI走向极简风格。底部4个导航菜单:“推荐”、“热点”、“片库”和“本地”。每一个菜单下面都是视频内容,海量的内容通过四个菜单以及二级分类进行组织。除了个人中心和搜索按钮,很难找到其他的按钮或者菜单元素。 这深得扁平化设计的精髓“让用户更加专注于内
selenium是一个web的自动化测试工具,最初是为网站自动化测试而开发的,selenium可以直接运行在浏览器上,它支持所有主流的浏览器,可以接收指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏
2013年年初,啪啪CEO许朝军说,PC互联网是正在沉没的泰坦尼克号。现在这个结论已经被大量的数据证明,从PC出货量到PC端流量再到PC端用户时长,均被移动端甩在了后面。2013年各巨头的首要目标似乎都是:抢船票。 一年过去,成绩单显示腾讯已经拥有微信、手机QQ和手机QQ空间三张船票;百度凭着拥有4亿用户的手机百度客户端,百度地图、以及在应用分发上的领先,拥有3张船票。阿里系进入移动DAU(日活跃)TOP10的仅有手机淘宝,且垫底。算上投资的新浪微博和UC浏览器,勉强算有2张站票。(数据来源
奥运会是全世界人类的竞技平台,也是人类生活的镜子。1936年德国柏林奥运会首次实现电视转播,大幅提升奥运会的影响力(希特勒的纳粹一直很注重宣传),从此以后,全世界不同地区的人们在几十年里便习惯于通过电
打开手机版微博首页https://m.weibo.cn/,键盘按键F12,进入检查窗口,如图所示,点击左上角第二个,将微博改成移动端效果
最近听闻「杨超越杯编程大赛」很是火热~ 网友纷纷评论,原来追星还可以这么硬核,没点实力还不敢追了。 本期,小F通过爬取新浪微博评论,来看看大家对此次大赛有什么看法。 在此之前,先查阅一下相关资料,发现从微博的手机端和移动端入手,效果还可以。 网页版的微博,想都不用想,去了就是自讨苦吃。 微博的反爬甚是厉害,我可不想去大动干戈... 虽然最后由于种种原因,还是没能够获取到完整的评论,不过也拿到了挺多数据。 还是可以拿来一窥的。 / 01 / 网页分析 网页端微博直接不看,先看一下手机端。 网址为 https:
本文来自新浪微博视频转码平台技术负责人李成亚在LiveVideoStackCon 2017上的分享,由LiveVideoStack整理成文。李成亚分享了微博短视频如何提升用户体验、降低成本的思路与实践,包括提升短视频发布速度,降低长视频转码时间,通过新的Codec减少带宽成本等。
互联网广告该往哪投?是在门户网站买广告位,还是在客户端上视频类APP上插广告,还是砸钱给微博微信段子手做推广,相信几乎所有想在互联网投广告的企业和营销人都十分关注这个问题,尤其是在互联网营销关注度颇高但是又暗礁密布水深难淌的今天。10月24日,艾瑞咨询集团研究院助理院长金乃丽在深圳举行的安卓全球开发者大会上做的关于《中国移动互联网未来发展趋势解析》的报告分享,就通过一系列第一手的互联网大数据,给关注中国互联网广告投放的人们指了条明路。 据艾瑞预测数据,近几年移动用户飞速增长,2014年底移动网民将
很久之前就想弄这个仿微博的模板了,但是时间一直不允许,这不抽空弄出来了,主题简单明了,后台设置简单,无需复杂操作,比起以往的CMS主题要简单的多,太适合做个人博客的网站了,当然这不太适合技术和科技播主们,毕竟这款娱乐元素居多,可以设置独立的背景图,列表卡片(要知道,这些功能只有微博会员才能设置)把你微博上你喜欢的卡片和背景抠出来,复制地址到相关接口就性了。一起来看看吧!
前段时间通过申请加入了今日头条新媒体训练营,我将在今日头条新媒体训练营进行为期五个月的学习课程。下面一段时间,我将会把在今日头条训练营学习到的内容,整理思考,分享出来。一方面总结自己所得,另一方面可以帮助对新媒体感兴趣的朋友。
对于微博第5版(weibo v5),其相应的微博组件的网址为: https://open.weibo.com/widgets , 及其具体使用方法为: 微博秀-新浪微博JSSDK官方网站,而对于微博第4版(weibo v4),相应的微博组件的网址为: http://app.weibo.com/tool ,相比之下第5版的组件中丢失了第4版中很重要的"微博秀"组件.
几个月前,成立十年的Twitter给自己找了一个新的定位,其首席执行官杰克·多西表示公司的使命是成为“大众新闻网络”,Twittter希望告诉用户这个世界正在发生的事情。已经过去的2016年,不论是里约奥运会还是特朗普大选,诸多热点事件,Twitter都是最核心的舆论阵地和新闻源头。作为Twitter曾经在中国的对标者,微博却走上了一条不同的道路。2014年启动垂直化战略带来了内容的大发展,2016年实现逆袭,市值从不及30亿美元一度爬升到110多亿美元,成为市场表现最好的中概股之一,更是一度超过了Twit
中国互联网行业发展近二十逾年,一直在快速地更新换代,各个领域的后来者犹如雨后春笋不断涌现,各大平台之间的竞争也越来越激烈。这个时代,蚂蚁金服、字节跳动、京东数科、满帮集团、优刻得、找钢网等独角兽奋起直追。
网易科技 2013年7月31日 距离新浪微博以会员为标志的商业化起点,已经过去一年半了。这一年半发生了很多事情。但新浪微博似乎没有什么可圈可点之处。作为一个号称中国最大的社会化媒体,却无法给自己用户留下深刻印象,真是一个莫大的讽刺。 谁叫新浪微博热爱禁言呢?前前后后有多少大V用户、蓝V用户和普通用户被关进小黑屋。有的是其在公权力意志之下的配合,而有的则是在企业意志下的行为。在这一“社交媒体王国”里面,作为09年注册的老用户,我基本感觉不到这款产品有什么进步。增加了一个分组微博,一个阅读次数,一条多图片支持,
腾讯科技2013年8月28日 百度和阿里巴巴几乎同一时间宣布了他们最新的投资举措。与阿里巴巴投资UC不同,百度选择切入千团大战后的团购市场。控股糯米网一度让人怀疑百度降低品味,进入了更为张扬的投资阶段。 团购市场经历了2010年的初生,2011年的疯狂,2012年的寒冬后,迎来相对冷静的2013。在千团大战中大量团购网站“化作青烟,驾鹤西去”,团购市场已远离聚光灯很长一段时间。在黯淡的团购市场,糯米网也没有太高的地位。 团购市场有四股角逐力量:美团和大众点评团为代表的本地生活服务团购网站、聚划算为代表的电商
微博发布了Q2财报,当季总营收达9.27亿元,同比增长36%;净利润为3550万美元,较去年同期增长225%。微博商业化表现亮眼,不过,更值得留意的是,微博用户数据的亮眼表现:微博活跃用户连续九个季度保持30%以上的增长,截止二季度末,微博月活跃用户达2.82亿,同比增长33%,日活跃用户达1.26亿,同比增长36%,增速与上个季度基本持平。在移动端的增速更快。移动端月活同比增长40%,日活同比增长48%。 并且,在可见的未来,微博的用户增长速度还有望得到保持。 摩根斯坦利在8月发布了微博研报中预测,20
试想一个问题,如果我们要抓取某个微博大V微博的评论数据,应该怎么实现呢?最简单的做法就是找到微博评论数据接口,然后通过改变参数来获取最新数据并保存。首先从微博api寻找抓取评论的接口,如下图所示。
2016年上半年中国互联网广告运营商市场规模达1187.1亿元人民币,同比增长27.3%。 竞争格局方面,百度、阿里巴巴、腾讯分别位居市场前三位置。相较于第1季度,第2季度百度占比有所上升,占26.9
新浪微博,与微信并列的移动互联网平台、中国的Twitter,即将在今天走向纳斯达克,曲线图将让一切关于微博的辩论和推测尘埃落定。 财报数据无情估值受挫 新浪共发行1680万股ADS,融资2.856亿美元,总市值为34.6亿美元,约为年初市场给出的估值的一半。新浪微博的SEC F-1/A增补文件则显示本次融资目标为3.8亿美元左右,低于上个月新浪公布的5亿美元。 显而易见,新浪自身以及市场对微博的上市更加保守。直接影响其估值和融资金额的因素在于刚刚更新的Q1报表: Q1微博营收6750万美元,较上一季度
里约奥运会在5个月之后就开幕了,这一全世界的盛会已是媒体的黄金时刻。在中国,越来越多的民众习惯于通过互联网关注奥运会,这对于各大门户来说是巨大的利好——互联网本质是注意力经济,而奥运是不可多得的注意力富矿。早在2015年,网易和腾讯就分别发布了奥运战略,另一大门户新浪近日在巴西发布了奥运战略,这三家的奥运战略各有不同,那么谁能赢在关键时刻呢? 网易最吸睛:超级明星、有态度的全民竞技场 2015年10月19日网易就发布了奥运战略,在时间上抢得先机。 网易奥运战略的核心是“身边总有竞技场”这一理念,主要是希望能
本文由作者“卫夕”(ID:weixizhibei)原创,作者为资深广告产品经理,致力于剖析互联网广告的基本逻辑、思路及技巧。
像微信、QQ、闲鱼、淘宝、百度网盘、美团商家版、京东、B站、微博、链家等应用都使用了Flutter进行开发
之前在学习node.js时,写过一些例子和demo,偶尔也会有人发email问我node.js的一些问题。因为是二三年前写的东西,当时使用的第三方库和node.js的版本跟最新的可能有所不同甚至比较大的出入,所以大家在遇到问题的时候可能要多注意一下版本了,发邮件给我,也可能不会得到很准确的答复。
又快到了写论文的时间了,相信同学对获取数据都十分的头大,而要想能学会使用python或者第三方现成的采集器软件来采集想要的数据,这个学习成本也是不低,那么,拿来主义就是摆在很多同学面前最理想的追求了。
本文将分享新浪微博系统开发工程师陈浩在 RTC 2018 实时互联网大会上的演讲。他分享了新浪微博直播互动答题架构设计的实战经验。其背后的百万高并发实时架构,值得借鉴并用于未来更多场景中。本文正文是对演讲内容的整理,请继续往下阅读。
流量是做网站成功的关键。自从有了智能企业建站系统后(如新万云企业美站等),做网站不再难,然而如何在众多同类网站中脱颖而出,获得更多流量呢?下面,新万网络给大家分享一些网站推广经验。
文章简介 经常刷微博的同学肯定会关注一些有比较意思的博主,看看他们发的文字、图片、视频和底下评论,但时间一长,可能因为各种各样的原因,等你想去翻看某个博主的某条微博时,发现它已经被删除了,更夸张的是发现该博主已经被封号。那么如果你有很感兴趣的博主,不妨定期将Ta的微博保存,这样即使明天微博服务器全炸了,你也不用担心找不到那些微博了。(自己的微博也同理哦。) 看网上一些微博爬虫,都是针对很早之前的微博版本,而且爬取内容不全面,比如长微博不能完整爬取、图片没有爬取或没有分类,已经不适用于对当下版本微博内容的
前几天,腾讯推出了一款全新的产品“微社区”,尚处于内测阶段。简单地说,这是一款手机上的BBS+SNS,接入微信公众账号,通过微信授权,用户可以进入这个公众账号专属的“微社区”,发帖、回帖和分享。 微社区刚出世,便遭到阿里来往的“抄袭指责”。来往在微博中表示,“微信微社区就像是来往扎堆的亲儿子,二者从界面到功能都非常相似。唯一不同的就是微信微社区不能发图片,而来往扎堆可以发布图片、文字、有声图片和地理位置等。” 微社区抄袭来往是个“笑话”,阿里或将推出类似平台 正如阿里前员工冯大辉在
领取专属 10元无门槛券
手把手带您无忧上云