首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

单车数据爬虫

MobikeAgent 单车(Mobike)扫描器,自动搜集全国可用的单车。支持输出CSV和KML。 ? 白色底色为Lite版单车,红色底色为老版单车,红包为红包车,你懂的。...完整代码 下载地址: 1、转发本文至朋友圈 2、关注微信公众号 datayx 然后回复 即可获取。...依赖安装 pip install -r requirements.txt 基本使用 第一步(可选): 之前单车服务器对请求频率作出限制,必须使用代理服务器,躲避IP限制。...注意:单车返回的是火星坐标。最新的爬虫已经会自动转换成WGS84了,但是这个文件夹里的数据目前还是使用火星坐标,爬一次还是挺费时间的,以后会统一成WGS84。...TODO: 增加命令行功能,把这个脚本变成一个命令行工具 虽然优化了扫描的算法,但是爬取一次全北京的单车还是需要9w+次请求,耗时40分钟左右,请不要在高峰期运行,以免给单车的服务器造成压力。

85910
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    马化腾出手,全面接入微信,共享9亿用户!要“赢”了?

    马化腾出手,全面接入微信 共享9亿用户! 继“红包车”推出以后,今日,单车召开发布会,宣布全面接入微信!在此之前,2017年1月单车开通小程序;2017年2月,率先支持微信扫码。...也就是说,如今,微信用户可以通过以下三种方式使用单车: 1、通过“扫一扫”功能,扫描单车二维码,进入单车小程序; 2、通过微信钱包第三方服务“九宫格”进入单车小程序; 3、直接点击小程序页面的...腾讯为什么选择单车? 不只是资本考虑,更是一种认可 腾讯作为单车的战略投资者,早在2016年10月即参投了单车的C+轮融资,并于2017年1月领投了单车的D轮融资。...对于这次战略升级,腾讯投资并购部总经理、腾讯投资管理合伙人李朝晖表示,资本纽带只是基础,如果能够将微信的功能和的科技连接起来会更有价值。...“腾讯喜欢提供平台、云端服务给消费者,给我们提供了非常独特的机会。” 第三,具有海外发展潜力和布局。 微信帮了大忙!

    59230

    单车爬虫解析——找到API

    在上一篇文章《单车非官方大数据分析》中提到了我在春节期间对单车的数据分析,在后面的系列文章中我将进一步的阐述我的爬虫是如何高效的爬到这些数据的。...为什么爬的数据 是最早进入成都的共享单车,每天我从地铁站下来的时候,在APP中能看到很多单车,但走到那里的时候,才发现车并不在那里。...最直接的来源是单车的APP。现代的软件设计都讲究前后端分离,而且服务端会同时服务于APP、网页等。在这种趋势下我们只需要搞清楚软件的HTTP请求就好了。...而且这个跳动和手机、手机号、甚至移动运营商没有关系,说明这个跳动是接口的问题,也可以从另一方面解释为什么有时候看到车但其实那里没有车。...当然了,如果单车官方并不care数据的事情的话,这样的API设计也是ok的。 下一篇文章将开源爬虫的源代码,敬请期待!如果您觉得文章有用,请打赏一杯咖啡,谢谢:)

    60910

    物联网架构演进之路|数据与架构齐驱,看创造奇迹

    今天我们拣选的是来自的技术副总裁张屹凌的分享。主题围绕的架构演进展开。 作者介绍 ?...张屹凌 技术副总裁 历任微软、Google、房多多技术负责人,专注平台研发,数据挖掘10年 以下是分享的内容及解读: 什么是架构?...架构有很多种,包括研发架构,团队架构各种,今天分享的主题主要围绕技术架构展开,具体来讲,是围绕的系统架构,一起探讨软件技术的演进和发展。 创建的时间并不久,不像许多已经过了早期的大公司。...在这样的增速下,为了保持用户环境的稳定,提高服务的质量,的架构经历了几代的演进,也做了很多的功能和性能的优化。 ?...同时我们做了国际化设计,这是一个高频率发布的事情,有一套适合的代码管理的流程。

    1.3K70

    如何看待美团收购单车?

    美团收购,能给美团带来什么?对的影响又是什么?这是我在知乎的一个回答,希望能够给大家带来一些启发。另外,我的知乎账号也是:非著名程序员,玩知乎的朋友可以一起关注互粉一下。...而美团打车解决的是长距离的画线问题,而收购单车正好解决用户短途和短距离的用车画线需求,这是他们基于生活服务平台这个需求场景而布局的,收购单车是对他们出行服务矩阵的一个补充。...收购,可以和美团的到店,到家,酒店旅游等业务形成共振,跳出共享单车这个小天地。 这样的结合,联动,可以更进一步的释放共享单车的活力,也可以让美团的生活服务体验更加完善。...这项收购可以说,对美团来说是对它出行业务的更好的补充,可以让它的生活服务平台更完善,而对于来说,可以释放更多活力,带来更多的用途和玩法。

    40130

    抓取手机app的数据(单车)

    前几天有人私信我,问能不能帮忙抓取单车的数据。。。 我想着授人以鱼不如授人以渔,所以本次我们就讲讲如何抓取手机app的内容吧  Fiddle的安装及配置 抓手机包我用的是fiddle。...“ 这是因为有防抓取限制(我猜是检测,如果有使用代理的话,直接让你用不了。。。) 那这样的话我们就没办法抓到么???...因为我之前还用过的小程序,所以我们抓抓微信小程序试试看 打开单车的小程序 我们看到已经定位了。。...,并且把附件的单车都显示出来了 我们可以多移动我们的位置,然后等有把附近的车显示出来 可以看到fiddle上面已经有好多请求了 那么如何找到的那一条呢。。。 很简单,看单词就好。。。...一共898个, 然后查了这898个小区附件的单车情况….

    1.8K120

    单车非官方大数据分析

    请看 http://www.jianshu.com/p/058d847ba297 趁着过年的清闲时光,我抓取了单车的数据并进行了大数据分析。...成都的单车的整体情况如下: 标准车型和Lite车型数量相当 单车在成都大约已经有6万多辆车,两种类型的车分别占有率为55%和44%,可见更为好骑的Lite版本的占有率在提高。...从单车的数据看,在流动的单车中,5次以下占据了60%左右的出行。但1次、2次的也占据了30%左右的份额,说明单车的利用率也不是很高。 ? 单车骑行次数 ?...单车骑行次数 从单车看城市发展 从单车的热图分布来看,成都已经逐步呈现“双核”发展的态势,城市的新中心天府新区正在聚集更多的人和机会。 ?

    94430

    TiDB 在的深度实践及应用

    作者介绍 吕磊,单车数据库团队资深DBA,拥有丰富的数据库运维及开发经验。...一、业务场景 单车 2017 年开始将 TiDB 尝试应用到实际业务当中,根据业务的不断发展,TiDB 版本快速迭代,我们将 TiDB 在单车的使用场景逐渐分为了三个等级: P0 级核心业务:线上核心业务...本文会选择三个场景,给大家简单介绍一下 TiDB 在单车的使用姿势、遇到的问题以及解决方案。...图 4 在线业务集群拓扑图 四、数据沙盒集群(离线业务) 数据沙盒,属于离线业务集群,是单车的一个数据聚合集群。...4.2 数据复制中心 Gravity (DRC) 下面简单介绍一下单车自研的数据复制组件 Gravity(DRC)。

    92020

    的六脉神剑:每日 2500 万次出行服务背后的技术支撑

    计算平台 拜在高速发展中,腾讯功不可没。 范同祥加入时,的技术团队还只有三五十人,后台研发的只有十几个人。十几个人面对高速增长的系统,要解决这么多问题,怎么办?...非常明智地决定快速上,但是很可惜的是,早期的是海外的某知名厂商,当时对的重视程度不够高。后来选择了腾讯。在现场,范同祥分享了几个迁移到腾讯上的几个故事。...接入腾讯之后,不仅仅是用了腾讯的计算、存储、网络等基础设施,还得到了腾讯非常多的技术团队的支持,帮助高速成长。...**的运维团队利用腾讯提供的丰富 SDK 和 API,会自动通过腾讯的 API 导入机器,对后台服务器进行自动化管理。...腾讯专家团 在发展过程中,不只是腾讯的专家技术团队,还有来自于腾讯的 TEG、微信各个领域腾讯公司的技术专家帮解决各种技术难题。 比如区域化部署。

    5.4K61

    为什么只看到、ofo还在拿到融资?

    文/孟永辉 继单车宣布拿到融资后不久,ofo于近日同样宣布拿到近7亿美元融资。此次融资不仅打破了单车的融资额度,甚至还创下了共享单车行业最高的融资记录。...浩浩荡荡的共享单车市场在经过不断的搏杀和淘汰之后,整个市场上仅仅只剩下单车和ofo两家公司依然还在资本市场之中不断冲杀前进。...于是,人们不仅要问,为什么共享单车市场当前只看到了单车和ofo两家还在拿到融资,还在获得资本关注,难道其他共享单车公司就没有翻身的机会了吗?共享单车市场的资本战役难道就此落幕了吗?...共享单车市场也是如此,单车、ofo不断刷新共享单车市场的融资记录从另外一个角度恰恰说明整个市场的资本正在开始朝着头部集中,资本开始从广泛撒网,逐步趋向精准投资。...等到市场格局确定之后,我们便会看到一些真正触及共享单车本质以及商业模式的概念出现,比如单车此前提出的物联网的概念,还有此次ofo推出的智能锁的概念。

    69280

    揭秘全球最大出行业务背后的数据库系统

    从2015年1月到2016年,整个技术团队仅有不到50人,后台开发只有十几人。十几个人面对高速增长的业务,要解决这么多问题,怎么办?非常明智地决定选择腾讯。 ?...单车是在2016年年底开始接入腾讯数据库服务的,最初的想法很直接:人力紧张,公司需要节约成本,聚焦增效。...,拥有强大技术实力、海量服务的腾讯数据库,是单车业务不二的选择。...这一点在单车的产品业务中得到了印证,将不同业务的要求结合数据库的特征进行数据库选型,拥有从关系型到NoSQL全系列产品的腾讯数据库,全方位保障单车的业务场景。...任何一个被用户选择的服务都需要经得起货比三家,腾讯数据库产品凭借安全稳定高可用和7*24小时的专业服务得到等更多客户的信赖。

    95250

    单车联合创始人&CTO夏一平:骑行是一种情怀,更是科技的温度

    因此,需要寻求技术及产品质量都过硬的合作伙伴,来完成 “计算”的布局。 夏一平介绍,为了处理庞大的数据,一开始就选择上,充分发挥了服务扩展灵活的优势。...腾讯的诸多特色服务从不同角度满足了的需求,例如其独有的“黑石”,创建出一张和公有互通的私有网络,解决了专线昂贵和延时过高的问题。...而接入腾讯之后,不仅仅是用了腾讯的计算、存储、网络等基础设施,还得到了腾讯非常多的技术团队的支持,帮助快速成长。...“我们现在用的腾讯的产品比较多,从接入腾讯线上数据库产品到其他产品,我们跟腾讯的结合,其实就是在互相协作的过程中互相帮助。在一些特殊的紧急情况下,腾讯都积极的响应,给了我们很多的支持。”...目前,也在与腾讯探索如何在物联网方面更加深入的合作。

    79040

    揭秘全球最大出行业务背后的数据库系统

    从2015年1月到2016年,整个技术团队仅有不到50人,后台开发只有十几人。十几个人面对高速增长的业务,要解决这么多问题,怎么办?非常明智地决定选择腾讯。 ?...单车是在2016年年底开始接入腾讯数据库服务的,最初的想法很直接:人力紧张,公司需要节约成本,聚焦增效。...,拥有强大技术实力、海量服务的腾讯数据库,是单车业务不二的选择。...这一点在单车的产品业务中得到了印证,将不同业务的要求结合数据库的特征进行数据库选型,拥有从关系型到NoSQL全系列产品的腾讯数据库,全方位保障单车的业务场景。...任何一个被用户选择的服务都需要经得起货比三家,腾讯数据库产品凭借安全稳定高可用和7*24小时的专业服务得到等更多客户的信赖。

    51510
    领券