最近在考虑新一年的架构的时候,我就在想一个大数据平台核心竞争力到底是什么?每个平台发展的阶段可能不太一样,所以所需要的核心竞争力不同。但是做架构,做设计的朋友一定要常常思考下你负责的平台到底核心竞争力是什么。 我们现在做的平台不是自用的,是销售给第三方。我觉得排在前三核心竞争力分别是: 1、业务敏捷性 敏捷:汉语中解释反应迅速快捷。核心思路就是快,学习成本,构建成本低。软件开发模式中相对于传统的瀑布模型也有敏捷开发,讲的就是回归开发的本质,抛弃瀑布中低效重型的东西。 大数据产业目前还存在一个快速蜕变和成长阶
本文介绍了大数据应用在企业经营分析、运营效率优化、财务数据应用等方面的案例和解决方案,以及数据应用对企业和政府部门的创新价值。
中国移动苏州研发中心大数据部总经理,高级工程师钱岭在主题演讲《大数据研发历程的回顾和思考》中分享了一个大数据实践者所走过的历程,主要包括三方面内容,(1)对大数据理解的变化;(2)大数据实践历程回顾;(3)大数据发展方向思考。 一路走来,中国移动苏州研发中心对大数据理解在不断深化。2007年,将大数据称为大规模并行计算、云计算。2010年之后,大数据被按照3V~7V来定义。3V,即规模大(Volume)、种类繁多(Variety)、处理速度要求高(Velocity)。而到了2014年前后,开始跳出技术的视角
文摘摘自:人大经济论坛 微信ID: bbspingguorg-weixin 网站:bbs.pinggu.org 数据来源:itbear 每到冬季,总会引发“南方是否该供暖”的问题。在冰天雪地中,南方
从贵阳的大数据交易所开始,各地陆续上线了很多数据交易所,但显然都没有掀起多少浪花。没有具体了解过这些交易所是干嘛的,但是就数据交易而言,谈何容易,至少目前为止很难。
转载来源:数据蒋堂 作者:蒋步星 本文共1495字,建议阅读3分钟。 本文蒋步星老师从时间与空间上讲解了1T数据到底有多大。 一英里不是个很长的距离,一立方英里相对于地球也不会让人觉得是个很大的空间。然后我说,这个空间内能装下全世界所有人,你会不会觉到很惊讶?不过这话不是我说的,是美国作家房龙在一本书里写的。 业内有个著名的数据仓库产品,叫Teradata,20多年前起这个名字,显然是想给人能处理海量数据的感觉。可现在,论用户还是厂商,谈论数据量时都常常以T为单位了,动不动就有几十上百T甚至PB级的数据
日前,国内第一份《九次方·金融大数据白皮书》在北京发布。这份报告认为,金融业是大数据的重要产生者,交易、报价、业绩报告、消费者研究报告、官方统计数据公报、调查、新闻报道无一不是数据来源。大数据的发展,
数据猿导读 近年来,随着互联网金融行业野蛮生长,各种跑路、欺诈案件层出不穷。因此,越来越多的P2P信贷平台开始重视风险控制,急需第三方征信平台为其提供征信服务,从而有效管控客户信用风险。 记者 | 春
余额宝一周年大数据报告 余额宝到底为宝粉赚了多少钱?宝粉到底有多少人?余额宝的规模到底冲到了多少?宝粉是一群什么样的人?客单量是多少?转入转出量能有多少?余额宝全景图,所有答案尽收眼底。 余额宝自去年6月13日上线,已成立一年有余。短短一年间,用户数过亿,一年为宝粉赚得118亿,规模达到5742亿,宝粉平均年龄只有29岁! 余额宝一周年大数据图说之一:余额宝全景图。 余额宝大数据图说之二:宝粉地域分布在哪? 余额宝一周年,用户遍布哪些省市?哪个省的宝粉最多?哪个城市的宝粉又最多?普天之大,东
开源,开源,开源。 这就是腾讯2019年技术领域最直观的变化。 最新代表事件,来自于腾讯首个开源的AI项目Angel,完成3.0版本进化后,得到全球技术专家认可,从开源基金会LF AI毕业,成为业内顶级AI开源项目。 这是中国首个得此认可的项目,消息传来自是引发好评热议。不过,这只是腾讯过去这一年开源成绩的注脚之一。 过去一年,腾讯开源势头愈发凶猛。截止12月份,对外开源项目超过92个,覆盖所有BG(事业群),微信、腾讯云、大数据、游戏、AI、安全等业务都在其中,累计获得超27万标星,赢得一片赞
本文介绍了金融大数据在金融风控、精准营销和增值业务中的应用,并探讨了金融大数据平台的发展趋势。
本文共10000字,建议阅读时间20分钟 讲座选自清华大学苏州研究院大数据处理中心首席技术官赵勇于2015年4月8日在青岛大数据高峰论坛金融大数据分论坛上所做的题为《大数据驱动的个性化财富管理》的演讲。 我简单介绍一下自己,我是清华硕士,在美国芝加哥大学读博士,后来在美国微软公司工作几年,主要做广告大数据平台。2012年和我们中心的林辉主任一起创立清华大学苏研院大数据处理中心,主要做央企,国家部委大型中央数据统计,后来做用户端行业大数据。 先讲一下大数据爆发原因。实际上数据的问题,包括大数据问题,是
Y 总是一个年轻的90后创业者,花两年时间做了一款主打娱乐的App,还有一套 SDK 。
<数据猿导读> 51猎头CEO刘维在2016年中国信息通信大数据大会上分享了以“大数据认知时代下如何让人力资源产业更聪明”为主题的演讲。他讲到,传统招聘虽然非常土,但为现在的互联网招聘提供了一个业务基
余额宝到底为宝粉赚了多少钱?宝粉到底有多少人?余额宝的规模到底冲到了多少?宝粉是一群什么样的人?客单量是多少?转入转出量能有多少?余额宝全景图,所有答案尽收眼底。 余额宝自去年6月13日上线,已成立一
作者 杨琳桦 这可能是我听过对大数据最逻辑清晰和实用的一段案例阐述了,来自 Simon Zhang,LinkedIn Business Analytics 部门资深总监。 特别介绍一下:Simon 原是国内脑肿瘤医生,但“觉得一个人真正要想有追求,还是应该做自己喜欢的事”,于是 12 年前到美国,因个人爱好是计算机,就从医生转到了计算机行业。 四年半前,Simon 曾独自一人支持公司 200 多个销售;现在,他 80 人部门支持 LinkedIn 近 5000 多员工。该部门实际上负责所有和收入有关的
今天是2020年的最后一天了,其实大部分人基本上没啥感觉,毕竟现在过年过节也不是一个稀罕物了,不过,年终决算不会迟到也不会早退,就在今天。
煤老板和IT精英相遇,两个人想比比谁更富有,但都不愿告诉对方自己真正拥有多少财富,也不想让第三方掌握原始信息。何解?
编者注:说到电商大数据,人们首先会想到淘宝。其实京东是淘宝之外的另一种模式,京东的数据质量并不比淘宝差多少。交易的量级虽然不大,但是趋势会很大,而且数据价值的纵深很大。本文是对电商的运营型大数据平
除了关注大佬们长什么样子,打了什么领带,我们更应该关注的是互联网大会上展示了哪些世界领先的科技成果。 又是一年世界互联网大会,互联网公司的大佬们又聚在一起涮涮火锅、吹吹牛、聊聊人生。 那么问题来了,上面两桌加一起值多少钱呢? 粗略算了一下,两桌(各家公司)的市值(或估值)至少超过5万亿元。 不过除了大佬和饭局之外,还有14个领先科技成果可能比5万亿元更值得聊聊。 在世界互联网领先科技成果发布会活动中,发布了14项世界领先科技成果。从这14项独立成果中,我们可以看出未来互联网发展的趋势。 先来看看,是如何评选
2020年8月3日,涛思数据团队正式宣布,物联网大数据平台TDengine集群版开源。此次开源,我们在GitHub上传了23.9万行源代码,1198个源文件,包含我自己疫情期间写的一万余行C代码,终于又了却我一个心愿,不用再纠结。我们一个18人的团队,通过三年的努力,为全球物联网、工业互联网、车联网行业奉献了一个开源的、具有超强性能和分布式集群功能的专业大数据平台。
<数据猿导读> 浙江移动大数据中心经理傅一平在2016年中国信息通信大数据大会上发表了以“运营商大数据变现的实践和思考”为主题的演讲。傅一平表示,运营商在金融领域做反欺诈和验真,没有做征信。如果要在金
点击标题下「大数据文摘」可快捷关注 大数据文摘(ID: BigDataDigest)整理编辑 会议:第十四届中国网络媒体论坛 分论坛二:创新:大数据时代的媒体运营 时间:2014-10-31 地点:苏州 主讲嘉宾:秦雯 北京缔元信互联网数据技术有限公司首席执行官(CEO)。1995年进入互联网行业,曾就职瀛海威、千龙新闻网、新浪网。2007年,创立缔元信网络数据公司,专注网民行为数据收集处理和挖掘应用,为大型媒体网站、传统企业、政府机构提供数据管理解决方案、数据应用产品及咨询服务。 缔元信(微信ID:dr
在“资本寒冬论”喧嚣的2016年,我们终于可以在年终回顾这一年,风投的集体动向,和无数创业项目的死亡和崛起
2023 年 8 月 28 日至 9 月 1 日,第49届VLDB国际会议将在加拿大温哥华举行。腾讯大数据平台大脑团队在Spark自动调优领域的研究成果入选了VLDB 2023,并受邀在大会上进行现场报告。 VLDB国际会议 (全称为International Conference on Very Large Data Bases)于1975年在美国的弗雷明汉马成立, 与另外两大数据库会议 SIGMOD、ICDE 构成了数据库领域的三大顶级会议,已成为数据库研究人员,供应商,参与者,应用开发者,以及用户一
创建大数据平台,是个系统性的工程,并不像简简单单开发一款APP一样,你要深度的了解当前的环境以后的发展。事实上,做大数据平台不是做大数据本身,而是寻找大数据与行业、与业务的某种关联,内在的联结点,能否联姻成功,取决于策划与开发的能力。策划开发得好,事半功倍,会对行业和业务产生不可估量的价值,策划与开发的不好,则会竹篮打水一场空,费时费力自讨苦吃,成为“鸡肋”在所难免。
数据猿导读 大数据从2015年开始就已经在Gartner的技术成熟度曲线图上消失了。这表明,对大数据概念的炒作已经进入了尾声,大数据已经融入到了各行各业中,企业不仅仅关注概念,而是更加关注数据如何结合
我们团队每周开会讨论问题的时候,都会对每天的增长数据进行复盘。期间,领导常常会提及「数据思维」这个词。 这就涉及到,你必须要有思维能力,去支撑你在看到数据时,会从多维度去分析,而不是只看到表面数字这么简单而已,否则就是抓瞎。 数据时代,无论你是做产品,运营,还是做研发,系统架构,乃至于安全风控,都会发现,数据思维是考验你能力提升的重要指标。 但其实,很多人只是掌握了数据分析的工具和技能,却做不好数据分析,无法让数据产生真正的价值。 比如有的新闻:「某市的人均住房面积是 120 平米」「计算机行业人均年收入
“每天一个数据”分析师新一期内容奉上,请享用~ 采访 | Penny 整理 | Sophie 转载请注明来自CDA数据分析师 否则小编将举报到底! 人物档案 周宇红,大麦网大数据技术负责人,专注于娱乐行业大数据应用,负责大数据平台建设,机器学习,自然语言处理,社交媒体挖掘等。 DA:能请您先介绍一下自己的基本情况吗? 周宇红:我其实是从2013年底开始转战互联网的,之前主要在传统的IT行业。到大麦网以后,一开始就接触到大数据。到了2015年初,公司专门设立大数据部门,专门进行大数据的应用分析,我负责整合大
CSDN授权转载 译者:袁璞 摘自:CSDN 2015 年对于银行和金融业公司来说是一个开局之年,在这一年中他们继续用大数据来帮助他们进行业务和组织架构的演进。现在,放眼2016年将要面对的,我们猜测金融服务公司为了利益最大化进而不断整合大数据环境而言,他们面前的路依旧漫长。 银行家们也正在起草大数据战略,制定入门和随后的用例。 对于银行来说,大数据主要还是围绕提高客户情商,减少风险,符合监管。在可见的未来处于第一梯队的大型金融集团都会继续围绕大数据展开各种动作。在低端市场,一些中小型的公司(经纪、资产管理
2015 年对于银行和金融业公司来说是一个开局之年,在这一年中他们继续用大数据来帮助他们进行业务和组织架构的演进。现在,放眼2016年将要面对的,我们猜测金融服务公司为了利益最大化进而不断整合大数据环境而言,他们面前的路依旧漫长。 银行家们也正在起草大数据战略,制定入门和随后的用例。 对于银行来说,大数据主要还是围绕提高客户情商,减少风险,符合监管。在可见的未来处于第一梯队的大型金融集团都会继续围绕大数据展开各种动作。在低端市场,一些中小型的公司(经纪、资产管理、区域银行、顾问等)能够更快速的适应大数据平台
数据猿导读 过去的2016年可称之为“智能金融”元年。相比过去五年,以云计算、大数据、区块链为首的新兴技术创新全面渗透至金融业的方方面面,用科技手段解决供需矛盾、用机器解放人力资源,以数据驱动的决策实
百科是这样定义的:精准医学(Precision Medicine)是以个体化医疗为基础、随着基因组测序技术快速进步以及生物信息与大数据科学的交叉应用而发展起来的新型医学概念与医疗模式。
作者 | 宋文欣 以 Hadoop 为中心的大数据生态系统从 2006 年开源以来,一直是大部分公司构建大数据平台的选择,但这种传统选择随着人们的深入使用,出现的问题也越来越多,比如:数据开发迭代速度不够快、集群资源利用效率过低、新的开发工具集成非常复杂等。这些问题已经成为困扰企业数字化转型加速迭代和升级的主要障碍。 而传统大数据平台通常是以 Hadoop 为中心的大数据生态技术。一个 Hadoop 集群包含 HDFS 分布式文件系统和以 Yarn 为调度系统的 MapReduce 计算框架。围绕 H
“大数据”概念的最早出现,是从2012年2月份纽约时报一篇文章开始的。到目前为止,在大数据领域当中的投资已经越来越热,该领域企业越来越多。但是,有多少公司到底真正使用的是大数据?我相信几乎没有太多,这
点击标题下「大数据文摘」可快捷关注 作者:帅勇 车险无忧、车宝UBI车险董事长兼首席执行官 摘自:i黑马 前几天看了一组数据:截至目前,中国机动车保有量超过1.5亿辆,持有驾照的国人已超过3亿——这已经相当于全美国人民。一时间,说起中国的汽车后市场互联网,到处都是几千亿的感觉,无论是VC投资人还是苦逼创业者,个个都好像闻到了内蒙古大草原烤全羊味一样两眼放光。 人人都在说快节奏,那就一定需要冷思考。今天就来说说自己对中国汽车后市场互联网的冷思考:中国的汽车后市场互联网,真的有那么多机会吗?如果有,又都是些
导读:7月12日,涛思数据的TDengine物联网大数据平台宣布正式开源。涛思数据希望尽最大努力打造开发者社区,维护这个开源的商业模式,他们相信不将最核心的代码开源,任何软件都将无法赢得市场,希望与众多的开发者通过技术创新为物联网、工业互联网等行业提供全栈、高性能、低成本的大数据平台。涛思数据创始人陶建辉在本文中自述了开源的心路历程。
对于企业来说,在大数据时代,应该怎么做呢?我的建议是三点:首先,要拥抱大数据技术。其次,企业要有懂大数据的人。最后,要善于利用第三方服务。 本文作者:桑文锋,神策数据创始人&CEO,前百度大数据部技术
网购、叫车、订外卖、看电影...... 移动互联网各种场景的背后都离不开大数据技术。经过十几年的发展,大数据技术已经成为互联网企业的基础设施。
文 | 桑文锋 很多大数据创业公司提供的服务,似乎企业自己也能实现,那何不干脆自己做?结论也不能下得太武断。 如果这个问题换做是:在电气时代,每家公司都要有个发电厂吗?是不是会更好回答一些? 事实上每一种重大技术的出现,都会对产业产生大的变化。在蒸汽时代,采矿机采用蒸汽机后,会带来生产效率的极大提升,而轮船加上蒸汽机,再也不需要靠风才能航海了。在电气时代,电灯代替了蜡烛,电报代替了快马送信,而报纸也被广播和电视所侵蚀。 可以说是现有产业加上新技术,形成了新产业。 我们回过头来看这两次工业革命,生产蒸
很多大数据创业公司提供的服务,似乎企业自己也能实现,那何不干脆自己做?结论也不能下得太武断。 如果这个问题换做是:在电气时代,每家公司都要有个发电厂吗?是不是会更好回答一些? 事实上每一种重大技术的出现,都会对产业产生大的变化。在蒸汽时代,采矿机采用蒸汽机后,会带来生产效率的极大提升,而轮船加上蒸汽机,再也不需要靠风才能航海了。在电气时代,电灯代替了蜡烛,电报代替了快马送信, 而报纸也被广播和电视所侵蚀。 可以说是现有产业加上新技术,形成了新产业。 我们回过
随着互联网的发展,大数据正在以惊人的速度被创造和收集着,尤其随着诸如Google和Alibaba等互联网公司的崛起,数据的价值越来越得到认可,甚至被公司定义为战略资源。因此越来越多的公司开始搭建自己的大数据平台,用来处理数据,从中挖掘商业价值。大数据运维正是在这样的背景下发展起来的,它与传统领域的运维有很多共性的地方,也有一些自身的特点。 第一个特点是规模大 大数据领域单个集群的规模一般是几百台物理机,多则上万台。为了满足容灾需求,一般会有多个集群,而且是跨地域部署的。集群规模大
前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》,今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的,运用HDFS作为数据存储,计算框架分为批处理、流处理。
<数据猿导读> 在大数据时代,每家公司都要有自己的大数据部门吗? 结论也不能下的太武断。如果这个问题换做是:在电气时代,每家公司都要有个发电厂吗?是不是会更好回答一些 来源:数据猿 作者:桑文锋 如
上节讨论了如何保障数据中台的数据质量,让数据“准”。除了“快”和“准”,数据中台还离不开“省”。随数据规模越来越大,成本越来越高,如不合理控制成本,还没等你挖掘出数据应用价值,企业利润就被消耗完。
为了分享过去一年云原生产业联盟(CNIA)在标准建设、评估测试、技术研究、实践合作等方面的工作成果、探索行业最新趋势动态,云原生产业联盟于2023年1月9日举办了2022年度线上年会,发布了“大数据云原生能力成熟度模型”,并进行了标准解读。 云原生时代,数据系统的技术架构正在多样化用户需求的驱动下快速演进。容器、Serverless、CI/CD、Kubernetes等云原生技术与大数据系统的深度融合,可以有效应对海量、异构、实时的用户数据处理请求。充分利用云原生平台能力实现大数据系统的“云原生”转型升级,已
“数据就像是一个神奇的钻石矿,在其首要价值被发掘之后仍能不断产生价值。”在维克托看来,数据的真实价值就像漂浮在海洋中的冰山,第一眼只能看到冰山一角,而绝大部分则隐藏在表面之下。 大数据
昨天写了篇马斯克推特裁员的文章,没想到引发了很多争议,有读者私信说什么推特的人习惯性摸鱼,马斯克裁的好、裁的妙、裁的呱呱叫。
贵阳交易所推出10大战略,将打造数权、数融在内的12个大数据平台 近日,已经成立一年多的中国首家大数据交易中心——贵阳大数据交易所宣布即将推出包括“数据”星河战略、大数据交易高峰盛典、打造贵漂文化、中
大数据时代,数据成为社会和组织的宝贵资产,像工业时代的石油和电力一样驱动万物,然而如果石油的杂质太多,电流的电压不稳,数据的价值岂不是大打折扣,甚至根本不可用不敢用,因此,数据治理是大数据时代我们用好海量数据的必然选择。
领取专属 10元无门槛券
手把手带您无忧上云