北京时间2月5日,在由新浪网主办的“2014新浪全媒体高峰论坛”上,缔元信.网络数据CEO秦雯女士发表了题为“媒体大数据营销”的演讲,从实操层面分享了大数据在媒体端的应用。 以下是演讲观点精粹,与大家分享: 观点一:未来互联网市场≠手机一统江湖 对于手机未来就是一切这个观点,秦雯表示不完全认同。原因有二,其一,不同的应用场景有不同的使用终端。其二,未来将会出现多种移动终端,手机未必是移动终端的终结者。 观点二:每一个新媒体都是大数据平台 针对媒体同行对大数据与己
《九次方·金融大数据白皮书》全文.pdf 《中国产业链大数据白皮书》全文.pdf 日前,《中国产业链大数据白皮书》在北京发布。这份报告详细阐述了在产业互联网、大数据到来的时代,诸如物流、能源、汽车、教育、医疗等各个产业链如何应势而动。 在整个大IT产业,产业链大数据还是一个新兴概念。但是,整个IT业对产业互联网的认识已经非常透彻。未来20年,将是产业互联网的时代。IBM、Oracle、联想、九次方大数据等多家公司,都一致判断,产业互联网将来到,与用户互联网不同,产业互联网在流程、业务复杂度、关联性等各个
数据的价值逐渐被业界所关注。大数据就是像黄金一样的新型经济资产,像石油一样的重要战略资源。数据已经成为互联网行业的空气和水。数据显示,2013年网民信息的大数据价值达16亿;一个网民的数字资产平均达20万。在国内,腾讯、阿里、百度三大互联网巨头,都依靠强大的数据支撑,在为客户机制化服务的同时,获取更多的财富。 无论是传统行业还是互联网行业,甚至对于中介机构,大数据的话题主要聚焦在三个问题上。第一,我是不是一家大数据的公司。第二,我的数据是否具有价值。第三,如果我是大数据企业,且我的数据具
<数据猿导读> 明略数据董事长吴明辉在接受采访时提到,目前很多领域都需要大数据技术服务,尤其涉及政府的一些公共安全领域,但政府作为大数据最大的客户群体,也是数据最大的拥有者,他们的数据应用起来其实并没
昨天接触到一个客户,政府背景,行业应用,某部委直属的下属企业,算是垄断行业,依托政府资源,手里面掌握着全国XX行业所有的数据。原以为是大数据平台的一个营销对象,聊半天才发现,原来这也是一个被我们误认为甲方的乙方,我们反倒成了他们心目中的甲方。因为对方是想基于我们来进行数据产品的营销,当然他们只有原始数据,至于基于原始数据之上的数据分析和商业价值挖掘,包括目标客户和业务方向的定位,他们也不得而知。其实也并非无所知,基于多家厂商的咨询,积累对行业的认知已经不是什么秘密的秘密,商家出力,卖家得利的事,自然他们也是有的。所以思考的业务切入点很多,想法也是很多,谈起来,大有海阔天空的味道,当然并没有任何一点是可以落地实施,或者说无从实施的。当时我真正感兴趣的地方却只有两点:
一想到大数据,我们可能想到的是大数据可视化平台,展示的有多么的炫酷,可是你可能没有想到的是大数据中数据的存储,数据的计算(mapreduce)会是有多么的漫长,下面我们来看图
先说观点:因为还没找到更好的。 接下来说原因,首先来看看大数据平台都在干什么。 原因 结构化数据计算仍是重中之重 大数据平台主要是为了应对海量数据存储和分析的需求,海量数据存储的确不假,除了生产经营产生的结构化数据,还有大量音视频等非结构化数据,这部分数据很大,占用的空间也很多,有时大数据平台 80% 以上都存储着非结构化数据。不过,数据光存储还不行,只有利用起来才能产生价值,这就要进行分析了。 大数据分析要分结构化和非结构化数据两部分讨论。 结构化数据主要是企业生产经营过程中产生的业务数据,可以说是企业的
3月29日晚,傅一平博士在大数据百人会就《运营商大数据变现实践》分享了数据利用的心得与经验。 运营商拥有庞大且具有绝对话语权的数据资源、数据储备,关于对数据利用的心得与经验,傅一平先生围绕浙江移动的平
来源:阿朱说 作者:吕建伟 ---- 自从中央发了十四五规划,现在各大央企国企都在纷纷制定自己企业的十四五的五年规划。 总体一个感受,和我们做的企业标准套件是一模一样的,不外乎是: 1、生产制造:工业互联网,想要的价值也都是设备监控与运维、安全监管、环保监管与能耗优化 2、大供应链:采购云-分销云-零售云 3、业务层就上述两个,下面就只需要集团统一管控: 集团统一财务管控:财务共享中心 集团统一人力管控:人力共享中心 集团统一流程管控:协同平台 集团统一数据管控:大数据平台 人们很多说大型巨型
2017年底的一场reorg,让微软的Azure Data Lake(数据湖)队伍拆的七零八落,Raghu Ramakrishnan也黯然神伤,被reorg成了吉祥物。
据wind资讯,摩根大通要求基金经理必须学python。对于传统的基金经理而言,还是蛮有挑战的事情。怎么看这件事及其影响呢?其他机构会跟进吗?
1.总跟女票说我是做大数据的,女票也跟她朋友说我是做大数据的,但一问是啥,我跟我女票解释了半天她都没听懂,她也不知道怎么跟她朋友说。最好的解决方法是换女票,当然这是不存在的,想都不会想也不敢想。于是乎说写篇她看完也能知道大数据的文章给她。
一项技术的发展,有自建轮子和抱团取暖两种选择,前者自己从头搭起,后者大家一起合作搞个开源社区。这两者到底哪个比哪个更好,一直都是说不清楚的问题。当然还有拿来主义的原则,拿别人的轮子改头换面叫做自己的轮子的,这种做法不在我们讨论范围内。
作者颜卫,腾讯高级后台开发工程师,专注于Kubernetes大规模集群管理和资源调度,有过万级集群的管理运维经验。目前负责腾讯云TKE大规模Kubernetes集群的大数据应用托管服务。
数据猿导读 大数据产品技术及解决方案的创新比较清晰,开源技术基础上的创新和服务是主要方向,但围绕着数据本身的新商业模式还在探索过程中。2017年,基于数据融合和外在价值的创新模式会诞生新的商业模式。
作者颜卫,腾讯高级后台开发工程师,专注于Kubernetes大规模集群管理和资源调度,有过万级集群的管理运维经验。目前负责腾讯云TKE大规模Kubernetes集群的大数据应用托管服务。 大数据的发展历史 大数据技术起源于Google在2004年前后发表的三篇论文,分布式文件系统GFS、分布式计算框架MapReduce和NoSQL数据库系统BigTable,俗称"三驾马车"。在论文发表后,Lucene开源项目的创始人Doug Cutting根据论文原理初步实现了类似GFS和MapReduce的功能。并在20
特来电新能源有限公司是创业板第一股特锐德(300001)的全资子公司,主要从事新能源汽车充电网的建设、运营及互联网的增值服务。特来电颠覆了传统充电桩的模式,世界首创了电动汽车群智能充电系统,获得 336 项技术专利,以“无桩充电、无电插头、群管群控、模块结构、主动防护、柔性充电”的特点引领世界新能源汽车充电的发展,系统的鉴定结论为:“产品世界首创、技术水平国际领先。主动柔性充电对电池寿命可以延长 30% 左右,电池充电的安全性可以提升 100 倍以上。”
网购、叫车、订外卖、看电影...... 移动互联网各种场景的背后都离不开大数据技术。经过十几年的发展,大数据技术已经成为互联网企业的基础设施。
昨天坐飞机,就听到微软的朋友说微软的数据湖完蛋了,队伍解散了,那个曾经领导了这个项目的印度人Raghu成了名副其实的光杆司令。在飞机上心情拔凉拔凉的。当然飞机上没法写公众号,只能拖到今天来写了。
声明:本文参考了淘宝/滴滴/美团发表的关于大数据平台建设的文章基础上予以整理。参考链接和作者在文末给出。
今天我们来看一下淘宝、美团和滴滴的大数据平台,一方面进一步学习大厂大数据平台的架构,另一方面也学习大厂的工程师如何画架构图。通过大厂的这些架构图,你就会发现,不但这些知名大厂的大数据平台设计方案大同小异,架构图的画法也有套路可以寻觅。
4月20日,京东大数据来到了北京大学光华管理学院,这次由京东大数据部平台运营管理负责人葛胜利老师给北大光华管理学院的师生们带来主题为“电子商务大数据平台技术架构与产品架构”的专题讲座,为大家讲述京东大数据平台如何在短短几年的时间里突破技术难关,实现产品创新,建设高效、安全、稳定的大数据平台,并以数据支撑京东的快速发展。 讲座中,葛胜利从京东大数据平台的“使命、架构、产品、运营”四大方面出发,全面的剖析了其中的奥秘。 在讲到平台使命时,胜利总提到,大数据平台在京东集团中的战略地位很重要,因为京东的公司运营是由
日前,中国信息通信研究院正式发布《城市大数据平台白皮书》,阐述了城市大数据的概念和内涵,分析了建设城市大数据平台对于破解智慧城市建设难题的意义,并介绍了我国城市大数据平台的发展现状。
在业务增涨过程中,每个企业不知不觉积累积累了一些数据。无论数据是多是少,企业都希望让“数据说话”,通过对数据的采集、存储、分析、计算最终提供对业务有价值信息。
后web2.0时代,互联网、物联网每天都在生产大量数据,人们对于这些庞大数据资源的价值渴求,使得“大数据”的概念得以问世。如果说“数据”是支撑未来核心技术的基础“原材料”,那么“大数据”正在演变成一种战略资源,当“用户需求导向”成为企业共识,大数据的收集、挖掘和分析开始支撑企业的业务运转、营销策略乃至战略方向,数据成为企业愈加珍视的宝贵资产。 目前,建设有大数据平台的企业不在少数,对比传统数据库,大数据平台数据大量集中,且蕴含更高价值,其安全建设要求明显更高。然而,由于大数据平台使用非结构化数据库类型,以及
大数据已不再是一个单纯的热门词汇了,随着技术的发展大数据已在企业、政府、金融、医疗、电信等领域得到了广泛的部署和应用,并通过持续不断的发展,大数据也已在各领域产生了明显的应用价值。 企业已开始热衷于利用大数据技术收集和存储海量数据,并对其进行分析。企业所收集的数据量也呈指数级增长,包括交易数据、位置数据、用户交互数据、物流数据、供应链数据、企业经营数据、硬件监控数据、应用日志数据等。由于这些海量数据中包含大量企业或个人的敏感信息,数据安全和隐私保护的问题逐渐突显出来。而这些问题由于大数据的三大主要特性而
现代商业竞争已经从渠道、资源向系统整体效率倾斜,而效率的竞争很大程度上来自于数据能力的支撑。 当我们从数据平台方的视角出发会发现演进路上存在着诸多挑战,比如: 1. 数据领域的生态非常庞大,针对不同场景在资源、数据规模、时效的权衡下会衍生出不同的架构和组件,以及随之带来的团队碎片化,设备资源的重复投入,数据一致性的焦虑,技术选型的困难和迁移的潜在风险; 2. 在伴随业务扩张的过程中,如何平滑而透明地解决伸缩性,用好自建以及混合多云资源;如何建设一站式多租户的数据工具链,在开发生产以及租户之间做好共享和隔离的
现在各种新名词层出不穷,顶层的有数字城市、智慧地球、智慧城市、城市大脑;企业层面的有数字化转型、互联网经济,数字经济、数字平台; 平台层面的有物联网,云计算,大数据,5G,人工智能,机器智能,深度学习,知识图谱;技术层面的有数据仓库、数据集市、大数据平台、数据湖、数据中台、业务中台、技术中台等等,总之是你方唱罢他登场,各种概念满天飞…
揭开大数据生态圈背后的真相,切实了解开发者对大数据平台的需求,用真实数据分析大数据行业发展趋势及产品方向。近日,在2014中国大数据技术大会召开前夕,CSDN特推出“2014中国大数据有奖调查”活动,旨在更全方位地洞察中国大数据产业现状,为大数据技术从业者和创业者们提供良好的参考与建议。 公司使用大数据的基本情况 时至今日,无论你是来自互联网行业、通信行业,还是金融行业、服务业或是零售业,相信都不会对大数据感到陌生。据调查报告显示,32.5%的公司正在搭建大数据平台,处于测试阶段;29.5%的公司已经在生
在大数据产业近十年潮起潮落的变迁中,有一座穿越迷雾的灯塔,驱散了人们对数据应用的疑虑,照亮了数据价值回归的征程。
这是一个人人都在谈论大数据的时代!先说三个故事吧 【故事一】奥巴马重新竞选总统,他的团队没有简单的拿钱去砸电视广告,相反,他们去精确的通过民调的数据分析每个区域的选情,找到那些支持率不高的人群,并在那个人群中通过符合那个人群的媒介去投放宣传片,最后打败了竞争对手。有意思的是,早在选举结果前,就有一位IT高手宣布奥巴马获胜,因为他通过各州的民调建立了一个数据模型,最后模拟出来的五十个州的结果,对了49个州,错的那个州最后没影响到最后的选举结果。 【故事二】百度公司副总裁曾良说了一个真实的
因为本人最近几年都在从事电商相关的工作,因此购买了这本书,主要是想了解大型的电商系统应该包括哪些组成部分,以弥补自身知识的不足。
允中 发自 凹非寺 量子位 报道 | 公众号 QbitAI 汉堡也能用大数据卖? 没错,而且可以卖得更好。 汉堡王就正在展开这样的实践,在他们的菜单显示屏,可以基于用户的点餐行为、背景信息,给出个性化推荐。 而且还能结合时间、地点、气候等因素……用户下单更省心,卖家业绩还更好。 懂技术的朋友或许早已看穿,背后必然有Transformer模型加持,但可能意料之外的是,实现消费级商用的精准推荐,汉堡王这套系统不光是单纯套用。 Transformer Cross Transformer(TxT),这是汉堡王推荐
在大数据的发展当中,对相关专业人才的需求是在持续增长的,包括大数据开发、数据分析挖掘等不同的数据处理环节,都形成了相应的岗位体系,大家各自负责不同的环节,共同完成大数据处理任务。今天我们主要来讲讲大数据开发就业,了解大数据开发有哪些岗位?
大数据作为当下最为热门的事件之一,其实已经不算是很新鲜的事情了。如果是三五年前在讨论大数据,那可能会给人一种很新鲜的感觉。大数据作为当下最为重要的一项战略资源,已经是越来越得到国家和企业的高度重视,我们从大数据被上升到国家战略层面就可窥见一二!
大数据平台的基本功能和数据的导入导出对SQL任务、NoSQL任务、机器学习、批处理任务的支持
导读:本期“谁是数据英雄?传统企业大数据应用案例”给大家介绍《 兴业银行:信用卡背后的数据生命线》。兴业银行作为首批试水大数据的商业银行之一,借助大数据的关键技术和核心优势,通过对消费者行为的分析和
就是指各种大数据计算框架,存储系统、SQL引擎等等,这些技术比较常用,经过最近十几年的发展,主流的技术产品相对比较集中,主要就是MapReduce、Spark、Hive、Flink技术的产品。
创建大数据平台,是个系统性的工程,并不像简简单单开发一款APP一样,你要深度的了解当前的环境以后的发展。事实上,做大数据平台不是做大数据本身,而是寻找大数据与行业、与业务的某种关联,内在的联结点,能否联姻成功,取决于策划与开发的能力。策划开发得好,事半功倍,会对行业和业务产生不可估量的价值,策划与开发的不好,则会竹篮打水一场空,费时费力自讨苦吃,成为“鸡肋”在所难免。
9月25日,工业和信息化部信息化和软件服务业司将“2018年大数据产业发展试点示范项目名单”进行公示。
金融科技&大数据产品推荐:BIGDAF——专业的Hadoop大数据安全防火墙
近期,由大数据产业生态联盟发起的“第十三期优秀大数据产品、解决方案和应用案例”测评结果发布,广域铭岛天满大数据平台和Geega天满大数据解决方案分别入围。
作者 | 宋文欣 以 Hadoop 为中心的大数据生态系统从 2006 年开源以来,一直是大部分公司构建大数据平台的选择,但这种传统选择随着人们的深入使用,出现的问题也越来越多,比如:数据开发迭代速度不够快、集群资源利用效率过低、新的开发工具集成非常复杂等。这些问题已经成为困扰企业数字化转型加速迭代和升级的主要障碍。 而传统大数据平台通常是以 Hadoop 为中心的大数据生态技术。一个 Hadoop 集群包含 HDFS 分布式文件系统和以 Yarn 为调度系统的 MapReduce 计算框架。围绕 H
自我介绍下,我是微众银行大数据平台的工程师:周可,今天给大家分享一下 Nebula Graph 在微众银行 WeDataSphere 的实践情况。
如今,企业都面临着日益增长的数据量、各种类型数据的实时化和智能化处理的需求。此时,云原生大数据平台的高弹性扩展、多租户资源管理、海量存储、异构数据类型处理及低成本计算分析的能力,受到了大家的欢迎。但企业应该如何做好大数据平台的云原生改造和升级呢?
本文首先介绍了大数据架构平台的组件架构,让读者了解大数据平台的全貌,然后分别介绍数据集成、存储与计算、分布式调度、查询分析等方面的观点,最后是专家眼里大数据平台架构的发展趋势。
最近有几个群友问我大数据怎么入门,作为一个零基础大数据入门学习者该看哪些书呢?我结合自己看过的书和了解到的比较好的数据,给大家分享一下。
数据服务业务是未来趋势,荣之联刚刚发布的大数据平台DataZoo有啥亮点?
领取专属 10元无门槛券
手把手带您无忧上云