现代商业竞争已经从渠道、资源向系统整体效率倾斜，而效率的竞争很大程度上来自于数据能力的支撑。 当我们从数据平台方的视角出发会发现演进路上存在着诸多挑战，比如： 1. 数据领域的生态非常庞大，针对不同场景在资源、数据规模、时效的权衡下会衍生出不同的架构和组件，以及随之带来的团队碎片化，设备资源的重复投入，数据一致性的焦虑，技术选型的困难和迁移的潜在风险； 2. 在伴随业务扩张的过程中，如何平滑而透明地解决伸缩性，用好自建以及混合多云资源；如何建设一站式多租户的数据工具链，在开发生产以及租户之间做好共享和隔离的
现如今每个公司都有自己的大数据平台和大数据团队，可以看出大数据建设在公司的重要地位，不管是用于做数据分析、BI还是做用于机器学习、人工智能等领域，大数据都是基础，海量数据成为了互联网公司的重要资产。
4月20日，京东大数据来到了北京大学光华管理学院，这次由京东大数据部平台运营管理负责人葛胜利老师给北大光华管理学院的师生们带来主题为“电子商务大数据平台技术架构与产品架构”的专题讲座，为大家讲述京东大数据平台如何在短短几年的时间里突破技术难关，实现产品创新，建设高效、安全、稳定的大数据平台，并以数据支撑京东的快速发展。 讲座中，葛胜利从京东大数据平台的“使命、架构、产品、运营”四大方面出发，全面的剖析了其中的奥秘。 在讲到平台使命时，胜利总提到，大数据平台在京东集团中的战略地位很重要，因为京东的公司运营是由
自我介绍下，我是微众银行大数据平台的工程师：周可，今天给大家分享一下 Nebula Graph 在微众银行 WeDataSphere 的实践情况。
本文首先介绍了大数据架构平台的组件架构，让读者了解大数据平台的全貌，然后分别介绍数据集成、存储与计算、分布式调度、查询分析等方面的观点，最后是专家眼里大数据平台架构的发展趋势。
声明:本文参考了淘宝/滴滴/美团发表的关于大数据平台建设的文章基础上予以整理。参考链接和作者在文末给出。
大数据作为当下最为热门的事件之一，其实已经不算是很新鲜的事情了。如果是三五年前在讨论大数据，那可能会给人一种很新鲜的感觉。大数据作为当下最为重要的一项战略资源，已经是越来越得到国家和企业的高度重视，我们从大数据被上升到国家战略层面就可窥见一二！
导读：本期“谁是数据英雄？传统企业大数据应用案例”给大家介绍《 兴业银行：信用卡背后的数据生命线》。兴业银行作为首批试水大数据的商业银行之一，借助大数据的关键技术和核心优势，通过对消费者行为的分析和
大数据已深入到企业经营的方方面面，数字化管理已不仅仅是传统的报表，更深入到具体的业务核心流程中，数据平台的稳定性、数据质量问题将直接影响到企业的正常经营，业务对数据的依赖也越来越高，更低的使用成本、更高的计算性能、更快的数据时效等一直都是大数据平台技术架构升级与优化的目标。 近年来，云原生、资源弹性伸缩、数据实时化、湖仓一体、流批一体等新兴技术术语时常出现，但这些技术如何落地、后续演进方向如何、给业务带来的价值几何等很多人都不清楚。 在 4 月 21-22 日上海举办的 ArchSummit 架构师峰会上，
本文作者 耿立超，架构师，14年IT系统开发和架构设计经验，CSDN博客专家，著有《大数据平台架构与原型实现：数据中台建设实战》一书。 原文链接： https://laurence.blog.csdn.net/article/details/106851739 故事缘起 我们需要工程原型！ 从2008年Hadoop成为Apache的顶级项目开始，大数据技术迎来了十多年的持续发展，其间随着Spark的异军突起，整个大数据生态圈又经历了一次“装备升级”，变得更加完善和强大。 今天，很多企业已经完成了早期对大数据
百科是这样定义的：精准医学（Precision Medicine）是以个体化医疗为基础、随着基因组测序技术快速进步以及生物信息与大数据科学的交叉应用而发展起来的新型医学概念与医疗模式。
日前，中国信息通信研究院正式发布《城市大数据平台白皮书》，阐述了城市大数据的概念和内涵，分析了建设城市大数据平台对于破解智慧城市建设难题的意义，并介绍了我国城市大数据平台的发展现状。
现在大数据这么火，各行各业想转行大数据，那么问题来了，该往哪方面发展，哪方面最适合自己？
日志是大数据平台重要数据来源之一，应用程序日志一方面记录各种程序执行状况，一方面记录用户的操作轨迹。Flume 是日志收集常用的工具。
背景介绍 4月23日09:00-12:45，在DataFunSummit2022：大数据计算架构峰会上，由腾讯云大数据资深高级工程师熊训德出品的大数据计算加速论坛，将邀请来自腾讯、阿里巴巴、矩阵起源、喜马拉雅的5位技术专家，就相关主题进行深度分享，欢迎大家一起探讨交流。 具体日程 详细介绍 出品人：熊训德 腾讯云 大数据资深高级工程师 个人介绍：四川大学硕士毕业后加入腾讯，在腾讯云大数据从事 hadoop 生态相关的云存储和计算等后台开发，专注于研究大数据、虚拟化和人工智能等相关技术。 嘉宾介绍：
移动互联时代大浪淘沙，「数据」亦主沉浮。各家公司在追逐产品不断完善的同时，也都在累积各自的用户数据反哺产品。而随着数据的不断累积庞大也容易带来一些难以用老旧方法解决的问题，这些问题驱使着企业的大数据体系迭代演进，也再次把「大数据技术」推向高潮。
最近有几个群友问我大数据怎么入门，作为一个零基础大数据入门学习者该看哪些书呢？我结合自己看过的书和了解到的比较好的数据，给大家分享一下。
大数据已不再是一个单纯的热门词汇了，随着技术的发展大数据已在企业、政府、金融、医疗、电信等领域得到了广泛的部署和应用，并通过持续不断的发展，大数据也已在各领域产生了明显的应用价值。 企业已开始热衷于利用大数据技术收集和存储海量数据，并对其进行分析。企业所收集的数据量也呈指数级增长，包括交易数据、位置数据、用户交互数据、物流数据、供应链数据、企业经营数据、硬件监控数据、应用日志数据等。由于这些海量数据中包含大量企业或个人的敏感信息，数据安全和隐私保护的问题逐渐突显出来。而这些问题由于大数据的三大主要特性而
金融科技&大数据产品推荐：BIGDAF——专业的Hadoop大数据安全防火墙
另外，你也要考虑时间、精力、金钱等各方面的投入情况。学习和掌握大数据相关技术也非一朝一夕之事，不可能一蹴而就，一般的培训课程只能达到入门级别的介绍和讲解，真正要学会并很好地运用大数据技术你还需要后续更深入的学习和大量的实践。所以需要你一个良好的学习规划。
大家早上好！非常高兴有机会跟大家分享一下《中国电信在灯塔大数据技术创新和行业应用实践》。 其实，大数据对运营商非常重要，它对内怎么样能提到网络运营资源为客户提供更好服务的作用，对外为行业服务，我今天讲的中国电信灯塔大数据内容，主要指的是对外的。 灯塔大数据的定制，这就是一个比较炫的大数据产业视图，包括的内容很丰富，产业链上的都在这儿了。中国电信的灯塔大数据平台，主要是这样三个定位： 做多元数据的整合 打造它的能力平台 创新行业应用 1、多元的数据整合，电信的数
5月21日~23日，由香港化学生物及环境工程学会（HKCBEES）-生物学和生物信息学会（BBS）主办的第十三届生物信息学和生物医学技术国际会议（ICBBT 2021）、第九届IEEE生物信息学与计算生物学国际会议(ICBCB 2021)、图形与图像处理国际前沿研讨会（FGIP 2021）在西安同期召开，深圳国家基因库（以下简称“国家基因库”）受邀作为协办单位参与三大会议，国家基因库生命大数据平台（CNGBdb）亮相ICBBT 2021主会场主题演讲，获得国内外医学与生物信息领域研究人员的广泛关注。
近日，在刚刚出版的《腾讯大数据构建之道》新书中，腾讯首次对外披露了自身大数据核心技术体系架构和海量业务应用实践。作为国内大数据领域的一部前沿技术著作，该书汇集了腾讯在大数据领域几十位技术专家的思考和实战精髓，通过全面剖析自身在大数据领域的探索以及落地，为国内大数据从业者提供了一份极具价值的参考文献。 腾讯公司副总裁蒋杰表示：“从第一代的离线计算到以隐私计算、数智融合、云原生为代表的第四代大数据技术，腾讯大数据团队不断基于内部海量业务实践，打造领先的技术和产品服务内外部众多客户。未来，腾讯还将通过腾讯云持续开
开源，开源，开源。 这就是腾讯2019年技术领域最直观的变化。 最新代表事件，来自于腾讯首个开源的AI项目Angel，完成3.0版本进化后，得到全球技术专家认可，从开源基金会LF AI毕业，成为业内顶级AI开源项目。 这是中国首个得此认可的项目，消息传来自是引发好评热议。不过，这只是腾讯过去这一年开源成绩的注脚之一。 过去一年，腾讯开源势头愈发凶猛。截止12月份，对外开源项目超过92个，覆盖所有BG（事业群），微信、腾讯云、大数据、游戏、AI、安全等业务都在其中，累计获得超27万标星，赢得一片赞
新三板上市 一、大数据平台“索信达数据”新三板挂牌上市 近日，大数据平台“索信达数据”宣布成功登陆新三板，挂牌上市。据了解，索信达数据成立于2004年3月25日，总部位于深圳，公司致力于通过大数据分析技术以及自有的大数据平台，帮助企业将海量的数据转化为商业价值，主要服务于金融、互联网、政府、制造、航空等多个行业。为其提供基于大数据的智慧营销管理、风险控制管理软件平台、决策支持平台、智能系统运营管理服务和数据可视化产品。 二、互联网广告解决方案服务商“联创云科”成功登陆新三板
在大数据的风口，起飞的为什么是360？这也许是很多人的疑问，作为大数据业界的弄潮儿，360大数据平台是如何演进的，QDAS是缘何诞生，以及再次变革的原因又是什么？
大数据在政务当中的应用对于提高问题解决的效率可谓大有帮助，但政务大数据平台的应用开发远不止提高问题解决效率这么简单。当然，作为大数据平台应用的开发者来说，我们要做的是还是从底层的技术层面做好解决方案。关于政务大数据平台的解决方案此前有分享过智慧人社的和城市智慧停车的大数据平台解决方案，本篇给大家分享一个新的政务大数据平台管理案例——大快搜索的城市数据运河政务大数据管理运营平台。
4月21日~23日，由IEEE, 浙江大学主办，深圳国家基因库(CNGB) 等单位协办的第11届生物信息学与计算生物学国际会议（ICBCB2023）在杭州顺利举行。国家基因库生命大数据平台（CNGBdb）亮相ICBCB2023大会特邀报告，获得生物信息与计算生物学领域研究人员的广泛关注。
9月11日，在2020腾讯全球数字生态大会上，腾讯云副总裁刘煜宏透露，腾讯云大数据平台的算力弹性资源池达500万核，每日分析任务数达1500万，每日实时计算次数超过40万亿，能支持超过一万亿维度的数据训练。腾讯云不仅已经成为国内算力最强的云厂商，同时也是日实时计算量最大的公司。 腾讯云副总裁 刘煜宏 「 算力资源池达500万核，日实时计算量超40万亿」 基于多年在数字化方面的积累，腾讯云正在把腾讯多年来的能力沉淀对外开放。除了云计算、大数据、AI、安全、LBS、区块链等基础技术服务，以及支付、小程
<数据猿导读> 中国电信云计算中心主任赵慧玲在2016年中国信息通信大数据大会上发表了以“中国电信灯塔大数据”为主题的演讲。在赵慧玲看来，中国电信灯塔大数据的定制，这是一个比较炫的大数据产业视图，主要
2020年9月11日，在2020腾讯全球数字生态大会上，腾讯云副总裁刘煜宏透露，腾讯云大数据平台的算力弹性资源池达500万核，每日分析任务数达1500万，每日实时计算次数超过40万亿，能支持超过一万亿维度的数据训练。腾讯云不仅已经成为国内算力最强的云厂商，同时也是日实时计算量最大的公司。
本篇内容将通过三个部分来介绍工商银行实时大数据平台建设历程及展望。 一、工行实时大数据平台建设历程 二、工行实时大数据平台建设思路 三、展望
目录： 什么是大数据 Hadoop介绍-HDFS、MR、Hbase 大数据平台应用举例-腾讯 公司的大数据平台架构 “就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的
Twitter是最早一批推进数字化运营的硅谷企业之一，其公司运营和产品迭代的很多功能是由其底层的大数据平台提供的。图7-2所示为Twitter大数据平台的基本示意图。
导读：本期“谁是数据英雄？传统企业大数据应用案例”给大家介绍《 新奥能源：智能运营背后的数据价值链》。能源行业是国民经济中的支柱产业，也是产生海量数据并对数据分析有着重要依赖的企业。大数据为其提升管理
参加活动赢取话费和一个月免费会员 点击底部阅读原文，参加PPV课玩转可视化图表，赢取话费和PPV课一个月免费会员，精品课程免费看！ 目录： 什么是大数据 Hadoop介绍-HDFS、MR、Hbase
导读 近年来大数据业务规模迅速增长，为大数据平台运营治理带来了新的挑战：海量大数据任务的治理，缺乏统一、标准的数据与评估模型和治理工具，难以支持对大数据任务执行效率、稳定性等进行持续优化。腾讯大数据平台摸索出数据+算法驱动的“平台自治”方案，对于万亿级大数据分析逐步实现“自动化运营”，以一站式的自诊断、自优化、自管理能力，大大降低大数据产品使用门槛。
前言 人类每一次大的技术变革都是先在新兴产业生根发芽，再慢慢把触角伸到传统行业。在当前这股由IT(Information Technology)向DT(Data Technology)转变的技术浪潮中，互联网行业成为云计算、大数据等高新技术的试验田。经过近十年的发展，随着大数据技术的不断成熟以及互联网应用案例的普及，"数据驱动业务"的模式逐渐得到各行各业的广泛认同，“互联网+”战略的提出更是为大数据从互联网向其他行业的传播吹来一阵东风。腾讯作为互联网企业的代表，早在09年就开始探索建设大数据平台，经过批
导读：本期“谁是数据英雄？传统企业大数据应用案例”给大家介绍《 秦山核电：为何启动国内首个核电大数据咨询项目？ 》。据悉， 中核核电将在秦山站启动国内首个核电大数据咨询项目，旨在利用大数据检测分析设
随着云平台、容器等技术的不断成熟，云原生大数据解决了传统大数据平台建设和运维中的繁琐，使即时可得，按需分配的高效大数据开发平台成为可能。 云原生的到来不止为大数据部署和交付带来了变革，它更是帮助大数据连接了一个生态。利用云原生生态，真正做到了为大数据赋予云的能力，使得大数据可以“生长在云端”。 【腾讯云原生】收集了关于大数据云原生系列原创干货文6篇，帮助你更好了解”大数据云原生“，一定要收藏哦！ 技术原理 Apache Flink on K8s：四种运行模式，我该选择哪种？ 本文根据 Flink 在 Ku
摘要：国家标准委正在着手制定首批共十项大数据标准，分别是大数据术语、大数据技术参考模型、数据交易平台交易数据描述、数据交易服务平台通用功能要求、数据能力成熟度评价模型、多媒体数据语义描述要求、科学数据引用、数据溯源描述模型、数据质量评价指标和通用数据导入接口规范。大数据企业如何发展，市场正在做出自己的选择。 8月末，北京某酒店的一场大数据企业展上，聚集了全国各地的企业。现场展示有随着《江南style》起舞的机器人，有早期科幻电影里走出来的“触摸式数据可视化屏幕”…… “你们的具体业务是做什么的”、“和大数据
到2017年初，我们的大数据平台被整个公司的工程和运营团队使用，使他们能够在同一个地方访问新数据和历史数据。用户可以通过同一个UI门户轻松访问不同大数据平台的数据。我们的计算集群中有超过100PB的数据和100000个vcores。每天支持100,000个Presto查询， 10,000个Spark作业，以及 20,000个Hive查询。我们的Hadoop分析架构遇到了可扩展性限制，许多服务受到高数据延迟的影响。
企业要开展大数据相关业务，首先就需要基于自身的需求，来设计搭建数据系统平台。而大数据系统平台的搭建，需要基于实际需求，来进行系统架构规划。今天我们就从大数据平台开发的角度，来对大数据系统架构模块做一个简单的介绍。
摘要 国家标准委正在着手制定首批共十项大数据标准，分别是大数据术语、大数据技术参考模型、数据交易平台交易数据描述、数据交易服务平台通用功能要求、数据能力成熟度评价模型、多媒体数据语义描述要求、科学数据引用、数据溯源描述模型、数据质量评价指标和通用数据导入接口规范。大数据企业如何发展，市场正在做出自己的选择。 8月末，北京某酒店的一场大数据企业展上，聚集了全国各地的企业。现场展示有随着《江南style》起舞的机器人，有早期科幻电影里走出来的“触摸式数据可视化屏幕”…… “你们的具体业务是做什么的”、“和大数
*本文原创作者：mcvoodoo，本文属FreeBuf原创奖励计划，转载请联系help@freebuf.com 随着大数据的发展，从银行到P2P再到保险、证券等，越来越多的金融企业开始建设自己的大数据平台。传统上对于数据的管理，金融界是有经验的。 但在当前以Hadoop为基础的大数据平台，接触数据的人更多，数据使用的更频繁，数据的内外交互实时，数据种类更复杂，对安全带来了更严峻的挑战。 从金融业态上来说，包括征信、消费金融、P2P、众筹、互联网银行、互联网保险等金融企业，都会需要大数据平台来支撑业务需要。
如今，企业都面临着日益增长的数据量、各种类型数据的实时化和智能化处理的需求。此时，云原生大数据平台的高弹性扩展、多租户资源管理、海量存储、异构数据类型处理及低成本计算分析的能力，受到了大家的欢迎。但企业应该如何做好大数据平台的云原生改造和升级呢？
12月15日，由腾讯云主办的首届“腾讯云+社区开发者大会”在北京举行。本届大会以“新趋势•新技术•新应用”为主题，汇聚了超40位技术专家，共同探索人工智能、大数据、物联网、小程序、运维开发等热门技术的最新发展成果，吸引超过1000名开发者的参与。以下是大数据AI分会场的演讲内容，稍作整理，分享给大家。
前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用HDFS作为数据存储，计算框架分为批处理、流处理。
从互联网、移动互联网到物联网，数据量之巨大已突破想象边界。与此同时，实时数据分析的需求日益增长，那么，当数据量达到亿级、百亿级甚至万亿级规模，实时数据分析如何来做？尤其在To B/G来说，大多数企业和政府客户区别于互联网企业，自身不具备技术团队，缺乏技术运维能力，因此在搭建本地化万亿级大数据平台时，如何交付更为标准化、透明化设计的产品成为最大挑战。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
