大数据平台的基本功能和数据的导入导出对SQL任务、NoSQL任务、机器学习、批处理任务的支持
后web2.0时代，互联网、物联网每天都在生产大量数据，人们对于这些庞大数据资源的价值渴求，使得“大数据”的概念得以问世。如果说“数据”是支撑未来核心技术的基础“原材料”，那么“大数据”正在演变成一种战略资源，当“用户需求导向”成为企业共识，大数据的收集、挖掘和分析开始支撑企业的业务运转、营销策略乃至战略方向，数据成为企业愈加珍视的宝贵资产。 目前，建设有大数据平台的企业不在少数，对比传统数据库，大数据平台数据大量集中，且蕴含更高价值，其安全建设要求明显更高。然而，由于大数据平台使用非结构化数据库类型，以及
近日，工信部指导下的数据中心联盟公布第五批大数据产品评测结果，通过评测的产品包括16家大数据供应商的17款大数据产品，覆盖一线云厂商和传统大数据平台供应商。腾讯云大数据平台在SQL、NoSQL和机器学习三方面取得优异成绩，其中NoSQL测试成绩在17款产品中排名第2名。腾讯云大数据平台源自亿万级数据资产，在数据接入、数据处理、数据存储、数据分析等方面积累了丰富的实战经验。
随着大数据平台型产品方向的深入应用实践和Docker开源社区的逐渐成熟，业界有不少的大数据研发团队开始使用Docker。简单来说，Docker会让大数据平台部署更加简单快捷、让研发和测试团队集成交付更加敏捷高效、让产线环境的运维更加有质量保障。
声明:本文参考了淘宝/滴滴/美团发表的关于大数据平台建设的文章基础上予以整理。参考链接和作者在文末给出。
阿朵负责测试系统 A，今天领导给她安排了一个新任务，系统 A 要新对接一个系统 B，系统 A 从系统 B 获取数据并对数据进行逻辑处理。
如今，企业都面临着日益增长的数据量、各种类型数据的实时化和智能化处理的需求。此时，云原生大数据平台的高弹性扩展、多租户资源管理、海量存储、异构数据类型处理及低成本计算分析的能力，受到了大家的欢迎。但企业应该如何做好大数据平台的云原生改造和升级呢？
原文标题：What You Need To Do To Get Big Data To Work For You
揭开大数据生态圈背后的真相，切实了解开发者对大数据平台的需求，用真实数据分析大数据行业发展趋势及产品方向。近日，在2014中国大数据技术大会召开前夕，CSDN特推出“2014中国大数据有奖调查”活动，旨在更全方位地洞察中国大数据产业现状，为大数据技术从业者和创业者们提供良好的参考与建议。 公司使用大数据的基本情况 时至今日，无论你是来自互联网行业、通信行业，还是金融行业、服务业或是零售业，相信都不会对大数据感到陌生。据调查报告显示，32.5%的公司正在搭建大数据平台，处于测试阶段；29.5%的公司已经在生
9月25日，工业和信息化部信息化和软件服务业司将“2018年大数据产业发展试点示范项目名单”进行公示。
在大数据产业近十年潮起潮落的变迁中，有一座穿越迷雾的灯塔，驱散了人们对数据应用的疑虑，照亮了数据价值回归的征程。
自我介绍下，我是微众银行大数据平台的工程师：周可，今天给大家分享一下 Nebula Graph 在微众银行 WeDataSphere 的实践情况。
国家 2035 远景规划提出要加快全面数字化转型的步伐，而“大数据平台”是数字化转型的基础技术之一。经过六年多的探索和实践，微众银行打造了一套在金融领域“自主可控”的开源大数据平台。对于任何企业来说，建立和维护一个大数据平台都不是一件容易的事情，而建设一个有特色的、完整易用的大数据平台，显然更是一件技术难度极高的事情。InfoQ 采访了微众银行 WeDataSphere 主创团队，希望他们的实践经验能给大家带来一些启发和思考。
从互联网、移动互联网到物联网，数据量之巨大已突破想象边界。与此同时，实时数据分析的需求日益增长，那么，当数据量达到亿级、百亿级甚至万亿级规模，实时数据分析如何来做？尤其在To B/G来说，大多数企业和政府客户区别于互联网企业，自身不具备技术团队，缺乏技术运维能力，因此在搭建本地化万亿级大数据平台时，如何交付更为标准化、透明化设计的产品成为最大挑战。
腾讯云大数据平台是腾讯云推出的专业大数据解决方案，旨在为企业提供稳定、高效、安全、可靠的大数据服务。该平台具备海量数据处理能力、多种数据存储方式、强大的数据分析与挖掘能力，以及智能化应用场景，为企业提供全方位的大数据支持。
Twitter是最早一批推进数字化运营的硅谷企业之一，其公司运营和产品迭代的很多功能是由其底层的大数据平台提供的。图7-2所示为Twitter大数据平台的基本示意图。
我在一次社区活动中做过一次分享，演讲题目为《大数据平台架构技术选型与场景运用》。在演讲中，我主要分析了大数据平台架构的生态环境，并主要以数据源、数据采集、数据存储与数据处理四个方面展开分析与讲解，并结合具体的技术选型与需求场景，给出了我个人对大数据平台的理解。本文是演讲内容的第一部分。 大数据平台是一个整体的生态系统，内容涵盖非常丰富，涉及到大数据处理过程的诸多技术。在这些技术中，除了一些最基础的平台框架之外，针对不同的需求场景，也有不同的技术选择。这其中，显然有共性与差异性的特征。若从整个开发生命周期的角
现如今每个公司都有自己的大数据平台和大数据团队，可以看出大数据建设在公司的重要地位，不管是用于做数据分析、BI还是做用于机器学习、人工智能等领域，大数据都是基础，海量数据成为了互联网公司的重要资产。
数据猿导读 随着数据量的不断增大、接入的系统越来越多，系统加工效率逐步降低，满足内部数据分析和监管机构的监管数据不断增加的需求，农业银行在2013年开始建设完全自主可控的大数据平台。 本篇案例为数据猿
今天越来越多的企业认识到，大数据的掌控和分析能力将成为竞争力的核心，企业对大数据的投资也在不断扩大。Gartner调查显示，73%的企业计划在未来两年内投资大数据。以开源Hadoop、Spark等为基础的大数据基础平台解决方案和云服务如雨后春笋不断涌现，形成了近200亿美元的市场规模。然而对于很多企业用户来说，如何评价一个大数据平台的综合能力，常常是选型、平台建设和系统优化时面临的一大挑战。目前来看，国内外还缺乏一套能体现大数据特点，又简便易行，且被工业界广泛认可的大数据平台性能测试标准与工具。 记者日前
金融科技&大数据产品推荐：BIGDAF——专业的Hadoop大数据安全防火墙
随着互联网的发展，大数据正在以惊人的速度被创造和收集着，尤其随着诸如Google和Alibaba等互联网公司的崛起，数据的价值越来越得到认可，甚至被公司定义为战略资源。因此越来越多的公司开始搭建自己的大数据平台，用来处理数据，从中挖掘商业价值。大数据运维正是在这样的背景下发展起来的，它与传统领域的运维有很多共性的地方，也有一些自身的特点。 第一个特点是规模大 大数据领域单个集群的规模一般是几百台物理机，多则上万台。为了满足容灾需求，一般会有多个集群，而且是跨地域部署的。集群规模大
引言 人工智能、大数据与云计算三者有着密不可分的联系。人工智能从1956年开始发展，在大数据技术出现之前已经发展了数十年，几起几落，但当遇到了大数据与分布式技术的发展，解决了计算力和训练数据量的问题，开始产生巨大的生产价值；同时，大数据技术通过将传统机器学习算法分布式实现，向人工智能领域延伸；此外，随着数据不断汇聚在一个平台，企业大数据基础平台服务各个部门以及分支机构的需求越来越迫切。通过容器技术，在容器云平台上构建大数据与人工智能基础公共能力，结合多租户技术赋能业务部门的方式将人工智能、大数据与云计算进行
10月18日，星环科技正式登陆科创板，成为国产大数据基础软件第一股。这一事件不仅代表了星环科技这家公司取得的阶段性成就，也标志着在当前数字化转型以及信创建设持续推进的背景下，国产大数据基础软件已驶入了发展的快车道。
面对大数据传输安全相关的挑战和威胁，业界针对安全防护技术进行了针对性的实践和调研。本文主要从平台安全、数据安全、隐私保护三个方面对大数据传输安全技术的发展进行阐述。
大数据平台通过将所有数据整合起来，充分分析与挖掘数据的内在价值，为业务部门提供数据平台，数据产品与数据服务。大数据平台接入的数据中可能包括很多用户的隐私和敏感信息，如用户在酒店的入住纪录，用户支付信息等，这些数据存在可能泄漏的风险。大数据平台一般通过用户认证，权限管理以及数据加密等技术保证数据的安全，但是这并不能完全从技术上保证数据的安全。严格的来说，任何有权限访问用户数据的人员，如ETL工程师或是数据分析人员等，均有可能导致数据泄漏的风险。另一方面，没有访问用户数据权限的人员，也可能有对该数据进行分析挖掘的需求，数据的访问约束大大限制的充分挖掘数据价值的范围。数据脱敏通过对数据进行脱敏，在保证数据可用性的同时，也在一定范围内保证恶意攻击者无法将数据与具体用户关联到一起，从而保证用户数据的隐私性。数据脱敏方案作为大数据平台整体数据安全解决方案的重要组成部分，是构建安全可靠的大数据平台必不可少的功能特性。本文首先分析了数据泄露可能带来的风险，然后详细介绍了数据脱敏技术的理论基础与常用算法，最后介绍了一个基于大数据平台的数据脱敏解决方案。
自建开源大数据平台会随着企业数据的增长遇到：性能慢、扩容周期长、平台稳定性差、运维难、投入成本高等问题。在这里我们将从 EMR 的简介、EMR与自建Hadoop对比优势、自建迁移上云的实践案例来介绍 EMR 是如何解决这些问题的。
*本文原创作者：mcvoodoo，本文属FreeBuf原创奖励计划，转载请联系help@freebuf.com 随着大数据的发展，从银行到P2P再到保险、证券等，越来越多的金融企业开始建设自己的大数据平台。传统上对于数据的管理，金融界是有经验的。 但在当前以Hadoop为基础的大数据平台，接触数据的人更多，数据使用的更频繁，数据的内外交互实时，数据种类更复杂，对安全带来了更严峻的挑战。 从金融业态上来说，包括征信、消费金融、P2P、众筹、互联网银行、互联网保险等金融企业，都会需要大数据平台来支撑业务需要。
在大数据的风口，起飞的为什么是360？这也许是很多人的疑问，作为大数据业界的弄潮儿，360大数据平台是如何演进的，QDAS是缘何诞生，以及再次变革的原因又是什么？
摘 要：通过对数据处理阶段性发展的解析，分析大数据、人工智能技术的发展趋势。结合实际生产需求，验证了基于容器云架构的新一代大数据与人工智能平台在数据分析、处理、挖掘等方面的强大优势。
大数据集群迁移这件事，不知道有多少同学做过(反正我是第一次)。我说的不是简单的把一个集群的数据拷贝到另一个集群上，我指的是整个数据处理平台与相关的前台业务的迁移工作，是从一个机房到另一个机房。
“每天一个数据”分析师新一期内容奉上，请享用~ 采访 | Penny 整理 | Sophie 转载请注明来自CDA数据分析师 否则小编将举报到底！ 人物档案 周宇红，大麦网大数据技术负责人，专注于娱乐行业大数据应用，负责大数据平台建设，机器学习，自然语言处理，社交媒体挖掘等。 DA：能请您先介绍一下自己的基本情况吗？ 周宇红：我其实是从2013年底开始转战互联网的，之前主要在传统的IT行业。到大麦网以后，一开始就接触到大数据。到了2015年初，公司专门设立大数据部门，专门进行大数据的应用分析，我负责整合大
本篇内容将通过三个部分来介绍工商银行实时大数据平台建设历程及展望。 一、工行实时大数据平台建设历程 二、工行实时大数据平台建设思路 三、展望
标题图来源：pexels 自治理念 一、趋势 在科幻电影中未来的太空飞船上往往有着人工智能角色，协助人类掌控飞船各方面的状况，或是为飞船上的每个乘客提供贴心的服务。这样的科幻场景离我们现实也不算太远，汽车的自动驾驶能力实际上就是这样一种智能化探索方向。而在我们所关心的大数据平台中，其实也急迫需要这样一个类似大脑的角色，以腾讯大数据平台现阶段的情况为例，我们有着10万+机器的存算集群，上面每天运行千万级别的离在线任务，我们的用户、大数据组件研发者、运维专家们可能会消耗不少精力去处理一些非业务逻辑相关的问
今天我们来看一下淘宝、美团和滴滴的大数据平台，一方面进一步学习大厂大数据平台的架构，另一方面也学习大厂的工程师如何画架构图。通过大厂的这些架构图，你就会发现，不但这些知名大厂的大数据平台设计方案大同小异，架构图的画法也有套路可以寻觅。
在【rainbowzhou 面试8/101】技术提问--如何进行大数据基准测试？中，我介绍了如何进行大数据基准测试。本篇来说说常见的一些大数据基准测试工具，希望对大家有所帮助。
1月，中国大陆境内所有通用顶级域（.com/.net/.org等）解析出现问题，所有相关域名均被指向一个位于美国的IP地址（65.49.2.178），导致数千万网民在数小时内无法访问网站。 4月，OpenSSL“心脏出血（Heartbleed）”重大安全漏洞被曝光，这一漏洞让黑客能够读取服务器系统的运行内存。有业内人士利用该漏洞在某知名电商网站上测试时，成功获得多位用户的账号及密码，并成功登陆网站。 9月，“iCloud艳照门”事件爆发，数百张好莱坞女演员不雅照在网上被曝光。原因是黑客通过攻击苹果iClou
该案例描述了中国农业银行基于中兴通讯GoldenData大数据平台，实现了对海量数据的快速处理，提升了业务应用的性能，并支持了数据分析和决策制定等需求。
4月20日，京东大数据来到了北京大学光华管理学院，这次由京东大数据部平台运营管理负责人葛胜利老师给北大光华管理学院的师生们带来主题为“电子商务大数据平台技术架构与产品架构”的专题讲座，为大家讲述京东大数据平台如何在短短几年的时间里突破技术难关，实现产品创新，建设高效、安全、稳定的大数据平台，并以数据支撑京东的快速发展。 讲座中，葛胜利从京东大数据平台的“使命、架构、产品、运营”四大方面出发，全面的剖析了其中的奥秘。 在讲到平台使命时，胜利总提到，大数据平台在京东集团中的战略地位很重要，因为京东的公司运营是由
日前，中国信息通信研究院正式发布《城市大数据平台白皮书》，阐述了城市大数据的概念和内涵，分析了建设城市大数据平台对于破解智慧城市建设难题的意义，并介绍了我国城市大数据平台的发展现状。
本文作者为携程大数据平台负责人张翼。张翼浙江大学硕士毕业，2015年初加入携程，主导了携程实时数据计算平台的建设，以及携程大数据平台整合和平台技术的演进。进入互联网行业近10年，从事大数据平台和架构的工作超过6年。
无论是采集数据，还是存储数据，都不是大数据平台的最终目标。失去数据处理环节，即使珍贵如金矿一般的数据也不过是一堆废铁而已。数据处理是大数据产业的核心路径，然后再加上最后一公里的数据可视化，整个链条就算
在业务增涨过程中，每个企业不知不觉积累积累了一些数据。无论数据是多是少，企业都希望让“数据说话”，通过对数据的采集、存储、分析、计算最终提供对业务有价值信息。
除了支撑集团的大数据建设，团队还提供To B服务，因此我也有机会接触到一些正在做数字化转型的传统企业。从2018年末开始，原先市场上各种关于大数据平台的招标突然不见了，取而代之的是数据中台项目，建设数据中台俨然成为传统企业数字化转型的首选，甚至不少大数据领域的专家都认为，数据中台是大数据下一站。
数据猿导读 证券行业是中国计算机应用高度密集的行业之一，如何利用好各项数据是券商摆脱低层次的同质化竞争，走向差异化服务优势的重要途径。那么以数据为基础，通过数据分析指导服务和决策就显得尤为重要。 本篇
大数据正在改变全球商业运作方式，随着对合格大数据人才需求的增加，大数据行业的发展空间和待遇也越来越好，很多想转行大数据的入门学习者，不太清楚大数据的相关的岗位有哪些，今天加米谷大数据就来说个大概。
大数据已不再是一个单纯的热门词汇了，随着技术的发展大数据已在企业、政府、金融、医疗、电信等领域得到了广泛的部署和应用，并通过持续不断的发展，大数据也已在各领域产生了明显的应用价值。 企业已开始热衷于利用大数据技术收集和存储海量数据，并对其进行分析。企业所收集的数据量也呈指数级增长，包括交易数据、位置数据、用户交互数据、物流数据、供应链数据、企业经营数据、硬件监控数据、应用日志数据等。由于这些海量数据中包含大量企业或个人的敏感信息，数据安全和隐私保护的问题逐渐突显出来。而这些问题由于大数据的三大主要特性而
本文作者 耿立超，架构师，14年IT系统开发和架构设计经验，CSDN博客专家，著有《大数据平台架构与原型实现：数据中台建设实战》一书。 原文链接： https://laurence.blog.csdn.net/article/details/106851739 故事缘起 我们需要工程原型！ 从2008年Hadoop成为Apache的顶级项目开始，大数据技术迎来了十多年的持续发展，其间随着Spark的异军突起，整个大数据生态圈又经历了一次“装备升级”，变得更加完善和强大。 今天，很多企业已经完成了早期对大数据
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
