快手是一家数据驱动的公司，数据扮演了非常重要的角色，而数据的生产加工主要依靠数据开发工程师，其工作内容会涉及多个方面：数据开发工程师则首先根据业务需求开发好高质量的数据，通常是结构化数据（数据表）；其次，开发稳定可靠的数据服务，并通过API方式交付给业务方使用。数据开发工程师有两个痛点：1）开发数据服务门槛高；2）重复开发数据服务。
平台用户分为两类角色：其一是数据服务生产方，其二是数据服务调用方。数据服务生产方只需要配置，做到“配置即开发”，配置包括：1）数据源；2）数据加速到何处；3）接口形态，访问方式；4）配置独立的测试环境，访问隔离的测试数据。当配置完毕后，数据服务平台便会根据配置清单，完成接口的自动化生产和部署。生产和部署完毕后，调用方在平台申请服务权限调用。通过自动化生产，达到配置即开发的目的，从而极大的提升效率。
自2019年3月18日《数据中台已成下一风口，它会颠覆数据工程师的工作么》成为第一篇数据中台十万+ 的文章后，数据中台的趋势一路走高。
E生活便民是国内最早开始做API数据便民服务平台的提供商之一，经过多年不断的创新发展，目前已发展成为国内领先的API数据便民服务平台提供商。 随着中国经济的不断发展，经济结构发生了巨大的变化，互联网科
基于PB级海量数据实现数据服务平台，需要从各个不同的角度去权衡，主要包括实践背景、技术选型、架构设计，我们基于这三个方面进行了架构实践，下面分别从这三个方面进行详细分析讨论： 实践背景 该数据服务平台架构设计之初，实践的背景可以从三个维度来进行说明：当前现状、业务需求、架构需求，分别如下所示： 当前现状 收集了当前已有数据、分工、团队的一些基本情况，如下所示： 数据收集和基础数据加工有专门的Team在做，我们是基于收集后并进行过初步加工的基础数据，结合不同行业针对特定数据的需求进行二次加工的。 数据二次加工
大量企业积累了海量数据，形成了丰富的数据资产金矿，在有价值的数据和数据产生价值之间仍然存在最后一公里的跨越；同时面对全球化的API经济的冲击，服务化已经成为各行各业的趋势诉求，如何将企业大量的数据资产金矿通过服务化的形式进行规整、盘活，已经成为关系企业长远发展的关键。
在数字化转型的时代背景下，新需求的大量增长、新技术的不断迭代，“互联网化、数字化”进程的不断深入，越来越多的业务被迁移到互联网上，产生大量的业务交互和对外服务需求，对API接口的需求与日俱增，如何快速提升企业数据开放共享能力，是企业面临数字化转型的关键命题。
有软件开始的那一天起，数据这个行业就存在了。比如说原来最早的时候，有非常多的数据报表数据可视化，然后到后来，有了商业智能，有了Data Warehouse（就是数据仓库），然后数据挖掘，并且在数据这个行业里面是有非常多的巨头的，比如teradata、cognos，biee、microstrategy等。
近日，携程旅游大数据服务平台连续通过三轮评审，成功入选工业和信息化部的“大数据优秀产品、服务和应用解决方案”。据了解，该平台聚合了携程集团多项旅游行业数据，对内服务集团各业务线、对外服务各地旅游企业、政府机关、中央部委、及央地媒体，成为国内最具影响力的旅游业大数据服务平台。 随着社会和经济的发展，旅游业已成长为世界经济中发展势头最强劲和规模最大的产业之一。据世界旅游业理事会预计，到2020年，全球国际旅游消费收入将达到2万亿美元。 然而，传统旅游业的诸多痛点也在制约着行业的发展壮大，如细分行业需要整体化运营
随着企业数字化转型的加速，数据中台的概念逐渐流行。然而，对于很多人来说，数据中台仍然是一个模糊的概念。本文将从多个维度来定义什么是数据中台，并深入探讨其背后的原理和价值。
业界常用的数据服务包括五种类型，Data API，Event Hub，Database，File，Terminal & APP。
随着企业信息化、数字化的发展，对于数据管理者提出了更高的要求。自服务数据共享与服务架构是为了更好的解决数据管理者对数据管理中的数据的交换、资源的管理、数据的共享以及带动业务创新而提出的数据管理框架。自服务数据共享与服务架构的目标是实现对企业级的数据和资源进行管理，推动业务创新带动企业业务拓展。在自服务数据共享与服务架构中提出以元数据为核心，自动采集数据信息进行数据分类管理，并建立了自助式数据交换和数据共享通道，制定了数据交换中所常用的数据交换标准，提供了对数据的全生命周期的监控和预警功能。 目录： 一、数
时间：2015年1月29日·下午 地点：北京，详细地址报名成功后通知 报名方式：点击文末“阅读原文” 指导单位：中国互联网协会 主办方：缔元信·网络数据 【大会介绍】 2013年被人们称为“大数据元年”，大数据概念扑面而来，令人应接不暇。2014年，我们认为是“大数据落地年”，大数据开始由概念转向实务。弹指一挥间，互联网行业的大数据应用已经开花结果，互联网应用是大数据的先行者! 互联网媒体、互联网视听服务、互联网营销服务、互联网汽车、互联网金融…… 而在这样的时代浪潮中，更多的企业如何应对变化？ 知者智，行
如今大数据分析市场与几年前相比已经截然不同，在日前发布的2017年度市场研究报告中，2017年的全球大数据分析市场规模比前一年增长了24.5%，这主要是由于公共云的部署和利用好于预期，以及云计算的平台、工具和其他解决方案都在加速融合。此外企业正在通过大数据分析更快速地脱离实验和验证阶段，并从部署中获得更高的业务价值。展望未来，通过在物联网(IoT)、移动性和其他边缘计算用例中采用大数据分析技术，大部分市场可以保持未来几年的增长。
数据的价值一个是数据驱动决策，主要通过数据可视化平台、自助BI分析工具提升决策分析效率。另一个是数据在业务端的创新应用，主要是API接口服务的方式，即DAAS(dataAPI as a service
数据中台最近特别火，各个企业都在关注如何构建自己的数据中台，利用数据中台打造数据驱动的经营能力。数据中台的概念漫天飞，作为最早为企业提供数据中台构建服务的实践者，我们希望将一些落地的经验和教训给到那些正在考虑建设数据中台的企业。
作者简介：史凯，花名凯哥，腾讯云最具价值专家TVP，ThoughtWorks数据智能业务总经理。投身于企业数字化转型工作近20年。2000年初，在IBM 研发企业级中间件，接着加入埃森哲，为大型企业提供信息化架构规划，设计，ERP，云平台，数据仓库构建等技术咨询实施服务，随后在EMC负责企业应用转型业务，为企业提供云迁移，应用现代化服务。现在专注于企业智能化转型领域，是数据驱动的数字化转型的行业布道者，数据中台的推广者，精益数据创新体系的创始人，2019年荣获全球Data IQ 100人的数据赋能者称号，创业邦卓越生态聚合赋能官TOP 5。2019年度数字化转型专家奖。打造了行业第一个数据创新的数字化转型卡牌和工作坊。创建了精益数据创新方法论体系构建数据驱动的智能企业，并在多个企业验证成功，正在向国内外推广。
纵观云上的攻击事件，以及近期的一些热点事件，大家不难发现，元数据服务攻击事件频繁的发生。在云产业不断发展壮大的当今，元数据服务已经成为了攻击者攻击流程中的一个重要的环节。我们从攻击者的视角来分析攻击流程中元数据服务所面临的风险，也可以更好地迎战元数据服务带来的安全挑战。
中台概念，2015年诞生，2019年爆火，在最火的时候被很多人当成了“无所不能”的“万能药”，只要是IT的问题，就一个药方——上“中台”！于是乎，很多企业都争先恐后，纷纷走上了上中台的路。
2022 年 10 月底，爱分析举办了“2022爱分析·银行数字化网络研讨会”。爱分析邀请Kyligence 副总裁周涛进行了题为《创新数据能力，驱动数字化转型：解读银行业趋势和实践》的主题演讲。
根据外电消息，Pure Storage宣布将以3.7亿美元收购数据服务平台Portworx。此举将让Pure Storage在容器存储相关领域得到补强。据悉，本次交易预计在本月底完成。
导语 | 数据中台被誉为大数据的下一站，成为了人们谈论的焦点，2019年也被称为数据中台元年。但是数据中台是什么？它和数据仓库、商业智能、大数据平台有什么区别？它的主要功能是什么？本文是对TVP史凯老师的直播演讲整理，为大家剖析数据中台的愿景和本质。「TVP思享」专栏，凝结大咖思考，汇聚专家分享，收获全新思想，欢迎长期关注。（编辑：云加社区 涛涛）
7月31日至8月1日，由开放原子开源基金会与 Linux 基金会联合开源中国发起，被誉为“全球开发者开源技术盛会”的 GOTC 全球开源技术峰会在深圳顺利举办。
数据猿导读 大数据交易链接了数据供应方和使用者，通过自身平台将大数据提供给需要这些接口的开发者手中，提供交易过程中必需的技术和服务支持，以节省双方的沟通、交易、开发和调用成本。 作者 | 左磊 本文长
本文内容整理自《数据安全与数据要素治理研讨会》中，清华大学软件学院教授叶晓俊所做的《信息安全技术 大数据服务安全能力要求》国家标准修订思考的主题演讲。 下面由我向大家介绍由清华大学牵头制定的GB/T 35274-2017 《信息安全技术 大数据服务安全能力要求》国家标准在本次修订过程中我们的一些感想。今天汇报包括以下部分：1）标准修订的背景2）标准修订情况3）标准内容介绍4）标准修订思考5）后续工作安排。 首先回顾该标准修订的背景。2016年全国信息技术安全标准化委员会（简称信安标委）成立大数据安全标准特
抗击疫情，腾讯云在行动。数据中台被誉为大数据的下一站，成为了人们谈论的焦点，2019年也被称为数据中台元年。但是数据中台是什么？它和数据仓库、商业智能、大数据平台有什么区别？它的主要功能是什么？本文是对TVP史凯老师的直播演讲整理，为大家剖析数据中台的愿景和本质。
精彩内容 “星云数据服务平台”以手游行业为切入点，做移动互联网大数据运营。它将手游内容企业和发行方与游戏渠道SDK连接起来，“例如某游戏想对接应用宝，通过“星云”需半天时间，而游戏自己接要1到2个月。 传统手游行业产业链是以内容方为起点，经过发行、渠道最后到达终端。有个问题是，传统发行或CP需要对接上百家渠道，但每家SDK都不同，全部接完可能得花费半年到一年。另外，游戏在移动互联网用户中的渗透率（包含普及程度以及覆盖广度）很高，但游戏数据的统计一般集中在结算对账、DAU等常规方面，而其他类似用户行为数据等未
回首过去十年，我们见证了大数据从概念诞生到行业落地，逐渐发展到基于数据中台驱动决策的数据智能时代。作为后互联网时代的产物，数据智能必将是未来很长一个发展阶段的核心所在。
腾讯云大数据产品中心总经理刘煜宏在AI大数据专场论坛，介绍了在大数据时代背景下，腾讯是如何打造全域数据体系的。
而阿里经济体中的 ABC，其中的 BIG DATA，即是我们 DT https://dt.alibaba.com/ ，我们用大数据赋能商业，创造价值。
数据猿导读 Unifi的本轮融资由Scale Venture Partners领投，Canaan Partners 和Pelion Partners跟投，其总融资额已经达到了3200万美元。Unifi
数据模型是分层次的，以前叫作数据仓库模型，概括为三层，基础模型一般是关系建模，主要实现数据的标准化，我们叫作“书同文、车同轨”，融合模型一般是维度建模，主要实现跨越数据的整合，整合的形式可以是汇总、关联，也包括解析，挖掘模型其实是偏应用的，但如果用的人多了，你也可以把挖掘模型作为企业的知识沉淀到中台，比如离网挽留的模型具有很大的共性，就应该有人把它规整到中台模型，以便开放给其它人使用，中台的中是相对的，没有绝对的标准。
允中 发自 凹非寺 量子位 | 公众号 QbitAI △AI数据是人工智能行业的燃料，在智能驾驶领域同样扮演着助推技术落地的角色 如今自动驾驶成为了人工智能领域最受关注、最具挑战和影响力最为广泛的产业方向，是推动全球汽车工业变革最重要的科技力量。 汽车正在向智能化转变，在自动驾驶落地较好的企业往往也具备强劲的市场竞争力。但目前智能汽车想要实现更高等级的自动驾驶，还有许多技术难点有待解决。 成熟的自动驾驶技术需要具备感知和决策两方面能力。 通过多种融合的车外传感器使汽车具备感知周围行驶环境的能力；决策则是
自阿里巴巴引入中台概念后，市场对中台的关注度持续“高烧”不退。作为企业的基础平台，数据中台贯彻了整个数据生命周期。然而究其根本，数据中台不是一门技术，而是一种数据治理的方式，是把原来分散在业务系统中的各种数据进行集中管控，统一分发，从而真正的将组织积累的数据变成流动资产，进而变数据为生产力。
随着云计算、大数据、物联网等技术兴起，数据朝着多样性、高体量、高速度方向发展，如何将海量数据安全、稳定、高效地数据共享出去成为各企业关注的重点。本次微课堂通过普元在数据服务共享平台研发过程中的实践，和大家分享数据服务共享发布的相关经验。
在大数据、人工智能、区块链等新兴技术的驱动下，各家银行纷纷利用新技术制定数字转型改革战略，寻找差异化经营的可行模式。
通过分析研究专利或者文献中的数据、挖掘出数据背后隐藏的信息，可以极大缩短研究时间，节省研发费用。但由于近年来专利申请/文献发表数量剧增，如何从海量数据中快速、精准挖掘出高价值化学及生物学信息变得越发重要。
从2012年的“用户标签”到2014年的“用户画像”，从2015年的“大数据”到2017年的“人工智能”，大数据正在从神坛走向现实。“标签”到“画像”，代表着数据在数量和维度上，逐渐在丰富；“大数据”到“人工智能”，表明从原始数据到本体认知的过渡。无论是数据积累的量变到质变，还是数据到认知层面的过渡，大数据已经开始在一些特定领域和场景下为客户解决实际问题，创造价值。
横向规划即在数据中台规划初期，需要打通企业各个业务系，打破数据孤岛现象。其实就是我们建设数据仓库的阶段。比如电信业务，我们要把客户、账务、客服、营销等业务板块打通数据，全盘考虑，融通数据形成数据资产。
中台没有严格的规范，所以对于许多组织来说，很难有标准的管理和监控机制，但尽管没有硬性规定，组织还是可以从约定边界开始，划分模块以及通过建立一些指标来管理每个模块。我们认为数据中台的成熟度评估应该从文中的七个维度入手。
全国信息技术安全标准化委员会（简称信安标委或TC260）在2021年通过了编制组申请的GB/T 35274-2017《信息安全技术 大数据服务安全能力要求》修订项目， 新版标准报批稿在2022年年底提交给国标委进行最后的形式化审查，从国标委标准进展情况看，GB/T 35274-2023近期即将发布。下面就该标准修订情况及标准内容进行解读，本标准牵头单位是清华大学，参与单位有北京大学，中国电子技术标准化研究院等33家单位，共45人参与编制。
梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 当IT行业改变整个世界的时候，DevOps理念从大量产业实践中诞生。 如今AI也进入产业化新时代，继承者MLOps或者叫AI工程化也越发火热。 Gartner咨询公司将AI工程化列为2022年十二大战略性技术趋势，IDC则预测到2024年60%的企业将MLOps用于机器学习工作流。 △图源：ml-ops.org 这一波浪潮之中，算法的工程化一如既往的跑在前面，模型的自动部署、持续训练甚至AutoML都有较大进展。 与之相对的是，数据的工程化稍显落后。
最近可能大家听到“数据中台”这个词越来越频繁了，有时候我跟一些朋友聊起来，也是都在说这个，但是一直不知道这到底是个什么。最近就看到这篇文章，觉得说的还挺好的，分享给大家看看，希望大家看完能对数据中台有一些认识。
该文介绍了如何将基于Ubuntu的Debian云工具移植到Debian中，包括创建Debian镜像、运行实例、配置实例以及使用vmbuilder工具构建云兼容的Debian镜像等步骤。
从2012年的“用户标签”到2014年的“用户画像”，从2015年的“大数据”到2017年的“人工智能”，大数据正在从神坛走向现实。“标签”到“画像”，代表着数据在数量和维度上，逐渐在丰富；“大数据”到“人工智能”，表明从原始数据到本体认知的过渡。无论是数据积累的量变到质变，还是数据到认知层面的过渡，大数据已经开始在一些特定领域和场景下为客户解决实际问题，创造价值。本期数据侠专栏，数据侠中关村老李将从产业链、市场、误区、挑战四个部分对大数据市场现状以及下一步的发展提出自己的观点与洞察。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
