数据猿导读 随着数据量的不断增大、接入的系统越来越多，系统加工效率逐步降低，满足内部数据分析和监管机构的监管数据不断增加的需求，农业银行在2013年开始建设完全自主可控的大数据平台。 本篇案例为数据猿
导读 随着2016全国两会的到来，“大数据”再次成为媒体报道的高频词汇。利用大数据打造智慧城市、提高扶贫精准度、关注农业发展、促进居家养老服务业发展、建立两会大数据平台……两会委员“提案夹”中关于大数
随着云平台、容器等技术的不断成熟，云原生大数据解决了传统大数据平台建设和运维中的繁琐，使即时可得，按需分配的高效大数据开发平台成为可能。 云原生的到来不止为大数据部署和交付带来了变革，它更是帮助大数据连接了一个生态。利用云原生生态，真正做到了为大数据赋予云的能力，使得大数据可以“生长在云端”。 【腾讯云原生】收集了关于大数据云原生系列干货文8篇，帮助你更好了解”大数据云原生“，一定要收藏哦！ 技术原理 Apache Flink on K8s：四种运行模式，我该选择哪种？ 本文根据 Flink 在 Kuber
2019年1月，CDH 背后的公司 Cloudera 宣布与 Hortonworks（一家围绕着大数据平台去做发行版的公司）合并，形成了新的 Cloudera 公司。 两家公司合并之后，迅速对产品进行了整合推出了新一代产品——CDP，同时也宣布在2021年底结束对 CDH6 的服务支持。 这给国内企业敲醒警钟，要将以往使用的 CDH 大数据平台进行全面的迁移。 而时间拉到2021年12月29日，距离元旦仅三天，央行发布的一纸公文——《金融大数据平台总体技术要求》，在金融圈里炸开了锅。 以前的文件可能是从战略
在业务增涨过程中，每个企业不知不觉积累积累了一些数据。无论数据是多是少，企业都希望让“数据说话”，通过对数据的采集、存储、分析、计算最终提供对业务有价值信息。
芝麻科技授权转载 微信:Smart_Business 每年的双11都呈愈演愈烈之势，今年双11，天猫成交额更是达到了前所未有的912亿。 线上的购物狂欢对实体商业究竟有什么影响？实体商业在双11的大背景下，还有没有可以挖掘的商机？ 双11为实体商业带来了大量的销售机会。 芝麻科技联合阿里巴巴大数据平台、意略明市场营销咨询带来了实体商业（以服装与化妆品为代表）的线下客流分析和消费者大数据画像报告。研究数据涉及北京、武汉、深圳重点商圈的男装、女装、化妆品店在“双11”前一个周末（11月7日、11月8日）的客流
2022年2月21日，广西壮族自治区公安厅发布《广西公安大数据智能化一期建设项目云计算平台采购》的公开招标公告，预算 74503000 元。 质疑答复书 2022年3月14日发布质疑答复书桂政采函〔2022〕35号，详细内容如下。 质 疑 人：广州市普博信息科技有限公司 质疑人于2022年3月3日向本中心递交《质疑函》，对广西公安大数据智能化一期建设项目云计算平台采购（GXZC2022-G1-000095-CGZX）的采购文件提出质疑。 质疑事项1：招标文件第二章招标项目采购需求的“用户域云计算平台PaaS
开源，开源，开源。 这就是腾讯2019年技术领域最直观的变化。 最新代表事件，来自于腾讯首个开源的AI项目Angel，完成3.0版本进化后，得到全球技术专家认可，从开源基金会LF AI毕业，成为业内顶级AI开源项目。 这是中国首个得此认可的项目，消息传来自是引发好评热议。不过，这只是腾讯过去这一年开源成绩的注脚之一。 过去一年，腾讯开源势头愈发凶猛。截止12月份，对外开源项目超过92个，覆盖所有BG（事业群），微信、腾讯云、大数据、游戏、AI、安全等业务都在其中，累计获得超27万标星，赢得一片赞
👆点击“博文视点Broadview”，获取更多书讯 最近有不少小伙伴在问有没有架构类的书单，博文菌收到了大家的需要，这就安排上！ 俗话说：不想当架构师的程序员不是好程序员。成为架构师几乎是每位开发者入行初期的共同理想。 如何站在架构的视角去看代码世界，如何依托企业业务需求搭建可高用架构，云端架构的设计原则有哪些…… 本期书单为你带来今年出版的10本架构类好书，希望能够帮你建立架构思维，解开架构谜团！ ---- 01 ▊《业务架构・应用架构・数据架构实战（第2版）》 温昱 著 国内知名架构专家创新
自我介绍下，我是微众银行大数据平台的工程师：周可，今天给大家分享一下 Nebula Graph 在微众银行 WeDataSphere 的实践情况。
*本文原创作者：mcvoodoo，本文属FreeBuf原创奖励计划，转载请联系help@freebuf.com 随着大数据的发展，从银行到P2P再到保险、证券等，越来越多的金融企业开始建设自己的大数据平台。传统上对于数据的管理，金融界是有经验的。 但在当前以Hadoop为基础的大数据平台，接触数据的人更多，数据使用的更频繁，数据的内外交互实时，数据种类更复杂，对安全带来了更严峻的挑战。 从金融业态上来说，包括征信、消费金融、P2P、众筹、互联网银行、互联网保险等金融企业，都会需要大数据平台来支撑业务需要。
现代商业竞争已经从渠道、资源向系统整体效率倾斜，而效率的竞争很大程度上来自于数据能力的支撑。 当我们从数据平台方的视角出发会发现演进路上存在着诸多挑战，比如： 1. 数据领域的生态非常庞大，针对不同场景在资源、数据规模、时效的权衡下会衍生出不同的架构和组件，以及随之带来的团队碎片化，设备资源的重复投入，数据一致性的焦虑，技术选型的困难和迁移的潜在风险； 2. 在伴随业务扩张的过程中，如何平滑而透明地解决伸缩性，用好自建以及混合多云资源；如何建设一站式多租户的数据工具链，在开发生产以及租户之间做好共享和隔离的
在11月6日召开的Techo开发者大会上，腾讯云副总裁、腾讯数据平台部总经理蒋杰博士正式对外披露腾讯大数据平台10年技术演进历程。经过10年的积累，腾讯大数据平台的算力资源池目前已有超过20万台的规模，每天实时数据计算量超过30万亿条，腾讯已经成为中国实时数据计算量最大的公司。并且，随着资源管理平台核心TKE和分布式数据库TBase正式对外开源，腾讯正在成为大数据领域开源最全面的公司。
东方金信CEO王伟哲：金融大数据将推进全社会的诚信建设
浪潮与中国工程院合作，打造国内最高级别“双创平台” 随着移动互联网、大数据、云计算等技术的飞速发展， “智能制造”俨然引领了新一轮的产业变革。 日前，在2016智能制造国际会议上，浪潮集团宣布中国工程
本篇内容将通过三个部分来介绍工商银行实时大数据平台建设历程及展望。 一、工行实时大数据平台建设历程 二、工行实时大数据平台建设思路 三、展望
气象情况、土壤信息、收割机工作进度……所有的数据都在你面前的屏幕上展开，而你只需要点点鼠标就可以完成整个农场的管理。模拟农场游戏让人们坐在家里也能体会一把种田的快乐。
大数据已不再是一个单纯的热门词汇了，随着技术的发展大数据已在企业、政府、金融、医疗、电信等领域得到了广泛的部署和应用，并通过持续不断的发展，大数据也已在各领域产生了明显的应用价值。 企业已开始热衷于利用大数据技术收集和存储海量数据，并对其进行分析。企业所收集的数据量也呈指数级增长，包括交易数据、位置数据、用户交互数据、物流数据、供应链数据、企业经营数据、硬件监控数据、应用日志数据等。由于这些海量数据中包含大量企业或个人的敏感信息，数据安全和隐私保护的问题逐渐突显出来。而这些问题由于大数据的三大主要特性而
大数据时代的到来，影响和改变了各个行业，同样对于政府招商引资来说，大数据也正在颠覆传统的招商引资模式，为地方政府带来全新的招商引资思维，大数据将成为招商引资的全新增长引擎。
数据猿导读 在金融服务业开放政策和云计算、大数据技术双重推动下，互联网金融领域的跨界融合正在成为一种趋势。但在互联网金融与普惠金融业务中存在的风险不可小觑，需要借助大数据手段进行智能营销和风控。 本篇
在企业的数字化转型中，大数据已成为支撑经营和业绩增长的主要手段之一。通过升级云原生架构，可以为大数据在弹性、多租户、敏捷开发、降本增效、安全合规、容灾和资源调度等方向上带来优势。如何让云原生大数据在企业中发挥最大效用，也是许多技术伙伴关注的事情。 在 3 月 17 日和 18 日，ArchSummit 全球架构师峰会（北京站）即将落地北京，我们策划了【云原生大数据实践】，邀请了字节跳动火山引擎云原生计算技术负责人李亚坤，担任专题出品人。在筛选了十几个议题之后，我们确定了本专题的四场分享，分别如下： 首先，我
揭开大数据生态圈背后的真相，切实了解开发者对大数据平台的需求，用真实数据分析大数据行业发展趋势及产品方向。近日，在2014中国大数据技术大会召开前夕，CSDN特推出“2014中国大数据有奖调查”活动，旨在更全方位地洞察中国大数据产业现状，为大数据技术从业者和创业者们提供良好的参考与建议。 公司使用大数据的基本情况 时至今日，无论你是来自互联网行业、通信行业，还是金融行业、服务业或是零售业，相信都不会对大数据感到陌生。据调查报告显示，32.5%的公司正在搭建大数据平台，处于测试阶段；29.5%的公司已经在生
在企业数字化转型的当下，数据仓库的云端构建成为主流趋势，Gartner 预测，到2023年全球3/4的数据库都会跑在云上。
2015年12月10-12日，由中国计算机学会（CCF）主办，CCF大数据专家委员会承办，中国科学院计算技术研究所、北京中科天玑科技有限公司与CSDN共同协办，以“数据安全、深度分析、行业应用”为主题的 2015中国大数据技术大会（Big Data Technology Conference 2015，BDTC 2015）在北京新云南皇冠假日酒店盛大开幕。 2015中国大数据技术大会第二天的大数据基础设施分论坛中，来自阿里云、Hulu、北京忆恒创源、阿里巴巴、企事录以及中科院计算所的技术专家分享了大数据基础
过去一周，国际、国内的大数据相关公司都有哪些值得关注的新闻？数据行业都有哪些新观点和新鲜事？DT君为你盘点解读。
进几年A(人工智能)B(大数据)C(云计算)发展火热，由于笔者在一二线互联网行业从事过大数据相关工作，因此决定在大数据领域对自己的所见所闻，来对该行业之外的人士所做一个讲述，以及对想进入该行业的从业人员做个简单的讲述和分享。
本文内容整理自《数据安全与数据要素治理研讨会》中，清华大学软件学院教授叶晓俊所做的《信息安全技术 大数据服务安全能力要求》国家标准修订思考的主题演讲。 下面由我向大家介绍由清华大学牵头制定的GB/T 35274-2017 《信息安全技术 大数据服务安全能力要求》国家标准在本次修订过程中我们的一些感想。今天汇报包括以下部分：1）标准修订的背景2）标准修订情况3）标准内容介绍4）标准修订思考5）后续工作安排。 首先回顾该标准修订的背景。2016年全国信息技术安全标准化委员会（简称信安标委）成立大数据安全标准特
随着数据成为生产要素，数据安全风险与数字经济发展如影随形，如何解决好数据安全领域的突出问题、提升数据安全治理能力都是社会各界的关注重点。
从互联网、移动互联网到物联网，数据量之巨大已突破想象边界。与此同时，实时数据分析的需求日益增长，那么，当数据量达到亿级、百亿级甚至万亿级规模，实时数据分析如何来做？尤其在To B/G来说，大多数企业和政府客户区别于互联网企业，自身不具备技术团队，缺乏技术运维能力，因此在搭建本地化万亿级大数据平台时，如何交付更为标准化、透明化设计的产品成为最大挑战。
如何对人员流动加以管控，如何准确识别潜在的传染风险，成为摆在各地防控部门面前的难题。
智选SDK一周资讯大事记，将会为您呈现过去一周最受欢迎的SDK资讯、投融资、企业活动、人物访谈和创业故事等信息，让您在最短的时间内了解最火爆的前沿信息。 听云荣登2015 Gartner APM魔力象限，成中国唯一入选者 ---- Gartner一直被认为是客观技术思想领导的权威来源，它是全球最具权威的IT研究与顾问咨询公司。它拥有1200多位世界级分析专家、4000多名专 业研究人员，平均每人有超过10-15年的业内工作经验。长达36年的市场认证，研究贯穿整个IT产业，以业界领先的研究能力和客观性著称，经
海致BDP进军教育市场，与恒企教育合作打造O2O教育新模式；九次方大数据与韩国The IMC集团达成战略合作，将共建舆情大数据平台；Teradata发布物联网分析加速器，将物联网数据转化为洞察信息……
随着数字化转型的不断深入，在企业中，大数据平台建设是许多技术人关心的内容。随着企业的发展，数据量不断增长，原有的数据平台和数据库已经无法满足企业的需求。这时，企业需要对数据平台和数据库进行升级或迁移。但是，这个过程并不容易，需要耗费大量的时间和精力。 在大数据平台升级或迁移过程中，企业需要考虑很多因素，如数据的安全性、可靠性、稳定性等。同时，企业还需要考虑如何保证数据的一致性和完整性。如果在升级或迁移过程中出现问题，可能会导致数据丢失或损坏，给企业带来不可估量的损失。 为你给你提供更多可靠的实践案例，在即将
9月9日，由腾讯安全联合北京城市大数据研究院有限公司、中安威士（北京）科技有限公司、闪捷信息科技有限公司、北京三未信安科技有限公司、杭州世平信息科技有限公司等生态合作伙伴，共同举办的《政务大数据平台数据安全体系建设指南》（以下简称《指南》）发布会在线上举办。
第三方的工具去对文件解析拆分，去将我们的文件内容给提取出来，并将我们的文档内容去拆分成一个小的chunk。常见的PDF word mark down, JSON、HTML。都可以有很好的一些模块去把这些文件去进行一个东西去提取。
十多年来，Apache 社区一向是大数据技术的风向标。去年，5 个源自中国的新项目进入 ASF 项目孵化器，其中 3 个是大数据相关项目，更是见证了本土大数据的雄起。 2022 年 3 月 12 日（星期六）， Apache SeaTunnel 和 Apache Kyuubi 两大新锐社区携手，邀请来自 eBay、T3 出行、oppo 等团队的五位实战型专家，从技术实践到业务优化，从项目发展到社区参与，为企业大数据开发者、开源技术爱好者带来一场技术盛宴。 欢迎大家扫描下图二维码或点击「阅读原文」免费报名，共
数据猿导读 恒丰银行探索采用大数据技术构建统一的企业级数据管理平台，重构数据仓库应用，减少数据重复加工与存储，促进信息管理应用的数据融合共享，提高数据处理总体效率，提升数据分析和应用创新能力，正逐步取得预期的成效。 📷 本篇案例为数据猿推出的大型“金融大数据主题策划”活动（查看详情）第一部分的系列案例/征文；感谢 恒丰银行 的投递 作为整体活动的第二部分，2017年6月29日，由数据猿主办，互联网普惠金融研究院合办，中国信息通信研究院、大数据发展促进委员会、上海大数据联盟、首席数据官联盟协
精功科技拟52.5亿元收购盘古数据，进军互联网数据服务业 📷 上市公司精功科技周四发布重组预案，拟52.5 亿元人民币购买盘古数据 100 %股权，并同时募集配套资金不超过 28 亿元，进军互联网数据中心服务行业。精功科技主营业务原为太阳能光伏专用装备、新型建筑节能专用设备等高新技术产品的研制开发、生产销售和技术服务。盘古数据主营业务为互联网数据中心基础架构服务以及基于互联网数据中心的增值服务，包括云服务、大数据运营服务等。精功科技称，交易完成后盘古数据将成为其全资子公司，公司将实现双主业发展，进
大部分电商大数据平台系统企业在实践项目的时候，并不会把大部分主力资源将品牌能力沉淀成自身的产品和平台，例如很多可以实现共用的大数据服务没有实现真正意义上的服务化、产品化，以致于很多产品总是在执行重复的动作。我们知道目前的大数据中台系统技术带来的不仅仅是数据量的火箭式增长，更重要的是利于大数据网站系统管理能力提升，所以传统的大数据平台建设已经无法满足用户需求。数据中台系统架构体量、产业规模以及云计算高速发展轻松降低基础设施成本，进一步创造企业盈利是大数据平台所关心的重点问题。通过本文我们来简单了解下：企业为什么要搭建大数据中台系统，什么叫大数据中台架构，数据中台系统架构基本构成和如何提升电商大数据平台功能管理。
机器之心原创 作者：蛋酱 930 变革两年后，被寄予厚望的腾讯云在 To B 这张考卷上都写了什么？ 从「深圳市腾讯计算机系统有限公司」注册成立，到成为服务用户最多的中国互联网企业之一，腾讯经历了互联网发展的黄金二十年。拥有众多国民级应用、十多亿 C 端用户的同时，这家公司对于自身技术的披露却一向低调。 当然，事情也正在发生变化：两年前，腾讯宣布正式「拥抱」产业互联网，并进行了第三次组织架构调整，史称「930 变革」。这家科技巨头积淀多年的技术能力，终于越来越多地从幕后走到台前，被寄予厚望的腾讯云，成为腾
日前，中国信息通信研究院正式发布《城市大数据平台白皮书》，阐述了城市大数据的概念和内涵，分析了建设城市大数据平台对于破解智慧城市建设难题的意义，并介绍了我国城市大数据平台的发展现状。
数据猿导读 证券行业是中国计算机应用高度密集的行业之一，如何利用好各项数据是券商摆脱低层次的同质化竞争，走向差异化服务优势的重要途径。那么以数据为基础，通过数据分析指导服务和决策就显得尤为重要。 本篇
“开发者是推动技术发展的主力军，数字社会向前的每一步，都离不开广大开发者。作为数字化转型助手，腾讯云将秉持“开源、共享、创新”的三大理念持续助力开发者的个人成长和价值创造,目前，腾讯云已经服务了数百万开发者，给到开发者的资源扶持超过100亿元。”腾讯公司副总裁、腾讯云总裁邱跃鹏在Techo开发者大会表示。
我在一次社区活动中做过一次分享，演讲题目为《大数据平台架构技术选型与场景运用》。在演讲中，我主要分析了大数据平台架构的生态环境，并主要以数据源、数据采集、数据存储与数据处理四个方面展开分析与讲解，并结合具体的技术选型与需求场景，给出了我个人对大数据平台的理解。本文是演讲内容的第一部分。 大数据平台是一个整体的生态系统，内容涵盖非常丰富，涉及到大数据处理过程的诸多技术。在这些技术中，除了一些最基础的平台框架之外，针对不同的需求场景，也有不同的技术选择。这其中，显然有共性与差异性的特征。若从整个开发生命周期的角
腾讯云结合自身优势，从在线教育的业务营销、教学业务应用与管理方面助力行业合伙发展。智能营销云以AI+大数据和基础资源为依托，提供精准流量获取、付费转化、持续服务的全流程解决方案。从流量获取到报名转化，从意向沟通到课程试听、口语等能力评测，从付费报名到持续服务，腾讯云在各个环节助力培训机构短时间、低成本获客；互动课堂解决方案以腾讯云领先的音视频技术，满足教育企业的授课体验需求；腾讯云AI+大数据领先的算法与技术能力模型，为行业伙伴提供未来竞争的筹码；
大数据文摘作品，转载要求见文末 作者 | Aileen、钱天培、加号 8 月 13 日至 8 月 17 日，每年一度的数据挖掘领域的顶级会议 ACM SIGKDD 2017 在加拿大的 Halifax 召开。 ８月15日下午，SIGKDD中国分会组织了本次会议中的分支活动Data Science of China。这是SIGKDD继2016年后第二次举办中国专场。也是现场除了印度专场之外，另外一家完全为了一个国家举办的专场会议。 大数据文摘前方记者为你带回了三场讲座的文字报道，同时附上新鲜出炉的PPT全文。
面对复杂的大数据安全环境，需要从四个层面综合考虑以建立全方位的大数据安全体系：边界安全、访问控制和授权、数据保护、审计和监控。如下图所示：
由国家发改委、工信部、网信办、京津冀三地政府指导，中关村管委会、北京市经信委、北京市发改委主办，北京大数据研究院、中关村大数据产业联盟、北京软件和信息服务业协会承办的“2016中关村大数据日”活动于1
1、计算机、通信等相关专业，本科及以上学历，3年以上大型互联网产品或分布式系统开发设计经验；
对于大数据给企业带来的价值，已经毋庸置疑。在国内，银行业应该是IT建设更为领先的行业之一。特别中、农、工、建四大银行，更是走在整个银行业的前面。那么，他们对于大数据是如何看待的?在这四大银行，大数据的
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
