北京时间6月26日凌晨消息，今日谷歌在旧金山举行I/O大会，会上技术平台高级副总裁Urs Hlzle介绍了谷歌云计算的发展情况。目前谷歌云平台支持SQL、NoSQL、BigQuery和谷歌计算引擎。根据摩尔定律与云的关系：计算引擎价格下降30-53%；云存储价格下降68%；BigQuery价格下降85%；折扣自动调整。 据介绍谷歌希望用云端平台来统一不同的平台，随后现场演示如何debug一个正在多个服务器上运行的应用，谷歌的云端调试平台和轻松的进行了语法错误查找。谷歌还为开发者提供了性能追踪器，以方便开发人
8月20日，比利时布鲁塞尔西南郊的St.Ghislaina小镇日前遭遇了强雷电天气，而这一恶劣天气的出现也让谷歌位于当地的数据中心不幸“躺枪”。
她叫 Emma Haruka Iwao，来自日本，她利用谷歌云计算资源，花了 121 天，成功将圆周率 π 计算到小数点后 31.4 万亿位，准确地说，是小数点后 31415926535897 位，刷新了世界纪录。
Beam可以解决什么问题？当MapReduce作业从Hadoop迁移到Spark或Flink，就需要大量的重构。Dataflow试图成为代码和执行运行时环境之间的一个抽象层。代码用Dataflow SDK实施后，会在多个后端上运行，比如Flink和Spark。Beam支持Java和Python，与其他语言绑定的机制在开发中。它旨在将多种语言、框架和SDK整合到一个统一的编程模型。
徐蓓，腾讯云容器专家工程师，10年研发经验，7年云计算领域经验。负责腾讯云 TKE 大数据云原生、离在线混部、Serverless 架构与研发。 1 方案介绍 大数据处理技术现今已广泛应用于各个行业，为业务解决海量存储和海量分析的需求。但数据量的爆发式增长，对数据处理能力提出了更大的挑战，同时对时效性也提出了更高的要求。实时分析已成为企业大数据分析中最关键的术语，这意味企业可将所有数据用于大数据实时分析，实现在数据接受同时即刻为企业生成分析报告，从而在第一时间作出市场判断与决策。 典型的场景如电商大促和金
Flink 从 2014 年诞生之后，已经发展了将近 10 年，尤其是最近这些年得到了飞速发展。在全球范围内，Flink 已经成为了实时流计算的事实标准，成为大数据技术栈中不可或缺的一部分。在 2023 年终盘点之际，InfoQ 有幸采访了 Apache Flink 中文社区发起人、阿里云开源大数据平台负责人王峰（莫问），了解他对大数据技术栈的看法，以及 Flink 的进展和未来规划。
Apache Beam是Google开源的，旨在统一批处理和流处理的编程范式，核心思想是将批处理和流处理都抽象成Pipeline、Pcollection、PTransform三个概念。Apache Beam本身是不具备计算功能的，数据的交换和计算都是由底层的工作流引擎（Apache Apex, Apache Flink, Apache Spark, and Google Cloud Dataflow）完成，由各个计算引擎提供Runner供Apache Beam调用，而Apache Beam提供了Java、Python、Go语言三个SDK供开发者使用。
本文作者：腾讯新闻商业化数据高级工程师 罗强 摘要 随着社会消费模式以及经济形态的发展变化，将催生新的商业模式。腾讯新闻作为一款集游戏、教育、电商等一体的新闻资讯平台、服务亿万用户，业务应用多、数据量大。加之业务增长、场景更加复杂，业务对实时计算高可靠、可监控、低延时、数据可回溯的要求也越来越迫切。比如新闻广告投放、停单、在线推荐、电商搜索中，更快的响应用户需求、精准计费停单，意味着着更好的用户体验和更多的收入。 接下来我们将介绍基于腾讯云流计算 Oceanus Flink 平台、PipeLine 设
摘要 随着社会消费模式以及经济形态的发展变化，将催生新的商业模式。腾讯新闻作为一款集游戏、教育、电商等一体的新闻资讯平台、服务亿万用户，业务应用多、数据量大。加之业务增长、场景更加复杂，业务对实时计算高可靠、可监控、低延时、数据可回溯的要求也越来越迫切。比如新闻广告投放、停单、在线推荐、电商搜索中，更快的响应用户需求、精准计费停单，意味着着更好的用户体验和更多的收入。 接下来我们将介绍基于腾讯云流计算 Oceanus Flink 平台、PipeLine 设计模式搭建的实时数据仓库思想。该方案已经落地内
接下来我们将介绍基于腾讯云流计算 Oceanus Flink 平台、PipeLine 设计模式搭建的实时数据仓库思想。该方案已经落地内容商业化新闻如广告实时广告停单、实时报表、实时特征计算、游戏联运行为分析、数据异常检测等场景。
Apache Beam 是什么？ Beam 是一个分布式数据处理框架，谷歌在今年初贡献出来的，是谷歌在大数据处理开源领域的又一个巨大贡献。 数据处理框架已经很多了，怎么又来一个，Beam有什么优势？ 就是因为分布式数据处理技术现在太多了，让人目眩，所以Beam要解决这个问题。 大数据处理领域发展得红红火火，新技术不断，有个笑话： 一个程序员抱怨这个框架的API不好用，同事安慰说：别急，再等几分钟就有新框架出来了，应该会更好。 Hadoop MapReduce、Spark、Storm、Flink、Apex …
作者 | Steef-Jan Wiggers 译者 | 明知山 策划 | 丁晓昀 谷歌云在全球拥有 34 个地区和 103 个可用区域，为全球 200 多个国家和地区的客户提供云服务。最近，谷歌宣布将把业务扩展到马来西亚、泰国和新西兰这 3 个新的云区域。此前宣布的其他 6 个区域分别是柏林、达曼、多哈、墨西哥、特拉维夫和都灵。 谷歌云亚太区副总裁 Karan Bajwa 在谷歌云博客上发表的一篇文章中表示，谷歌的云计算扩张是基于 IDC 的一项预测数据，到 2025 年，亚太地区（不包括日本）的
去年，我们的云计算专家们对2013年云计算市场的大环境进行了预测。有些预言得到了市场的验证，例如亚马逊公司网络服务（AWS）继续占据了市场的主导地位，同时围绕平台即服务（PaaS）、谷歌公司完成了谷歌计算引擎的测试、大数据与移动云计算等话题也展开了深入探讨。当然，有些其他的事件并没有被我们的专家预料到，例如美国国家安全局的PRISM项目丑闻。 今年，我们的专家们将同样再次进行预测，并针对2014年回答同样的三个问题。从他们的回答中，我们将发现2013年云计算市场到底发生了什么
Vineyard 是一个专为云原生环境下大数据分析场景中端到端工作流提供内存数据共享的分布式引擎，我们很高兴宣布 Vineyard 在 2021 年 4 月 27 日被云原生基金会（CNCF）TOC 接受为沙箱（Sandbox）项目。
17，18是计算引擎火热的两年，19年已然是红海了。计算引擎中的王者是Spark，综合指标最好，生态也好，当其他引擎还在ETL,交互查询，流上厮杀时，Spark已经在AI领域越走越远。
机器之心发布 机器之心编辑部 国产唯一的开源数据湖存储框架 LakeSoul 近期发布了 2.0 升级版本，让数据智能触手可及。 湖仓一体作为新一代大数据技术架构，将逐渐取代单一数据湖和数仓架构，成为大数据架构的演进方向。当前已有 DeltaLake、Iceberg、Hudi 等国外开源的数据湖存储框架。LakeSoul 是数元灵科技研发的，国产唯一的开源数据湖存储框架，并于近期发布了 2.0 升级版本。本文将结合大数据架构的演变历史及业务需求，深度剖析国产唯一开源湖仓一体框架 LakeSoul 带来的现
自动缩放服务可以帮助管理员识别未充分利用的资源，并降低公共云成本，以及了解如何通过负载平衡和标记最大限度地发挥这些优势。 可扩展性是公共云的基石。但是，由于在需要时扩展资源很重要，因此必须缩减不必要或未充分利用的工作负载以满足降低资源的需求。这降低了公共云成本，加快了系统完美补丁和更新升级，并提高了安全性。 然而，手动实例管理在动态云计算环境中实际上是不可能的。相反，IT团队应该使用云自动扩展。以下是一些入门提示。 确定不必要的工作负载和资源 在生产环境中，云计算工作负载或应用程序可能需要在某个水平保持运行
数据库执行器核心关注的问题是性能，那么围绕性能的大前提下，如何把系统资源充分的利用起来，则是执行器首要考虑的问题。
为了避免每月云计算支出超出组织的预期，组织可以使用容器，容量预购和更多的云成本管理策略来控制失控的云支出。 在云中运营组织的业务与在本地部署数据中心运行相比是根本不同的。当运营不同时，其成本的策略也不同。 从财务角度来说，数据中心需要大量的建筑资本支出，服务器和软件许可证的额外资本支出，以及为服务器和冷却系统供电以及维护和管理的虽然较小但重要的运营支出。 在云计算中没有资本支出。相反，却有显著的运营支出，用于服务器虚拟机实例，存储，网络流量，软件许可证和其他细节。 从成本管理的角度来看，将计算负载转移到云
Apache Flink 是大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构。那么当 Apache Flink 遇见数据湖时，会碰撞出什么样的火花呢？本次分享主要包括以下核心内容：
TuGraph Analytics（内部项目名GeaFlow）是蚂蚁集团开源的分布式实时图计算引擎，即流式图计算。通过SQL+GQL融合分析语言对表模型和图模型进行统一处理，实现了流、批、图一体化计算，并支持了Exactly Once语义、高可用以及一站式图研发平台等生产化能力。
在如今，在讨论云时是很难不提及容器技术的。无论你是刚刚入门的技术新人或者经验丰富的专业人士，一定都应当知道这些与云中容器技术相关的重要术语。 随着云计算中容器技术的普及，越来越多的企业都不选择考虑其他选项了。 虽然容器技术已经面世一段较长时间了，但最近是Docker帮助它们进入了企业应用的焦点。随着云的发展，更多的企业了解了采用混合云和多云模式的好处，但是确保软件在不同环境之间迁移时能够稳定运行则成为了一大挑战。容器技术是通过将应用程序机器所有组件打包成为单个可便携的包来解决这一难题的。 此外，随着云计
题图摄于颐和园 （本文作者系 VMware 中国研发云原生实验室工程师，联邦学习 FATE / KubeFATE 开源项目贡献者。） 需要加入KubeFATE开源项目讨论群的同学，请关注本公众号后回复 “kubefate” 即可。 相关文章： 使用Docker Compose 部署FATE v1.5.0 VMware招聘联邦学习和云原生开发工程师 概要 联邦学习开源框架 FATE 发布了1.5版本。由于该版本为长期支持版本（LTS），因此无论是在性能和稳定性上相对于之前的版本都有了比较大的提升，建议还
如今如果没有提及容器，就很难谈论云计算。无论技术新手还是经验丰富的专家，都需要了解与云中容器相关的这些关键术语。 随着云计算中容器的普及，更多的组织选择不考虑采用外部的容器。 容器已经存在了一段时间，但Docker最近帮助他们成为企业使用的焦点。随着云计算的发展，越来越多的企业看到采用混合和多云模型的好处，但确保软件在从一个环境转移到另一个环境时可靠运行是所面临的一个挑战。容器已经通过将应用程序及其所有组件包装到一个更便携的软件包来解决问题。 而且，随着云计算中容器的日益普及，包括亚马逊网络服务(AWS)
作者 ｜ M. Altun 译者 ｜ Flora 策划 ｜ 田晓旭 本文作者使用简单明了的语言介绍了当今使用的一些 DevOps 技术和工具。阅读本文后，您将对这些 DevOps 工具，工作方式、以及如何在软件过程中使用有一个整体的了解。 最近一段时间，我们见证了 DevOps 技术的飞速发展。当今流行且功能强大的工具可能会成为下一年度的过时工具，甚至可能很快被另一种工具取代。如前所述，作者的目的不是通过这篇文章来评判哪些工具最受欢迎或功能最全，而是让读者全面了解 DevOps 工具的工作方式以及如何在软件
本文为CSDN原创编译文章，禁止转载。 负载测试是开发后台基础架构的重要一环，它不但能够演示系统在真实需求面前的性能表现，还可以通过模拟用户与设备行为，在应用程序部署到生产环境前，找出并了解任何可能的系统瓶颈。 但是，专用的测试基础设施可能非常昂贵且难以维护，且此类设备一般是针对特定性能状况的一次性投资，初期投资后想要再对负载测试进行扩展就十分困难，还可能限制实验，从而导致开发团队的工作效率变低，应用在部署到生产环境前也无法得到充分有效的测试。 解决方案综述 分布式负载测试采用云计算手段，在各种测试场景中这
用于机器学习、人工智能、数据分析的基于云计算的工具日前增多。其中的一些应用是在基于云计算的文档编辑和电子邮件，技术人员可以通过各种设备登录中央存储库，并在远程位置，甚至在路上或海滩上进行工作。云计算可以处理文件备份和同步，简化工作流程。
2020年，阿里巴巴实时计算团队提出“流批一体”的理念，期望依托Flink框架解决企业数据分析的3个核心问题，理念中包含三个着力点，分别是一套班子、一套系统、一个逻辑。
导读：大家好，很荣幸跟大家分享 Apache Beam 架构原理及应用实践。讲这门课之前大家可以想想，从进入 IT 行业以来，不停的搬运数据，不管职务为前端，还是后台服务器端开发。随着这两年科技的发展，各种数据库，数据源，应运而生，大数据组件，框架也是千变万化，从 Hadoop 到现在的 Spark、Flink，数据库从先前的 oracle、MySQL 到现在的 NOSQL，不断延伸。那么有没有统一的框架，统一的数据源搬砖工具呢？
作者 | Einat Orr 译者 | 平川 策划 | Tina 虽然该领域的公司数量在不断增加，但可以看到，其中有几个类别的产品出现了整合迹象。MLOps 趋向于端到端，Notebook 正在进入编排领域，而编排正在转向数据谱系和可观察性。与此同时，我们看到，开放式表格式进入了元存储功能。而在治理层，安全和权限管理工具进入目录领域，反之亦然。 本文最初发布于 lakeFS 官方博客。 自我们分享“2021 年数据工程现状”已经过了一年。从去年 5 月我们发布那篇文章以来，数据领域并没有多少变
Excelize 是 Go 语言编写的用于操作 Office Excel 文档基础库，基于 ECMA-376，ISO/IEC 29500 国际标准。可以使用它来读取、写入由 Microsoft Excel™ 2007 及以上版本创建的电子表格文档。支持 XLSX / XLSM / XLTM 等多种文档格式，高度兼容带有样式、图片(表)、透视表、切片器等复杂组件的文档，并提供流式读写 API，用于处理包含大规模数据的工作簿。可应用于各类报表平台、云计算、边缘计算等系统。入选 2020 Gopher China - Go 领域明星开源项目(GSP)、2018 年开源中国码云最有价值开源项目 GVP(Gitee Most Valuable Project)，目前已成为 Go 语言最受欢迎的 Excel 文档基础库。
任务调度系统在数据平台中算是非常核心的组件了。在日常的数据处理中，定时运行一些业务是很常见的事，比如定时从数据库将新增数据导入到数据平台，将数据平台处理后的数据导出到数据库或者是文件系统。
本文和大家分享一个来自Stanford的开源大数据和机器学习系统：MacroBase。
作者 | 郑思宇 “Flink 已经成为全球范围内实时流计算的事实标准。”用这句话来描绘 Flink 在当前大数据技术领域的地位并不为过。 虽然大数据领域的技术和潮流方向在不断发生改变，但是 Flink 一直处于核心驱动的位置。从流式计算引擎的兴起，到流批一体在企业内部的落地，再到为实现端到端全链路的实时化分析能力而走向舞台中央的流式数仓，Flink 均在其中扮演着重要的角色。 以上每个过程的推进和实现都并不容易，Flink 到底是如何做到的？其背后的推动力是什么？凭什么受到全球企业和开发者的青睐？带着这
大数据时代这个词被提出已有10年了吧，越来越多的企业已经完成了大数据平台的搭建。随着移动互联网和物联网的爆发，大数据价值在越来越多的场景中被挖掘，随着大家都在使用欧冠大数据，大数据平台的搭建门槛也越来越低。借助开源的力量，任何有基础研发能力的组织完全可以搭建自己的大数据平台。但是对于没有了解过大数据平台、数据仓库、数据挖掘概念的同学可能还是无法顺利完成搭建，因为你去百度查的时候会发现太多的东西，不知道如何去选择。今天给大家分享下大数据平台是怎么玩的。
作者颜卫，腾讯高级后台开发工程师，专注于Kubernetes大规模集群管理和资源调度，有过万级集群的管理运维经验。目前负责腾讯云TKE大规模Kubernetes集群的大数据应用托管服务。
作者 ｜ 蔡芳芳 过去几年，数据仓库和数据湖方案在快速演进和弥补自身缺陷的同时，二者之间的边界也逐渐淡化。云原生的新一代数据架构不再遵循数据湖或数据仓库的单一经典架构，而是在一定程度上结合二者的优势重新构建。在云厂商和开源技术方案的共同推动之下，2021 年我们将会看到更多“湖仓一体”的实际落地案例。InfoQ 希望通过选题的方式对数据湖和数仓融合架构在不同企业的落地情况、实践过程、改进优化方案等内容进行呈现。本文，InfoQ 采访了 OPPO 云数架构部部长鲍永成，请他与我们分享 OPPO 引入数据湖和数
本周，国内AI圈值得关注的事情有：FPGA 2017最佳论文出炉，AI科技评论对得主深鉴科技进行了专访；人工智能”进入国家战略层，AI公司最关注的是什么？AWE 2017本周在上海举办，海尔美的联手百度DuerOS，共同推出“会说话的家用电器”；中国人工智能学会AIDL第二期【人工智能前沿讲习班】日前在北京中科院自动化所举行，北京大学王立威等教授参与讲课； 国外AI圈新闻有：Ian Goodfellow 离开OpenAI，重回谷歌大脑团队；Google Cloud Next' 17云计算大会在美召开
在多云环境中还依然存在的互操作性障碍将为企业IT团队带来新的安全性问题。 对于众多企业应用来说，公共云是一个理想的运行平台，但是其安全性问题过去、现在甚至将来都会存在。同时，随着众多企业用户开始使用多云以实现更好的通用性和更高的可用性，他们往往会忽视越来越多出现的安全性问题，如导致潜在的数据丢失和违反合规性等等。 下面评估下多云的几大安全性问题，并介绍几个在企业应用中减少这些问题带来负面影响的若干方法。 多云计算的发展之路 在很多情况下，一家企业与多云供应商们的合作是如同是走马灯一般；例如，一家企业可能会从
前面介绍了大数据领域里的两个主流引擎：MapReduce 和 Spark 。它们开创了历史，使得世界进入了大数据时代，让很多公司能够处理庞大的数据，并从中找到更多的有价值的东西。所以，Hadoop 刚开始兴起时，大家都兴奋于我终于能够处理这么多数据了，到后面，Hive 被 Facebook 一群人写出来的时候，大家又不用写那么复杂的 MapReduce 程序了，回到了熟悉的 SQL 的怀抱。
互联网技术的发展让大多数企业能够积累大量的数据，而企业需要灵活快速地从这些数据中提取出有价值的信息来服务用户或帮助企业自身决策。然而处理器的主频和散热遇到了瓶颈，CPU难以通过纵向优化来提升性能，所以多核这种横向扩展成为了主流。也因此，开发者需要利用多核甚至分布式架构技术来提高企业的大数据处理能力。这些技术随着开源软件的成功而在业界得到广泛应用。
Gartner那帮信奉大名鼎鼎的Magic Quadrant（魔术象限）的先生们手握宝贝计算器，又一次走出昏暗的书房宣布亚马逊是云计算的真主，不过他们补充说，亚马逊现在面临激烈的竞争。 市场研究机构G
Gartner那帮信奉大名鼎鼎的Magic Quadrant(魔术象限)的先生们手握宝贝计算器，又一次走出昏暗的书房宣布亚马逊是云计算的真主，不过他们补充说，亚马逊现在面临激烈的竞争。 市场研究机构Gartner本周发布有关云基础架构即服务的Magic Quadrant报告，称亚马逊在新的Magic Quadrant里处优势地位。 这份报告里的Magic Quadrant显示，电子零售商亚马逊的AWS部继续保持在市场上的控制地位，和去年的魔力象限结果相同。但是微软的Azure云和谷歌的计算引擎(Comput
近日，网络巨头谷歌公司发布了一系列数据加密以及网络安全智能工具。这些新工具中的第一个名为外部密钥管理器，即将在beta中启动，它能与谷歌的云KMS（一种密钥管理服务，允许客户管理托管在谷歌云上的服务的密钥）协同工作。
历时一个多月，我们终于结束了【企业级360°全方位用户画像】的项目，想看具体详情的朋友，可以移步至博主的大数据项目专栏一饱眼福…
消息报表主要用于统计消息任务的下发情况。比如，单条推送消息下发APP用户总量有多少，成功推送到手机的数量有多少，又有多少APP用户点击了弹窗通知并打开APP等。通过消息报表，我们可以很直观地看到消息推送的流转情况、消息下发到达成功率、用户对消息的点击情况等。
导语 SuperSQL是腾讯天穹自研的下一代大数据自适应计算平台。通过开放融合的架构，实现一套代码高效解决公有云、私有云、内网的任何大数据计算场景问题。我们通过将异构计算引擎/异构存储服务、计算引擎的智能化/自动化、SQL的流批一体、算力感知的智能化调度纳入内部系统闭环，给用户提供极简统一的大数据计算体验。用户能够从繁杂的底层技术细节中解脱出来，专注于业务逻辑的实现，像使用“数据库”一样使用“大数据”，实现业务逻辑与底层大数据技术的解耦。 背景 在大数据生态里，不同计算引擎适合不同的计算场景，Spark适合
2020 年 9 月，主打云数据仓库产品的硅谷独角兽 Snowflake 正式登陆纳斯达克，首日 IPO 筹资高达 33.6 亿美元，是有记录以来金额最大的软件 IPO，突破了 Uber 2019 年 5 月上市创下的最大规模纪录。 如今，大数据技术早已进入普及期，数据仓库 / 分析领域更是巨头林立，既有传统厂商 Oracle、Teradata，也有开源软件 Hadoop，还有云厂商 AWS Redshift、Google Bigquery，在这样一个竞争环境下，成立于 2012 年的 Snowflake 能脱颖而出实属不易。那么，Snowflake 在数仓技术方面有哪些独到之处？其成功的背后又有哪些技术原因和趋势值得关注？
作者 | 蔡芳芳 采访嘉宾 | 陈龙 2020 年 9 月，主打云数据仓库产品的硅谷独角兽 Snowflake 正式登陆纳斯达克，首日 IPO 筹资高达 33.6 亿美元，是有记录以来金额最大的软件 IPO，突破了 Uber 2019 年 5 月上市创下的最大规模纪录。 如今，大数据技术早已进入普及期，数据仓库 / 分析领域更是巨头林立，既有传统厂商 Oracle、Teradata，也有开源软件 Hadoop，还有云厂商 AWS Redshift、Google Bigquery，在这样一个竞争环境下
（本文作者系 VMware 中国研发云原生实验室架构师，联邦学习 KubeFATE / FATE 开源项目维护者和贡献者。）
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
