该博客的目的是帮助开发人员，架构师和商业从业人员了解采用Kubernetes环境时使用Spinnaker的重要性。您将了解：
Spinnaker是最初由Netflix设计和开发的开源多云连续交付工具。它有助于将应用程序部署到各种云提供商，例如Google Cloud Platform（GCP），Amazon Web Services（AWS）和Microsoft Azure。
张量处理单元（TPU）是 Google Cloud Platform（GCP）上高性能 AI 应用的基本构建块。 在本节中，我们将重点介绍 GCP 上的 TensorFlow。 本节包含三章。 我们将深入介绍 Cloud TPU，以及如何利用它们来构建重要的 AI 应用。 我们还将通过利用 Cloud TPU 构建预测应用，使用 Cloud ML Engine 实现 TensorFlow 模型。
如今，镜像安全扫描变得越来越流行。这个想法是分析一个Docker镜像并基于CVE数据库寻找漏洞。这样，我们可以在使用镜像之前知道其包含哪些漏洞，因此我们只能在生产中使用“安全”镜像。
持续集成（CI）是在将代码合并到master分支之前自动进行代码构建和测试的实践。这使开发人员可以及早的发现错误和频繁地合并代码，同时降低了将新错误引入主源代码存储库的风险。
Kubernetes和容器完全改变了我们对完成工作所使用的工具的看法。扩展自动化平台需要通过fork开发定制扩展，并决定是否应该贡献上游的日子已经一去不复返了。对于大多数组织来说，是否使用平台或工具的选择取决于它的可扩展性。
翻译自 MinIO’s Object Storage Supports External Tables for Snowflake 。
在 Shopify 中，我们将Apache Flink作为标准的有状态流媒体引擎，为我们的BFCM Live Map等各种用例提供支持。我们的 Flink 应用程序部署在利用Google Kubernetes Engine的 Kubernetes 环境中。我们的集群采用配置使用高可用性模式，配置任务管理为故障点。我们还为我们使用状态保存器作为我们使用的检查点和点写入谷歌云存储（GCS）。
导读：用于 ML 和数据科学的云计算已经比较困难，如果你想要通过成本优化削减成本，你的整体成本包括资源和人力，可能会不降反增。不想在机器闲置时停止？因为这样你可能需要反复的启停，并且重新配置环境或者准备数据。想要通过使用抢占实例降低成本？解决抢占实例的调度问题也可能会花上几周时间。如何很好的利用地区之间的巨大价格差异，或者不同云厂商之间更大的价格差异来降低成本？
使用在每个项目中调用的YAML文件配置GitLab CI / CD 管道.gitlab-ci.yml。
Concourse CI是一个现代的，可扩展的集成系统，旨在通过可组合的声明性语法自动测试管道。
Kedro是一个工作流开发工具，可帮助你构建强大，可扩展，可部署，可重现和版本化的数据管道。 我们提供标准的方法，你可以：
DevSecOps 流程 先决条件： 1) Git 2) Jenkins 3) Sonar-Scanner 4) Snyk 5) Java、Maven、Node.js、Python 等（您为项目选择的语言将取决于适用的安装要求。 6) Docker 7) Aqua Trivy 8) Kubernetes 9) Zaproxy
由于组织越来越依赖数据，因此数据管道(Data Pipeline)正在成为其日常运营的一个组成部分。随着时间的推移，各种业务活动中使用的数据量急剧增长，从每天兆字节到每分钟千兆字节。
作者 | Sanket Gupta 译者 | 王强 策划 | 刘燕 本文最初发布于 Medium 网站，经原作者授权由 InfoQ 中文站翻译并分享。 当你的数据集变得越来越大，迁移到 Spark 可以提高速度并节约时间。 多数数据科学工作流程都是从 Pandas 开始的。 Pandas 是一个很棒的库，你可以用它做各种变换，可以处理各种类型的数据，例如 CSV 或 JSON 等。我喜欢 Pandas — 我还为它做了一个名为“为什么 Pandas 是新时代的 Excel”的播客。 我仍然认为 Pandas
在本节中，我们将介绍 Google Cloud Platform（GCP）上的无服务器计算基础。 我们还将概述 GCP 上可用的 AI 组件，并向您介绍 GCP 上的各种计算和处理选项。
在云计算日益普及的今天，如何有效、经济且无缝地在各种云平台上运行大语言模型（LLMs）、AI 和批处理作业成为了迫切的需求。SkyPilot 项目应运而生，旨在解决这一核心问题。它不仅抽象并简化了云基础设施操作，为用户提供了在任何云平台上轻松部署和扩展作业的能力，还通过自动获取多个云平台 GPU 的实时价格并进行实时比价，帮助用户选择最优的云平台来运行自己的 Job。这样做极大地降低了成本，提供了高度的 GPU 可用性，让云基础设施管理变得轻而易举。这样做极大的满足了市场对高效、低成本云资源利用的需求。通过 SkyPilot，企业和开发者能够最大化地利用 GPU，进一步推动了人工智能和大数据处理技术的发展，为云计算市场带来了新的可能。
为生产而构建的机器学习系统需要有效地培训、部署和更新机器学习模型。在决定每个系统的体系结构时，必须考虑各种因素。这篇博文的部分内容是基于Coursera和GCP(谷歌云平台)关于构建生产机器学习系统的课程。下面，我将列出构建可伸缩机器学习系统时需要考虑的一些问题:
目前云驱动数据处理和分析呈上升趋势，我们在本文中来分析下，Apache Hadoop 在 2019 年是否还是一个可选方案。
通过前面两章的基础学习，我们大概了解了基于Python进行DevOps实践需要哪些知识。
编辑手记：Evernote在短暂的时间里完成了向云端的迁移，其战果可喜可贺，然而每一次成功，都是背后的默默的努力和付出支撑起来的。在迁移的过程中，面对网络、硬件、软件、用户各方面的问题，Evernote是如何处理，并设计新的架构的，我们一起来学习。 注：本文来自Evernote官方文档翻译，若有不对的地方请参考原文。 系列文章回顾： 1、用户零感知到达云端: Evernote顺利完成向 Google 云平台的迁移 2、云端迁移 - Evernote服务迁移到Google云端平台（GCP）的方法论 系统架构
自Google Anthos推出以来在混合云领域受到极大关注，作为Google进入ToB混合云市场的战略级产品，Anthos集成了如GKE （Google Kubernetes Engine）、GKE On-Prem、Istio on GKE等……引起业界的关注。可以说这又是Google又一大利器。那么混合云作为企业数字化转型的重要基础设施建设，既留了核心数据，降低了迁移风险，又能在原来资源的基础上增加公共云的弹性，一举多得，成为当前云计算发展的热门话题。而作为数字化转型的另外一个风向标DevOps如何与当前的混合云发展进行协作，带向企业进入云原生时代，将会成日今后数字化建设的一个重要主题。
基于现代Web的应用程序通常都包含多种服务。例如，后端API和前端客户端。在规模扩大成为问题的大型项目中，服务也可以拆分为多个微服务。如何在这样的项目中组织源代码？一种解决方案是monorepo，即项目中所有源代码在同一个存储库中管理。还有一种是每个微服务分别创建一个存储库管理。
如果无法进行测量，那就无法进行管理。正如软件工程师需要全面了解应用程序和基础架构的性能情况一样，数据工程师需要全面了解数据系统的性能情况。换句话说，数据工程师需要数据可观测性。
随着测序技术的发展，基因组学变得越来越受欢迎，并且已经应用到农业医学环境保护等不同的领域。这使得许多具有生物学和遗传学背景的研究员，面临着大数据分析的挑战。在这里，我们为有兴趣使用命令行进入生物信息学领域的任何人提供了10条简单规则。简单来说，这十条规则可以总结为下图。
作者 | Nsikan Essien 译者 | 刘雅梦 策划 | 丁晓昀 GitHub 的 CI/CD 服务产品 GitHub Actions 现在支持使用 Open Identity Connect 凭证对 Hashicorp Vault、AWS、Azure 和 GCP 等云提供商进行身份验证，而无需使用长期凭证或密码。 云的现代开发通常需要针对云提供商对持续集成和持续部署（CI/CD）服务器进行身份验证，以便对已配置的基础设施进行更改。从历史上看，这是通过在云提供商中创建一个身份来实现的，CI
CureIAM是一款针对GCP基础设施的账号权限安全检查与管理工具，该工具易于使用，是一个功能强大且易于使用的可靠高性能引擎。在该工具的帮助下，广大研究人员能够以自动化的形式在GCP云基础设施上实践最低权限原则。
作者 | Jon Udell 译者 | 明知山 策划 | 丁晓昀 渗透测试人员、合规性审计员和其他 DevSecOps 专业人员花了大量时间编写脚本来查询云基础设施。人们喜欢用 Boto3（Python 版 AWS SDK）来查询 AWS API 并处理返回的数据。 它可以用来完成简单的工作，但如果你需要跨多个 AWS 帐户和地区查询数据，事情就变得复杂了。这还不包括访问其他主流云平台（Azure、GCP、Oracle Cloud），更不用说 GitHub、Salesforce、Shodan、Sl
他们必须在过程的顶部进入人体，在任何其他声明块（即input，output等），并具有以下语法：
主要分为三部分：创建RDD对象，DAG调度器创建执行计划，Task调度器分配任务并调度Worker开始运行。
Terraform是一种部署技术，任何想要通过基础设施即代码（Infrastructure as Code，IaC）方法来置备和管理基础设施的人，都可以使用这种技术。基础设施指的主要是基于云的基础设施，不过从技术上讲，任何能够通过应用程序编程接口（Application Programming Interface，API）进行控制的东西都可以算作基础设施。基础设施即代码是通过机器可读的定义文件来管理和置备基础设施的过程的
Beam可以解决什么问题？当MapReduce作业从Hadoop迁移到Spark或Flink，就需要大量的重构。Dataflow试图成为代码和执行运行时环境之间的一个抽象层。代码用Dataflow SDK实施后，会在多个后端上运行，比如Flink和Spark。Beam支持Java和Python，与其他语言绑定的机制在开发中。它旨在将多种语言、框架和SDK整合到一个统一的编程模型。
为了有效地使用云计算，您必须使用Kubernetes来协调您的工作负载。以下是正确执行此操作的5个提示。
前篇博文我们实践了jenkins pipeline的脚本模式，体验到了pipeline的流式构建流程，以及通过bule ocean更清晰的展示了构建的全过程，下面我们就jenkins pipeline相关内容做个全面的了解。
在软件开发中经常会提到 持续集成(Continuous Integration)（CI）和 持续交付(Continuous Delivery)（CD）这几个术语。但它们真正的意思是什么呢？
如果您想从事DevOps行当，了解DevOps工程师的薪资前景是最先要迈出的关键步骤之一。 鉴于DevOps工程成为一个新兴行当，了解合理的报酬水平是什么样可能令人困惑，如果您是这个行当的新手，更让人一头雾水。“合理”的DevOps工程师薪水因公司而异。此外，将你作为DevOps工程师的角色与你在开发行业的同仁区分开来可能颇具挑战性。 本文分析了目前市面上DevOps工程师的薪资水平，并着重介绍了你对这个行业要了解的所有信息。 DevOps工程师简介 DevOps工程师是开发和运营方面拥有丰富知识的IT专业
就在本周一，大数据初创公司Databricks在官网宣布他们完成了10亿美元的G轮融资，对公司的估值为280亿美元。作为同类公司，之前Snowflake的IPO就引发资本的热捧，此次Databricks的融资也印证了这点。为什么资本对数据平台公司如此关注？正如之前我的一篇《当红炸子鸡Snowflake》中谈到，“云计算+大数据”催收了无限遐想空间。下面就让我们来看看这个独角兽Databricks的情况。本文内容部分摘自Databricks官网。
您的答案必须简单明了。首先说明一下DevOps在IT行业中的重要性。讨论这种方法如何旨在使开发和运营团队共同努力，以最小的故障率加速软件产品的交付。包括DevOps如何成为增值实践，开发和运维工程师在整个产品或服务生命周期中（从设计阶段到部署点）携手合作。
软件开发的连续方法基于自动执行脚本，以最大程度地减少在开发应用程序时引入错误的机会。从开发新代码到部署新代码，他们几乎不需要人工干预，甚至根本不需要干预。
每个大型企业组织都在尝试加速其数字化转型战略，以更加个性化、相关和动态的方式与客户互动。在创建和收集数据时对数据执行分析（也称为实时数据流）并生成即时洞察以加快决策制定的能力为组织提供了竞争优势。
一位安全研究人员描述了在源代码管理 (SCM) 存储库中滥用权限如何导致 CI 中毒或“中毒管道攻击”。
Apache Hudi 0.13.0引入了一系列新特性，包括Metaserver, Change Data Capture, new Record Merge API, new sources for Deltastreamer等。虽然此版本不需要表版本升级，但希望用户在使用 0.13.0 版本之前按照下面的迁移指南采取相关重大更改和行为更改的操作。
在过去的几年里，随着 DevOps 工程师的职位发布数量急剧增加，“ DevOps 面试问题”查询的点击量已超过 50 万次。跨国公司通常有多个 DevOps 工程师专家角色。此外，由于就业市场竞争激烈，DevOps 工程师面试问题可能涵盖更广泛和更为复杂的主题。
在前面的章节中，我们一直在处理一次性处理整个任务的命令和管道。然而，在实践中，您可能会发现自己面临一个需要多次运行相同命令或管道的任务。例如，您可能需要：
进程（Process） 是计算机科学中的一个基本概念，表示运行中的程序的实例。每个进程都有自己的独立内存空间、系统资源和执行流程，进程之间相对独立。以下是关于进程的详细介绍：
操作系统（Operating System）是计算机系统中的核心软件之一，它是管理和控制计算机硬件和软件资源的软件系统。操作系统为用户提供了一个直接与计算机硬件进行交互的界面，同时也是应用程序和硬件之间的桥梁。
在本教程中，我将向大家展示如何在Google AutoML中创建单个标签分类模型。我们将使用来自generate.photos的AI生成的面孔数据集。通过算法训练来判断一张脸是男性还是女性。之后，我们会将模型部署到云中，并创建该算法的Web浏览器版本。
浪尖整理翻译https://databricks.com/blog/2016/08/31/apache-spark-scale-a-60-tb-production-use-case.html。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
