Google定制的打机器学习专用晶片称之为TPU(Tensor Processing Unit),Google在其自家称,由于TPU专为机器学习所运行,得以较传统CPU、 GPU降低精度,在计算所需的电晶体数量上,自然可以减少,也因此,可从电晶体中挤出更多效能,每秒执行更复杂、强大的机器学习模组,并加速模组的运用,使得使用者更快得到答案,Google最早是计划用FPGA的,但是财大气粗,考虑到自己的特殊应用,就招了很多牛人来做专用芯片TPU。
将机器学习(ML)模型部署到生产环境中的一个常见模式是将这些模型作为 RESTful API 微服务公开,这些微服务从 Docker 容器中托管,例如使用 SciKit Learn 或 Keras 包训练的 ML 模型,这些模型可以提供对新数据的预测。然后,可以将它们部署到云环境中,以处理维护连续可用性所需的所有事情,例如容错、自动缩放、负载平衡和滚动服务更新。
在本节中,我们将介绍 Google Cloud Platform(GCP)上的无服务器计算基础。 我们还将概述 GCP 上可用的 AI 组件,并向您介绍 GCP 上的各种计算和处理选项。
既然這次是參加 DevOps 組別,勢必要與 DevOps 做個完美的結合。我們在過去的二十幾天內,一起探討了 k8s 的概念、各種不同的物件以及欣賞了各種不同的應用。最終,當然是希望將 k8s 套用到日常運作的系統內。在 GCP 中建立 k8s 叢集 已經介紹過如何在 GCP 平台上建立 k8s 叢集,因此利用這最後的時間,我們就以 GCP 當作例子示範來欣賞一下如何建立一條自動部署的 Pipeline。
如今,镜像安全扫描变得越来越流行。这个想法是分析一个Docker镜像并基于CVE数据库寻找漏洞。这样,我们可以在使用镜像之前知道其包含哪些漏洞,因此我们只能在生产中使用“安全”镜像。
自Google Anthos推出以来在混合云领域受到极大关注,作为Google进入ToB混合云市场的战略级产品,Anthos集成了如GKE (Google Kubernetes Engine)、GKE On-Prem、Istio on GKE等……引起业界的关注。可以说这又是Google又一大利器。那么混合云作为企业数字化转型的重要基础设施建设,既留了核心数据,降低了迁移风险,又能在原来资源的基础上增加公共云的弹性,一举多得,成为当前云计算发展的热门话题。而作为数字化转型的另外一个风向标DevOps如何与当前的混合云发展进行协作,带向企业进入云原生时代,将会成日今后数字化建设的一个重要主题。
近期正在探索前端、后端、系统端各类常用组件与工具,对其一些常见的组件进行再次整理一下,形成标准化组件专题,后续该专题将包含各类语言中的一些常用组件。欢迎大家进行持续关注。
该博客的目的是帮助开发人员,架构师和商业从业人员了解采用Kubernetes环境时使用Spinnaker的重要性。您将了解:
Spinnaker是最初由Netflix设计和开发的开源多云连续交付工具。它有助于将应用程序部署到各种云提供商,例如Google Cloud Platform(GCP),Amazon Web Services(AWS)和Microsoft Azure。
大家好,我是猫头虎!今天,我要分享一个激动人心的话题:Go Cloud - Go语言在便携式云编程方面的最新进展。Go Cloud项目致力于使Go成为开发便携式云应用程序的首选语言。在这篇文章中,我们会深入探讨Go Cloud的工作原理、如何参与其中,以及它如何帮助开发者摆脱对特定云服务商的依赖。🚀
Docker DevOps 入门手册 零、前言 一、映像和容器 二、应用容器管理 三、编排和交付 DevOps 2.5 工具包 零、前言 一、根据资源使用情况自动缩放部署和状态集 二、自动缩放 Kubernetes 集群的节点 三、收集和查询指标并发送警报 四、调试通过指标和警报发现的问题 五、使用自定义指标扩展HorizontalPodAutoscaler 六、可视化指标和警报 七、收集和查询日志 八、我们做了什么? Docker AWS 教程 零、前言 一、容器和 Docker 基础 二、使用 D
张量处理单元(TPU)是 Google Cloud Platform(GCP)上高性能 AI 应用的基本构建块。 在本节中,我们将重点介绍 GCP 上的 TensorFlow。 本节包含三章。 我们将深入介绍 Cloud TPU,以及如何利用它们来构建重要的 AI 应用。 我们还将通过利用 Cloud TPU 构建预测应用,使用 Cloud ML Engine 实现 TensorFlow 模型。
/var/run/docker.sock是默认的Unix套接字。套接字用于在同一主机上的进程之间进行通信。Docker守护程序默认情况下侦听docker.sock。如果您在运行Docker守护程序的主机上,则可以使用/ var/run/docker.sock管理容器。
编辑手记:安全永远是第一重要的问题,无论是在本地还是在云端。 我们的安全团队的宗旨在于保护用户的数据。当我们开始实施将数据迁移到云Google的云服务的基础设施上时,我们一直在思考,如何在迁移的整个过程中保障数据的安全。考虑的方面主要包含以下几点: 当我们向Google表示了信任,选择他们作为我们数据保管人,他们是否有足够的成熟的安全控制措施,不会对我们的服务增加风险? GCP是否给予我们跟现有环境相当或更好的安全控制,以便我们用来保护客户数据? 与供应商建立信任 我们有一个内部供应商审核流程,包括我们的
多亏了更快更好的计算,我们终于能利用神经网络和深度学习真正的力量了,这都得益于更快更好的 CPU 和 GPU。无论我们喜不喜欢,传统的统计学和机器学习模型在处理高维的、非结构化数据、更复杂和大量数据的问题上存在很大的局限性。 深度学习的好处在于,在构建解决方案时,我们有更好的计算力、更多数据和各种易于使用的开源框架,比如 keras、TensorFlow 以及 PyTorch。 深度学习的坏处是什么呢?从头开始构建你自己的深度学习环境是很痛苦的事,尤其是当你迫不及待要开始写代码和实现自己的深度学习模型的时候。
Fortify 软件安全研究团队将前沿研究转化为安全情报,为 Fortify 产品组合提供支持,包括 Fortify 静态代码分析器 (SCA) 和 Fortify WebInspect。如今,Fortify 软件安全内容支持 30 种语言的 1,399 个漏洞类别,涵盖超过 100 万个单独的 API。
本文介绍了 Docker 的五大优点,包括持续部署和测试、多云平台支持、环境标准化和版本控制、隔离性和安全性以及安全。Docker 可以确保应用程序在不同环境中的一致性,提高资源利用率并简化应用程序部署。
近年来,我们看到了技术的惊人进步,这些进步旨在简化开发人员的生活。即使针对创建,配置和共享开发人员环境有出色的解决方案,但仍然可能会非常混乱。Vagrant + VirtualBox解决方案使开发人员环境的虚拟化变得简单,而且几乎没有麻烦,与此同时,Docker的出现极大地影响了IT世界。
这是我在欧洲,中东和非洲(EMEA)红帽技术交流 2017 会议上的一个会议记录,与会者包括 EMEA 所有红帽解决方案架构师和顾问。会议的主要内容包括了在创建运行于 OpenShift 上的镜像时,需要考虑事项和最佳实践。第三部分重点介绍如何让应用程序开发人员或发布经理创造出更容易使用的镜像。
上一篇文件 Tekton介绍 介绍了Tekton、Tekton的安装教程、以及使用Tekton实现简单的HelloWorld,这篇文章通过复杂的项目实现完整的CI/CD流程来了解Tekton的使用。
早在 2019 年 3 月,我就建立了一个名为 AI Dungeon 的 hackathon 项目。这个项目是一个经典的文本冒险游戏。故事的内容和所呈现的潜在动作都是通过机器学习产生的:
Kubernetes 安全基于云原生安全 4C(云、集群、容器、代码)。底层物理基础设施是云中 Kubernetes 安全的基础。因此,当有人在数据中心部署或构建集群时,他们必须遵守所有 Kubernetes 安全最佳实践。
前言 我们看到越来越多的人将他们的想法倾注到网页上。我们所指的这些人可能不熟悉网站设计和发布的技术细节,因此在建立他们的平台(网站)时可能会遇到一些问题。使用什么托管服务?如何设置DNS和SSL?最重
本节将说明 API 在软件开发中的一般用法,并说明如何使用不同的最新深度学习 API 来构建智能 Web 应用。 我们将涵盖自然语言处理(NLP)和计算机视觉等领域。
在上一篇文章中,我讨论了Knative用于快速部署和自动调整无服务器容器。如果您希望您的服务由HTTP调用同步触发,那么Knative服务是很好的选择。然而,在没有服务器的微服务世界中,异步触发器更加常见和有用。这时,Knative三项赛就开始发挥作用了。
公共云网络创业公司Aviatrix推出了一项托管服务来在三大云环境中构建和管理虚拟私有云(VPC)网络:亚马逊网络服务(AWS),Microsoft Azure和Google云平台(GCP)。
云原生安全 1 如何在云原生中监控JVM指标 本文介绍了Java集成 Prometheus监控指标的两种实现方式 https://mp.weixin.qq.com/s/ik5cZ9I_E5QVExRaSvgmLA 2 Kubernetes中数据包的生命周期 本文将讨论Calico的安装、模块(Felix, BIRD, Confd)以及路由模式 https://mp.weixin.qq.com/s/NzpWsQXFAvwO7S1-cYRWrg 3 腾讯云百万容器镜像安全治理运营实践 本文将结合容器基础镜像方
基于现代Web的应用程序通常都包含多种服务。例如,后端API和前端客户端。在规模扩大成为问题的大型项目中,服务也可以拆分为多个微服务。如何在这样的项目中组织源代码?一种解决方案是monorepo,即项目中所有源代码在同一个存储库中管理。还有一种是每个微服务分别创建一个存储库管理。
嗨,在当今动态的环境中,在 450 多家经过 Kubernetes 认证的服务提供商和众多经过 Kubernetes 认证的发行版中进行导航可能是一项艰巨的挑战。本博客旨在通过展示精心整理的2023 年最常用和最流行的 Kubernetes 工具列表来简化此过程。
Google Cloud 的 IoT Core 产品将于 2023 年 8 月 16 日停止服务,随着这一日期的临近,许多用户正在为他们现有的物联网业务寻找新的解决方案,而 EMQX 企业版是实现这一目标的理想选择。
在本教程中,我将向大家展示如何在Google AutoML中创建单个标签分类模型。我们将使用来自generate.photos的AI生成的面孔数据集。通过算法训练来判断一张脸是男性还是女性。之后,我们会将模型部署到云中,并创建该算法的Web浏览器版本。
准备 容器无处不在,但是如何在Docker容器中运行Python应用程序呢?这篇文章将告诉你怎么做! 如果您想知道,这些示例需要Python 3.x。 在深入讨论容器之前,让我们进一步讨论一下我们想要
前几天刚给大家介绍过Spring Framework 5.3.6的最新发布内容(Spring Framework 5.3.6、5.2.14 发布)
分发深度学习模型训练已经成为何时进行训练的问题,而不是如果这样做。最先进的ML模型(例如BERT)具有数亿个参数,而在一台机器上训练这些大型网络将花费数天甚至数周的时间。
随着软件供应链攻击的增加,保护我们的软件供应链变得更加重要。此外,在过去几年中,容器的采用也有所增加。有鉴于此,对容器镜像进行签名以帮助防止供应链攻击的需求日益增长。此外,我们今天使用的大多数容器,即使我们在生产环境中使用它们,也容易受到供应链攻击。在传统的 CI/CD 工作流中,我们构建镜像并将其推入注册中心。供应链安全的一个重要部分是我们构建的镜像的完整性,这意味着我们必须确保我们构建的镜像没有被篡改,这意味着保证我们从注册中心中提取的镜像与我们将要部署到生产系统中的镜像相同。证明镜像没有被篡改的最简单和最好的方法之一(多亏了 Sigstore)是在构建之后立即签名,并在允许它们部署到生产系统之前验证它。这就是 Cosign 和 Kyverno 发挥作用的地方。
注:本文专用于2019年3月29日前的谷歌云专业数据工程师认证考试。此后我也做了一些更新,放在了Extras的部分。
Google Colab免费为TPUs提供实验支持!在本文中,我们将讨论如何在Colab上使用TPU训练模型。具体来说,我们将通过在TPU上训练huggingface transformers库里的BERT来进行文本分类。
这一过程涵盖的架构细节基于使用开源技术的解决方案。在这里展示的示例场景是在研究这些解决方案时发现的通用架构,其目的是提供指导而不是深入的技术细节。还有很多方法可以表示该架构中的每个元素,但可以选择一种格式,希望能够使其易于理解。
最初于2018年11月17日在Medium发布。自此以来,该帖子已更新,可以使用最新版本的JHipster(6.3.0)和Istio(1.3.0)。
Knative Eventing是一个旨在满足云原生开发的常见需求的系统,并提供可组合的原语以启用后期绑定事件源和事件使用者。
本文档介绍了一些用于创建具有弹性和可扩展性的应用程序的模式和实践,这是许多现代架构练习的两个基本目标。设计良好的应用程序会随着需求的增加和减少而上下扩展,并且具有足够的弹性以承受服务中断。构建和运行满足这些要求的应用程序需要仔细规划和设计。
云原生安全 1 公有云漏洞相关的资料整理 本项目提供公有云提供商的所有公开披露的漏洞列表 https://github.com/hashishrajan/cloud-security-vulnerabilities 2 2022云原生安全发展24个洞见 在长期跟踪容器安全的研究之后,本文基于各类材料,重点对容器发展、容器镜像安全、K8S发展的技术趋势进行整理分析 https://mp.weixin.qq.com/s/IHKgW-fj0C-ohlXCPlW_KQ 3 Cilium 开源 Tetragon –
由于IaaS在堆栈中的位置较低,因此很难获得特定的安全指导,因为最佳实践需要适应不同的用法。但也有一些IaaS安全最佳实践可供选择,可以在云计算提供商和使用场景中普遍应用。在使用IaaS产品之前,组织的信息安全负责人需要确保他们了解云计算提供商的安全模型。
到目前为止,向应用程序发送基本的 HTTP 请求是一种有效使用 Knative 函数的方式。然而,无服务器的松耦合特性同时也适用于事件驱动架构。也就是说,可能在文件上传到 FTP 服务器时我们需要调用一个函数;又或者,在我们进行物品销售时需要调用一个函数来处理支付和库存更新的操作。与其操心我们的应用程序或函数监听上述事件的逻辑,不如当那些被关注的事件发生时,让 Knative 去处理并通知我们。
这是我在2017年欧洲、中东和非洲(EMEA)红帽技术交流会议上的一个会议记录,该会议集合了EMEA所有红帽解决方案架构师和顾问。它主要讨论在创建运行于OpenShift上的映像时需要考虑的事项和好的实践(案例)。第三部分重点介绍如何让应用程序开发者或发布管理员更容易地使用映像。
在多个平台上运行复杂的环境需要一种综合的策略来处理连接性、应用程序、数据存储和安全性。多云安全最佳实践首先需要对资产和身份进行清查,知道谁以及为什么在组织的系统中。需要注意的是,标识可以应用于收集数据甚至软件的服务、应用程序、API。当组织将这些视为身份验证因素时,更容易想到保护数据和应用程序的方法。
DevSecOps 流程 先决条件: 1) Git 2) Jenkins 3) Sonar-Scanner 4) Snyk 5) Java、Maven、Node.js、Python 等(您为项目选择的语言将取决于适用的安装要求。 6) Docker 7) Aqua Trivy 8) Kubernetes 9) Zaproxy
“Claude Shannon: The enemy knows the system”
领取专属 10元无门槛券
手把手带您无忧上云