首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

NVIDIA AI应用平台NIM开发人员指南

NIM API 作为无服务器推理端点提供,为迭代和构建生成式 AI 解决方案提供了一条安全、简化的路径。...NIM API 提供了多个 API 端点,使开发者能够与 AI 模型进行交互,包括: 完成端点: 这使开发者能够根据给定的提示生成文本完成。...嵌入端点: 这使开发者能够为给定的输入文本生成文本嵌入。 检索端点: 这使开发者能够根据给定的查询检索相关文档。 排名端点: 这使开发者能够根据给定的查询或提示对段落或文档列表进行排名。...要访问 NIM API,请从英伟达 GPU 云生成 API 密钥,并使用 docker login 命令对英伟达容器仓库进行身份验证。...在本系列的后续部分,我将探讨如何在本地部署 NIM 以及构建使用 API 的应用程序。 总结 英伟达 NIM 代表了生成式 AI 模型部署和使用方面的重大进步。

29810

【无服务器架构】Knative Eventing 介绍

每个通道都是一个单独的Kubernetes自定义资源。使用订阅将事件传递到服务或转发到其他渠道(可能是其他类型)。...架构 事件基础结构目前支持两种形式的事件传递: 从源直接传递到单个服务(可寻址端点,包括Knative服务或核心Kubernetes服务)。...使用渠道和订阅从源或服务响应向多个端点进行扇出交付。在这种情况下,通道实现可确保将消息传递到请求的目标,并且如果目标服务不可用,则应缓冲事件。 ?...如果未指定,则默认为公共GitHub API,但可以将其设置为要与GitHub Enterprise一起使用的域端点,例如https://github.mycompany.com/api/v3/。...CamelSource CamelSource是事件源,可以代表提供用户端并允许将事件发布到可寻址端点的任何现有Apache Camel组件。

3.4K41
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Python Web 深度学习实用指南:第三部分

    图像归因:给定图像,这涉及到图像的不同特征的提取。 自然语言处理: 词性标记:给定一段文本,这涉及提取文本包含的词性。 主题摘要:给定一段文本,这涉及确定文本所涉及的主题。...情感分类:给定一些文本,这涉及预测文本所传达的情感。 命名实体识别:这涉及自动识别给定句子中存在的不同实体。 语音到文本的转换:这涉及到一段语音中包含的文本的提取。...请注意,它会根据您在创建部署时输入的配置详细信息而有所不同。 端点看起来像这里。 注意这一点。 现在,要能够以编程方式使用 Face API,您需要创建相应的 API 密钥。...一旦拥有使用 API​​的相应 API 密钥,请继续进行以下小节。 别忘了记下各自的端点。 端点应以这个页面开头。 该 URL 不能单独使用; 它需要有一个后缀,指向要调用的正确方法。...API 的 API 密钥: api_key = os.environ['text_api_key'] 现在让我们指定一些 URL 来存储 API 端点: text_analytics_base_url

    15.1K10

    隐藏云 API 的细节,SQL 让这一切变简单

    针对示例 2 中配置的两个 AWS 帐户的所有区域运行 boto3 版本的代码需要 3 到 4 秒,而 Steampipe 版本的只需要 1 秒钟。...案例研究 B:查找 GCP 漏洞 如果你的端点只存在于 AWS 中,那么示例 3 已经可以很好地解决这个问题。现在,我们加入 GCP(谷歌云平台)。...它的工作原理与 AWS 一样:调用 API,将结果放入 外部数据库表 中,这样你就可以将精力放在解决方案的逻辑上。 只是此时的逻辑略有不同。...案例研究 C: 查找多个云平台的漏洞 如果你在 AWS 和 GCP 中都有公共端点,那么你可能希望将到目前为止看到的查询都结合起来。现在你知道该怎么做了。...示例 7:将查询持久化为表 create table aws_and_gcp_vulns as -- 插入示例 6 的内容 示例 8:将查询保存为物化视图 创建物化视图 aws_and_gcp_vulns

    4.2K30

    听GPT 讲K8s源代码--pkg(四)

    checkEndpointSubsetFormat() 函数则用于检查 endpoint 的子集格式是否正确。...RegisterCredentialProviderPlugins:用于将认证插件注册到插件提供者的列表。 newPluginProvider:用于创建新的插件提供者实例。...而providers就是一个切片,存储所有已注册的凭证提供程序。 RegisterCredentialProvider函数用于将凭证提供程序注册到Kubernetes的插件系统中。...AddFlags: 该函数用于将Admission插件选项的命令行标志添加到给定的FlagSet中。这样,用户在运行kube-apiserver时就可以使用这些标志进行配置。...ApplyTo: 该函数用于将Admission插件的配置应用到给定的插件集。它遍历所有插件,将配置应用到每个插件。 computePluginNames: 该函数用于从插件列表中解析插件名称。

    26120

    EMQX Enterprise 4.4.11 发布:CRLOCSP Stapling、Google Cloud PubSub 集成、预定义 API 密钥

    ,还加入了满足自动化运维需要的预定义 API 密钥功能。...现在,您可以通过 EMQX 规则引擎的 GCP Pub/Sub 集成能力,快速建立与该服务的连接,这能够帮助您更快的基于 GCP 构建物联网应用:使用 Google 的流式分析处理物联网数据:以 Pub...异步微服务集成:将 Pub/Sub 作为消息传递中间件,通过 pull 的方式与后台业务集成;也可以推送订阅到 Google Cloud 各类服务如 Cloud Functions、App Engine...通过文件初始化 API 密钥本次发布提供了 API 密钥初始化能力,允许您在启动 EMQX 前通过特定文件设置密钥对。...预设的密钥可以帮助用户在 EMQX 启动时做一些工作:如运维人员编写运维脚本管理集群状态,开发者导入认证数据到内置数据库中、初始化自定义的配置参数。

    2.2K30

    (译)Kubernetes Semaphore:模块化、无侵入的跨集群通信框架

    ,将一个集群中的服务暴露到另一个集群之中; Semaphore-Policy:负载在跨集群的 Pod 间通信里创建防火墙规则。...每个集群的每个节点上都会运行一个 WireGuard 管理器,负责节点之间的点到点通信。它负责生成本地密钥并发现所有远端密钥和端点,并配置与所有远程节点的对等关系。...此外,它还负责更新本地路由表,以便通过主机的 WireGuard 接口将所有流量导向远程 Pod 子网。...此处的镜像服务代表的是一个本地服务,其端点处于远端集群。 镜像控制器会在本地集群创建服务,并用远程集群中 Pod 的地址来更新端点列表,最终形成一个 ClusterIP 类型的 Service。...forwarder 到本地 fluentd 的访问。

    1.5K30

    云端迁移 - Evernote 基于Google 云平台的架构设计和技术转型(上)

    在理想情况下,我们可以部署一个仅基于GCP服务的单一负载平衡(LB)层,但这个方案当前并不可取,因为我们依赖于检查cookie,标题和URL模式来将请求路由到正确的分片。...但是,GCP Compute Engine网络不支持多播。 因此,我们将应用程序重新设计为具有不同的通信体系结构。...为了确保成功上传给定资源,我们将本地计算的散列以及文件的内容传递给GCS API,GCS具有独立计算其自己的散列并将其与提供的散列进行比较的特征。...在不匹配的情况下,GCS API返回HTTP 400 BAD REQUEST错误代码,资源迁移器将重试。 如果发生重复的错误,则故障将被记录为稍后要固定的东西,并且资源迁移器将继续移动。...这些开关也可以在分片子集上启用,从而以安全和受控的方式转出更新的代码。 如果您有任何问题,欢迎您访问印象笔记论坛,技术团队的成员将会给您专业的解答。

    2.5K110

    通过Kyverno使用KMS、Cosign和工作负载身份验证容器镜像

    GCP KMS 是一种云服务,用于管理其他谷歌云服务的加密密钥,以便企业可以实现加密功能。云密钥管理服务允许你在单个集中式云服务中创建、导入和管理加密密钥并执行加密操作。...GCP 提供了工作负载身份特性,允许在 GKE 上运行的应用程序访问谷歌云 API,如计算引擎 API、BigQuery 存储 API 或机器学习 API。...在上面的策略示例中,Kyverno 在内部使用 Cosign SDK 根据指定的密钥验证给定的镜像。假设我们使用 GCP KMS,Kyverno 必须通过该服务的认证才能正确调用 API。...如果在 OCI 注册中心中找不到签名,或者签名不是使用指定的密钥签署的,此规则(verifyImages)将失败。如果还没有指定摘要,它还会改变匹配的镜像以添加镜像摘要。...配置工作负载身份包括使用 IAM 策略将 Kubernetes ServiceAccount 成员名称绑定到具有工作负载所需权限的 IAM 服务帐户。

    4.9K20

    Traffic Director如何为开放服务网格提供全局负载均衡

    然后,Traffic Director使用 EDS API 将聚合的健康检查结果分发到全局网格中的所有代理。基于负载的自动伸缩Traffic Director 根据代理向其报告的负载信号启用自动伸缩。...当 Compute Engine autoscaler 正在增加所需的容量时,Traffic Director 会暂时将流量重定向到其他可用实例 - 即使在其他区域也是如此。...内建弹性由于 Traffic Director 是GCP提供的完全托管服务,因此您无需担心其正常运行时间,生命周期管理,可扩展性或可用性。...每服务流量策略:这些策略指定负载均衡算法,熔断器参数和其他以服务为中心的配置。配置过滤:将配置推送到客户端子集的能力使用上述路由规则和流量策略,您可以获得复杂的流量控制功能,而无需繁琐的工作。...使用Traffic Director,可以使用 托管实例组 和容器端点将VM端点配置为 独立网络端点组。如上所述,像 Envoy 这样的开源服务代理被注入到每一个实例中。

    1K10

    Fortify软件安全内容 2023 更新 1

    对 ES2022 的支持将所有相关 JavaScript 漏洞类别的覆盖范围扩展到最新版本的 ECMAScript 标准。Vue 2(支持的版本:2.7)对 Vue 2 的初始支持。...缺少客户管理的加密密钥GCP 地形配置错误:BigQuery 缺少客户管理的加密密钥GCP Terraform 不良做法:云大表缺少客户管理的加密密钥GCP 地形配置错误:云大表缺少客户管理的加密密钥...GCP Terraform 不良做法:云函数缺少客户管理的加密密钥GCP 地形配置错误:云函数缺少客户管理的加密密钥GCP Terraform 不良做法:云扳手缺少客户管理的加密密钥GCP 地形配置错误...:云扳手缺少客户管理的加密密钥GCP Terraform 不良做法:文件存储缺少客户管理的加密密钥GCP 地形配置错误:文件存储缺少客户管理的加密密钥GCP Terraform 不良做法:发布/订阅缺少客户管理的加密密钥...GCP 地形配置错误:发布/订阅缺少客户管理的加密密钥GCP Terraform 不良做法:机密管理器缺少客户管理的加密密钥GCP 地形配置错误:机密管理器缺少客户管理的加密密钥不安全的 SSL:证书验证不足

    7.9K30

    我们弃用 Firebase 了

    的确,纯从性能上讲,在 AWS/Azure/ GCP 上构建的定制化原生服务包优于 Firebase 套件。但是,当我们考虑到开发时间和维护成本时,Firebase 通常是一个合乎逻辑的选择。...Firebase CLI 限制相当严格: 对于像启用 Firestore 这么简单的事情,你也只能通过仪表板完成,而不能通过命令行。 firebase login:ci 有意禁止传递认证密钥。...我还注意到,无法在 Firebase Storage 仪表板上下载文件了;必须导航到单独的 GCP 平台。 我无法在 Firebase 仪表板上下载这个文件。...这很棘手,因为 80 个端点并不算多,而且 Firebase 至今没有提供一种简洁的方法,让我们可以只部署更改后的 Cloud Function。...将路由逻辑塞进端点牺牲了可读性和 HTTP 层缓存,而且这种脚手架方法无助于现有的大型项目。 GCP 偏向之二 最后,Firebase 越来越多地引导用户使用 GCP 获取基本服务。

    32.7K30

    Elasticsearch 开放推理 API 新增 Hugging Face 原生分块支持

    它允许你使用 Elasticsearch 外部的机器学习模型和服务,而无需编写任何复杂的粘合代码。你只需要提供一个 API 密钥并 创建一个推理端点对象。...使用开放推理 API 在 Elasticsearch 中创建推理端点对象,并提供你的 Hugging Face API 密钥。使用推理端点对象进行推理,或配置索引以使用语义文本自动嵌入你的文档。...为此,我们需要创建一个带有文本字段的索引(其中我们将插入原始文档文本),并在旁边创建一个语义文本字段,我们将文本复制到其中。...当我们通过将数据插入 text_field 将数据导入该索引时,数据将自动复制到语义文本字段,并且文档将原生分块,使我们能够轻松执行语义搜索。...要使用 Cohere 重新排序,你需要一个 Cohere API 密钥。

    12231

    EMQX 多版本发布、新增自定义函数功能

    MQTT 消息云服务 EMQX Cloud 推出了新功能——自定义函数,用户可以更方便地将 IoT 数据处理为符合数据流的数据格式。...上的服务和托管的后端应用中,更快地基于 GCP 构建物联网应用。...EMQX 允许配置 CA 的请求端点并定时刷新获取 CRL,而客户端无需维护 CRL,在连接握手时通过 EMQX 即可完成证书有效性验证。...通过文件初始化 API 密钥4.x 版本的另一个新特性是能够通过文件初始化 API 密钥,预设的密钥可以帮助用户在 EMQX 启动时做一些工作:如运维人员编写运维脚本管理集群状态,开发者导入认证数据到内置数据库中...此外,上月发起的 v5.0 中 REST API 体验改善计划也正在进行。EMQX 5.0.11版本中已经包含了一些不错的改进,包括 /gateways API 的重新设计。

    1.4K60

    第20篇-不和谐如何索引数十亿条消息

    ● 历史索引工作人员:负责在给定服务器中遍历消息历史并将其插入到Elasticsearch索引中的工作人员。...● 搜索API:客户端可以向其发出搜索查询的API端点。它需要进行所有权限检查,以确保客户端仅搜索他们实际有权访问的消息。...数据结构很简单:存储哈希图的Redis密钥 prefix + shard_key到标记guild_id 值的哈希图,表示需要刷新。回想起来,这可能是一个集合。...更新Redis映射,表示该碎片和该碎片中的给定guild_id s现在已变脏。1小时后使该密钥过期(因为此时Elasticsearch会自动刷新)。...2. disk_free:显然,当我们用完磁盘空间时,我们需要添加更多节点或更多磁盘空间来处理被索引的新文档。在GCP上,这非常容易,因为我们可以增加磁盘的大小而无需重新启动实例。

    2.5K00

    《ASP.NET Core 微服务实战》-- 读书笔记(第7章)

    (2)将输入转交给与 HTTP 通信、JSON解析无关的服务类处理 (3)返回合适的响应代码及正文 using Microsoft.AspNetCore.Mvc; namespace StatlerWaldorfCorp.WebApp.Controllers...以及 dotnet run 启动应用 从 JavaScript 中调用 REST API 首先,我们通过添加新的控制器来创建 API 端点 using Microsoft.AspNetCore.Mvc...端点发送 Ajax 请求,返回的对象会包含 symbol 和 price 属性,它们将被附加到新添加的段落标签之中 开发云原生 Web 应用 (1)API 优先 (2)配置 (3)日志 (4)会话状态...如果涉及数据保护,”进程外存储“的思路同样适用于密钥存储 我们要使用一种现成的密钥保管库,可以是基于云的密钥保管库,也可以是基于 Redis 或其他数据库制作的定制解决方案 端口绑定 不管是使用 docker...compose,部署到 Kubernetes,还是使用 AWS、Azure 或者 GCP,应用要想在云环境中运行良好,就要能接受为它预设的任何端口号

    62520

    Management APIs

    本文将介绍以太坊的管理API,包括如何使用它们来管理以太坊网络、监控节点和查询以太坊区块链的状态,无论你是初学者还是经验丰富的以太坊开发者,本文都将为你提供有价值的信息和指导 接口介绍 除了官方公开的DAPP...详细说明:节点将始终尝试保持与这些节点的连接,如果远程连接断开则每隔一段时间重新连接一次,该方法接受单个参数,即远程对等机的enode url以开始跟踪并返回一个bool,指示是否接受该对等机进行跟踪或发生了某些错误...由于节点只能运行一个HTTP端点,因此此方法不接受任何参数,返回一个布尔值,无论端点是否已关闭。...,用于奖励采矿 调用方式: Personal模块 个人API管理密钥存储区中的私钥 personal_importRawKey 功能介绍:将给定的未加密私钥(十六进制字符串)导入密钥存储并用密码短语对其进行加密...调用方式: personal_listAccounts 功能介绍:返回密钥存储区中所有密钥的所有以太坊帐户地址。

    26930

    使用Elastic Observability和OpenAI来深入了解Kubernetes的错误日志

    如果您希望使用 OpenAI 来获取生产或开发环境中错误的更深入洞察力(甚至是简单的语义),那该怎么办呢?您可以轻松地将 Elastic 与 OpenAI 的 API 相连接以实现这一点。...您需要从 Azure 获取适当的令牌,并从 Azure 的 OpenAI 服务获取适当的 URL 端点。...“管理密钥”下获取您的密钥.图片您的 OpenAI 实例有两个密钥,但您只需要KEY 1 .图片此外,您还需要获取服务 URL。...如果你不使用 Azure OpenAI 服务而是选择标准的 OpenAI 服务,那么你可以在以下位置获取密钥:https://platform.openai.com/account/api-keys 图片您将需要创建一个密钥并保存它...这是因为我们将 API 调用配置为使用与 ChatGPT UI 相同/相似的模型。

    1.9K143

    Envoy架构概览(5):负载均衡

    由于最高优先级的端点变得不健康,交通将开始慢慢降低优先级。 目前,假定每个优先级级别由1.4的(硬编码)因子过度配置。...本地区域:包含始发和上游群集中的主机子集的同一区域。 区域感知路由:尽力将请求路由到本地区域中的上游群集主机。 在原始和上游群集中的主机属于不同区域的部署中,Envoy执行区域感知路由。...如果存在具有由路由指定的确切密钥和值的子集,则该子集用于负载平衡。否则,使用回退策略。因此,集群的子集配置必须包含与给定路由具有相同密钥的定义,以便发生子集负载平衡。...此功能只能使用V2配置API启用。而且,主机元数据仅在使用群集的EDS发现类型时才受支持。子集负载平衡的主机元数据必须放在过滤器名称“envoy.lb”下。...主机元数据可以是分层的(例如,顶级密钥的值可以是结构化值或列表),但子集负载平衡器仅比较顶级密钥和值。因此,当使用结构化值时,如果主机的元数据中出现相同的结构化值,那么路线的匹配条件只会匹配。

    1.9K70
    领券