首页
学习
活动
专区
圈层
工具
发布

#服务

LangChain+Llama.cpp 本地模型与Agent工具调用

王瑞MVP

1、承接《Windows 环境下 llama.cpp 编译运行指南》部分内容,通过命令工具llama‑server启动服务,端口监听127.0.0.1:1143...

10010

Windows 环境下 llama.cpp 编译运行指南

王瑞MVP

在大模型落地场景中,本地轻量化部署因低延迟、高隐私性、无需依赖云端算力等优势,成为开发者与 AI 爱好者的热门需求。本文聚焦 Windows 环境,详细拆解 l...

6810

『NAS』在群晖部署一个追热点神器-NewsNow

德育处主任

服务选择刚刚在“Container Manager”创建的“newsnow”项目。

11110

『NAS』中午煮什么?Cook

德育处主任

cook(来做菜)是一款适合家里食材或厨具不多时用的免费菜谱工具,选好自己有的食材和厨具就能找到适配菜谱,还能随机挑菜谱,非常适合选择困难症用户。

12910

TKE GPU 利用率优化:qGPU 共享与智能调度实战

hollyx

在上述配置中,容器申请的不再是整张 GPU 卡,而是以百分比形式指定所需的算力份额和具体的显存大小。这种细粒度的资源请求方式使得多个推理服务可以共存于同一张 G...

12610

电子合同采集敏感个人信息,个保法第28条单独同意的落实路径

爱兔

12600

超级节点深度解析:可用区级别的 Serverless 容器新范式

hollyx

以 Stable Diffusion 为代表的 AIGC 应用需要 GPU 资源进行图像生成,但用户访问往往呈现不规律的时间分布。通过 TKE 超级节点 + G...

9700

TKE 模板市场:用预设模板快速部署一套完整的微服务栈

hollyx

摘要: TKE 模板市场提供了丰富的预置应用模板,让开发者无需从零编写 YAML 即可快速部署微服务架构。本文介绍如何利用模板市场高效完成微服务栈的创建和配置,...

9900

Agentic AI 时代:如何在 Kubernetes 上安全部署自主智能体

gavin1024

传统的应用安全边界在智能体场景下变得模糊。在微服务架构中,每个服务的权限和行为模式是预先定义且相对固定的。而智能体的行为具有高度的不确定性和动态性,传统的基于规...

15310

自建 Kubernetes 还是用托管服务?TCO 总拥有成本深度分析

gavin1024

在企业容器化转型的初期,技术团队常常面临一个关键抉择:是在自有服务器上自建 Kubernetes 集群,还是采用云厂商的托管容器服务?自建方案看似节省了云服务费...

24810

跨可用区容灾架构设计:TKE 多 AZ 部署保障业务连续性

克劳德2048

摘要: 跨可用区部署是保障业务连续性的基础架构策略。本文介绍基于 TKE 构建多可用区容灾架构的设计方案,涵盖控制面高可用、工作负载分散调度和故障自动恢复等关键...

12300

突发流量应对不及?TKE 秒级弹性伸缩守护业务稳定运行

hollyx

摘要: 面对不可预测的流量洪峰,传统的固定容量架构难以兼顾成本与稳定性。本文介绍基于腾讯云容器服务 TKE 构建多层次弹性伸缩体系的技术方案,结合超级节点秒级弹...

11210

MCP协议:如何构建大模型访问REST服务的统一通道

陶辉

假设列表里有个叫 list_vs 的工具,能查虚拟服务信息。大模型基于用户的自然语言意图,推理出要调用这个工具,传入参数 name: mcp:

12210

WSL 实用指南:从安装到网络配置全解析

IT小马哥

人民教育出版社 | Java开发工程师 (已认证)

默认的 NAT 网络模式下,WSL 与宿主机在同一个网段,但外界无法直接访问 WSL 内部的服务(比如 Web 应用、数据库等)。要解决这个问题,最稳妥的方式是...

25410

直播弹幕系统:TKE 如何支撑百万级并发消息推送

gavin1024

摘要: 直播互动场景下的弹幕系统需要应对高并发、低延迟和突发流量等多重挑战。本文介绍基于腾讯云容器服务 TKE 构建弹性弹幕推送架构的技术方案,结合超级节点秒级...

15610

医疗影像 AI:容器化推理服务如何满足 HIPAA 合规要求

gavin1024

Pod 之间的通信加密可以通过服务网格实现。Istio 或 Linkerd 等服务网格方案能够为所有服务间调用自动注入 mTLS 加密通道,无需修改应用代码。对...

19910

微服务太多管不过来?统一资产管理平台让运维效率提升 3 倍

gavin1024

摘要: 随着微服务数量的增长,Kubernetes 资源管理复杂度呈指数级上升。本文介绍如何利用腾讯云 TKE 云原生资产管理平台实现资源的可视化管理和高效运维...

15310
领券