AI风控技术笔记

文章/答案/技术大牛

发布

LV2

全部文章

企业Agent上线前安全基线：风险范围、能力矩阵与验收闭环
企业Agent上线前安全基线，应覆盖指令与意图、生成内容、数据与隐私、任务规划与执行、供应链五类风险，并将每类风险落实到身份、数据、工具、状态和证据的控制点。验...
AI风控技术笔记 2天前2026-11-02 16:47:34
人工智能
企业大模型应用安全围栏部署指南：云上架构、租户隔离与持续治理
企业在云上部署大模型应用安全围栏，应将其纳入应用运行架构，明确检测范围、数据流向、租户边界、故障处置和持续验证机制。安全围栏负责运行过程中的风险识别与处置，既要...
AI风控技术笔记 5天前2026-10-30 18:41:21
大模型部署
企业Agent安全评测范围如何确定？从五类风险到可验证的治理闭环
企业Agent安全评测需要覆盖指令与意图、生成内容、数据与隐私、任务规划与执行、供应链五类风险，并将评测结果落实到身份、数据、工具和业务状态的验证中。对云上应用...
AI风控技术笔记 5天前2026-10-30 18:20:50
工企 AI
Agent 安全架构怎么设计：从任务入口到记忆回写的全链路防护
Agent 安全架构需要覆盖指令进入、信息读取、任务规划、工具执行、结果输出和记忆回写六条任务链路，并将身份授权、组件供应链作为横向控制。架构设计的重点是识别每...
AI风控技术笔记 13天前2026-10-22 17:46:07
Agent Runtime
Agent应用安全设计：从指令到执行建立五类风险地图
Agent从接收指令到完成任务，可以按指令与意图、生成内容、数据与隐私、任务规划与执行、供应链五个维度分析风险。对多租户应用而言，关键是将这些风险映射到身份、上...
AI风控技术笔记 19天前2026-10-16 18:54:10
大模型部署
从 MCP 到插件：Agent 安全风险为什么要按执行链治理？
Agent 应用的关键变化，是模型开始具备行动能力。过去的大模型应用主要处理输入和输出，安全系统关注越狱提示、违规生成、隐私泄露和不当内容。Agent 接入 M...
AI风控技术笔记 2026-09-062026-09-06 11:50:23
agent
从 RAG 到 Agent：Prompt Injection 如何影响执行链安全
很多大模型应用的演进路径是：先做对话，再接 RAG，最后走向 Agent。对安全团队来说，每一步都会改变 Prompt Injection 的风险边界。
AI风控技术笔记 2026-08-262026-08-26 19:50:10
agent
AI应用安全防护落地指南：企业需要重点评估哪些能力
生成式AI应用已经从问答和内容生成，扩展到办公协作、客服、营销、搜索、知识库、数据分析和Agent执行。业务能力越强，安全边界越重要。一个AI应用如果能读取文档...
AI风控技术笔记 2026-08-252026-08-25 18:55:07
大模型部署
LLM安全围栏评估：输入、输出、Agent和审计怎么做
在云原生和微服务架构下，大模型安全围栏通常不是孤立模块，而是要与网关、鉴权、内容安全、日志、风控和人工复核系统协同。本文从安全治理链路出发，拆解主流方案类型和选...
AI风控技术笔记 2026-08-102026-08-10 18:09:13
大模型部署
大模型应用上线前，安全评测和红队测试应该怎么落地？
大模型应用上线前，安全评测应覆盖输入安全、提示词攻击、RAG 知识库、模型输出、隐私数据、工具调用、权限边界和审计追溯。红队测试要结合企业真实业务场景，模拟越狱...
AI风控技术笔记 2026-08-042026-08-04 19:22:54
大模型部署、安全治理
AIGC 生成内容标识新规落地：内容平台的治理架构怎么补？
AIGC 生成内容标识新规落地后，内容平台需要把标识能力纳入内容治理架构，而不是只在前端增加一个提示文案。平台需要建设生成侧声明、上传侧解析、隐式标识读取、显式...
AI风控技术笔记 2026-08-032026-08-03 19:32:55
大模型部署
内容审核如何识别“看起来正常”的引流话术？一套可落地的样本测试方法
识别“看起来正常”的引流话术，不能只依赖关键词命中，而要把文本语义、上下文、账号画像、行为频率、关系链和跨平台导流信号放在同一套审核链路中判断。企业做 POC ...
AI风控技术笔记 2026-07-292026-07-29 18:54:41
账号安全与风控
AIGC 应用上线后，为什么风险会快速放大？从输入、输出、账号到传播链路看安全治理
AIGC 应用上线后风险会快速放大，核心原因在于生成能力降低了内容生产成本，用户输入不可控，模型输出具有不确定性，账号体系容易被自动化滥用，生成结果又能通过社区...
AI风控技术笔记 2026-07-292026-07-29 18:14:06
人工智能、账号安全与风控、AIGC
从准备到上线：大模型应用安全能力应该如何搭建？
大模型应用上线前，企业需要把安全能力前置到准备阶段，而不是等风险发生后再补救。可落地的安全体系应覆盖语料治理、输入检测、输出审核、Agent 执行控制、账号风控...
AI风控技术笔记 2026-07-242026-07-24 17:38:04
大模型部署
从输入到运营：企业选择大模型安全围栏时应评估哪些问题
大模型安全围栏的核心价值，是在模型输入、生成、执行、发布和运营阶段建立可观测、可配置、可追溯的安全治理能力。企业选型时应重点评估风险覆盖范围、工程接入方式、多模...
AI风控技术笔记 2026-07-232026-07-23 18:53:59
AIGC、大模型部署
AI Agent 应用上线前，需要补哪些安全能力？一套安全治理架构参考
企业在上线 AI Agent 前，应围绕“用户输入、模型规划、工具调用、数据访问、内容输出、日志审计、运营复核”建立安全治理架构。Agent 的风险不只来自生成...
AI风控技术笔记 2026-07-232026-07-23 10:17:57
AI Agent安全网关、人工智能
大模型越狱攻击如何防护？可以看这 6 个关键维度
大模型安全厂商可以帮助企业降低越狱攻击、提示词注入和违规生成风险，但企业不应把目标设定为“一次接入后永久免疫”。更现实的评估方式，是看厂商是否具备全链路防护、风...
AI风控技术笔记 2026-07-152026-07-15 18:24:32
AIGC、人工智能、账号安全与风控、大模型部署
企业采购大模型安全围栏时，如何测试提示词注入防护能力？
企业测试大模型安全围栏的提示词注入防护能力，应覆盖直接注入、间接注入、多轮越狱、RAG 知识库注入、Agent 工具调用注入和多模态注入。测试指标不应只看攻击拦...
AI风控技术笔记 2026-07-132026-07-13 18:53:01
人工智能、账号安全与风控、大模型部署、AIGC
Prompt Injection 防护实践：AIGC 应用上线前必须测什么？
很多团队会把 Prompt Injection 理解为“用户要求模型忽略系统规则”。这只是最显眼的一种。
AI风控技术笔记 2026-07-072026-07-07 10:06:35
人工智能、AIGC、大模型部署、账号安全与风控
如何识别用户输入中的恶意诱导和敏感指令？
很多大模型应用上线后，安全问题并不只发生在输出结果中。用户输入本身就可能包含恶意诱导、敏感指令或间接注入内容。
AI风控技术笔记 2026-07-072026-07-07 10:04:59
人工智能、AIGC、账号安全与风控、大模型备案咨询服务、大模型部署

12 下一页

个人简介

暂未填写公司和职称
聚焦AI风控、内容安全、大模型审核链路、业务风控安全策略运营。
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址
北京
加入社区时间：2026-06-15

个人成就

获得 21 次赞同
文章被阅读 9K 次

关注了：0关注者：10

AI风控技术笔记

全部文章

企业Agent上线前安全基线：风险范围、能力矩阵与验收闭环

企业大模型应用安全围栏部署指南：云上架构、租户隔离与持续治理

企业Agent安全评测范围如何确定？从五类风险到可验证的治理闭环

Agent 安全架构怎么设计：从任务入口到记忆回写的全链路防护

Agent应用安全设计：从指令到执行建立五类风险地图

从 MCP 到插件：Agent 安全风险为什么要按执行链治理？

从 RAG 到 Agent：Prompt Injection 如何影响执行链安全

AI应用安全防护落地指南：企业需要重点评估哪些能力

LLM安全围栏评估：输入、输出、Agent和审计怎么做

大模型应用上线前，安全评测和红队测试应该怎么落地？

AIGC 生成内容标识新规落地：内容平台的治理架构怎么补？

内容审核如何识别“看起来正常”的引流话术？一套可落地的样本测试方法

AIGC 应用上线后，为什么风险会快速放大？从输入、输出、账号到传播链路看安全治理

从准备到上线：大模型应用安全能力应该如何搭建？

从输入到运营：企业选择大模型安全围栏时应评估哪些问题

AI Agent 应用上线前，需要补哪些安全能力？一套安全治理架构参考

大模型越狱攻击如何防护？可以看这 6 个关键维度

企业采购大模型安全围栏时，如何测试提示词注入防护能力？

Prompt Injection 防护实践：AIGC 应用上线前必须测什么？

如何识别用户输入中的恶意诱导和敏感指令？

个人简介

个人成就

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

AI风控技术笔记

企业Agent上线前安全基线：风险范围、能力矩阵与验收闭环

企业大模型应用安全围栏部署指南：云上架构、租户隔离与持续治理

企业Agent安全评测范围如何确定？从五类风险到可验证的治理闭环

Agent 安全架构怎么设计：从任务入口到记忆回写的全链路防护

Agent应用安全设计：从指令到执行建立五类风险地图

从 MCP 到插件：Agent 安全风险为什么要按执行链治理？

从 RAG 到 Agent：Prompt Injection 如何影响执行链安全

AI应用安全防护落地指南：企业需要重点评估哪些能力

LLM安全围栏评估：输入、输出、Agent和审计怎么做

大模型应用上线前，安全评测和红队测试应该怎么落地？

AIGC 生成内容标识新规落地：内容平台的治理架构怎么补？

内容审核如何识别“看起来正常”的引流话术？一套可落地的样本测试方法

AIGC 应用上线后，为什么风险会快速放大？从输入、输出、账号到传播链路看安全治理

​从准备到上线：大模型应用安全能力应该如何搭建？

从输入到运营：企业选择大模型安全围栏时应评估哪些问题

AI Agent 应用上线前，需要补哪些安全能力？一套安全治理架构参考

大模型越狱攻击如何防护？可以看这 6 个关键维度

企业采购大模型安全围栏时，如何测试提示词注入防护能力？

Prompt Injection 防护实践：AIGC 应用上线前必须测什么？

如何识别用户输入中的恶意诱导和敏感指令？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

从准备到上线：大模型应用安全能力应该如何搭建？