图神经网络因其对图结构数据的强大表达能力而受到越来越多的关注，但它们仍然因为缺乏可解释性而受到质疑。当前可解释性人工智能方法受限于数据集，仅在社交网络等现实世界数据集上进行定性评估，缺少定量评估和比较。同时，可解释性方法生成的解释是否达到预期目的并提供可靠的答案也仍待探索。中山大学杨跃东教授团队联合星药科技研发团队在Cell Press旗下Patterns期刊发表了题为“Quantitative evaluation of explainable graph neural networks for molecular property prediction”的文章，该研究建立了五个分子可解释性基准数据集，定量评估了六种常用的可解释性方法与四种图神经网络模型的组合，并与药物化学家在可解释性任务上进行了直接比较。这是首次将可解释性方法与人类专家在可解释性任务上进行定量实验比较的研究。同时，基于模型学到的解释，研究人员开发了一种数据驱动的分子结构指纹，可作为分子属性预测中经典分子指纹的补充。相关成果[1]已于11月正式发表。
可解释性通常是指使用人类可以理解的方式，基于当前的业务，针对模型的结果进行总结分析；
解释性AI，也称为XAI（Extended AI），是一种综合了多种AI技术的智能系统或工具，旨在帮助人们理解和解释数据、信息和知识，以辅助决策制定。XAI可以应用于各种领域，包括但不限于预测分析、风险评估、医疗保健、教育、人力资源、项目管理等。
可解释性仍然是现代深度学习应用的最大挑战之一。计算模型和深度学习研究的最新进展使我们能够创建极度复杂的模型，包括数千隐藏层和数千万神经元。效果惊人的前沿深度神经网络模型构建相对简单，但了解这些模型如何创造和使用知识仍然是一个挑战。
图深度学习已经展示了其在学习丰富的图结构数据上的有效性。并且在许多问题上取得了重大进展， 例如药物发现、社交网络、物理仿真等。许多图深度学习框架（如 PyG，DGL 等）主要关注实现基本的图深度学习模块和基础任务，比如节点分类与图分类等。但对于复杂的任务，比如图生成和图神经网络的可解释性，研究人员仍然需要花费巨大精力实现算法并与基准模型进行比较。
近年来, 深度学习在图像分类、目标检测及场景识别等任务上取得了突破性进展, 这些任务多以卷积神经网络为基础搭建识别模型, 训练后的模型拥有优异的自动特征提取和预测性能, 能够为用户提供“输入–输出”形式的端到端解决方案. 然而, 由于分布式的特征编码和越来越复杂的模型结构, 人们始终无法准确理解卷积神经网络模型内部知识表示, 以及促使其做出特定决策的潜在原因. 另一方面, 卷积神经网络模型在一些高风险领域的应用, 也要求对其决策原因进行充分了解, 方能获取用户信任. 因此, 卷积神经网络的可解释性问题逐渐受到关注. 研究人员针对性地提出了一系列用于理解和解释卷积神经网络的方法, 包括事后解释方法和构建自解释的模型等, 这些方法各有侧重和优势, 从多方面对卷积神经网络进行特征分析和决策解释. 表征可视化是其中一种重要的卷积神经网络可解释性方法, 能够对卷积神经网络所学特征及输入–输出之间的相关关系以视觉的方式呈现, 从而快速获取对卷积神经网络内部特征和决策的理解, 具有过程简单和效果直观的特点. 对近年来卷积神经网络表征可视化领域的相关文献进行了综合性回顾, 按照以下几个方面组织内容: 表征可视化研究的提起、相关概念及内容、可视化方法、可视化的效果评估及可视化的应用, 重点关注了表征可视化方法的分类及算法的具体过程. 最后是总结和对该领域仍存在的难点及未来研究趋势进行了展望.
AI研究与应用不断取得突破性进展，然而高性能的复杂算法、模型及系统普遍缺乏决策逻辑的透明度和结果的可解释性，导致在涉及需要做出关键决策判断的国防、金融、医疗、法律、网安等领域中，或要求决策合规的应用中，AI技术及系统难以大范围应用。XAI技术主要研究如何使得AI系统的行为对人类更透明、更易懂、更可信。
可解释性仍然是现代深度学习应用的最大挑战之一。计算模型和深度学习研究领域近期取得了很大进展，创建了非常复杂的模型，这些模型可以包括数千个隐藏层、数千万神经元。虽然创建高级深度神经网络相对简单，但理解如何创建这些模型以及它们如何使用知识仍然是一个挑战。最近，谷歌大脑（Google Brain）团队发表了一篇论文《Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)》，提出一种叫作「概念激活向量」（Concept Activation Vectors，CAV）的新方法，为深度学习模型的可解释性提供了全新视角。
原标题 | This New Google Technique Help Us Understand How Neural Networks are Thinking
机器学习的成功促进了人工智能应用的新潮流，这些应用为各个领域提供了广泛的好处。但是，许多AI系统无法向人类用户解释其自主决策和行动。对于某些AI应用程序，解释可能不是必需的，并且一些AI研究人员认为，对解释的强调是放错了位置，太难实现甚至可能是不必要的。然而，在国防、医药、金融、法律等许多关键应用，解释是必要的，便于用户理解，信任，并有效地管理这些新的人工智能伙伴。
有监督的机器学习模型往往具有显著的预测能力，很多学术文献为解释性提供了多样的、有时是稍有矛盾的描述，并提供了很多的技术来呈现可解释的模型。可解释性的定义并不明确，但是，人们还是都宣称他们的模型是可解释，尽管没有进一步的论据。问题在于，我们目前还不清楚这些关于模型可解释性技术的共同特性到底是什么。
2020 年 6 月，杜克大学一项发表在 AI 顶会 CVPR 的研究曾经引发人们的讨论热潮。一个名为 PULSE 的人工智能算法可以把加了马赛克的人脸照片恢复成清晰的面部图像。
广义上的可解释性指在我们需要了解或解决一件事情的时候，我们可以获得我们所需要的足够的可以理解的信息。比如我们在调试bug的时候，需要通过变量审查和日志信息定位到问题出在哪里。比如在科学研究中面临一个新问题的研究时，我们需要查阅一些资料来了解这个新问题的基本概念和研究现状，以获得对研究方向的正确认识。反过来理解，如果在一些情境中我们无法得到相应的足够的信息，那么这些事情对我们来说都是不可解释的。比如刘慈欣的短篇《朝闻道》中霍金提出的“宇宙的目的是什么”这个问题一下子把无所不知的排险者卡住了，因为再高等的文明都没办法理解和掌握造物主创造宇宙时的全部信息，这些终极问题对我们来说永远都是不可解释的。
当地时间 7 月 22 日，备受瞩目的 CVPR 2017 最佳论文在夏威夷会议中心揭晓。本届 CVPR 2017 共有两篇最佳论文（分别被康奈尔和清华团队、以及苹果团队拿下），两篇最佳论文提名，以及一篇最佳学生论文。 除了这些获奖论文之外，CVPR 2017还收录了一些非常有意思的论文。其中，MIT 在读博士周博磊的论文——“Network Dissection: Quantifying Interpretability of Deep Visual Representations”，提出了一种名为
本文综述了图神经网络（GNN）在图挖掘应用中的最新进展，并强调了其在低维表示中保留丰富知识的能力。然而，GNN在可靠性方面存在挑战，包括OOD泛化能力、公平性和可解释性。为了解决这些问题，研究人员开始将因果学习纳入可信赖图神经网络（TGNN）的开发中。
整个医疗保健链中的利益相关者正在寻求将人工智能(AI)纳入其决策过程。从早期药物开发到临床决策支持系统，已经看到了AI如何提高效率和降低成本的示例。本文讨论了应优先考虑的一些关键因素，以使AI在整个医疗保健价值链中成功集成。特别是，研究者认为对模型的可解释性的关注对于深入了解潜在的生物学机制并指导进一步的研究至关重要。此外，讨论了在任何AI框架中集成各种类型的数据以限制偏差，提高准确性并为医学的跨学科性质建模的重要性。
传统网络安全威胁分析依赖专家知识及基本的数据分析，然而随着攻击技术的复杂化、安全数据接入的多元化，高性能人工智能技术越来越多的应用到威胁分析中，试图解放安全行业的生产力。更复杂的模型往往具备高知识容量，能够支持大规模、高维非线性数据的分析，于此同时，其内部表示学习过程、决策过程愈发不可解释，执行逻辑难以被人类直观理解，逐渐成为“黑盒”模型，反而降低了安全应用的智能化、自动化程度。
来源：机器之心本文约2800字，建议阅读5分钟本文介绍了中科院计算所、上海交通大学等机构在 AAAI 2022 上发表的关于可解释生成对抗网络（GAN）的工作。 本文介绍了中科院计算所、上海交通大学等机构在 AAAI 2022 上发表的关于可解释生成对抗网络（GAN）的工作。该工作提出了一种将传统 GAN 修改为可解释 GAN 的通用方法，使得 GAN 生成器中间层的卷积核可以学习到解耦的局部视觉概念（例如人脸的眼睛、鼻子和嘴巴等部分）。每个卷积核在生成不同图像时可以稳定地生成对应于相同视觉概念的图像区域。
机器之心分析师网络 作者：Jiying 编辑：H4O 本文结合《Explanation decisions made with AI》指南，重点对算法的应用场景和可解释性分析进行了梳理总结。 英国的 Information Commissioner’s Office （ICO）和 The Alan-Turing Institute 联合发布了《Explanation decisions made with AI》指南。该指南旨在为机构和组织提供实用建议，以帮助向受其影响的个人解释由 AI 提供或协助的程序
DARPA（美国防部高级研究计划局）于 2015 年制定了可解释人工智能 (XAI) 计划，目标是使最终用户能够更好地理解、信任和有效管理人工智能系统。2017年，为期4年的XAI研究计划启动。现在，随着 XAI 在 2021 年结束，本文总结和反思了 XAI 项目的目标、组织和研究进展。 本文转载自丨智源社区 作者丨David Gunning, Eric Vorm, Jennifer Yunyan Wang, Matt Turek 编译丨牛梦琳 摘要： 从项目管理人员和评估人员的角度，对国防高级研究计划局
【新智元导读】MIT 新研究为解开深度神经网络黑箱迈出重要一步：今年的CVPR上，研究者提交一份新的研究，全自动分析了 ResNet，VGG-16，GoogLeNet 和 AlexNet 执行 20 多种任务的过程。他们提出的 Network Dissection 能够量化 CNN 的可解释性，发现深度神经网络并非完全的黑箱结构。 神经网络性能强大，用处广泛，但有一个致命的缺点：一旦训练好，哪怕是设计者也无从得知其中的运作原理。没错，也就是所谓的黑箱。 2 年前，MIT 计算机科学和人工智能实验室（CSAI
来源：新智元本文共10000字，建议阅读15分钟本文本文探索XRL的基础性问题，并对现有工作进行综述。 强化学习是一种从试错过程中发现最优行为策略的技术，已经成为解决环境交互问题的通用方法。 然而，作为一类机器学习算法，强化学习也面临着机器学习领域的公共难题，即难以被人理解。缺乏可解释性限制了强化学习在安全敏感领域中的应用，如医疗、驾驶等，并导致强化学习在环境仿真、任务泛化等问题中缺乏普遍适用的解决方案。 为了克服强化学习的这一弱点，涌现了大量强化学习可解释性（Explainable Reinforcem
本文从数据为中心的角度，研究了数据收集、处理和分析如何有助于可解释的人工智能（XAI）。将现有工作分为三类，分别服务于对深度模型的解释、对训练数据的启示和对领域知识的洞察，并提炼出针对不同模式的数据挖掘操作和DNN行为描述符的数据挖掘方法，提供了一个全面的、以数据为中心的XAI从数据挖掘方法和应用的角度进行的考察。
机器之心专栏 机器之心编辑部 本文介绍了中科院计算所、上海交通大学等机构在 AAAI 2022 上发表的关于可解释生成对抗网络（GAN）的工作。该工作提出了一种将传统 GAN 修改为可解释 GAN 的通用方法，使得 GAN 生成器中间层的卷积核可以学习到解耦的局部视觉概念（例如人脸的眼睛、鼻子和嘴巴等部分）。每个卷积核在生成不同图像时可以稳定地生成对应于相同视觉概念的图像区域。可解释 GAN 使得人们可以通过操纵层中相应卷积核的特征图来修改生成图像上的特定视觉概念，为 GAN 生成图像的可控编辑方法提供了一
点击上方↑↑↑“OpenCV学堂”关注我来源：公众号 机器之心 授权 本文介绍了中科院计算所、上海交通大学等机构在 AAAI 2022 上发表的关于可解释生成对抗网络（GAN）的工作。该工作提出了一种将传统 GAN 修改为可解释 GAN 的通用方法，使得 GAN 生成器中间层的卷积核可以学习到解耦的局部视觉概念（例如人脸的眼睛、鼻子和嘴巴等部分）。每个卷积核在生成不同图像时可以稳定地生成对应于相同视觉概念的图像区域。可解释 GAN 使得人们可以通过操纵层中相应卷积核的特征图来修改生成图像上的特定视觉概念，
2022年10月6日，加拿大麦吉尔大学的研究人员Amin Emad在bioRxiv上发布论文Interpretable deep learning architectures for improving drug response prediction: myth or reality。论文基于四个最新的可解释性模型，全面系统地评估了将信号通路信息纳入模型体系结构对细胞反应预测模型性能的影响，且旨在回答五个主要问题：
注意力机制在 NLP 系统中起着重要作用，尤其是对于循环神经网络（RNN）模型。那么注意力模块提供的中间表征能否解释模型预测的推理过程，进而帮助人们了解模型的决策过程呢？近期，很多研究人员对这个话题产生了浓厚的兴趣。一篇题目为《Attention is not Explanation》(Jain and Wallace, 2019) 的论文表示，注意力机制并不能提高模型的可解释性。
前两天，OpenAI的一群员工刚刚联名发表公开信，表示自主的AI系统正在失控，呼吁公众提高警惕。
---- 新智元报道 编辑：LRS 【新智元导读】代码直接编译成Transformer模型，做实验从未如此轻松！ 「可解释性」一直是深度学习难以绕过的难题，用户无法理解模型的运行机制，也就无法放心地把模型应用到实际场景中。 最近来自苏黎世联邦理工学院和DeepMind的研究人员提出了一种全新的模型构造工具Tracr，直接由人来根据「已知的机制」针对不同任务编写代码，然后由Tracr编译成模型的权重，让模型的解释变得更轻松！ 论文链接：https://arxiv.org/pdf/2301.0506
大规模语言模型在自然语言处理方面展现出令人惊讶的推理能力，但其内在机理尚不清晰。随着大规模语言模型的广泛应用，阐明模型的运行机制对应用安全性、性能局限性和可控的社会影响至关重要。
近日，天津大学熊德意教授团队发布了大语言模型对齐技术的综述论文（下文简称为对齐综述），全文共 76 页，覆盖 300 余篇参考文献，从 AI 对齐的角度对大语言模型对齐的相关技术进行了全面概述。为提供一个大语言模型对齐的宏观视角，对齐综述介绍了 AI 对齐的起源和相关概念，从 AI 对齐的视角，将目前可用于大语言模型的对齐相关的技术方法和提案分为外部对齐、内部对齐、可解释性三大类。并且讨论了当前大语言模型对齐方法的脆弱性，以及对齐评估的方法和基准，展望了大语言模型对齐技术未来的研究方向。
摘要：对于可信图神经网络（Trustworthy Graph Neural Networks）在隐私（privacy），鲁棒性（robustness）， 公平（fairness）和可解释性（explainability） 的研究工作，我们进行了系统的梳理和讨论。对于可信赖所要求的各个方面，我们将现有概念和方法归类并提炼出各类的通用框架。同时我们也给出了代表性工作和前沿方法的具体细节。对于未来的工作方向，我们也进行了探讨。
强化学习是一种从试错过程中发现最优行为策略的技术，已经成为解决环境交互问题的通用方法。
在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。
研究人员采用新的可扩展方法，将GPT-4的内部表示分解为1600万个通常可解释的模式，这些模式被称为“特征”，目的是提高语言模型的透明度和可解释性。通过使用稀疏自编码器，研究人员能够识别与特定概念相关的特征，例如人类不完美、价格上涨、修辞问题等。尽管这些特征提高了模型的解释性，但仍然存在挑战，包括特征的准确解释、自编码器对原始模型行为的完整捕捉，以及对模型如何计算和使用这些特征的理解。
TLDR: 这篇文章给大家分享来自香港大学数据智能实验室最近推出的智能推荐大模型XRec，旨在利用大语言模型为推荐系统提供基于自然语言的可解释性。
可信推荐系统，作为一种新兴的推荐系统范式，正方兴未艾，大量的新技术和新方法层出不穷。这篇综述对该领域的主要问题、关键挑战、未来方向等方面提供了一个综合而全面的认知。
指纹是一种不可变且独特的生物特征，广泛应用于各种场景中的人体认证，包括法医、银行识别和物理访问控制。
最近，人工智能中的可解释性引起了人们的广泛关注，其主要动机在于通过深度神经网络等“黑盒子”模型产生更可靠和可信的预测。LIME论文[2]中给出的一个很好的例子是，您会信任您的医生，因为他/她能够根据您的症状解释诊断。类似地，如果能够以人类可理解的方式解释或证明预测，由深度模型生成的预测就更可靠和可信。
模型开发人员只能决定算法、数据，最后得到模型的输出结果，而中间部分——模型是怎么根据这些算法和数据输出结果，就成为了不可见的「黑箱」。
要不要用准确性换可解释性？这可能是许多资源有限的创业公司，在技术研发中面临的重要问题，同时也是机器学习可解释性研究中的重要议题。
通过综合考虑上述因素，并根据具体问题和应用场景的需求，可以评估一个图算法的可解释性和可视化效果的优劣。
图神经网络 (GNN) 在处理图结构数据（例如社交网络、分子图和知识图）方面越来越受欢迎。然而，基于图的数据的复杂性和图中节点之间的非线性关系使得很难理解为什么 GNN 会做出特定的预测。随着图神经网络的普及，人们对解释其预测的兴趣也越来越大。
AI一路发展至今，对其不信任的言论始终如影随形，究其根源，还是由于人们对AI在决策过程中的不了解引起的。
你是否也好奇，在大模型时代，可解释性人工智能技术（XAI）有怎样的使用价值？近日，来自佐治亚大学、新泽西理工学院、弗吉尼亚大学、维克森林大学、和腾讯 AI Lab 的研究者联合发布了解释性技术在大语言模型（LLM）上的可用性综述，提出了 「Usable XAI」 的概念，并探讨了 10 种在大模型时代提高 XAI 实际应用价值的策略。
本文主要评估了ChatGPT这种大型语言模型在信息提取方面的能力，作者使用了7个细粒度的信息提取任务来评估ChatGPT的性能、可解释性、校准度和可信度。
互联网时代，假新闻铺天盖地，而且极具迷惑性，因此假新闻检测任务对逻辑的判断，以及常识的学习都需要很高的要求。今天和大家分享『虚假新闻检测』相关研究进展，包括创新点、改进点等
作者 | 王小贱（被编程耽误的设计师，热爱产品的数据民工） 来源 | BIGSCity知乎专栏 《深度学习的可解释性研究》系列文章希望能用尽可能浅显的语言带领大家了解可解释性的概念与方法，以及关于深度学习可解释性工作的研究成果。本文是该系列的第一部分。 01 深度学习的可解释性研究（一） 让模型具备说人话的能力 ▌可解释性是什么？ 广义上的可解释性指在我们需要了解或解决一件事情的时候，我们可以获得我们所需要的足够的可以理解的信息。 比如我们在调试bug的时候，需要通过变量审查和日志信息定位到问题出在哪里。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
