图数据挖掘算法已经在很多领域得到应用,但大多数图数据挖掘算法都没有考虑到算法的公平性。在本篇综述中,我们首先系统梳理了图数据挖掘领域内常见的算法公平性的定义和对应的量化指标。在此基础上,我们总结出了一个图数据挖掘算法公平性的分类法,并对现有提升公平性的方法进行了讨论。最后,我们整理了可以用于图数据挖掘中算法公平性研究的数据集,也指出了现有的挑战和未来的工作方向。
曹建峰 腾讯研究院研究员 今天,基于算法的自主决策系统日益被广泛应用在教育、就业、信用、贷款、保险、广告、医疗、治安、刑事司法程序等诸多领域,认为算法可以为人类社会中的各种事务和决策工作带来完全的客观性。然而,这很可能只是一种一厢情愿。无论如何,算法的设计者们是否可以不偏不倚地将既有的法律或者道德规则原封不动地编写进程序,是值得怀疑的。规则代码化带来的不透明、不准确、不公平、难以审查等问题,需要认真思考和研究。 一、人工智能决策日益流行 人们的网络存在,或者说数字存在(digital e
人工智能(AI)为改变我们分配信贷和处理风险的方式提供了一个机会,并创造了更公平、更包容的系统。人工智能可以避免传统的信用报告和评分系统,这有助于抛弃现有的偏见,使它成为一个难得的,改变现状的机会。然而,人工智能很容易朝另一个方向发展,加剧现有的偏见,创造出一个循环,加强有偏见的信贷分配,同时使贷款歧视更难找到。我们将通过开源模型Fairlearn来释放积极的一面,缓解偏见消极的一面。
推荐系统作为以人为本的人工智能技术的最前沿应用,被广泛部署在网络世界的每个角落,其大大提高了人类的决策效率。然而,尽管推荐系统具有巨大的作用和潜力,但也可能导致对用户、物品、生产者、平台甚至整个社会的不良影响,例如由于不透明的过程而损害用户的信任,对不同的消费者或生产者的不公平待遇,由于大量使用用户的私人敏感数据进行个性化推荐而导致的隐私泄露问题,由于缺乏对用户自身数据的控制而导致推荐重复的内容的回音室效应等等。所有这些都造成了对可信推荐系统的迫切需求,以减轻或避免这种不利影响和风险。
昨天分享了分布式系统架构中的单体调度架构,并且详细的学习了相关调度算法(【分布式技术】分布式系统调度架构之单体调度,非掌握不可),虽然单体调度架构简单易用,但是它是落在中央处理器中的,所以也就有了单机瓶颈问题,这样对于一些多类型的服务就会受限。
AI 科技评论按:随着越来越多的算法不断渗透入社会的层层面面,如医疗机构、政府部门,对算法偏见的讨论越来越多。这个月,Nature 杂志评选出 2018 年最受欢迎的十大科学长篇专题报道,其中,Rachel Courtland 一篇讨论算法偏见的文章成功当选。AI 科技评论将原文编译整理如下。
在美国,一个人出生的地方、一个人的社会经济背景、一个人成长的社区以及老去的地方,在一年中受到这些因素而死亡的人数占到了25%到60%,部分原因是它们在心脏病、癌症、意外伤害、慢性下呼吸道疾病和脑血管疾病这五大死因中起到了重要作用。
随着人工智能(AI)技术的广泛应用,其对社会、经济乃至个体生活的影响日益显著。然而,AI系统并非绝对公正的决策者,它们可能在设计、训练和部署过程中引入或放大现有的社会偏见。这种现象被称为“算法偏见”,它可能导致不公平的结果,损害弱势群体的利益,违背AI伦理原则。本文旨在深入探讨算法偏见的成因、识别方法,并提出针对性的缓解措施,同时结合实战案例与代码示例,为AI从业者和政策制定者提供实用的指导。
来源:专知本文为教程介绍,建议阅读5分钟算法公平性是一个有吸引力但又具有挑战性的研究课题。 图是一种普遍存在的数据类型,出现在许多现实世界的应用中,包括社会网络分析、建议和财务安全。尽管这很重要,但几十年的研究已经发展出了丰富的计算模型来挖掘图表。尽管它很繁荣,但最近对潜在的算法歧视的担忧有所增长。图上的算法公平性是一个有吸引力但又具有挑战性的研究课题,它旨在减轻图挖掘过程中引入或放大的偏差。第一个挑战对应于理论挑战,图数据的非IID性质不仅可能使许多现有公平机器学习研究背后的基本假设失效,而且还可能基于
看问题,洗牌,显然是一个随机算法了。随机算法还不简单?随机呗。把所有牌放到一个数组中,每次取两张牌交换位置,随机 k 次即可。
谷歌Docs使用人工智能算法来建议编辑,这使得写作更具包容性。但也有人讨厌并抨击这种算法。
人工智能飞速发展的同时,也逐渐暴露出侵犯数据隐私、制造“信息茧房”等种种伦理风险。随着AI技术在社会各个领域的广泛应用,关于AI伦理和隐私保护问题日趋凸显。尽管国外已出台系列法规来规范AI的使用,保护个人隐私和数据安全,但如用户被区别对待的“大数据杀熟”现象、AI在辅助医疗诊断和就业筛选中表现出的歧视、基于深度伪造技术制作假信息等引发的社会问题仍层出不穷。这些事件引发了公众对于AI决策透明度、算法公平性和个人隐私权的重大关注。面对AI发展下的这些伦理挑战,我们应当如何应对呢?在推动AI技术发展的同时,制定AI治理框架,建立有效的隐私保护机制是当前亟需解决的重要议题。对此你有什么想法?
AI 科技评论按:ACM Fellow、微软杰出科学家和管理总监 Jennifer T. Chayes 近日以 ACM 的名义发表了一篇文章,介绍了机器学习中的公平性问题和现阶段研究人员们的应对方式。
原文题目:FAHT: An Adaptive Fairness-aware Decision Tree Classifier
在人工智能发展的初期,人们对算法的要求往往停留于「准」的层面,预测结果越精确似乎越好。然而,随着人工智能技术逐渐融入日常生活,人们对于算法「公平性」的要求与日俱增。在本文中,来自 CMU (卡内基 · 梅隆大学)的研究人员赵晗提出了一种通过学习公平表征来实现算法公平的方法。(相关论文发表在ICLR 2020上)
人工智能(AI)技术在过去几年取得了巨大的发展,并在各个领域展现了强大的效率和能力。然而,随着AI的广泛应用,我们也面临着越来越多的伦理挑战,特别是在平衡AI的效率和公平方面。本文将探讨2023年的AI伦理挑战,并提供一些方法来平衡AI的效率和公平。
大数据文摘出品 编译:大茜、张文静、Aileen、魏子敏 我们正将越来越多的选择权拱手让于算法。 从新的一天要听什么歌、哪些人应该拿到社会福利,到学校课程设置、公司并购决定,机器开始支配这些看似琐碎但重要的抉择,而我们还没有意识到,这或许是比“终结者”的到来更严重的威胁。 但有些决策不能,也永远不应该委托给机器。 用算法来做决策的初衷一定是善意的:提高效率,让决策迅速获得数据支持,且保证流程的一目了然。 而在惊叹于这些让人眼花缭乱的自动化决策系统的同时,管理层常常忘记一个最重要的问题: 算法的引入是减少还是
人工智能(Artificial Intelligence, AI)技术正以惊人的速度融入我们的日常生活中。AI系统如今可以用于各种应用,包括智能助手、自动驾驶汽车、医疗保健和金融服务。然而,随着AI技术的快速发展,我们也面临着一系列伦理问题,这些问题涉及到我们的隐私、公平性、自主性和责任等方面。本文将深入探讨AI伦理的各个方面,并为新手小白提供易懂的解释和示例。
随着人工智能系统和应用程序在我们日常生活中的广泛应用,人工智能已经成为了辅助人们决策的重要工具,例如,使用推荐系统算法做出电影推荐、购买产品推荐等,使用预测和分析系统用于贷款申请、约会和雇佣等高风险决策。美国法院使用了一款人工智能软件—「选择性制裁罪犯管理档案」(Correctional Offender Management Profiling for Alternative Sanctions,COMPAS),用于预测一个人再次犯罪的风险,辅助法官决定是释放罪犯,还是把罪犯关进监狱。对该软件的一项调查发现了对非洲裔美国人的一种偏见:相较于白人罪犯,COMPAS 更有可能给非洲裔美国人罪犯打出较高的潜在风险分数,从而不予以释放 [1]。
我们很容易假设使用算法进行决策可以消除人为偏差。但研究人员发现机器学习可以在某些情况下产生不公平的决定。
作为今年上半年表现最为亮眼的人工智能顶会,ICLR 2019于5月6日至9日在美国新奥尔良举行。本届投稿比去年增长了近60%,共收到1591篇,录取率为31.7%。
原文标题:Reinforcement Learning with Fairness Constraints for Resource Distribution in Human-Robot Teams
随着深度学习的快速发展,许多研究者们开始尝试利用卷积神经网络解决人脸表情识别(Facial Expression Recognition, FER)任务,并已取得了不俗的进展。但是,各个人脸表情数据集之间的数据不一致(Data Inconsistence)极大地削弱了模型的泛化能力,导致现有的大部分人脸表情识别算法在跨域场景下无法通用。因此,许多研究者致力于开发跨域人脸表情识别(Cross-Domain Facial Expression Recognition, CD-FER)算法来解决这个问题。
在一些推荐排名应用中马太效应同样存在,比如大家经常浏览的微博、知乎热搜。同一类话题排名越靠前被点击的概率也就越大,这样,在一段时间内,越是靠前的话题就越会被人点击,然后它越会靠前,然后它就越会......
随着AI技术深入到各行各业,AI也不断暴露出一些风险隐患,包括人脸数据的滥用,算法歧视,算法鲁棒性等,AI所隐藏的风险也越来越被大众所重视。虽然AI确实给各行各业提供了新的加速器,但是却也在慢慢丢失大众对它的信任。基于此,可信赖人工智能被越来越多的提及,越来越多的政府和企业都加入到了可信AI的发展和共建队伍中来。可信AI已经成为全球共识,也是行业发展的必然趋势。那什么是可信AI?如何确保和评估AI是可信的呢?
随着AI技术深入到各行各业,AI也不断暴露出一些风险隐患,包括人脸数据的滥用,算法歧视,算法鲁棒性等,AI所隐藏的风险也越来越被大众所重视。虽然AI确实给各行各业提供了新的加速器,但是却也在慢慢丢失大众对它的信任。基于此,可信赖人工智能被越来越多的提及,越来越多的政府和企业都加入到了可信AI的发展和共建队伍中来。可信AI已经成为全球共识,也是行业发展的必然趋势。那什么是可信AI?如何确保和评估AI是可信的呢? ▲为什么需要可信AI? 人工智能技术引发了信任危机,主要有以下几个场景:算法安全性,算
由于进程的数量多于处理机,因此不能并行地处理各个进程,处理机调度就是从就绪队列中按一定的算法选择一个进程分配处理机给他。
算法对我们的生活中的有着各种潜移默化的影响,但算法是否存在被滥用的情况?本文对算法使用问题提出了自己的看法。
面向健康公平问题,Google 团队开发了 HEAL (The health equity framework) 框架,能够定量评估基于机器学习的医疗健康方案是否「公平」。
之前我写过一篇分析 O(1)调度算法 的文章:O(1)调度算法,而这篇主要分析 Linux 现在所使用的 完全公平调度算法。
而复旦大学副教授黄增峰一人署名的论文《Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices》则和 DeepMind、斯坦福大学的两篇论文一同位居「亚军」论文行列。
针对没有实时需求的普通进程,Linux内核使用完全公平调度器(Completely Fair Scheduler,CFS)。普通进程的nice值(相对优先级,基准值是120)的取值范围是-20~19,值越小表示优先级越高,不同优先级的进程应该享受不同的待遇,优先级高的进程应该获得更多的处理器时间。为了兼顾进程优先级和公平性,完全公平调度算法引入了虚拟运行时间,如下。
大多数现代操作系统旨在尝试从底层硬件资源中提取最佳性能。这主要是通过两个主要硬件资源的虚拟化来实现的:CPU 和内存。现代操作系统提供了一个多任务环境,基本上为每个任务提供了自己的虚拟 CPU。任务通常不知道它不独占 CPU 使用权这一事实。
在Java并发场景中,会涉及到各种各样的锁如公平锁,乐观锁,悲观锁等等,这篇文章介绍各种锁的分类:
本文对悉尼科技大学博士生董宣毅发表于 ICLR 2020 的录用Spotlight论文《NAS-BENCH-201: Extending the Scope of Reproducible Neural Architecture Search》进行解读。这篇论文提出的NAS-Bench-201,可在很大程度上提高NAS算法的可复现性,并降低了NAS算法的计算需求(例如仅用0.1秒便可以完成搜索)。
今年和往年一样,也是一篇获奖论文和两篇亚军(Runners Up),均从ICML 2023的论文集中选出,“在过去10年里持续产生影响力”。
一般来说,在操作系统中会运行多个进程(几个到几千个不等),但一台计算机的 CPU 资源是有限的,如 8 核的 CPU 只能同时运行 8 个进程。那么当进程数大于 CPU 核心数时,操作系统是如何同时运行这些进程的呢?
所谓公平是指所有线程对临界资源申请访问权限的成功率都一样,它不会让某些线程拥有优先权。通过几篇文章的分析我们知道了JDK的AQS的锁是基于CLH锁进行优化的,而其中使用了FIFO队列,也就是说等待队列是一个先进先出的队列。那是否就可以说每条线程获取锁时就是公平的呢?关于公平性,严格来说应该分成三个点来看:入队阶段、唤醒阶段以及闯入策略。
人工智能(AI)的发展带来了巨大的变革,但也引发了一系列的伦理和社会问题。在人工智能应用的过程中,我们需要思考如何确保其责任、公平性和可解释性,以保障社会的发展和稳定。本文将深入探讨这些问题,并提出解决方案。
联邦学习无疑是近期 AI 界最火爆的技术范式之一,在过去的2019年,涌现了大量联邦学习相关研究。
今天为大家介绍的是来自Matthew DeCamp 和 Charlotta Lindvall的一篇关于AI应用中医疗歧视问题的论文。《摘要总结》。
SIGIR2020 的 best paper 终于出炉,这次获奖论文是 Controlling Fairness and Bias in Dynamic Learning-to-Rank,这是一篇 排序学习(Learning to Rank,LTR) 的论文。
导语:TCP拥塞控制不仅仅是网络层的概念,可以将其归属于控制论的范畴。在TCP的演进过程中,出现了很多优秀的思想和算法,以实现网络传输过程中,在公平竞争性的前提下,尽可能地利用带宽资源。本文介绍TCP发展过程中出现的几种拥塞控制算法,并着重介绍BBR的原理。
AI 科技评论按:2018 年 5 月 25 日,「通用数据保护条例」(GDPR)在整个欧盟范围内生效,要求对组织如何处理个人数据进行彻底改变。若违反 GDPR 条例的限制,相关组织必须支付高达 2000 万欧元或其全球收入 4%的罚款(以较高者为准),对威慑大多数违规行为具有很重要的意义。
这篇文章主要想介绍下彩票调度(个人觉得这个算法非常有意思~ ),还有随机算法相对传统算法的一点优势,毕竟现在绝大多数算法都是追求确定性,尤其在操作系统,大家都希望一切可控,所以随机算法的出现听起来有些“不合时宜”,但它确实能够解决某些传统算法难以解决的边角问题(算是给自己挖个坑,以后可能会写),也为我们提供了一种新的思路。
作者:Freddy Boulton 机器之心编译 参与:Pedro、思源 条件随机场是一种无向图模型,且相对于深度网络有非常多的优势,因此现在很多研究者结合条件随机场(CRF)与深度网络获得更鲁棒和可解释的模型。本文结合 PyTorch 从基本的概率定义到模型实现直观地介绍了 CRF 的基本概念,有助于读者进一步理解完整理论。 假设我们有两个相同的骰子,但是其中的一个是公平的,每个点数出现的概率相同;另一个骰子则被做了手脚,数字 6 出现的概率为 80%,而数字 1-5 出现的概率都为 4%。如果我给你一
近日,中国科学技术大学数据空间研究中心智能网络计算研究组近期于普适计算领域顶级会议ACM UbiComp 2022发表论文《面向穿戴设备的公平高效联邦学习算法及应用》。 该论文提出的公平高效联邦学习方案FCFL是一个专门为可穿戴设备设计的全栈式学习系统,在通信效率、公平性、个性化和用户体验方面大大改善了联邦学习的性能。 论文链接:https://www.researchgate.net/publication/359935483 Demo APP 代码链接:https://github.com/Open
假设我们有两个相同的骰子,但是其中的一个是公平的,每个点数出现的概率相同;另一个骰子则被做了手脚,数字 6 出现的概率为 80%,而数字 1-5 出现的概率都为 4%。如果我给你一个 15 次投掷骰子的序列,你能预测出我每次投掷用的是哪一枚骰子吗?
发生进程切换时,本质是CPU资源占用者间的切换。此时需要保存当前进程在PCB中的执行上下文(CPU状态),然后恢复下一个进程的执行上下文。
导读:在人工智能领域,模型的可解释性一直是研究者和工程师们关注的焦点。随着机器学习模型在各个领域的广泛应用,如何理解模型的决策过程成为了一个重要课题。SHAP(SHapley Additive exPlanations)算法作为一种新兴的模型解释技术,为我们提供了一种全新的视角来理解复杂的机器学习模型。
领取专属 10元无门槛券
手把手带您无忧上云