在过去的半年多里，大语言模型的发展突飞猛进，无论是产业界还是学术界，均取得了丰硕成果。如何量化大模型性能，开源模型与闭源模型的差距有多大，这些都是整个社区都非常关心的话题。然而大模型评测本身也是一项复杂的系统性工程，各类评测榜单的具体标准也是一团迷雾，让人真假莫辩。
性能评测一般输出的数据是各种性能指标，虽然性能指标的好坏代表了APP性能的优劣，但使用者是用户，所以在各项性能指标处于优势时，并不代表给用户的体验就是好的，这就需要增加一种面向用户体验的评测，我们称之为“主观性能感知评测”。
软件品质评测体系建立之后，在进行评测之前首先要确定评测使用的数据，这就需要数据挖掘平台发挥作用了，本文将以输入法评测语料制作为例介绍我们的评测数据挖掘处理平台。
最近几个月，伴随着大语言模型的发展，多模态大模型也取了长足的发展。一系列模型在短时间内如雨后春笋般涌现了出来，例如 BLIP2, MiniGPT-4, LLaVA, mPLUG-Owl。但是，如何来全面地评估一个多模态模型仍然是一个比较棘手的问题。当前模型测试的方式主要分为以下三类：
FlagEval 大模型评测团队从 2023年高考考卷中整理了 147 道客观题（其中语文 20道，英语 44道，历史 31道，数学 9道，物理 8道，政治 21道，生物 14道）形成 Gaokao2023 V1.0 评测集。
随着人工智能的发展，我们现在各个产品线中都融入大量的智能算法，方便了用户的同时也给我们评价产品的具体效果带来了很大的困难。这里就简单介绍一些我们在智能算法评测实践过程中的一些心得，主要会从评测系统的设计、评测的执行以及评测结果的分析三个方面展开，由于内容较多这篇文章我们重点阐述第一点。
让天下开发者早点下班 腾讯云智聆口语评测团队近期发布 口语评测英文版SDK 核心功能 1. 封装api调用及本地音视频文件处理 （对音频分片的开发量缩短） 2.基础录音功能 （边录边传，提升评测稳定性） 适用终端 iOS和Android 没有使用sdk前 开发录音和评测功能 需要 ① 了解整个录音逻辑 ② 编写每一步的代码 ③ 需要了解音频格式 ④ 还有系统兼容性问题，比如机型、系统等适配问题 距离收到这个需求单，已经过去了48个小时…… 使用sdk后 只需在APP中导入sdk，简单修改api接口调用
随着人工智能技术的快速发展， 大规模预训练自然语言模型成为了研究热点和关注焦点。OpenAI于2018年提出了第一代GPT模型，开辟了自然语言模型生成式预训练的路线。沿着这条路线，随后又陆续发布了GPT-2和GPT-3模型。与此同时，谷歌也探索了不同的大规模预训练模型方案，例如如T5, Flan等。OpenAI在2022年11月发布ChatGPT，展示了强大的问答能力，逻辑推理能力和内容创作能力，将模型提升到了实用水平，改变人们对大模型能力的认知。在2023年4月，OpenAI发布了新升级的GPT-4模型，通过引入多模态能力，进一步拓展了大语言模型的能力边界，朝着通用人工智能更进一步。ChatGPT和GPT-4推出之后，微软凭借强大的产品化能力迅速将其集成进搜索引擎和Office办公套件中，形成了New Bing和 Office Copilot等产品。谷歌也迅速上线了基于自家大语言模型PaLM和PaLM-2的Bard，与OpenAI和微软展开正面竞争。国内的多家企业和研究机构也在开展大模型的技术研发，百度，阿里，华为，商汤，讯飞等都发布了各自的国产语言大模型，清华，复旦等高校也相继发布了GLM, MOSS等模型。
【新智元导读】 以语音起家的科大讯飞 2017年在计算机视觉上发力，接连获得自动驾驶领域权威评测集 Cityscapes 第一名和医学影像权威评测LUNA冠军两项突破，在视觉上展示出强大实力。 近日，科大讯飞在国际自动驾驶领域权威评测集 Cityscapes 获得平均81.4%的精度，取得了该项评测的第一名，并刷新了世界记录。这也是今年科大讯飞继医学影像权威评测LUNA之后在计算机视觉领域获得的又一殊荣。 📷 科大讯飞名列Cityscapes榜首 Cityscapes评测数据集在2015年由奔驰
语音合成（Text To Speech，TTS）技术将文本转化为声音，目前广泛应用于语音助手、智能音箱、地图导航等场景。TTS的实现涉及到语言学、语音学的诸多复杂知识，因合成技术的区别，不同的TTS系统在准确性、自然度、清晰度、还原度等方面也有着不一样的表现，如何从多维度综合评价TTS系统质量成了TTS测试人员的一大挑战。针对TTS前端、后端的存在的问题，选取TTS评测指标，制定各指标评测方法，形成了一套系统的TTS评测方案。
TTS的实现涉及到语言学、语音学的诸多复杂知识，因合成技术的区别，不同的TTS系统在准确性、自然度、清晰度、还原度等方面也有着不一样的表现，如何从多维度综合评价TTS系统质量成了TTS测试人员的一大挑战。
不同的多模态模型通常会提供不同评测集上的测试结果，但迄今为止，尚无一个统一的开源评测框架来全面覆盖这些多样化的模型和评测集。
相信每个测试同学都会有这样的疑问，有时候评测效果很棒的项目，仍然会接到某些场景下的用户反馈，这个时候就需要我们重新思考应该怎么去整体的评估产品质量的好坏，怎么样建立完整的评测体系。将评测点用系统化的思维整理起来，形成全面的质量覆盖，就是我们今天要讲的软件评测体系。
4月20号，MITRE（著名的MITRE ATT&CK安全知识框架背后的企业，现为MITER Engenuity，这是一个与私营部门合作开展许多举措，特别是网络安全的技术基金会）发布了2020 Carbanak+Fin7评估的结果。
除了各类开源模型外，还有GPT-4、PaLM 2等众多「闭源」模型，甚至还开设了一个「准中文」排行榜。
我们在测试过程中往往使用不同的方式评估产品的质量，这些方法种类繁多，从简单的缺陷计数到严格的统计建模不一而足。当我们的功能涉及到过量或者无法穷尽的数据时，我们需要针对功能策略或者涉及的算法进行评测。近期小编在的项目组有一个常用接口需要进行大量数据的评测，以往的评测方式已经不足以支持这次的评测需求，小编记录了下这次优化的迭代过程，一起来看看吧~
【新智元导读】新年伊始，新智元向你推荐香港浸会大学计算机学院褚晓文团队最新论文《基准评测当前最先进的深度学习软件工具》，评测了 Caffe、CNTK、MXNet、TensorFlow、Torch 这五个最受欢迎的DL框架在 FCN、CNN、RNN 上的表现。这是伯克利RISE实验室大牛、RISC之父 David Patterson 也在关注的深度学习库评测。论文作者强调这是一个开源项目，所有配置文件和实验数据均在 http: //www.comp.hkbu.edu.hk/∼chxw/dlbench.html
在前段时间 2022 世界人工智能大会（WAIC）上， OpenMMLab 基于新一代训练架构 MMEngine ，发布了全新的 OpenMMLab 2.0 视觉算法体系，详细见上一期内容。
每天给你送来NLP技术干货！ ---- 中文语法纠错任务（Chinese Grammatical Error Correction，CGEC）旨在自动检测并修改中文文本中的标点、拼写、语法、语义等错误，从而获得符合原意的正确句子。近年来，中文语法纠错任务越来越受到关注，也出现了一些有潜在商业价值的应用。为了推动这项研究的发展，研究者通过专家标注以及众包等形式构建一定规模的训练和测试数据，在语法检查以及语法纠错等不同任务上开展技术评测。同时，由于中文语法纠错任务相对复杂、各评测任务以及各数据集之间存在差异，
导语 | 随着知识问答在行业不同垂直领域的发展，知识问答的能力也在不断的提高和升级，本着Nlper的初心和AI评测的态度，我们为知识问答设计了一份考题（评测集），让我们一起来看看在这份考题下，当前的知识问答能考多少分呢？文章作者：周磊，腾讯CSIG质量部评测研究员
定义了树-邻接语法（TAG）的阿拉文德·乔西（Aravind Joshi）教授，曾提出过“如果没有基准来评估模型，就像不造望远镜的天文学家想看星星。”
继续MLC-LLM 支持RWKV-5推理以及对RWKV-5的一些思考文章里面提到的想法，探索一下使用OpenCompass来评测RWKV模型，对模型的实际表现有一个更客观的了解。我在尝试的过程中也碰到了一些问题，所以这里记录一下使用OpenCompass评测的流程以及在评测RWKV过程中解决的问题。这里主要是记录如何跑通，后续可能会跑一下榜单去对比一下其它的模型。目前使用这个fork的版本（https://github.com/BBuf/opencompass）就可以正常做RWKV系列模型的评测了。
评测系统的设计是整个评测系统的灵魂，决定了整个评测系统该怎么做，而且对后续产品算法的走向都起到至关重要的作用。
由微信智聆语音团队研发的智聆口语评测小程序插件，能够对学习者的发音进行自动评测打分，检测发音中存在的错误。评测人群支持从儿童到成人年龄全覆盖；评测方式涵盖单词、句子、段落、自由说、情景对话等一系列评测模式。目前以小程序插件的方式开放其中的单词和句子评估两种模式。 现在开源完全基于智聆口语测评插件实现的微信智聆口语评测小程序，以进一步降低小程序开发者使用插件的门槛。 小程序开发者参考微信智聆口语评测开源实现，只需要调用几个简单API，就可以完成一个评测应用。
一、背景 在互联网信息量爆炸式增长的今天，我们已然从信息匮乏时代走入信息过载的时代。在这样的时代背景下，用户在精准内容消费方面的需求也随之提高，由此浏览器作为移动流量的巨大入口，其角色也自然发生了变化——《艾媒：2017年上半年中国手机浏览器市场研究报告》中提到“目前中国手机浏览器已发展至内容聚合及服务平台阶段，成为移动互联网超级入口及内容聚合平台的手机浏览器产品能满足用户多样化功能需求和提供丰富多样的内容服务。”移动端浏览器的业务重心已经逐渐转向内容消费。而发展个性化推荐（无论内容来源为全局热点或者是个
AI 科技评论按：本文转自微信公众号 医AI (med-ai)， 来源：arXiv.org，论文作者：Shaohuai Shi, Qiang Wang, Pengfei Xu, Xiaowen Chu，译者：吴博, Elaine, Melody 在 2016 年推出深度学习工具评测的褚晓文团队，赶在猴年最后一天，在 arXiv.org 上发布了最新的评测版本。这份评测的初版，通过国内AI自媒体的传播，在国内业界影响很大。在学术界，其反响更是非同一般。褚晓文教授在1月5日的朋友圈说David Patterso
用 8 位二进制（一个字节）来表示一个非负整数，表示的最小值是 0 ，则一般能表示的最大值是多少？
最近腾讯云又出了一款基于ARM架构的云服务器，机型代号为SR1。这款新型ARM云服务器到底是否靠谱，是否值得咱们入坑？本文将带你一探究竟。
小编新接触语音SDK项目，SDK无UI、底层调用多个C++算法库、提供的是AI服务。语音AI项目，识别效果是至关重要的一环，识别效果评测也是一项测试重点。为了制定一个专业、全面的效果评测的方案，小编学习了相关知识，对方案制定有了初步思路。希望对测试小伙伴有所帮助~~(●—●)
自动配送车作为一种物流车的商用属性，主要运用于为大众进行即时配送服务场景，决定了其日常运行的时长占比远高于一般乘用车。同时，自动配送车致力于为消费者解决最后3公里的商品即时配送的产品定位，决定了其大量的使用场景位于人口相对稠密的地区。这两个属性也决定了自动配送车在道路测试过程中需要面对更复杂的场景以及更高的行人安全保障需求。
9月初，MSU（莫斯科国立大学）公布了2018年视频编码压缩大赛的结果（http://www.compression.ru/video/codec_comparison/hevc_2018/#download_main_report_form），华为、腾讯、Intel和金山排名居前。
RAG 的全称是：Retrieval Augmented Generation（检索增强生成） 最初来源于 2020 年 Facebook 的一篇论文：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（是的，你没有看错，2020 年就有这项技术了）。
第十五届蓝桥杯大赛章程（个人赛） 蓝桥杯大赛个人赛（软件类/电子类）比赛管理办法 竞赛科目 第十五届蓝桥杯大赛（个人赛）竞赛大纲 蓝桥杯大赛历届真题
在刚刚过去的两个月里，大量的大模型依然密集地发布着。伴随着一波波的宣传，大模型界更是动辄变天，天气实在不太稳定
机器之心专栏 作者：钟格非 （港中文深圳本科生） 港中文（深圳）“凤凰 “多语言大模型，中文效果逼近文心一言，多种语言开源 SOTA；英文版”Chimera” 逼近 ChatGPT（GPT4 评测认为其有 96% GPT 3.5 Turbo 效果），数据模型训练将全开源。 背景介绍 ChatGPT 和 GPT-4 的问世，被比尔・盖茨誉为自 1980 年以来最大的科技革命。近日，相关技术和科研以 "天" 为单位快速迭代，每天都有新的类似 ChatGPT 的模型发布。其中包括 Alpaca、Vicuna、Do
大语言模型在各类 NLP 下游任务上都取得了显著进展，各种垂直领域大模型更是如雨后春笋般层出不穷。然而在 DevOps 领域，却迟迟没有相关大模型问世。为填补这方面的空白，蚂蚁集团联合北京大学发布了面向中文 DevOps 领域的首个开源大语言模型，即 DevOps-Model 。
RecBole （中文名称："伯乐"，意取"世有伯乐，然后有千里马"），由中国人民大学的AI Box团队与北京邮电大学、华东师范大学的科研团队联合开发出品。
机器之心转载 公众号：Trio 如何评测语义领域相关技术是大家共同关注的。三角兽公司基于多年理论和相关技术实践的经验，针对语义领域的 4个方向技术，将会发表一系列解读文章。本篇文章由三角兽 CEO Z
话说真的对于大专生来说已经是非常难的了呢，能拿到省一的基本上都是万里挑一的孩子呢。
自从二十世纪五十年代著名的图灵测试提出将人机对话能力作为衡量机器智能的重要指标后，对话系统便成为自然语言处理领域的重要研究方向，受到学术界和工业界的广泛关注。随着近期预训练技术的发展，对话系统的能力得到了显著提升，众多开源开放、性能优异的英文对话预训练基座模型也成为了对话系统相关研究和应用的基石。
2022年7月14日，中国信息通信研究院在北京组织召开“2022可信区块链生态大会暨首届信任科技大会”，并在会上颁发第七批可信区块链评测通过证书。 本次可信区块链评测历时4个月，测试项目覆盖了区块链功能、性能、安全、BaaS、密码、存证应用、政务应用等多个类型。评审委员会由北京大学、北京邮电大学、中国科学院信息工程研究所、中央财经大学等单位专家以及参与评测的企业代表组成。评审委员会通过对相关测试报告进行公正、全面、严谨的评审后，评出19家通过评测的厂商。 腾讯区块链是参加厂商中唯一一家在区块链平台功能评
近年来，生成式预训练模型（如 GPT）的兴起彻底颠覆了自然语言处理领域，其影响甚至已经延伸到其他多种模态。然而，像 ChatGPT 和 GPT-4 这样的模型，由于其巨大的模型规模与计算复杂度、复杂的部署方式以及未开源的训练模型，这些因素都限制了他们在学术界和工业界的推广与应用。因此，易于计算和部署的语言模型成为了人们关注的焦点。
3月6日，由国际电信联盟、中国信息通信研究院联合主办，人工智能产业发展联盟（AIIA）和中兴通讯承办的国际论坛“AI in 5G——引领新时代论坛”在深圳召开。
我们选择LTP-3.2.0 、ICTCLAS(2015版) 、jieba(C++版)等国内具代表性的分词软件与THULAC做性能比较。我们选择Windows作为测试环境，根据第二届国际汉语分词测评（The SecondInternational Chinese Word Segmentation Bakeoff)发布的国际中文分词测评标准，对不同软件进行了速度和准确率测试。
编辑：闻菲 【新智元导读】日前，腾讯AI Lab在国际最大、最难的人脸检测平台WIDER FACE与热门人脸识别平台MegaFace多项评测指标获得第一，刷新了行业纪录。研究人员表示，通过有针对的优化，这些模型都可以投入实用，并且与竞赛中表现出的性能基本齐平。 人脸检测是让机器找到图像视频中所有人脸并精准定位其位置信息，是人脸识别的前提和基础。由于视角、光照、遮挡、姿态、年龄变化等复杂因素的干扰与影响，真实场景下的人脸检测与识别问题一直极具挑战。优秀的人脸技术在政务、金融、安防等领域都具有极高应用价值。 日
美团搜索与NLP部与国内两所高校组队，提出了一种基于BERT和LightGBM的多模融合检索排序解决方案，拿下了WSDM Cup 2020 Task 1榜单的第一名。本文系获奖作者的经验总结文章。
今年 1 月，英伟达在 CES 2021 上正式发布了 RTX 3060 显卡。该显卡拥有 30 系迄今为止第二大的显存容量 12GB，仅次于 RTX 3090；采用了 3584 CUDA 核心，GPU 频率可达 1.78GHz，配备了 12GB 的 GDDR6 显存，显存位宽 192-bit。
在一个基本的评测系统中我们有了评测执行工具、评测数据、评测环境就能进行一次评测任务的执行，但现在是大数据时代，我们更多的需求是针对大量数据进行评测。比如在输入法评测中我们有10000个语料文件需要下发到100台手机上执行测试，如果靠人工控制逐一分配任务难免非常复杂混乱，影响工作效率。而一个任务分发管理平台的意义就是实现对所有任务进行统一管理，保证有序高效执行。
随着NGS测序通量的大幅提高，搭配高效NGS二级分析技术的精准解决方案快速融进基因组学的各个应用领域：遗传进化、临床诊断、分子育种、医药开发等。以下我们通过对基于CPU和GPU不同硬件平台的NGS二级分析方案进行详细评测，以期为基因组学研究领域的用户提供参考。
【磐创AI导读】：本文为中文分词工具整理分享。想要了解更多技术咨询，欢迎大家点击上方蓝字关注我们的公众号：磐创AI。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
