- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI智能体从入门到实践
构建AI智能体：大模型如何“考出好成绩”：详解内在评测与外在评测方法
四、如何去评测语言模型 评测语言模型是一个系统工程，主要有两大流派：内在评测和外在评测。内在评测：就像一个学生既要考基础知识测验，也要参加综合实践项目。 ：内在评测应与其他评估方法结合使用，避免单一指标误导方法二：外在评测 — 检验实战1. 方法总结外在评测核心：通过实际任务表现评估模型，关注实用性而非理论指标RAG架构价值：结合检索与生成，提高答案准确性和可解释性多维度评估：需要从多个角度（准确性、相关性、流畅度等）综合评估实践导向：外在评测结果直接影响模型的选择和优化方向两种方法对比维度内在评测外在评测定义评估模型基础语言能力评估模型在具体任务中的表现关注点模型的语言建模基本功模型的实际应用效果评测环境孤立 选择方法： 主要用内在评测、外在评测还是其他方法准备数据： 构建高质量的标准测试集（如一堆问题+标准答案）。运行评测： 让模型在测试集上运行并收集结果。 五、总结： 在选择模型时，不要只看宣传参数，更要关注它在与你任务相关的基准测试和外在实际任务中的表现，内在评测看基本功，外在评测看实战能力，两者相辅相成，结合使用才能全面评估一个模型。
6300编辑于 2025-11-19 - 来自专栏代码洁癖患者
代码洁癖系列（五）：外在的格式美
我们在阅读一些优秀项目的源码时，一定会感叹他们代码的整洁和一致性。而作为第一印象，代码格式的整齐是让人能够继续阅读下去的动力。今天我们分别从垂直格式和横向格式两个方面来讨论代码的格式。修正格式的方法有：间隔、靠近和调整顺序。
62010发布于 2020-03-11 writableBytes() 方法返回的字节数之外在加上 readerIndex
public abstract class AbstractByteBuf extends ByteBuf {
15010编辑于 2024-08-21- 来自专栏搜狗测试
软件品质评测系统-评测结果展示
1 ● 为什么要进行数据展示 ● 在前几次的分享中，设计了好的评测体系、具备了数据挖掘分析能力、选择高效稳定的评测执行工具后，我们会拿到第一手的评测数据。 在我们之前的实践过程中，拿到原始评测数据后会通过观察数据给出一个评测结论。长此以往发现这样并不利于保存数据记录，并且没法反映出一段时间内评测指标的变化趋势。 2 ● 哪些数据需要展现 ● 评测结果展现 对于在评测设计时选定的评测指标，需要准确完整地展现在评测系统中。 我们据此设计了一个评测的结果报告，每次评测完成后会通过该报告给出评测结论： ? 即我们最终展示给用户的评测结论以及各类图标数据，都应当与原始的评测结论、数据保持一致，同时评测结果的展示要与最终上线后预期的结果或趋势保持一致，这样的评测结论才是可信的、有指导意义的。
2.7K20发布于 2020-08-11 - 来自专栏搜狗测试
软件品质评测系统-评测体系
2 ● 评测体系的内容 ● 评测体系可大可小，根据评测的内容而有所不同，一个完整的评测体系应包含： 评测对象 评测属性 评测场景 评测指标 在进行评测体系的设计之前，首先应明确评测对象是什么，可以大到一个系统 有了评测对象后，根据产品的需求或者应解决的问题，就可以确认哪些评测属性，比如准确度，覆盖度，再比如多样性，健壮性等。 评测属性再向下，确认好评测属性的应用场景及指标项，综合形成评测矩阵。 将以上结合，就是一个完整的评测体系。 ? 3 ● 评测体系的设计方法 ● 评测对象相对来说比较明确，接下来就是被测对象的特质进行评测属性的选择，以及确认好评测属性后进行评测矩阵的划分。 评测场景的选择 确认好了评测属性以后，接下来就是针对评测属性进行评测场景的覆盖及指标项的选择。评测场景一般是根据实际应用场景结合实现细节进行敲定。 评测矩阵 当评测属性，评测场景及评测指标一一敲定后，我们可以根据矩阵思想，将属性，场景及指标建立成一个二维矩阵，后续可以按照迭代的版本维护起来，全面的展示该评测对象需要重点评测的全部内容。
2.9K20发布于 2020-07-14 - 来自专栏腾讯云智慧零售
智慧零售的显性外在与底层能量
在移动终端和数字化的影响下，传统零售企业的困境与挑战也越来越明晰：一、销售额瓶颈，二、降本增效困难。 针对这些挑战，2018年2月2日下午，腾讯云举办了一场主题为“智慧零售，赋能品牌新生机”的workshop，腾讯云副总裁王祥宇、腾讯云智慧零售产品团队与在场的合作伙伴、零售品牌主理人分别分享了精彩的零售转型案例。 时尚女鞋品牌如何以“智慧”冲出重围？ 腾讯智慧零售产品团队分享了为某国内知名女鞋品牌落地实施的智慧零售解决方案，通过大数据、人工智能、云计算等前沿科技，为传统零售业的人、货、场提供前所未
91820发布于 2018-09-14 - 来自专栏前行的CVer
LLM评测
当前开源大模型中，Mixtral-8x22B-Instruct-v0.1在 MT-Bench（多轮会话&指令遵循）、MMLU（信息知识）中表现基本持平头部开源模型，并比GPT3.5略好，但在TruthfulQA（客观事实）上略逊于头部开源模型。Mixtral模型当前处于开源大模型第一梯队。 但通过Mixtral Demo体验，其支持语言主要为欧洲语系，且在回复质量上还是存在诸如指令遵循、信息冗余、misinfo等明显问题。
95110编辑于 2024-08-05 - 来自专栏数据结构与算法
2840 WIKIOI——评测
2840 WIKIOI——评测 时间限制: 1 s 空间限制: 2000 KB 题目等级 : 白银 Silver 题目描述 Description Wikioi上有一题有N个测试点，时限为
1.4K80发布于 2018-04-13 - 来自专栏LuckQI
icx项目评测
（注：在评测公链项目时，我把“使用区块链的必要性”调整为了“产品特色与创新”） ◆代币升值逻辑：16/40 这一点看的有点困惑，感觉icon项目代币升值逻辑的不确定性主要体现在两个方面： 一是每年增发与否取决于一个名叫
1.5K20发布于 2018-07-19 - 来自专栏LuckQI
项目评测etherparty
●总得分：51.1/100分 想做的目标很好，但是产品特色和目前的团队配置可能还需要进一步的补强，未来也有必要根据后续的推动情况，作进一步的动态评测。
1.5K20发布于 2018-07-19 - 来自专栏PHP学习网
PHP技能评测
公司出了一些自我评测的PHP题目，其中好多题目在面试的时候都会碰到，大家可以看看学习学习。 1. 魔术函数有哪些,分别在什么时候调用?
1.3K30编辑于 2022-08-03 - 来自专栏搜狗测试
不可缺少的评测方案-主观性能感知评测！
“主观性能感知评测”。 该评测选取主要使用场景，由人工操作与竞品对比，根据执行人员的主观感受来评测应用的流畅度，下面来介绍一下如何制定主观性能评测方案。 APP选取 1. 制定评测标准 由于本评测为主观性能评测，不会有详细数据输出，因此就以是否卡顿制定标准，制定标准如下： 1. 流畅：无任何卡顿感觉，使用顺畅； 2. 一般流畅：没有明显的卡顿感觉，用户难以感知； 3. ，网络环境需要保持一致，最好不要切换网络，如果网络情况不佳，建议更换一个稳定的网络进行评测； 3．每次执行评测时，应用版本不能更换； 4．每次执行评测时，执行人员不能更换； 执行测试 根据测试方案执行表格中的 总结 主观性能感知评测，在评测中是不可缺少的，能直观的反映出应用与竞品在用户使用层面的差距。
1.6K10发布于 2020-06-04 - 来自专栏个性化推荐评测
TTS系统评测方法介绍--WSRD AI评测实验室
AI评测实验室针对TTS前端、后端的存在的问题，选取TTS评测指标，制定各指标评测方法，形成了一套系统的TTS评测方案。 二、评测指标介绍 针对上文提到的前后端可能存在的问题，选择如下指标来评测TTS。 [lf3hxj32az.png] 三、评测方法介绍 本章详细介绍评测时重点关注的发音准确性评测和MOS评测。 评测方法 数字部分的评测方法与符号类似，为加快标注速度直接对前端归一化输出做判断，而不是对测试语料进行标注后再与前端输出结果做比较，形式如下： [lqd2s3xxui.jpg] 3.2 MOS评测 MOS 语料建设 前端的评测通过发音准确、韵律准确等来评测，MOS评测应该专注于整体自然度，因此准备测试语料的时候尽量避开了多音字、符号、数字语料，从各领域和TTS实际应用场景摘选常规文本作为测试语料。
18K115发布于 2018-07-02 - 来自专栏LuckQI
小牛币（MVC）评测
黄埔一期冠军小牛币（MVC） 朋友您好！ 先说得分和结论：小牛链64.7分，中上等。 这个项目启动也快一年了，所以我把它看作是一个成长中的项目，在评估它时，主要考虑三方面：所处行业，团队配置，生态建设。 评估过程如下（结果已给，以下内容为选读） 所处行业。权重50%。 ◆主要的目标：22/40分。 小牛链想做的事情略大，简单地说，有点像本体+比原链——一方面为开发者提供便捷的开发界面，另一方面又要想把实体资产代币化，转换成数字资产，个人对小牛这种双线作战的想法
1.5K50发布于 2018-07-19 - 来自专栏LuckQI
cybermiles(CMT)项目评测
草莓糖已评测完毕。 先说得分和结论：cmt，58.7分，中等。 感觉自己下手似乎有点狠，可能后续需要进行动态跟踪和评估。 具体推理过程如下。
86930发布于 2018-07-19 - 来自专栏搬砖笔记
Linux评测Bench脚本
中文脚本 wget -N --no-check-certificate https://raw.githubusercontent.com/FunctionClub/ZBench/master/ZBench-CN.sh && bash ZBench-CN.sh 英文脚本： wget -N --no-check-certificate https://raw.githubusercontent.com/FunctionClub/ZBench/master/ZBench.sh && bash ZBench.s
2.4K10编辑于 2021-12-13 - 来自专栏搜狗测试
如何设计评测方案
作为测试，所在项目组上线一个新功能或者评估核心功能品质时，都需要通过评测进行定量评估效果。那么怎样才能更好的评估功能效果，设计出合理的评测方案呢？今天我们以评测功能效果的评测设计方案为例进行讲解。 一、明确评测目的 任何一件事情都是以目标为导向，目标不同，采取的行动方式也会不同。所以，明确评测的目的特别重要。 对要评测功能的实现逻辑掌握程度，决定着思考的评测方案的全面性和合理性。因为只有了解了功能的运行框架逻辑，我们才能分析出哪些因素会影响评估结果，以及评测的维度如何选取。 四、确定评测指标 确定评测维度后，要考虑的就是横向指标。通过评测目的进行指标的演化和拆解，抽取关注的指标。然后通过指标进行二次拆解，分析哪些数据会影响指标的数值。 六、评测执行过程设计 设计评测方案分为两部分：评测执行过程和数据集。 通过前期工作的准备，其实我们已经完成了事情的80%。
1.5K20发布于 2020-01-02 - 来自专栏移动应用测试
视频负反馈评测
视频评测 1、获取视频vid 评测的模型训练完成后，就可以用来评测线上的数据了。线上数据的获取，视频这边是从播放记录拿的数据。 2、获取视频评论 将评测的脚本放到公司的 Docker上，评测脚本每天定时执行。执行时从 mdb 获取 vid，然后脚本根据 vid 获取视频的评论。 3、开始评测 将一个视频的所有评论使用模型评测，如果评论结果为问题视频（根据负面视频的占比），还会将该 vid 对应的信息补全（视频标题，封面图等信息）方面后期运营同学处理评测结果。 结果处理 1、人工下线视频 模型评测出的视频，不会是 100% 的问题视频，总会有失误的情况。因此将评测出的视频放到了一个 mdb 的表里面，由运营同学再次人工审核下线，而不是直接下线。 3、模型结果和优化 当前的的评测模型每天能识别出 100 多个问题视频，经过人工确认的视频有 40-80 个，占比 70% 左右。运营同学手工确认的问题视频，后台也会收集用来优化模型。
1.4K60发布于 2018-07-17 - 来自专栏技术成长
如何评测图系统
可以使用工具来进行性能测试，例如使用Apache JMeter等工具模拟并发请求，测量系统的吞吐量和响应时间。
63161编辑于 2023-11-03 - 来自专栏charlieroro
评测Loki日志工具
本文仅对Loki进行简单评测，不涉及原理和细节。 部署Loki Loki是grafana团队开发一个日志采集工具。推荐使用helm方式安装loki，官方推荐的tanka需要使用aws的s3服务。
2K20发布于 2020-07-21
腾讯云开发者
