正在部署中,回头看看怎么finetune一下。之前NLP接触的不多,希望以LLaMA为切入点,进行扩展。比方说里面提到的finetune技术的发展,GPT-3到现在之间的多个模型的迭代,还有各种激活函数的使用。和CV完全是两个知识体系,但是都在一个世界之下。
希望对NLP有经验的朋友,可以交个朋友,互相学习~
- 微信cyx645016617
❝what is foundation language model?什么是基础语言模型?
A foundation language model is a type of language model that serves as a basis or starting point for other models. It is typically trained on a large corpus of text data and can be fine-tuned for specific tasks such as language translation or sentiment analysis. 基础语言模型是一种语言模型,用作其他模型的基础或起点。它通常在大量文本数据语料库上进行训练,并且可以针对特定任务(如语言翻译或情感分析)进行微调。
❝How does LLaMA-13B outperform GPT-3 (175B) on most benchmarks?LLaMA-13B 在大多数基准测试中如何优于 GPT-3 (175B)?
LLaMA-13B outperforms GPT-3 on most benchmarks despite being more than 10 times smaller. We attribute this to our training exclusively on publicly available datasets, whichout resorting to proprietary and inaccessible datasets. LLaMA-13B 在大多数基准测试中优于 GPT-3,尽管它小了 10 倍以上。我们将这归因于我们专门针对公开可用数据集的培训,这些数据集诉诸专有和无法访问的数据集。
❝What is open-ended generation?什么是开放式生成?
Open-ended generation is a type of task where the language model is given a prompt or input and generates a response without any specific constraints or limitations. In other works, the model is free to generated any response that it deems appropriate based on the input it reveices. This is in contrast to other types of tasks such as multiple-choice questions or fill-in-the-blank tasks, where the model is given a set of options to choose from. 开放式生成是一种任务类型,其中语言模型被给予提示或输入,并生成没有任何特定约束或限制的响应。在其他作品中,模型可以根据它所揭示的输入自由地生成它认为合适的任何响应。这与其他类型的任务(如多项选择题或填空任务)形成鲜明对比,在这些任务中,模型有一组选项可供选择。
❝如何评价不同模型的性能?
In the multiple choice tasks, the objective is to select the most appropriate completion among a set of given options, based on a provided context. We select the completion with the highest likelihood given the provided context.在多项选择任务中,目标是根据提供的上下文在一组给定选项中选择似然虽高的选项。我们选择似然最高的结果,根据提供的上下文(即需要填写的空格之前的文本)。
❝what is likelihood normalized by the number of characters in the completion?什么是按字符数归一化的似然?
To make sure that longer completions are not favored over shorter ones, the likelihood is normalized by the number of characters in the completion. This means that longer completions are not automatically considered better than shorter ones just because they have more words.为了确保较长的回答不会优先于较短的回答,可能性通过完成中的字符数进行归一化。这意味着较长的回答不会仅仅因为它们有更多的单词而自动被认为比较短的回答更好。
❝为什么OpenBookQA 和BoolQ采用了不同的测量方法。
因为这两个数据集中的填空前面都会出现"Answer",而这个信息也被考虑在了选择答案的过程中。考虑的方法,就是使用条件概率:
意思就是说,你这个答案completion,在给定前面是“Answer”的前提下,由上下文的出来的概率是多少?
❝what is common sense reasoning?
common sense reasoning refers to a type of reasoning that involves making inferences and drawing conclusions based on everyday knowledge and experience. It is the ability to understand and reason about the world in a way that is consistent with how humans typically think and behave. Common sense reasoning is an important area of research in natural language processing because it is essential for many tasks, such as question answering, dialogue systems, and language understanding in general. 常识推理是指一种推理,涉及根据日常知识和经验进行推理和得出结论。它是以与人类通常思考和行为方式一致的方式理解和推理世界的能力。常识推理是自然语言处理的一个重要研究领域,因为它对许多任务都是必不可少的,例如问答、对话系统和一般的语言理解。PDF文件提到了几个评估常识推理的标准基准,包括BoolQ,PIQA和SIQA。
❝what is Closed-book Question Answering
闭卷问答是指一种问答任务,其中模型除了问题本身的文本之外,没有提供任何外部信息或上下文。换句话说,不允许模型访问任何可以帮助它回答问题的文档或信息源。这种类型的任务旨在测试模型仅基于其内部知识和对语言的理解来推理和生成答案的能力。
❝what is reading comprehension?
reading comprehension refers to the ability to understand and interpret written text. It involves a range of skills, including vocabulary knowledge, sentence comprehension, and the ability to make inferences and draw conclusions based on the information presented in the text. Reading comprehension is an important area of research in natural language processing because it is essential for many tasks, such as question answering, summarization, and information retrieval. 阅读理解是指理解和解释书面文本的能力。它涉及一系列技能,包括词汇知识、句子理解以及根据文本中提供的信息进行推理和得出结论的能力。阅读理解是自然语言处理的一个重要研究领域,因为它对于许多任务都是必不可少的,例如问答、总结和信息检索。
后续还做了bias分析,用了很多种衡量方法,其中一种是CrowS-paris。
然后是能源消耗和碳排放比较:
<<其他>>
医学图像重建 | Radon变换,滤波反投影算法,中心切片定理
功能连接矩阵 | 双向LSTM深度时间组学习针对轻度认知障碍
ICA | 用RNN-ICA探索功能核磁内在网络模型的时空动力学
WBIR | DeepSTAPLE:UDA任务下学习多模态配准质量
<<AlphaFold2专题>>
alphaFold2 | 模型细节之Evoformer(四)
alphaFold2 | 补充Evoformer之outer productor mean(五)
<<StyleGAN2专题>>
生成专题1 | 图像生成评价指标 Inception Score (IS)
<<蛋白质分子结构相关>>
NLP | 简单学习一下NLP中的transformer的pytorch代码
DTI特征工程 | iDTI-ESBoost | 2017 | REP
DTI | Drug-target interaction基础认识
<<CVPR目录>>
第一弹CVPR 2021 | 多分辨率蒸馏的异常检测 VIT Vision Transformer | 先从PyTorch代码了解
preprint版本 | 何凯明大神新作MAE | CVPR2022最佳论文候选
简单的结构 | MLP-Mixer: An all-MLP Architecture for Vision | CVPR2021
域迁移DA |Addressing Domain Shift for Segmentation | CVPR2018
医学图像配准 | SYMnet 对称微分同胚配准CNN(SOTA) | CVPR2020
光流 | flownet | CVPR2015 | 论文+pytorch代码
图像分割 | Context Prior CPNet | CVPR2020
自监督图像论文复现 | BYOL(pytorch)| 2020
自监督SOTA框架 | BYOL(优雅而简洁) | 2020
笔记 | 吴恩达新书《Machine Learning Yearning》
图片质量评估论文 | 无监督SER-FIQ | CVPR2020
图像质量评估论文 | Deep-IQA | IEEETIP2018
图像质量评估论文 | rank-IQA | ICCV2017
注意力论文解读(1) | Non-local Neural Network | CVPR2018 | 已复现
卷积网络可解释性复现 | Grad-CAM | ICCV | 2017
轮廓检测论文解读 | Richer Convolutional Features| CVPR | 2017
轮廓检测论文解读 | 整体嵌套边缘检测HED | CVPR | 2015
卷积涨点论文复现 | Asymmetric Conv ACNet | ICCV | 2019
pytorch实现 | Deformable ConvNet 可变卷积(下) | CVPR | 2017
图像处理论文详解 | Deformable Convolutional Networks (上)| CVPR | 2017
<<小白学PyTorch>>
扩展之Tensorflow2.0 | 21 Keras的API详解(下)池化、Normalization层
扩展之Tensorflow2.0 | 21 Keras的API详解(上)卷积、激活、初始化、正则
扩展之Tensorflow2.0 | 20 TF2的eager模式与求导
扩展之Tensorflow2.0 | 19 TF2模型的存储与载入
扩展之Tensorflow2.0 | 18 TF2构建自定义模型
扩展之Tensorflow2.0 | 17 TFrec文件的创建与读取
扩展之Tensorflow2.0 | 16 TF2读取图片的方法
扩展之Tensorflow2.0 | 15 TF2实现一个简单的服装分类任务
小白学PyTorch | 14 tensorboardX可视化教程
小白学PyTorch | 13 EfficientNet详解及PyTorch实现
小白学PyTorch | 12 SENet详解及PyTorch实现
小白学PyTorch | 11 MobileNet详解及PyTorch实现
小白学PyTorch | 9 tensor数据结构与存储结构
小白学PyTorch | 7 最新版本torchvision.transforms常用API翻译与讲解
小白学PyTorch | 6 模型的构建访问遍历存储(附代码)
小白学PyTorch | 5 torchvision预训练模型与数据集全览
小白学PyTorch | 3 浅谈Dataset和Dataloader
<<小样本分割>>
<<图网络>>
图网络 | Graph Attention Networks | ICLR 2018 | 代码讲解
<<图像质量评估>>
图片质量评估论文 | 无监督SER-FIQ | CVPR2020
图像质量评估论文 | Deep-IQA | IEEETIP2018
图像质量评估论文 | rank-IQA | ICCV2017
<<图像轮廓检测>>
轮廓检测论文解读 | Richer Convolutional Features| CVPR | 2017
轮廓检测论文解读 | 整体嵌套边缘检测HED | CVPR | 2015
<<光流与配准>>
医学图像配准 | SYMnet 对称微分同胚配准CNN(SOTA) | CVPR2020
光流 | flownet | CVPR2015 | 论文+pytorch代码
医学图像配准 | Voxelmorph 微分同胚 | MICCAI2019
<<DA域迁移>>
域迁移DA |Addressing Domain Shift for Segmentation | CVPR2018
self-training | 域迁移 | source-free的域迁移(第一篇)
self-training | MICCAI2021 | BN层的source free的迁移
<<医学图像AI>>
医学图像 | DualGAN与儿科超声心动图分割 | MICCA
医学AI论文解读 | 超声心动图在临床中的自动化检测 | Circulation | 2018 | 中英双语
<<小白学图像(网络结构)>>
卷积网络可解释性复现 | Grad-CAM | ICCV | 2017
孪生网络入门(下) Siamese Net分类服装MNIST数据集(pytorch)
3D卷积入门 | 多论文笔记 | R2D C3D P3D MCx R(2+1)D
小白学目标检测 | RCNN, SPPNet, Fast, Faster
小白学图像 | BatchNormalization详解与比较
小白学图像 | Group Normalization详解+PyTorch代码
<<小白学机器学习>>
小白学SVM | SVM优化推导 + 拉格朗日 + hingeLoss
小白学LGB | LightGBM = GOSS + histogram + EFB
机器学习不得不知道的提升技巧:SWA与pseudo-label
五分钟理解:BCELoss 和 BCEWithLogitsLoss的区别
<<小白面经>>