首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

百万级类别的分类模型的拆分训练

本文使用 Zhihu On VSCode 创作并发布 很多人脸识别算法都是以分类的方式进行训练的,分类的训练方式中存在一个很大的问题,就是模型的最后一个全连接层的参数量太大了,以512为特征为例: 类别数参数矩阵尺寸参数矩阵大小...现在的开源数据越来越多,就算没有自己的数据,靠开源数据也能把类别数量堆到100万了,这种条件下,在单卡难以训练,需要进行模型拆分。 模型拆分 最容易想到的拆分方式就是拆分最大的那个fc层。...但是从上面的显存占用情况可以看出一个问题:两个GPU中的forward/backward显存增长幅度不同,GPU利用率差别也很大。...这样容易造成显存浪费,而且长期一个GPU干活一个GPU围观的情况也容易把其中一个GPU搞坏。 为了解决这个问题,可以尝试更细致的模型拆分。...更细致的拆分 我们可以把resnet50的backbone部分也拆分到两个GPU上: class face_model(torch.nn.Module): def __init__(self,num_classes

1K41
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    变量定义的分类和变量类型判断的方法

    一、变量的定义 在python中定义变量很简单,只要一个赋值语句就可以了比如: a = 10 这里就成功定义一个变量了,这里的a是变量名,=号是赋值,10是变量的值。...这里要特别注意的是使用=号把10 赋值给a,这个顺序不能错乱。 二、变量的分类 上面我们定义了一个变量a = 10 这种类型的变量属于整数类型,但是仅仅一个整数类型的变量还无法满足我们的需求。...下面就是python的常见变量类型。...基础课程中主要接触的变量类型就是上面的四种,后面还会学习到一些复杂的类型,比如字典,列表,集合等都可以归结为变量的一种类型。...这里要强调一下,变量只是一种概念,大家不要局限思想,换句话说只要一个值被=号赋值给一个变量名的语句都可以叫做变量,因为python属于弱类型语言,在定义变量的时候不指定类型,不想其他语言,定义一个整形变量需要加一个前缀

    2.2K10

    seaborn分类变量的汇总展示

    所谓分类变量的汇总展示,就是根据分类变量对样本进行分组,然后展示每一组的分布,适合多组数据的横向比较。...在seaborn中,通过了柱状图,箱体图,小提琴图等多种可视化形式,来展示不同组数据的异同,具体的函数列表如下 1. stripplot, 2. swarmplot 3. boxplot 4. violinplot...6. pointplot 该函数统计分组变量的均值和标准差,用errorbar加折线图的形式展示,基本用法如下 >>> sns.pointplot(data=df, x="day", y="total_bill...7. barplot 该函数统计分组变量的均值和标准差,用柱状图进行展示,基本用法如下 >>> sns.barplot(data=df, x="day", y="total_bill") >>> plt.show...对于分类变量的比较和展示,seaborn提供了多种可视化方式,而且内置了统计功能,我们只需要体用数据,就可以直接得到美观的统计图表了,非常的便利。

    1.3K21

    指定分类id使用指定的文章模版的方法

    ,否则为空白页) }else if($sort == "$log"){ require_once View::getView('log');//除上面指定的分类id外,其他文章模板调用log.php }...>     第二步,创建刚刚在第一步中调用的那个文件即可(ps:必须创建log.ph,log1.php) ----     如果要实现多个分类调用的不同文章模板的话,把上面第一步中的代码用else分开调用...else if($sort == "$log"){ require_once View::getView('log');//除上面指定的分类id外,其他文章模板调用log.php } ?...>的前面,加入以下代码 if($sortid==1){include View::getView('log_id');exit;} 其中sortid==1, 是要设以下那个模板文件的分类ID,多个分类使用...||,例:sortid==1 || getView('log_id')中的log_id就是以上该类要使用的模板文件名,注意模板文件名不要加.php  ---- 不同作者也可以使用此方法,只需要把其中的

    90510

    SAS-如何找出数据集超长变量及观测,并自动进行变量的拆分...

    前段时间有人给小编提了一个需求,找出数据集中长度超过200字节的变量,并对变量进行拆分...这个需求当然不难,但是还是分享给大家~主要最近没写啥程序,也就没学到啥新的技能...关于变量长度的拆分,我想也是一个常见的问题...写了一半就不想开放了...然后又懒的修改前面的,也就弄一个默认值这里 而且后面的计算规则也基本都是依据200长度来写的 ... 3.cnt:拆分后衍生变量之间的间隔符号,默认为空 下面这段程序的功能就是...200长度变量,则将这样变量塞入宏变量中 同时利用_N_给每条观测添加一个行号.......下面的宏变量就是用来存放衍生程序的语句 新生成的变量,小编采用的ksubstr来拆分变量,为什么用Ksubstr 这个地方不好言传,可以慢慢意会......: 比如IETEST这个变量最长长度269个字符,我在此处进行拆分3个语句... ?

    3.7K31

    如何查看 WordPress 文章,页面和分类等的 ID

    在 WordPress 中如何查看文章,页面和分类等的 ID,一直是用户长期存在的一个需求,网上也有很多方法,比如查看文章的编辑页面的 url 等,其实只要安装了 WPJAM Basic 插件之后,这些都会很简单...: 文章 ID 安装 WPJAM Basic 插件之后,只需要在后台的文章列表,把鼠标移到文章标题附近,在各种操作的最后会显示当前文章的 ID: 另外,WPJAM 的「搜索优化」插件还支持「后台文章列表搜索...ID」,可以支持搜索单个 ID,如123,搜索多个 ID 时候,用「,」分隔开,如123,456,678。...页面 ID 和文章 ID 一样,安装 WPJAM Basic 插件之后,在后台的页面列表,把鼠标移到页面标题附近,也会显示当前文章的 ID: 分类和标签 ID 同样,WPJAM Basic 插件也会在后台的分类和标签列表也显示分类或者标签...ID: 评论 ID 最后附加一个,如果你也用了「WordPress果酱」知识星球的的「评论增强」插件,也会在同样的位置显示评论 ID:

    43320

    WordPress || WordPress 获取当前分类 ID 的几种方法

    WordPress 获取当前分类 ID 的方法有很多,但是很多时候我们的疏忽可能导致功能的不完善,就拿我来说,在不同分类采用不同版式的情况下,后台获取分类 ID 就存在一定的错误,最终导致版式存在很严重的问题...方法一 global $wp_query; $cat_ID = get_query_var('cat'); 上面的代码非常简单,直接通过全局变量来进行 ID 的获取,但是这样的方法建议使用在分类页面的情况下...);//获得当前分类目录ID } 通过调用功能代码来实现: 方法四 $category = get_the_category();//默认获取当前所属分类 echo $category[0]->cat_ID; //输出分类id 函数返回值: cat_ID –...ID , category_count – 包涵文章数量 通过函数返回值获取不同数据,其中可以获得分类 ID。

    2.4K20

    我眼中的分类变量水平压缩(一)

    分类变量 的水平一定要压缩 模型中分类变量一般需要处理成0-1形式的哑变量。...如果变量水平本身较多,那么哑变量的水平个数也会相应变多,这种情况下去构建模型肯定不行,需要将分类变量的水平进行压缩处理。...分类变量 水平压缩的方法 一般情况,分类变量水平压缩有下面两种方法,这一篇先说说我对哑变量编码法的理解: 哑变量编码法; 基于目标变量的WOE转换法; 我眼中的 哑变量编码法 建模时,...变量压缩 的原则 变量压缩遵循的基本原则为:将缺乏变异性的 数据分类 压缩处理掉。...合并的过程需要手动完成,需要将每一个分类变量拿出来后,逐一进行列联表分析,然后人工的去挑出没有变异的值后,再手动进行合并。

    1K30

    python中的变量

    什么是变量?总结不好也记不得它的完整定义,就举个例子来便于自己学习总结吧。假如我们要计算1+2的值,那么首先在内存中要存储两个值,一个是:1,一个是:2。...假如在程序中我们用a+b来表示两个数相加,那么当a=1,b=2时,就可以计算出1+2=3,此时这个a和b就是变量,它们也可以等于其他数值,结果也是随着数值的改变而改变的。a和b的值能变动,就叫变量。...知道了变量的名字(上面的a和b)就是内存中存储的数据的别名,那么a=1,b=a,表示什么意思呢?a=1 表示内存中存有一个数值1,给它取个名字叫a。b=a表示给a取个名字叫b吗?非也。...3、python中的一些关键字不能当做变量,这些关键字已经被系统使用了,如果作为变量名就不知道是系统内置的,还是自己定义的。 4、变量名是区分大写的。 5、变量名中不能含有空格。...变量是能改变的,名字可以随意给哪个内存中的数据用嘛。而常量就是不能变的。常量的定义必须是大写字母。比如:NAME = "大能猫",表示NAME就是内存中“大能猫”这个数据的专属名字。

    2.5K10

    Js中的变量

    Js中的变量:  1:如果在var中没有初始化变量的值,则默认为undefined.  2:可以不用var来申明一个变量,但是在过程级中申明一个变量时,就必须用var.   ...var bestAge = null;  4:如果声明了一个变量但没有对其赋值,该变量存在,其值为Jscript 值 undefined。下面给出示例。    ...var currentCount  5: 在 JScript 中 null 和 undefined 的主要区别是 null 的操作象数字 0,    而 undefined 的操作象特殊值NaN (不是一个数字...js中的数据类型  1:Jscript 有三种主要数据类型、两种复合数据类型和两种特殊数据类型    主要(基本)数据类型是: 字符串 数值 布尔    复合(引用)数据类型是: 对象 数组    特殊数据类型是...: Null Undefined  2:测试是否已经声明变量 x :    if (typeof(x) == "undefined")      // 作某些操作 js中的内置对象  1:Jscript

    12.9K60

    分类变量的深度嵌入(Cat2Vec)

    在这篇博客中,我将会向你介绍如何在keras的基础上,使用深度学习网络为分类变量创建嵌入。这一概念最初由Jeremy Howard在他的fastai课程上提出。更多详情请查看链接。...分类变量:根据一定的特征,这些离散的变量可以对数据进行分类。例如计算机内存的种类(即RAM内存、内置硬盘和外置硬盘等等)。...当我们在建立一个机器学习模型的时候,大多数情况下,我们要做的不仅仅只是对分类变量进行变换并应用到算法中。变换的使用对于模型性能有着很大的影响,尤其是当数据拥有大量高基数的分类特征时。...模型摘要 嵌入层:对于分类变量,我们对于嵌入层的大小进行分类。在本次实验中我设为了3,如果我们增加其大小,它将会捕捉到分类变量之间关系的更多细节。...总结 总的来说,我们可以看到,在使用Cat2Vec后,我们可以用低纬度嵌入表示高基数的分类变量的同时,也保留了每个分类之间的联系。

    1.1K20

    less中的变量

    什么是变量和 JS 中的概念基本一样less 中定义变量的格式@变量名称: 值;@w: 200px;less 中使用变量的格式@变量名称;@w;@w: 200px;@h: 400px;@c: red;....,使用格式如下@变量名称 : @变量名称;@w: 200px;@h: @w;和 JS 一样 less 中的变量也有 全局变量 和 局部变量 之分定义在 {} 外面的就是 全局的变量,什么地方都可以使用图片定义在...background: @bgColor; margin-bottom: 20px;}.box2 { width: @w; height: @h; background: @c;}图片如果定义在 {} 中的变量在其它的...@bgColor; margin-bottom: 20px;}.box2 { width: @w; height: @h; background: @bgColor;}图片注意点:less 中的变量是...,只有相同作用域的变量才会相互影响图片@w: 200px;@h: 400px;@c: red;.box1 { @c: yellow; width: @w; height: @h; background

    31720

    CSS 中的变量

    前言 ---- 在 CSS 中,有很多需要反复使用的属性值,如果每个使用的地方都直接写死这个值,而没有使用变量去定义这个值的话,后期修改起来会很麻烦。...有很多人忽略了在 CSS 中也可以定义变量这个事情,相信你会爱上它 ! CSS 使用变量有很多好处: 可以减少样式代码的重复性,增加样式代码的扩展性和灵活性 2....(143, 143, 143, .1) } 上面代码中,声明了三个变量: --color、--size、--shadow 变量名大小写敏感,例如: --header 和 --Header 是两个不同的变量...下面代码中,变量 --side 用作属性名,这是无效的。 .foo { --side: margin-top; /* 无效 */ var(--side): 20px; } 4....green; } #alert { --color: red; } * { color: var(--color); } 蓝色 绿色 id

    2.6K10

    Java中的变量

    关注我们 注:下面讲到的初始化就是赋值的意思 变量 基本概念 我们通过变量来操纵存储空间中的数据,变量就是指代这个存储空间!空间位置是确定的,但是里面放置什么值不确定!...编号就对应于我们变量的变量名,里面存什么对应于我们变量的值。 Java 是一种强类型语言,每个变量都必须声明其类型。 Java 变量是程序中最基本的存储单元,其要素包括变量名,变量类型和作用域。...可以在一行中声明多个变量: int i ,j; 不提倡这种风格,逐一声明每一个变量可以提高程序可读性。...可以将变量的声明和初始化放在同一行中,例如: int age = 18; float e = 2.718281828f; 变量分类: 局部变量( lacal variable): 方法或语句块内部定义的变量...实例变量(成员变量 member variable): 方法外部、类的内部定义的变量。从属于对象,生命周期伴随对象始终。

    2.3K10

    python中的变量

    变量与数据类型 变量 编程语言中为了能够更好的处理数据,都需要使用一些变量。Python 语言的变量可以是各种不同的数据类型,使用变量的时候不需要声明直接使用就可以。...变量命名规则 Python 3 中的变量命名有一定要求: 变量名只能包含字母、数字和下划线。...使用变量及打印 在XFce 终端中输入 python3,进入交互环境,尝试输入如下的代码,并理解输出的含义,注意执行后不要退出,需要继续下一节的实验内容: >>> a = 10 >>> b = 10.6...,type 是 Python 3 内置的一个函数,用来显示变量的数据类型 运算 继续在上一节中的 python 3 的交互环境中执行下面的操作,理解 Python 3 中的数学运算: e = a + b...Python 3中的内置函数 len() 可以获得字符串包括的字符数量: len(str2)

    2.8K00

    MariaDBMySQL中的变量

    能在运行过程中修改的变量称为动态变量,只能在数据库实例关闭状态下修改的变量称为静态变量或只读变量。动态变量使用set修改。如果在数据库实例运行状态下修改静态变量,则会给出错误。...在begin...end中的set是一般set语句的扩展版本,它既可以设置系统变量、用户变量,也可以设置此处的本地变量。 set var_name=expr,[var_name=expr1,...]...或者使用select...into语句从表中获取值来赋值给变量,但是这样的赋值行为要求表的返回结果必须是单列且单行的标量结果。例如下面的语句将col的列值赋值给var_name变量。...因此: (1).带有锚定功能的decalre语句可以定义在存储程序的任意位置; (2).在存储程序中删除锚定的表对象,或者修改了锚定的表结构,都不会改变存储程序调用时声明的变量类型; (3).所有带锚定功能的...如果游标中的ROW TYPE OF变量是定义在一个循环之中,则数据类型在循环的开头就已经获取,且之后的循环不再改变。

    2.3K10

    Shell中的变量

    (2)等号两侧不能有空格 ​(3)在bash中,变量默认类型都是字符串类型,无法直接进行数值运算。 ​(4)变量的值如果有空格,需要使用双引号或单引号括起来。...unset readonly B=2 echo $B 2 B=9 -bash: B: readonly variable ​(5)在bash中,变量默认类型都是字符串类型,无法直接进行数值运算 C=1...$D I love b ​(7)可把变量提升为全局环境变量,可供其他Shell程序使用,规则:export 变量名 vim helloworld.sh 在helloworld.sh文件中增加echo...1 2 3 // 参数的内容 1 2 3 // 参数的内容 特殊变量:$?...(功能描述:最后一次执行的命令的返回状态。如果这个变量的值为0,证明上一个命令正确执行;如果这个变量的值为非0(具体是哪个数,由命令自己来决定),则证明上一个命令执行不正确了。)

    1.6K20
    领券