首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

训练BERT,我只花了一半的时间

这时候,字节第二快的男人要站出来了(第一快是我mentor),手把手教你怎么让训练时间缩短一半。...per_device_train_batch_size 32 \ --num_train_epochs 3 \ --output_dir /tmp/mrpc/ \ --overwrite_output_dir \ --fp16 我这里是单卡训练的...inject_ls_enc_layer函数就是用来替换BERT中的每一层encoder的,首先定义每一层的参数配置,然后用LSHFTransformerEncoderLayer类去替换原始的encoder...LightSeq的encoder类初始化的时候提供了预训练参数初始化的选项,我们只需要将预训练参数从Hugging Face的BERT中提取出来即可: def get_hf_bert_enc_layer_params...总结 最终对比下来,Hugging Face花了「45秒」训练完成,DeepSpeed花了「37秒」,而LightSeq只花了「25秒」。

93720

那些做了一半的项目

最近有一个项目做了一半不做了,准确地说是由于某些原因,项目需要别的团队来接手了,于是我想随便聊聊这个话题。...我猜想,“项目做一半撒手”,这应该是一个很常见的现象,因为这样的事情无论大厂小厂,在软件的世界里不断上演。...具体来说,有这样几种典型的情况: 业务变动、组织调整,工作重心变了,项目做了一半直接砍掉,或者无限期停工。这大概是最常见的一种情形。...而甚至有时候整个部门或团队都砍掉了,我在亚马逊的时候就经历了这么一回,一个原本负责商品在欧洲内各个国家之间方便流通的团队就这样直接砍掉了,当时作为团队里的一份子,我获得了几个 “下家” 团队的选项。...因此我觉得这不是一个特别职业的表达。 最后,回想起来,这种 “做了一半的项目” 还真是挺常见的。非常遗憾,可对于一个大型的组织来说,回头是岸,及时止损,通常可不是坏事。

40920
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    统一定制API返回格式,我只做了这几件事

    ,询问主管他居然告诉我用HTTP状态码就够用了(fxxk),天哪HTTP状态码真的够用吗? 在仔细的阅读了项目源码后发现,在API请求的是居然没有业务异常(黑人问好)。...JSON格式了, 但是我们也发现了一个问题了,想要返回统一的JSON格式需要返回Result才可以, 我明明返回Object可以了, 为什么要重复劳动, 有没有解决方法, 当然是有的啦,...下面我们开始优化我们的代码吧 统一返回JSON格式进阶-全局处理(@RestControllerAdvice) 我师傅经常告诉我的一句话: “你就是一个小屁孩, 你遇到的问题都已经不知道有多少人遇到过了...是不是很鸡汤, 是不是很励志, 让我对前辈们充满着崇拜, 事实上他对我说的是: “自己去百度”, 这五个大字, 其实这五个大字已经说明上明的B话了, 通过不断的百度和Google发现了很多的解决方案....)) 卧槽, 异常处理, 差点把这茬给忘了, 这个异常处理就有很多方法了,先看看我师傅的处理方式, 我刚拿到这个代码的时候很想吐槽, 对异常类的处理这么残暴的吗, 直接用PrintWriter直接输出结果

    2.2K20

    躺平不是我想要的生活!

    我的工作就是为了家人,让他们能生活无忧!我媳妇生病后,我挣的工资就是给她看病,在医无可医时,家人选择让她回家终了,尽管接受了事实,过程走的也异常的辛苦,然逝者已逝,生者前行!...你说我们是否应该换一个更有意义的职业?确实,我在考虑转行! 出路在哪里,挣更多的钱还是改行?...这种想法我也没想明白,首先应付本职工作的态度肯定不会得到你当前领导的认可,另外发展副业能比现在的主业做的好,付出的努力自然要更多,效果收益比其实很明显,结局可能是两个都没能干好!...工作,一定意义上也不仅仅是一份收入,更是你融入这个社会,被认可的一种途径,自我的价值实现途径;现代人的生活,不仅是自己过的有多好,需要考量的是,你给别人带来了什么,没有你,其他人的生活有多大的影响,而其他人的数量则代表了你在这个社会的影响力...我为什么想要躺平? 1、太累,腰累,身体累,缺觉,需要真正的躺平! 2、天性懒惰,之前已经很努力勤奋了,不想比之前更勤奋,主要是天性如此,因为自律管着!

    25830

    智能推荐:“相关性搜索”只给你最想要的

    随着搜索在基础架构方面越来越多的难题得到解决,加之解决方案的商品化进程,搜索引擎的竞争已经从如何提供快速、可伸缩的搜索,转变成如何针对用户的信息需求提供最相关的匹配。...它会将搜索引擎打造成一个看似智能的系统,能够理解用户和业务的需求。让搜索引擎理解内容中包含的重要特征(feature):比如餐厅的位置,书中出现的词汇,或者衬衫的颜色这样的属性。...有了准确的特征,当用户在应用内搜索时,就可以计算出什么对他们而言是重要的:这家餐厅离我有多远?这本书上讲的内容对我有帮助吗?这件衬衫和我刚买的裤子搭配吗?...信息检索中的很多发现,都是在试图衡量给定的文章与用户的文本查询在多大程度上具有相关性。这些发现中有很多都已经在开源的搜索引擎中被实现了。...采用开源引擎怎样定义出一个框架,既包含狭义的领域特定因素,又用到广义的信息检索技术呢?以下几点是需要考虑的。 ü 识别出能够刻画内容、用户或搜索查询的关键特征。

    1.4K40

    我做了款组件上传的插件

    做这款插件确实有点吃饱了没事干的嫌疑,毕竟 maven-publish 已经提供了很好的支持,但一想到每次都要写一遍那一大段的 publishing 又会觉得,能省几行代码是几行代码,也看过其他人将 publishing...相关的内容抽离到一个独立的 gradle 文件中,想用的时候再 apply from 引入一下,但始终觉得,这种每次都要拷贝文件到仓库的方式显得太麻烦,就没有那种直接申明 GAV 就可以上传的嘛?...所以,我就想到了开发这个插件。...也不行,起初怀疑是自己的 workingDir 设置的有问题,所以,尝试了下新建文件的命令 touch a.txt 来看看是否能生效,试了下是成功的,在仓库的目录生成了 a.txt 文件,这就让我百思不得其解...为了不让自己思路进入死胡同,转而使用 eclipse 开源的 JGit 来实现,JGit 是一款 java 实现的用来操作 Git 的轻量库,本来想直接用 JGit 来操作整个 Git 流程的,但在用

    1K40

    我做了个很帅的网站!

    大家好,我是鱼皮,今天来分享一下我最新上线的作品~ 相信大家都用过浏览器主页,在我小的时候,印象中的浏览器主页是这样的: 这类主页上有一堆无用的链接,看起来就很复杂,很多时候我都是被迫捆绑设置了这些主页...就拿我自己的使用习惯来说,像我在工作中经常要从不同网站去搜索内容,比如百度、Google、GitHub;有时还要用一些翻译啊、倒计时之类的小工具。这个时候我就要在不同网页中穿梭、跳转。...作为一个懒人,我不能接受这种麻烦。 所以我理想中的浏览器主页应该可以用最快捷的操作完成我常用的所有功能。 最好是我脑袋想到要搜索什么内容就能立刻打开网页哈哈,但是这个我实现不了。...于是,几个不眠之夜后,我一个人从 0 开始做出了这款真正极简的、极客范儿的浏览器主页 YuIndex !...后面我计划开发云端同步功能,你就可以跨设备地维护和共享自己添加的内容。 小工具 除了上面的基本功能外,这个网站最强大的能力就在于 —— 包容万物,我可以把所有实用的工具全部封装在小小的命令行里。

    53410

    我做了一天的实验!

    大家好,我是小林。 在前一篇文章我讲了下 MySQL 的全局锁、表记锁和行级别锁,其中行级锁只提了概念,并没有具体说。...其中,id 是主键索引(唯一索引),b 是普通索引(非唯一索引),a 是普通的列。 注意,我的 MySQL 的版本是 8.0.26,不同版本的加锁规则可能是不同的。...总结 这次我以 MySQL 8.0.26 版本做了几个实验,让大家了解了唯一索引和非唯一索引的行级锁的加锁规则。 这里需要注意的是,不同的版本加锁规则可能会有所不同。...我这里总结下, 我这个 MySQL 版本的行级锁的加锁规则。 唯一索引等值查询: 当查询的记录是存在的,next-key lock 会退化成「记录锁」。...这些加锁规则其实很好总结的,大家自己可以用我文中的案例测试一遍,看一下你的 MySQL 版本和我的 MySQL 版本的加锁规则有什么不同。 就说到这啦, 我们下次见啦!

    49031

    这不是我想要的科研辩论

    我理想中的科研应该是据理力争的辩论,而不是居高临下的指出对方明显的事实错误! 因为在科研中, 应该追求真理、理性探讨,并且勇于质疑和验证假设。...但是现实情况是 我看到的都是事实性的错误,指正它就完了,压根就没有辩论的空间!...比如交流群的各个小伙伴提供的素材,大概有100多单细胞文献都或多或少有一些“无关痛痒”甚至“致命”的bug,我稍微整理了其中5个文献,有意思的是感兴趣的小伙伴很少很少,而且没有人参与讨论。...其实这个是最有可能发展为科研辩论的,可惜的是现有的科研环境不支持这样的事情发生!!! 在科学史上,有许多著名的科研辩论案例 这些辩论往往推动了科学的进步和知识的发展。...在科研过程中,辩论是科学进步的重要驱动力。我记得咱们华语科研圈也参加有过一次辩论:

    9010

    那个拒绝干活的同事,做了我的上司

    …… 这里推荐一下我的JAVA架构学习交流群:835544715 ,想要学习Java高架构、分布式架构、高可扩展、高性能、高并发、性能优化、Spring boot、Redis、ActiveMQ、Nginx...个人浅见,我觉得主要有以下三种心态: 我是金主爸爸,给钱了啊!给你们提点要求,难道不是应该的? 我就是试试,看看你们的底线到哪里。 我其实也不知道想要啥。...负责任地说,你若真那么做了,才是两头不落好。 一方面,从人性角度,客户会要得更多。另一方面,老板不会满意。何况,你自己的精力也并非无穷无尽。...他在邮件末写了严厉的措辞,大意是,不想教你可以直说,何必教一半来害人?我们将保留进一步追究的权利。 我愕然且愤怒,张口结舌想辩解,领导摆摆手说,我已派你师父去现场,你的过错他要负责。...因为这不失为拉近客户关系最好的契机。 05 聪明的服务交付人员不是纯粹的执行者,从来不该只知埋头苦干。以适度可控的投入达成合同目标,才是专业的交付者应该尝试达到的境界。

    79700

    为了方便查询疫苗批号,我用了一个周末做了个小程序

    每次接种我都会认真核对疫苗本上、疫苗系统里、疫苗上,三者的批次号一致。...我又去微信里看了看确实有几个批次号查询的小程序,但大多数据就停留在18年不再向后更新了。...作为程序员的我准备亲力亲为自己实现一套 数据采集 数据来源肯定就是中食药检官方网站,首先分析了下数据页面全部都是HTML静态页面,我使用了Jsoup进行页面的拆分获取。...保证之后程序会一直有新的数据。 抓取数据后就是做一个REST风格接口,接收疫苗号为后续的小程序查询做准备。...首页面为表单页面,方便输入疫苗的批次号,这里的输入信息支持模糊查询,只要输入大于4位的批次号即可。 2. 查询列表页面,因为不同厂商的疫苗可能会使用同一个批次号名。所以这里会列出多份数据。

    96660

    我的年薪居然等于挤奶工的一半

    突然发现,我的年薪,居然等于挤奶工的一半,默默擦拭了流下的两行热泪。 同样月薪,我摸鼠标别人摸奶,可能这就是差距。...但平时,我的很多碎片化时间都浪费在了与粉丝的私信交流,解决回答问题上,而很多人提出的问题,大部分都能在百度上搜索出来。可能是有很多学生不太懂得利用搜索引擎,去查找自己想要的内容。...我以为这个办法,完美的解决了沟通效率低下的问题。后来的事情证明,这仅仅只是我以为。之后还是会有一些粉丝,加我微信私聊一些,我曾经回答过的问题,这一度让我很苦恼。 这是其一,还有其二。...其实,我是不建议你们问在吗、有空吗等试探性的问候方式,很多大佬的时间都很宝贵(当然,我不是说自己是大佬),我建议有问题请直接说出你的疑惑,先多介绍点自己的个人情况,然后再讲讲目前所处的困境,遇到的瓶颈,...说完送书之后,再来说说我最近的一些思考,有些决定是很难下的。我作为很多人心中的人生导师,帮助大家传道授业解惑,我是很乐意的。

    63110

    我最想要的EXCEL数据分析书

    偶然间在某二手书市场看到这本《我最想要的EXCEL数据分析书》,书名非常霸气。看了下原书名是《1億人のための統計解析》,也很霸气。于是耗巨资(10元)买入,看看是不是真的霸气。...但这丝毫不影响我给这本书打五星。 绝大部分使用Excel进行分析(也许是做表)工作的人可能仅仅使用了小学的数学知识,即加减乘除。统计学的鬼画符和一堆专有名词让人望而却步。...这本书取得了一个很好的平衡点,仅仅使用了最常用的少量的统计方法进行极致的应用。并且也没有复杂的公式,统计函数均为Excel内置。 首先是从何下手?...结语处作者的一句话我深表赞同:分析本身并没有价值,基于分析结果采取行动并取得成果才赋予了它价值。 有思想的工具书可以经受得住岁月的考验。...BI看板 https://mianbaoduo.com/o/bread/mbd-YZmXmJpw Pbix模板:Power BI店铺存货仓位查询看板 https://mianbaoduo.com/o/

    69610

    从长亭的wiki上获取我想要的数据

    本文作者:myh0st 那么,如何寻找喜欢分享,有可能加入我们的同学呢? 通常有自己博客的朋友都可以算作是喜欢分享,技术能力是次要的,只要爱分享就是我们所寻找的有缘人。 那么如何寻找有博客的朋友呢?...,所以这就是一个比较好的资源库,有大量的喜欢分享的朋友在上面,所以这就是我的目标。...保存完之后,就可以用我们的 emeditor,这个编辑器是我最喜欢的,功能很强大,把所有短链接提取出来,如下图: ?...分析获取的链接数据 拿到结果之后,我们要把这里面涉及的网站做个统计,看看哪些网站出现的次数最多,发布的文章最多,这里可以使用 linux 下的两个命令:sort 、 uniq。...下面就可以看小伙伴的博客,如果内容比较好的,我就联系大家了。

    1.8K00

    正经的我,做了个不正经的项目

    对于我来说,也不需要太过复杂,能够满足我自己的要求就行。 那么这就要求这个 Logo 有一些特点: 设计简单:很多带吉祥物的 Logo 就不适合我了,因为要去准备吉祥物的图片。...项目应当加入 Google Analytics,加入统计,就知道有多少人用过我的项目了,也是一种成就感。 项目应当加入我的个人信息,用来给我自己推广,顺便刷一波脸。...设计布局 在完成了产品的功能,我又进行了布局的设计,这次我用的是 Adobe XD,最近很喜欢用这个工具来设计产品的界面,非常的方便。最终设计完成的版本如下: ?...在完成了基本的界面后,就是涉及到的一些库的使用了,这里要感谢前端生态圈的繁荣,我从 Picas 和 Carbon 的源码里找到了我想要用的库。...最后 关于这个项目的故事,我已经说完了所有我能想到的了,接下来,就是你的提问时间了,欢迎你针对项目对我提问,无论是产品、设计、编码,都可以~

    45620

    正经的我,做了个不正经的项目

    对于我来说,也不需要太过复杂,能够满足我自己的要求就行。 那么这就要求这个 Logo 有一些特点: 设计简单:很多带吉祥物的 Logo 就不适合我了,因为要去准备吉祥物的图片。...项目应当支持自定义颜色,毕竟可能有其他的方面,需要类似风格,但是不同的颜色的 Logo 项目应当支持自定义文字大小,毕竟我导出的是 PNG,如果不能自定义大小,大家可能会很困扰。...项目应当加入 Google Analytics,加入统计,就知道有多少人用过我的项目了,也是一种成就感。 项目应当加入我的个人信息,用来给我自己推广,顺便刷一波脸。...设计布局 在完成了产品的功能,我又进行了布局的设计,这次我用的是 Adobe XD,最近很喜欢用这个工具来设计产品的界面,非常的方便。最终设计完成的版本如下: ?...在完成了基本的界面后,就是涉及到的一些库的使用了,这里要感谢前端生态圈的繁荣,我从 Picas 和 Carbon 的源码里找到了我想要用的库。

    69810

    我做了这些准备,终于拿到FaceBook的offer

    这是我为这些面试做准备的方法,以及我在此过程中学到的知识。 我多年的硅谷之旅 当我在澳大利亚的大学学习计算机科学时,我总是憧憬着只是能作为作为一名硅谷软件工程师。...我喜欢成为所有科技行业创新核心的想法,以及它的缺点。这个目标使我充满动力,使我更加专注。 我离开了我在墨尔本一家令人惊叹的公司担任iOS首席工程师的职位,然后回到我的家乡珀斯读书。...那些练习面试对我应对压力至关重要。但后来我意识到,它们只相当于真实面试的一部分。...就个人而言,我真的很喜欢在白板上写算法,因为我不必担心(大部分时间)编写可编译语法,这让我只专注于关于眼前的问题。其他人可能不喜欢白板,但是我要对他们说坚持练习,可能会改变主意。...我只看到过这种面试的一个实例,我觉得这样做很难,尤其是他还是初级的时候。每种编码环境有自己的小怪癖和细微差别,我所做的很多拼凑都是来自以前的IDE(集成开发环境)及这些年来我积累的框架的相关经验。

    90520
    领券