首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    如何windows更好的支持Linux开发

    我比较烦的是linux或者说mac上的命令在windows上不能用,再次降低了我的开发效率。要是在windows上执行一个脚本,就必须用第三方的软件了,还要切换目录。...powershell的配置,其实主要是在【设置】里:当然,部分的windows电脑没有git bash选项,需要自己去添加:其它的字体颜色等个性化设置,可以点击这里设置:注:windows这样配置,可能会出现中文乱码问题...其实这个最简单:新建终端,测试一下效果:至此,我们已经可以用git bash替换默认的终端,windows更好的支持Linux的开发了。...以上就是今天分享的全部内容了,觉得不错的话,记得点赞 在看 关注支持一下哈,您的鼓励和支持将是shigen坚持日更的动力。与**shigen**一起,每天不一样!

    15610

    怎么英文大预言模型支持中文?(二)继续预训练

    代码已上传到github: https://github.com/taishan1994/chinese_llm_pretrained Part1前言 前面我们已经讲过怎么构建中文领域的tokenization...我们新增加了一些中文词汇到词表中,这些词汇是没有得到训练的,因此在进行指令微调之前我们要进行预训练。预训练的方式一般都是相同的,简单来说,就是根据上一个字预测下一个字是什么。...萧 炎 的 脸 庞 在 不 同 时 期 会 发 出 来 , 这 样 的 眉 目 和 眉 目 能 够 很 容 易 的 在 一 起 , 能 够  人 看 得 见 的 就 是 这 样 的 眉 目 。 ...那 一 对 情 侣 还 是 非 常 喜 欢 的 , 不 过 他 们 的 交 往 方 式 也 是 各 种 多 样 的 , 最 后 的 交 往 方 式 就 是  所 有 的 人 都 看 到 了 自 己 的...Part5总结 到这里,你已经了解了怎么构建中文词表并继续预训练了,接下来可能你还想了解指令微调,那我们下期再见。

    95720

    怎么英文大预言模型支持中文?(一)构建自己的tokenization

    而原始的llama模型对中文支持不太友好,接下来本文将讲解如何去扩充vocab里面的词以对中文进行token化。 Part2数据预处理 对斗破苍穹语料进行预处理,每一行为一句或多句话。...Part3sentencepiece 首先,我们需要去构建中文的词库。一般的,目前比较主流的是使用sentencepiece训练中文词库。...Part5怎么合并英文词表和中文词表?...'▁is', '▁research', '▁on', '▁large', '▁language', '▁models', ',', '▁including'] 会发现再加入了我们定义的词表后确实能够对中文进行分词了...具体怎么做可以参考一下这个:https://github.com/yangjianxin1/LLMPruner Part7总结 到这里为止,我们已经学会了: 1、使用sentencepiece训练一个中文的词表

    1.9K30

    Alfred支持拼音搜索

    Alfred是个好东西,不过检索程序的时候不支持拼音搜索;我在论坛看到有人给作者反馈过,无奈作者说支持中文,他不知道拼音是什么,于是就不了了之了。...要么我知道这个App的名字叫做NeteaseMusic,要么我就需要用中文输入网易云音乐打开了;如果恰巧输入法是英文输入状态,那么就会遇到上图的情况;这时候再把已经输入的删除然后切换输入法打开,效率无疑大大折扣...还有一些别的中文程序没有英文名的比如马克飞象?如果Alfred能支持拼音搜索,这些问题全部都没了!而且,Alfred可以强制使用英文输入,直接使用字母检索,不用切换输入法了。...尝试过使用objc的接口NSBundle.localizedInfoDiction来获取本地化的字段,无奈拿到的永远是英文字段;只好手工解析中文字段了(不会Objc ?)

    2.7K10
    领券