向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 。 。 。 。 。 。 。 全部 代码 ,视频,数据集 获取方式: 关注微信公众号 datayx 然后回复 唐宇迪 即可获取。 机器学习算法AI大数据技术 搜索公众号添加: datanlp 长按图片,识别二维码 ---- 阅读过本文的人还看了以下文章: TensorFlow 2.0深度学习案例实战 基于40万表格数据集TableBank,用MaskRCNN做表格检测 《基于深度学习的自然
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 所有论文 包括已经录制完成和之后将要介绍的论文。选取的原则是10年内深度学习里有影响力文章(必读文章),或者近期比较有意思的文章。当然这十年里重要的工作太多了,不可能一一过一遍。在选取的时候我会偏向一些之前 直播课 中没讲到过的。 总论文数 67,录制完成数 32 全部 代码 ,预训练模型 获取方式: 关注微信公众号 datayx 然后回复 论文 即可获取。 机器学习算法AI大数据技术 搜索公众号添加: d
每天给你送来NLP技术干货! ---- 团队介绍 NLP中心是美团人工智能技术研发的核心团队,致力于打造高性能、高扩展的搜索引擎和领先的自然语言处理核心技术和服务能力,依托搜索排序,NLP(自然语言处理)、Deep Learning(深度学习)、Knowledge Graph(知识图谱)等技术,处理美团海量文本数据,打通餐饮、旅行、休闲娱乐等本地生活服务各个场景数据,不断加深对用户、场景、查询和服务的理解,高效地支撑形态各样的生活服务搜索,解决搜索场景下的多意图、个性化,时效性问题,给用户良好的搜索
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 在自然语言处理领域中,预训练语言模型(Pretrained Language Models)已成为非常重要的基础技术,本仓库主要收集目前网上公开的一些高质量中文预训练模型。 NLU系列 BERT RoBERTa ALBERT NEZHA XLNET MacBERT WoBERT ELECTRA ZEN ERNIE RoFormer StructBERT Lattice-BERT Mengzi-BER
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 安装依赖 pip install requests 使用方法 浏览器打开:https://order.jd.com/center/list.action 没登录就登录 F12 控制台 console 栏输入 console.log(_JdJrTdRiskFpInfo, _JdEid) 参数依次对应: _JdJrTdRiskFpInfo => self._JdJrTdRiskFpInfo _JdEid => self.
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx nerpy实现了BertSoftmax、BertCrf、BertSpan等多种命名实体识别模型,并在标准数据集上比较了各模型的效果。 https://github.com/shibing624/nerpy Evaluation 说明: 结果值均使用F1 结果均只用该数据集的train训练,在test上评估得到的表现,没用外部数据 shibing624/bert4ner-base-chinese模型达到同级别参数量SOT
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 基于Flask RESTful api的图像特征检索方案,api传入url/base64即可在毫秒内返回数据库匹配结果,主要用于图像去重,后续拓展使用范围。 1. 项目说明: 本项目基于开源框架PyRetri进行二次开发,同时结合facebook开源项目Facebook AI Similarity Search,设计出基于Flask的RESTful api接口,目的是为了解决以下几个场景问题: 1)本地已经存储大规模
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 最近遇到一个问题,如何读取仪表中的指针指向的刻度 📷 解决方法有多种,比如,方案一:模板匹配+边缘检测+霍夫直线检测,方案二:神将网络(CNN)目标定位等, 其中CNN就有点麻烦了,需要一定数量的训练样本,太麻烦,而方案一太普通,最后我采用了方案三, 方案三:模板匹配+k-means+直线拟合 具体做法如下: 首先说一下模板匹配,它是OpenCV自带的一个算法,可以根据一个模板图到目标图上去寻找对应位置,如果模板找
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 实现思路 📷 数据处理 原始数据来源于 https://data.vision.ee.ethz.ch/cvl/rrothe/imdb-wiki/static/wiki_crop.tar 原始数据集包含的图片数量很多,我从中筛选了大约10000张图片(筛选条件为:由OpenCV识别出的face数目为1、性别已知、男女各约5000张) 图片尺寸统一为 100x100,文件名格式统一为 编号-年龄-性别.png,其中性别1
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 中文微博情感分类语料库 "情感分析"是我本科的毕业设计, 也是我入门并爱上NLP的项目hhh, 当时网上相关语料库的质量都太低了, 索性就自己写了个爬虫, 一边标注一边爬, 现在就把它发出来供大家交流。因为是自己的项目,所以标注是相当认真的,还请了朋友帮忙校验,过滤掉了广告/太短/太长/表意不明等语料,语料质量是绝对可以保证的 带情感标注的微博语料数量: 10000(train.txt)+500(test.txt)
车牌的检测和识别的应用非常广泛,比如交通违章车牌追踪,小区或地下车库门禁。在对车牌识别和检测的过程中,因为车牌往往是规整的矩形,长宽比相对固定,色调纹理相对固定,常用的方法有:基于形状、基于色调、基于纹理、基于文字特征等方法,近年来随着深度学习的发展也会使用目标检测的一些深度学习方法。该项目主要的流程如下图所示:
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 在构建模型时,调参是极为重要的一个步骤,因为只有选择最佳的参数才能构建一个最优的模型。但是应该如何确定参数的值呢?所以这里记录一下选择参数的方法,以便后期复习以及分享。 (除了贝叶斯优化等方法)其它简单的验证有两种方法:1、通过经常使用某个模型的经验和高超的数学知识。2、通过交叉验证的方法,逐个来验证。 很显然我是属于后者所以我需要在这里记录一下 sklearn 的 cross_val_score: 我使用是cross_
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 项目描述 本项目是一个带有超级详细中文注释的基于GPT2模型的新闻标题生成项目。 本项目参考了GPT2-Chinese、GPT2-chitchat、CDial-GPT、GPT2等多个GPT2开源项目,并根据自己的理解,将代码进行重构,添加详细注释,希望可以帮助到有需要的人。 本项目使用HuggingFace的transformers实现GPT2模型代码编写、训练及测试。 本项目通过Flask框架搭建了一个Web服务,将新
本项目是利用YOLOv4进行口罩佩戴检测,使用PyTorch实现。虽然现在国内疫情基本得到有效遏制,但防控仍不可过于松懈,在一些公共场合佩戴口罩还是必不可少的。基于此,自己做了该项目,后续打算继续改进,争取将其运行到边缘设备上。希望本项目能给疫情常态化防控出一份力,也希望真正的新年早日到来。
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx "情感分析"是我本科的毕业设计, 也是我入门并爱上NLP的项目hhh, 当时网上相关语料库的质量都太低了, 索性就自己写了个爬虫, 一边标注一边爬, 现在就把它发出来供大家交流。因为是自己的项目,所以标注是相当认真的,还请了朋友帮忙校验,过滤掉了广告/太短/太长/表意不明等语料,语料质量是绝对可以保证的 带情感标注的微博语料数量: 10000(train.txt)+500(test.txt) 数据格式 文档的每一行代
在之前的案例使用网络爬虫自动抓取图书信息中,我们通过简单的爬虫抓取了当当网的机器学习相关的图书数据,并保存为 ./input/books_total.csv 文件。通过爬虫采集原始数据,但是由于各种原因,原始数据往往会存在许多问题,例如数据格式不正确,数据存在冗余等等。因此第一手获得的原始数据不能直接使用,需要进行数据清洗。本案例基于爬取的书籍数据进行数据清洗,使其称为符合我们要求的数据。
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 监督部分 第二章 感知机: 博客:统计学习方法|感知机原理剖析及实现 实现:perceptron/perceptron_dichotomy.py 第三章 K近邻: 博客:统计学习方法|K近邻原理剖析及实现 实现:KNN/KNN.py 第四章 朴素贝叶斯: 博客:统计学习方法|朴素贝叶斯原理剖析及实现 实现:NaiveBayes/NaiveBayes.py 第五章 决策树: 博客:统计学习方法|决策树原理剖析及实现 实现:
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 上采样与上池化 图示理解,使用三张图进行说明: 📷 图(a)表示UnPooling的过程,特点是在Maxpooling的时候保留最大值的位置信息,之后在unPooling阶段使用该信息扩充Feature Map,除最大值位置以外,其余补0。 Unpooling是在CNN中常用的来表示max pooling的逆操作。 鉴于max pooling不可逆,因此使用近似的方式来反转得到max pooling操作之前的原始情
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 之前只用过单线程处理,加载模型进行测试,运行时间上也可以接受。但是现在需要处理比较大量的数据,如果进行线性处理,可能测试一次就花10个小时,而且还不知道结果怎么样,所以多线程就必须使用上了。有关线程部分主要参考:https://junyiseo.com/python/211.html 1 多线程 多线程类似于同时执行多个不同程序,线程在执行过程中与进程还是有区别的。每个独立的进程有一个程序运行的入口、顺序执行序列和程
5月16日,美团云正式对外发布全新品牌Logo,宣布开启AI战略,并将上线三大类AI产品,发力人工智能领域,布局云端人工智能版图
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 此项目可监控近千家中国企业的官方网站的新闻动态,如有更新,系统能在最短2分钟之内通过邮件发送更新的标题和链接。更新的信息流也可通过浏览器查看。监控的公司和站点可以添加删除。 原理:定期抓取网站html, 使用difflib比对新旧页面源码,发现增加的部分,提取url和text,过滤筛选,保存MySQL数据库。定期把更新的url和text,通过邮件发送给订阅者。 全部代码 获取方式: 关注微信公众号 datayx 然
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 精度与速度远超 YOLOv5 和 YOLOX 的新框架 YOLOv6关键技术介绍 YOLOv6 主要在 Backbone、Neck、Head 以及训练策略等方面进行了诸多的改进: 我们统一设计了更高效的 Backbone 和 Neck :受到硬件感知神经网络设计思想的启发,基于 RepVGG style[4] 设计了可重参数化、更高效的骨干网络 EfficientRep Backbone 和 Rep-PAN Neck。
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx doccano是一个开源文本标注工具。它提供了文本分类,序列标注和序列到序列的标注功能。因此,您可以为情绪分析,命名实体识别,文本摘要等创建标记数据。只需创建项目,上传数据并开始标注。 总结下来就3步,上传数据,标注,下载带有标签的数据。 官网:http://doccano.herokuapp.com/ 📷 📷 命名实体识别 第一个演示是序列标记任务之一,命名实体识别。您只需选择文本跨度并对其进行标注即可。由于doc
向AI转型的程序员都关注了这个号👇👇👇 火爆全网的小游戏羊了个羊到底藏了什么套路?几乎所有人上班下班都在玩,可通关率据说还不到1%。 其实这个游戏和你的策略或技术没啥关系,完全是算法和运气在折磨你。十年前我们玩空当接龙的时候,所有牌都是明牌,理论上可以算出最优解;但羊了个羊不一样,策略再好也不能稳赢,因为你根本不知道一张牌底下藏着什么牌,这和斗地主还不一样,斗地主的牌堆是固定的,但游戏里的牌堆可以被算法改变。 知乎上有人算出了通关概率,游戏一共有14种图案,即使按照逐渐消层的最优解,底下的牌也有200多万
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx DBnet文本检测网络加入多分类,可以实现模型很小又能够区分类别的功能,然后可以根据检测框的标签快速提取目标字段,在端侧部署的话就能达到非常高的精度和效率。 1.标注数据 标注方法和标注目标检测的数据一样,一个框加一个标签 pip install labelImg ==1.8.6 安装完毕后,键入命令: labelImg 或者下载工具 labelImg.exe链接:https://pan.baidu.com/s/14
因为我这里只是判断 【人没有带安全帽】、【人有带安全帽】、【人体】 3个类别 ,基于 data/coco128.yaml 文件,创建自己的数据集配置文件 custom_data.yaml
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 核酸检测报告已经是疫情这些年很多人出行必备的材料,而且很多机关单位、政府部门都需要检查核酸报告才能让相关的人员进出场所。如果有一个模型能够快速的识别并提取核酸报告里的关键信息,则能很大程度上提升那些需要提交核酸报告的OA流程审核效率,提升企事业的服务效率。 1.标注数据 标注方法和标注目标检测的数据一样,一个框加一个标签 pip install labelImg ==1.8.6 安装完毕后,键入命令: labelImg
3.14网申的(北京,基础研究部门),3.20笔试。二十多天没消息,然后今天(4.12)下午接到美团面试电话,当然是前两天约好的,面试官大概迟到了十多分钟。 Q:介绍一下做过的项目 A:balabala... Q:一千万个整数,每个数的范围在[-1000,1000],怎样对他们排序最快? A:计数排序 Q:复杂度呢? A:O(N) Q:如果不是整数呢?是浮点数怎么办?数的个数再增加到10亿个呢? A:...说了一堆没用的 Q:我给点提示吧,这其实不是一道纯算法题,是一道设计与算法结合的题 A:要最快的话,用
向AI转型的程序员都关注了这个号👇👇👇 普通211硕士,方向是内燃机,现在研二,未来想换到自动驾驶,会matlab的编程计算,simulink有一定了解,目前想要深入学习,请问该如何提高自己,才能进去车企的自动驾驶团队,我知道可能我专业不太相符,但是较为喜欢自动驾驶和控制逻辑,请不吝赐教. 自动驾驶学习资料汇总 https://zhuanlan.zhihu.com/p/517710302 1. 课程资料 德国蒂宾根大学的自动驾驶课程 (Self-Driving Cars, lectureed by Pr
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 随着信息通讯技术的不断发展,各行各业都产生了海量的数据,与此同时,一门新的学科应运而生—— 数据挖掘。数据挖掘是从大量数据(包括文本数据)中挖掘出隐含的、先前未知的、对决策有潜在价值的信 息、知识和关联关系,并基于这些信息和相应规则建立可用于决策支持与优化分析的模型,提供可支持预测 性决策的方法和工具。此外,数据挖掘还可帮助企业和科研团体发现业务与学科中的新趋势,揭示已知的 事实,预测未知的结果,因此“数据挖掘”已成为其
看了很多回答,模棱两可、模糊不清,给岀一番没有意乂的解释,最终也没有给岀自己的意见。
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 在大数据和人工智能技术加持下,不同行业各种新兴的风险控制手段也正在高速发展。但这些风险信息散落在互联网的海量资讯中,若能从中及时识别出风险事件并挖掘出潜在的风险特征,能够大幅提升识别和揭示风险的能力。而风险事件以文本的形式存在,需要采用自然语言理解模型实现风险事件的高精度智能识别,其本质是属于一个文本分类任务。 NLP(自然语言处理)作为人工智能领域皇冠上的“明珠”,其技术的科研创新一直精进不休。而文本分类在自然
和我一样经历过几代技术变迁的老鸟都知道,当真正的技术浪潮来临时,技术人除了抓住浪潮别无选择。“随波逐流”大概是我们这一代技术人的宿命。
通用流程主要分为四部分:问题建模、特征工程、模型选择、模型融合。
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 递归神经网络 在传统神经网络中,模型不会关注上一时刻的处理会有什么信息可以用于下一时刻,每一次都只会关注当前时刻的处理。举个例子来说,我们想对一部影片中每一刻出现的事件进行分类,如果我们知道电影前面的事件信息,那么对当前时刻事件的分类就会非常容易。实际上,传统神经网络没有记忆功能,所以它对每一刻出现的事件进行分类时不会用到影片已经出现的信息,那么有什么方法可以让神经网络能够记住这些信息呢?答案就是Recurrent
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 小布助手是OPPO公司为欧加集团三品牌手机和IoT设备自研的语音助手,为用户提供了有趣、贴心、便捷的对话式服务。意图识别是对话系统中的一个核心任务,而对话短文本语义匹配是意图识别的主流算法方案之一。 训练数据 训练数据包含输入query-pair,以及对应的真值。初赛训练样本10万,复赛训练样本30万,这份数据主要用于参赛队伍训练模型,为确保数据的高质量,每一个样本的真值都有进行人工标注校验。每行为一个训练样本,由que
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 交通标志本身种类众多,大小不定,并且在交通复杂的十字路口场景下,由于光照、天气等因素的影响,使其被精确检测变得更加困难。提高上述场景下交通标志检测准确度,将有助于降低十字路口交通事故发生的概率。 提供真实场景的道路图片,部分图片给出了交通标志的标注结果,所有交通标志共计 5 个类别,分别为红灯、直行标志、向左转弯标志、禁止驶入和禁止临时停车。 数据示例如下: 初赛1/177,复赛1/12 全部 代码 ,方案详情 获取
千平 假装发自 望京 量子位 出品 | 公众号 QbitAI 外卖不是一个简单的生意。 前不久,美团点评刚刚宣布融资40亿美元,这些钱会花在哪?美团点评CTO罗道锋今天表示,其中一个主要的方向就是人工
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 目前支持蓝色标准车牌,黄色标准车牌,小型新能源车牌的车牌生成。 实际的车牌示例 实际的大型新能源车牌示例 📷 实际的小型新能源车牌示例 📷 生成的蓝色底牌车牌示例 📷 📷 生成的小型新能源车牌示例 📷 📷 全部代码 获取方式: 关注微信公众号 datayx 然后回复 车牌生成 即可获取。 程序结构说明 license_plate_elements.py: 车牌号元素,其中定义: 车牌号中,不同车牌位的取值范围; 不
本文重点解读美团在即时配送领域机器学习技术的最新进展,构建对线下真实世界各种场景的感知能力,还原并预测配送过程各个细节。
提到 AI,大家马上想到计算机视觉、语音识别、自动驾驶、自然语言处理、芯片这些热门技术领域,这些领域的技术人才如今正受到企业们的疯抢。不过近年来,随着知识图谱技术不断被提及,作为 AI 领域底层的技术,其升温之势已经开始显现。不仅是 NLP 领域,大数据甚至是计算机视觉领域的背后都需要知识图谱技术的支持,企业内部更是开始组建专业的技术团队来支持、优化自己的产品。
写个总结,回馈牛客~ 给自己也给未来面试的同学,少走弯路,命中率更高点~ 祝大家满意的offer多多(迟来的总结 [算法岗-机器学习方向]) 直接上干货 前期准备 理论:统计学习(李航)+ 机器学习(周志华) + 推荐系统实战(项亮)+ 深度学习(那本花书)+ 数据挖掘导论 + 编程之美 + 剑指offer [书籍] 台大 林轩田(个人觉得很赞)[视频] 牛客网 leetcode [网站] 项目:可以做做kaggle(感觉这个才是真正提升之道,大牛们很乐意分享技术,可以学到很多)或者国内的一些比赛(天池/
简介:何仁清,美团配送AI方向负责人。本文重点解读美团在即时配送领域机器学习技术的最新进展,构建对线下真实世界各种场景的感知能力,还原并预测配送过程各个细节。
关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 编辑|厂白小 AI——当下最热的领域 对很多人来说,“AI”这个词既让人倍感
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 自动机器学习(AutoML)是将机器学习应用于现实问题的端到端流程自动化的过程。 传统机器学习模型大致可分为以下四个部分:数据采集、数据预处理、优化、应用; 其中数据预处理与模型优化部分往往需要具备专业知识的数据科学家来完成,他们建立起了数据到计算的桥梁。 然而,即使是数据科学家,也需要花费大量的精力来进行算法与模型的选择。 机器学习在各种应用中的成功,导致对机器学习从业人员的需求不断增长,因此我们希望实现真正意义上的机
美团技术沙龙是由美团技术团队和美团科协主办的线下技术活动,每期沙龙邀请美团和同行公司的技术专家分享来自一线的实践经验,覆盖前端、后台、系统、数据、算法、测试、运维等技术领域。目前已在北京、上海、厦门、成都等城市成功举办了48期,吸引了超过2万名工程师报名参会。除了现场亲密交流之外,大家还在会后继续进微信群里切磋问道。
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 一、特征工程 简单说,特征工程是能够将数据像艺术一样展现的技术。因为好的特征工程很好的混合了专业领域知识、直觉和基本的数学能力; 本质上说,呈现给算法的数据应该能拥有基本数据的相关结构或属性 。当你做特征工程时,其实是将数据属性转换为数据特征的过程,属性代表了数据的所有维度,在数据建模时,如果对原始数据的所有属性进行学习,并不能很好的找到数据的潜在趋势,而通过特征工程对你的数据进行预处理的话,你的算法模型能够减少受到噪声
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 期研究了一下以图搜图这个炫酷的东西。百度和谷歌都有提供以图搜图的功能,有兴趣可以找一下。当然,不是很深入。深入的话,得运用到深度学习这货。Python深度学习当然不在话下。 这个功能最核心的东西就是怎么让电脑识别图片。 这个问题也是困扰了我,在偶然的机会,看到哈希感知算法。这个分两种,一种是基本的均值哈希感知算法(dHash),一种是余弦变换哈希感知算法(pHash)。dHash是我自己命名的,为了和pHash区分。
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 项目简介 本项目基于PaddlePaddle和EasyDL平台,以教务处和学工为一级用户,高校教师为二级用户,针对提升整体课堂教学质量为目的开发的一款实时课堂监测系统。 本项目主要监测课堂的出勤人数、学生的上课状态、教师的语速、情感,以及语言的用词方面。项目中语音的模型均采用EasyDL平台进行训练,调用在线API进行预测分析。而图像模型由于在线API无法达到实时性的要求,采用本地训练Paddle模型库中的模型并使用。
领取专属 10元无门槛券
手把手带您无忧上云