对于开发者来说，在移动设备上运行预先训练好的模型的能力意味着向边界计算(edge computing)迈进了一大步。[译注：所谓的边界计算，从字面意思理解，就是与现实世界的边界。数据中心是网络的中心，PC、手机、监控照相机处在边界。]数据能够直接在用户手机上处理，私人数据仍然掌握在他们手中。没有蜂窝网络的延迟，应用程序可以运行得更顺畅，并且可大幅减少公司的云服务账单。快速响应式应用现在可以运行复杂的机器学习模型，这种技术转变将赋予产品工程师跳出条条框框思考的力量，迎来应用程序开发的新潮流。
目标是想把在服务器上用pytorch训练好的模型转换为可以在移动端运行的tflite模型。
GitHub 地址：https://github.com/edvardHua/PoseEstimationForMobile
本文最初发表在 Towards Data Science 博客，经原作者 Ran Rubin 授权，InfoQ 中文站翻译并分享。
Keras的.h5模型转成tensorflow的.pb格式模型，方便后期的前端部署。直接上代码
在深度学习算法优化系列三 | Google CVPR2018 int8量化算法 这篇推文中已经详细介绍了Google提出的Min-Max量化方式，关于原理这一小节就不再赘述了，感兴趣的去看一下那篇推文即可。今天主要是利用tflite来跑一下这个量化算法，量化一个最简单的LeNet-5模型来说明一下量化的有效性。tflite全称为TensorFlow Lite，是一种用于设备端推断的开源深度学习框架。中文官方地址我放附录了，我们理解为这个框架可以把我们用tensorflow训练出来的模型转换到移动端进行部署即可，在这个转换过程中就可以自动调用算法执行模型剪枝，模型量化了。由于我并不熟悉将tflite模型放到Android端进行测试的过程，所以我将tflite模型直接在PC上进行了测试（包括精度，速度，模型大小）。
在深度学习算法优化系列三 | Google CVPR2018 int8量化算法 这篇推文中已经详细介绍了Google提出的Min-Max量化方式，关于原理这一小节就不再赘述了，感兴趣的去看一下那篇推文即可。昨天已经使用tflite测试了训练后量化，所以今天主要来看一下训练时量化时怎么做的。注意训练中的量化实际上是伪量化，伪量化是完全量化的第一步，它只是模拟了量化的过程，并没有实现量化，只是在训练过程中添加了伪量化节点，计算过程还是用float32计算。然后训练得出.pb文件，放到指令TFLiteConverter里去实现第二步完整的量化，最后生成tflite模型，实现int8计算。
一个完整的神经网络由这两部分构成，Tensorflow 在保存时除了这两个文件还会在目录下自动生成 checkpoint， checkpoint的内容如下，它只记录了目录下有哪些网络。
TensorFlow Lite是一款专门针对移动设备的深度学习框架，移动设备深度学习框架是部署在手机或者树莓派等小型移动设备上的深度学习框架，可以使用训练好的模型在手机等设备上完成推理任务。这一类框架的出现，可以使得一些推理的任务可以在本地执行，不需要再调用服务器的网络接口，大大减少了预测时间。在前几篇文章中已经介绍了百度的paddle-mobile，小米的mace，还有腾讯的ncnn。这在本章中我们将介绍谷歌的TensorFlow Lite。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
是否能够更快地训练和提供对象检测模型？我们已经听到了这种的反馈，在今天我们很高兴地宣布支持训练Cloud TPU上的对象检测模型，模型量化以及并添加了包括RetinaNet和MobileNet改编的RetinaNet在内的新模型。本文将引导你使用迁移学习在Cloud TPU上训练量化的宠物品种检测器。
随着对计算机视觉的用例日益增长的兴趣，例如无人驾驶汽车，面部识别，智能交通系统等，人们希望建立定制的机器学习模型以检测和识别特定对象。
我们知道大多数的 AI 是在云端运算的，但是在移动端使用 AI 具有无网络延迟、响应更加及时、数据隐私等特性。
TensorFlow Lite 是用于移动设备和嵌入式设备的轻量级解决方案。TensorFlow Lite 支持 Android、iOS 甚至树莓派等多种平台。
模型间的相互转换在深度学习应用中很常见，paddlelite和TensorFlowLite是移动端常用的推理框架，有时候需要将模型在两者之间做转换，本文将对转换方法做说明。
之前希望在手机端使用深度模型做OCR，于是尝试在手机端部署tensorflow模型，用于图像分类。
本教程介绍如何使用 tf.Keras 时序 API 从头开始训练模型，将 tf.Keras 模型转换为 tflite 格式，并在 Android 上运行该模型。我将以 MNIST 数据为例介绍图像分类，并分享一些你可能会面临的常见问题。本教程着重于端到端的体验，我不会深入探讨各种 tf.Keras API 或 Android 开发。
yolov5 release 6.1版本增加了TensorRT、Edge TPU和OpenVINO的支持，并提供了新的默认单周期线性LR调度器，以128批处理大小的再训练模型。YOLOv5现在正式支持11种不同的权重，不仅可以直接导出，还可以用于推理(detect.py和PyTorch Hub)，以及在导出后对mAP配置文件和速度结果进行验证。
大家好，很高兴能够参与这次腾讯云AIoT应用创新大赛，非常希望能够在这次比赛中得到收获与提升，同时也希望能够通过这次比赛能与各位交流学习。
在前九章中，我们使用 TensorFlow Mobile 在移动设备上运行各种由 TensorFlow 和 Keras 构建的强大的深度学习模型。 正如我们在第 1 章，“移动 TensorFlow 入门”中提到的那样，Google 还提供了 TensorFlow Lite（可替代 TensorFlow Mobile 的版本）在移动设备上运行模型。 尽管自 Google I/O 2018 起它仍在开发人员预览中，但 Google 打算“大大简化开发人员针对小型设备的模型定位的体验。” 因此，值得详细研究 TensorFlow Lite 并为未来做好准备。
如果您使用过 TensorFlow 1.x，则本部分将重点介绍迁移到 TensorFlow 2.0 所需的总体概念更改。 它还将教您使用 TensorFlow 可以进行的各种 AIY 项目。 最后，本节向您展示如何将 TensorFlow Lite 与跨多个平台的低功耗设备一起使用。
它允许您使用一组TensorFlow操作并注释构造，以便toco知道如何将其转换为tflite。这在张量流图中嵌入了一个伪函数。这允许在较低级别的TensorFlow实现中嵌入高级API使用信息，以便以后可以替换其他实现。本质上，这个伪op中的任何“输入”都被输入到一个标识中，并且属性被添加到该输入中，然后由构成伪op的组成ops使用。
2018 年 9 月 21 日 ，凌钰城（Google Brain 软件工程师）带来一场《TensorFlow Lite：TensorFlow在移动设备与嵌入式设备上的轻量级跨平台解决方案》的演讲，本文将对演讲做一个回顾。
前两天，Amusi分享了一篇 经典卷积神经网络（CNN）结构可视化工具，该工具可用于可视化各种经典的卷积神经网络结构。如AlexNet、VGG-16、ResNet和YOLO等经典网络。
我们尝试去工程化深度神经网络并最终落地，当中的一些实践经验通过本文记录下来。
Tensorflow2之后，训练保存的模型也有所变化，基于Keras接口搭建的网络模型默认保存的模型是h5格式的，而之前的模型格式是pb。Tensorflow2的h5格式的模型转换成tflite格式模型非常方便。本教程就是介绍如何使用Tensorflow2的Keras接口训练分类模型并使用Tensorflow Lite部署到Android设备上。
Yolov8 是一种流行的物体检测 AI。Android是世界上用户最多的移动操作系统。
随着物联网（IoT）和嵌入式系统的发展，将深度学习模型部署到嵌入式设备上变得越来越重要。这不仅可以实现实时数据处理，还能大幅降低数据传输的延迟和成本。本文将介绍如何使用Python将深度学习模型部署到嵌入式设备上，并提供详细的代码示例。
对于Tensorflow最大需求是能够在桌面系统中训练并运行模型，这种需求影响了很多设计决策，例如为了更低的延迟和更多的功能而增加可执行文件的大小。云端服务器上，RAM以GB为衡量单位，存储空间以TB为单位，几百兆字节的二进制文件通常不是问题。
之前写过一篇《这个中秋，我开发了一个识别狗狗的app》。图片识别可以算作是深度学习领域烂大街的主题，几乎每本书和教程都会拿来作为入门示例。移动端的图片识别的教程也很多，大多数都脱胎于Google的教程《TensorFlow for Poets》和《TensorFlow for Poets 2: Android》。有了现成的教程，我对实现狗狗的图像识别信心满满，认为重点在于信息的展示及狗狗信息的收集。
NXP eIQ平台提供了嵌入式平台集成化的机器学习应用部署能力，支持BYOD（Bring Your Own Data）和BYOM（Bring You Own Model）的两种建模应用的工作流。
AidLux是成都阿加犀智能科技有限公司自主研发的融合架构操作系统，支持Android/鸿蒙和Linux系统的生态融合。其核心优势包括操作系统多样性、广泛芯片适配、以及AI模型转换和计算单元调度的高效性。
在本文中，我们将看到如何将Pytorch模型移植到C++中。Pytorch通常用于研究和制作新模型以及系统的原型。该框架很灵活，因此易于使用。主要的问题是我们如何将Pytorch模型移植到更适合的格式C++中，以便在生产中使用。
在本节中，您将基于从上一节中获得的理解，并开发更新的概念并学习用于动作识别和对象检测的新技术。 在本节中，您将学习不同的 TensorFlow 工具，例如 TensorFlow Hub，TFRecord 和 TensorBoard。 您还将学习如何使用 TensorFlow 开发用于动作识别的机器学习模型。
随着深度学习技术的快速发展，模型的跨平台移植与部署变得越来越重要。无论是将模型从开发环境移植到生产环境，还是在不同的硬件平台上运行，跨平台部署都能显著提高模型的实用性和可扩展性。本文将介绍如何使用Python实现深度学习模型的跨平台移植与部署，并提供详细的代码示例。
TensorFlow Lite是TensorFlow针对移动和嵌入式设备的轻量级解决方案。它可以在移动设备上高效运行机器学习模型，因此您可以利用这些模型进行分类、回归或其他功能，而无需和服务器交互。
上一篇文章描述了为什么quantization 量化的int8足够运行推理，以及Quantization量化对TinyML的重要性，但是没有深入说明Quantization的实现机制，本篇博文打算从TFlite的案例代码切入，从代码的Optimize选项展开讲TFLite背后Quantization的PTQ，QAT技术等。
工业视觉缺陷检测系统是一种利用计算机视觉技术，通过分析生产过程中的图像和视频数据，来检测工业产品是否存在缺陷或质量问题的系统。有幸参与到Aidlux夏令营活动中，跟着东哥做了医疗注射器缺陷检测系统项目，在这个过程中我收获到了很多之前没有接触到的算法和实践。本项目旨在开发一种高效的工业视觉缺陷检测系统，利用YOLOv8模型进行目标检测，并基于AidLux平台完成本地终端部署推理，以满足工业生产中对产品质量控制的需求。
http://mpvideo.qpic.cn/0bf2oeaaqaaaqmagboioizpva4odbbyqacaa.f10002.mp4?dis_k=993936e47cdc2b6012ebffd
上一篇文章中提到的torchscript方式在手机上实际的检测效果差了很多，于是尝试了另外两种方式，第二种方式目前还有问题，所以就先不写了。这篇文章介绍的是第三种方法。zldrobit创建了一个ftlite的分支，https://github.com/zldrobit/yolov5.git。要使用这个方法文章中步骤也写的比较详细了。
TensorFlow 模型还可用于在移动和嵌入式平台上运行的应用。 TensorFlow Lite 和 TensorFlow Mobile 是资源受限移动设备的两种 TensorFlow。与 TensorFlow Mobile 相比，TensorFlow Lite 支持功能的子集。由于较小的二进制大小和较少的依赖项，TensorFlow Lite 可以获得更好的表现。
以前tensorflow有bug 在winodws下无法转，但现在好像没有问题了,代码如下
有了能做出惊人预测的模型之后，要做什么呢？当然是部署生产了。这只要用模型运行一批数据就成，可能需要写一个脚本让模型每夜都跑着。但是，现实通常会更复杂。系统基础组件都可能需要这个模型用于实时数据，这种情况需要将模型包装成网络服务：这样的话，任何组件都可以通过REST API询问模型。随着时间的推移，你需要用新数据重新训练模型，更新生产版本。必须处理好模型版本，平稳地过渡到新版本，碰到问题的话需要回滚，也许要并行运行多个版本做AB测试。如果产品很成功，你的服务可能每秒会有大量查询，系统必须提升负载能力。提升负载能力的方法之一，是使用TF Serving，通过自己的硬件或通过云服务，比如Google Cloud API平台。TF Serving能高效服务化模型，优雅处理模型过渡，等等。如果使用云平台，还能获得其它功能，比如强大的监督工具。
大家好，我是来自Google Research的高级软件工程师汪启扉，首先感谢LiveVideoStack邀请我在此处演讲。今天，我的主题是高效终端设备机器学习的最新进展 。
利用深度神经网络，提取印章深度特征，同时学习印章之间的相似度，自己与自己相似，自己与其它不相似。
scikit-learn 官方文档：https://scikit-learn.org/stable/#
嵌入式系统已经成为我们生活中不可或缺的一部分，从智能手机到家用电器，几乎每个设备都搭载了嵌入式技术。随着人工智能的快速发展，将神经网络应用于嵌入式设备上变得越来越普遍。本文将深入探讨嵌入式人工智能的现状，以及神经网络在边缘设备上的应用。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
