文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

边缘智能：嵌入式系统中的神经网络应用开发实战

嵌入式人工智能：神经网络在边缘设备上的应用引言嵌入式系统已经成为我们生活中不可或缺的一部分，从智能手机到家用电器，几乎每个设备都搭载了嵌入式技术。...这些模型通过训练从数据中学习特征，并可以用于在边缘设备上进行推理和决策。硬件要求在边缘设备上运行神经网络需要满足一定的硬件要求。...神经网络在嵌入式系统中的应用神经网络在嵌入式系统中的应用广泛，包括但不限于以下领域：1. 图像识别神经网络在边缘设备上用于图像识别，如智能摄像头、自动驾驶汽车和无人机。...以下是一个简单的示例，在嵌入式系统上使用TensorFlow Micro运行神经网络。...# ...在嵌入式系统上使用Edge TPU硬件加速器来加速神经网络推理。

2.7K10

谷歌Edge TPU专用芯片横空出世！抢攻IoT欲一统物联网江湖

可以想见，未来谷歌Edge TPU在物联网以及智能终端设备中的巨大使用空间，以及对物联网芯片市场的冲击。 将机器学习带到边缘，省钱！省时！...Edge TPU是谷歌的专用ASIC芯片，专为在边缘运行TensorFlow Lite ML模型而设计。在设计Edge TPU时，我们非常注重在很小的占用空间内优化“每瓦性能”和“每美元性能”。...随着连接设备的爆炸式增长，再加上对隐私/机密性、低延迟和带宽限制的需求，在云中训练的AI模型越来越需要在边缘上运行。Edge TPU是谷歌为在边缘运行AI而设计的专用ASIC。...基于TensorFlow Lite的Edge ML runtime，使用预先训练过的模型执行本地ML推理，显著减少延迟并增加边缘设备的多功能性。...由于Edge ML运行时与TensorFlow Lite接口，因此它可以在网关类设备中的CPU，GPU或Edge TPU上执行ML推理，或者在终端设备（如摄像头）中执行ML推理。

1.2K10
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    谷歌Edge TPU专用芯片横空出世！抢攻IoT欲一统物联网江湖

    仅用于推理，专为在边缘运行TensorFlow Lite ML模型而设计。...Edge TPU是谷歌的专用ASIC芯片，专为在边缘运行TensorFlow Lite ML模型而设计。在设计Edge TPU时，我们非常注重在很小的占用空间内优化“每瓦性能”和“每美元性能”。...随着连接设备的爆炸式增长，再加上对隐私/机密性、低延迟和带宽限制的需求，在云中训练的AI模型越来越需要在边缘上运行。Edge TPU是谷歌为在边缘运行AI而设计的专用ASIC。...由于Edge ML运行时与TensorFlow Lite接口，因此它可以在网关类设备中的CPU，GPU或Edge TPU上执行ML推理，或者在终端设备（如摄像头）中执行ML推理。...谷歌将在一款类似 Raspberry Pi 的套件上推出Edge TPU，在简化版的TensorFlow AI软件上运行。

    1.6K20

    谷歌发布Edge TPU芯片和Cloud IoT Edge，将机器学习带到边缘设备

    这使得它们在执行诸如从数据集（在云TPU的情况下）中训练机器学习模型以及在设备上执行这些模型（Edge TPU的功能）等任务时非常高效。 ?...它允许你在Edge TPU或基于GPU和CPU的加速器上执行在Google Cloud中训练的ML模型。...Cloud IoT Edge可以在Android Things或基于Linux OS的设备上运行，其关键组件包括： 具有至少一个CPU的网关类设备的运行时，可以从边缘数据本地存储，转换，处理和派生智能，...基于TensorFlow Lite的Edge ML运行时使用预先训练的模型执行本地ML推理，显着减少延迟并增加边缘设备的多功能性。...由于Edge ML运行时与TensorFlow Lite接口，因此它可以在网关类设备中的CPU，GPU或Edge TPU上执行ML推理，或者在终端设备（如摄像头）中执行ML推理。

    1.5K20

    扒一扒Google Coral Edge TPU开发套件

    作为Cloud TPU的补充，目前Edge TPU仅用于推理，专为在边缘运行TensorFlow Lite ML模型而设计。...谷歌在边缘计算迈出的第一步是将其Cloud IoT软件平台的功能扩展到边缘网络。第二步是推出Edge TPU微型芯片，芯片可集成到物联网设备上，并在传输前处理设备收集的数据。...是专门设计的加速器芯片，用于在边缘运行TensorFlow Lite机器学习模型。...它能够在较小的物理和功耗范围内提供高性能，可在边缘部署高精度AI。Edge TPU可以在边缘部署高质量的机器学习推理。...它们可以在传感器或网关设备中与标准芯片或微控制器共同处理AI工作。 尽管有消息说google禁止这款产品在中国大陆市场销售，不过我们还是会持续关注它的发展！

    4.5K63

    谷歌千元级TPU芯片发布，TensorFlow更换Logo推出2.0最新版

    在移动设备运行AI模型越来越主流的今天，用于部署在边缘设备上的TensorFlow Lite终于迎来了1.0版。 下面就让我们一起来回顾这场发布会的亮点吧。...Coral能够以每秒30帧的速度在高分辨率视频上运行深度前馈神经网络，或者以每秒超过100帧的速度运行MobileNet V2这样的单一模型。 ?...TensorFlow Lite是一个为移动和嵌入式设备提供的跨平台解决方案。谷歌希望让TensorFlow能够运行在更多设备上。...要让这些设备运行TensorFlow需要面临以下挑战：计算力不足、存储空间有限、电池限制。 ? 必须要有个轻量级（Lite）框架能将机器学习模型部署在移动和IoT设备上的。...经过TF Lite的优化后，设备在CPU上的性能达到原来的1.9倍，在Edge TPU上的性能最高提升了62倍。 ?

    90520

    一文带你众览Google IO 2019上的人工智能主题演讲

    终端设备上进行机器学习：可选方法 随着终端设备处理器的飞速发展，越来越多的开发人员在利用机器学习来增强他们的移动应用程序和边缘设备。在边缘设备上使用机器学习的可选方法很多。...TensorFlow Lite的优点，TensorFlow Lite项目的开发和部署流程，以及TensorFlow团队在优化、增加更多Ops等等方面的努力。...TensorFlow Lite不仅用在手机终端上，在资源更加受限的微控制器（MCU）上也可部署，可用在分布广泛的IoT设备上。...JavaScript应用程序中神奇的机器学习 本演讲介绍了TensorFlow.js，一个用于在浏览器和Node.js中训练和部署ML模型的库，用实例演示了如何将现有ML模型引入JS应用程序，以及使用自己的数据重新训练模型...在本次Google I/O大会上，隐私这个词被反复提及，然后不论是TensorFlow Lite，还是TensorFlow.js，都提及到边缘AI计算的重要性。

    1K20

    精度、延迟两不误，移动端性能新SOTA，谷歌TF开源轻量级EfficientNet

    今天，谷歌在 GitHub 与 TFHub 上同时发布了 EfficientNet-Lite，该模型运行在 TensorFlow Lite 上，且专门针对移动设备 CPU、GPU 以及 EdgeTPU...EfficientNet-Lite 为边缘设备带来了 EfficientNet 上强大的性能，并且提供五个不同版本，让用户能够根据自己的应用场景灵活地在低延迟与高精度之间选择。...EfficientNet-Lite 与目前流行的图像分类模型对应量化版本的性能比较如下图所示： ? ? 图 1. 在 Pixel 4 CPU 上开启四个线程时各模型经过 INT8 量化后的性能比较。...量化与异构硬件方面的难题 由于边缘设备的一些特性，使得 EfficientNet 在其上运行面临着很多挑战。 首先是量化问题。由于浮点运算在边缘设备上的支持有限，需要对模型进行量化处理。...官方博客建议使用 TensorFlow Lite Model Maker，这是一个可以在已有 TensorFlow 模型上应用迁移学习的工具。

    74010

    PyTorch与TensorFlow深度学习框架比较研究详解

    TensorFlow 2.x 急切模式大幅改善调试体验，搭配 Keras 时多在调用模型前（急切执行阶段）捕捉错误，规避部分深度嵌套的 C++堆栈追踪混乱问题。...3.2 推理性能 推理阶段，TensorFlow 静态图便于优化与 C高效执行，理论上占优。但 PyTorch TorchScript 与 ONNX 支持解锁 C运行时推理潜力。...3.4 可扩展性 分布式扩展性评估中，TensorFlow 专享 Google TPU 支持，借助 XLA 编译器深度优化 TPU 执行，PyTorch 通过 PyTorch/XLA 项目间接兼容 TPU...然而，TFLite 凭借先发优势、深入硬件适配与丰富移动专属算子，二进制体积更小、推理效率更高，PyTorch Mobile 需额外捆绑 PyTorch 运行时，部署包体积较大，在移动端竞争格局中暂居下风...6.7 应用性能表现 框架抉择深受部署需求影响：移动端场景 TensorFlow Lite 成首选；追求动态架构时 PyTorch 大显身手。

    3.2K10

    谷歌携手恩智浦发布发布：端到端开源机器学习平台

    在移动设备运行AI模型越来越主流的今天，用于部署在边缘设备上的TensorFlow Lite终于迎来了1.0版。...Coral中的Edge-TPU尺寸大约只有一枚硬币的1/4，拥有1GB的LPDDR4内存和8GB的eMMC存储，安装Mendel版Linux或者Android，可以进行本地的离线运算。...它不训练机器学习模型，而只是用TensorFlow Lite进行推理预测，因此比全栈框架更节能。...Coral能够以每秒30帧的速度在高分辨率视频上运行深度前馈神经网络，或者以每秒超过100帧的速度运行MobileNet V2这样的单一模型。 ?...同时，谷歌还发布了一款Coral USB加速器，体内同样包含一颗Edge TPU，可以在任何64位ARM或x86平台的Debian Linux上运行。 ?

    72440

    边缘AI烽烟再起之三国逐鹿

    性能 在评估AI模型和硬件平台进行实时部署时，我要看的第一件事是 - 它们的速度有多快。在计算机视觉任务中，基准测试通常以每秒帧数（FPS）来衡量。...顺便说一句，NCS2是一个USB棒，它需要与外部主机一起使用，在本次测试中是Raspberry Pi 3。如果使用更强大的计算机，基准测试数据可能更高。...现在让我们将注意力转向Google Edge TPU。公司将优秀竞争对手的结果纳入其报告中是非常不寻常的。Edge TPU可以在分类任务中达到130 FPS，是Nano的两倍！...它只支持一种机器学习框架，即Tensorflow（你知道Tensorflow是谷歌拥有的吗？）。实际上，不，从技术上讲，它被称为Tensorflow Lite，仅支持有限数量神经网络层的变体。...因此，如果您的应用涉及一些非计算机视觉模型，例如循环神经网络或使用许多自定义层开发自己的模型，使用Jetson系列会更安全，以免在将经过训练的模型移植到嵌入式部署环境时出现令人讨厌的意外情况。

    96110

    ASUS推出工业级AI加速卡，发力工业智能化

    随着企业继续投资利用人工智能软件和平台功能的项目，预计全球在人工智能（AI）系统上的支出将保持强劲的增长轨迹。...此次ASUS发布的是基于Google®Coral Edge TPU处理器的全高半长PCIe Gen3 AI加速卡，可在边缘实现基于AI的实时决策过程。 ? ? ?...ASUS加速卡支持TensorFlow Lite，无需从头开始构建模型。TensorFlow Lite模型可以编译为在Edge TPU上运行。...每个Edge TPU协处理器能够使用2瓦功率每秒执行4万亿次操作（4 TOPS）。...使用此PCIe卡中的8个Edge TPU，您可以通过几种方式将每秒的推理速度（32 TOPS）相乘，例如通过并行运行多个模型或在所有Edge TPU上流水线化一个模型。 ?

    74410

    TensorFlow：使用Cloud TPU在30分钟内训练出实时移动对象检测器

    本文将引导你使用迁移学习在Cloud TPU上训练量化的宠物品种检测器。...我们使用Cloud Machine Learning Engine在Cloud TPU上运行我们的训练工作。...配置文件中有几行专门与TPU训练相关。我们可以在TPU训练时使用更大的批尺寸，因为它们可以更轻松地处理大型数据集（在你自己的数据集上试验批尺寸时，请使用8的倍数，因为数据需要均匀分配8个TPU核心）。...：） 使用TensorFlow Lite在移动设备上运行 此时，你以及拥有了一个训练好的宠物种类检测器，你可以使用Colab notebook在零点设置的情况下在浏览器中测试你自己的图像。...要在手机上实时运行此模型需要一些额外的步骤。在本节中，我们将向你展示如何使用TensorFlow Lite获得更小的模型，并允许你利用针对移动设备优化的操作。

    5.5K50

    最新千元边缘AI芯片比拼：谷歌Coral和英伟达Jetson谁更厉害？

    Sam使用MobileNetV2作为分类器，在imagenet数据集上进行预训练，直接从Keras使用这个模型，后端则使用TensorFlow。...NVIDIA Jetson Nano 尽管Jetson Nano并没有在MobileNetV2分类器中表现出令人印象深刻的FPS率，但它的优势非常明显： 它很便宜，能耗低，更重要的是，它运行TensorFlow-gpu...只要我们的脚本没有深入到CPU体系结构中，就可以运行与i7 + CUDA GPU完全相同的脚本，也可以进行训练！Sam强烈希望NVIDIA应该使用TensorFlow预加载L4T。...我们看到Coral在性能/瓦特的对比中，差异如此大的原因，它是一堆电子设备，旨在完成所需的按位操作，基本上没有任何开销。 总结 为什么GPU没有8位模型？ GPU本质上被设计为细粒度并行浮点计算器。...它曾经是不同版本的MobileNet和Inception，截至上周末，谷歌推出了一个更新，允许我们编译自定义TensorFlow Lite模型。但仅限于TensorFlow Lite模型。

    1.7K20

    TensorFlow 模型优化工具包  —  训练后整型量化

    此外，Edge TPU 等固定点硬件 (fixed point hardware) 加速器也将能运行这些模型。 与量化感知训练相比，此工具更易于使用，并可在大多数模型中实现出色的准确率。...这样可使转换过程顺利进行，并会生成始终在常规移动 CPU 上执行的模型，鉴于 TensorFlow Lite 将在只使用整型的加速器中执行整型运算，并在执行浮点运算时回退到 CPU。  ...] 当使用此标记且运算没有可量化的整型对应项时，TensorFlow Lite 转换器将报错。...例如，我们仅使用 ImageNet 数据集中的 100 张图像对模型进行校准后，即得出了以下准确率。 结果 延时 与浮点模型相比，量化模型在 CPU 上的运行速度提升了2到4倍，模型压缩提升4倍。...整型模型的工作原理 记录动态范围 以上新工具的工作原理是：记录动态范围，在浮点 TensorFlow Lite 模型上运行多个推理，并将用户提供的代表性数据集用作输入。

    1.8K50

    入门大爆炸式发展的深度学习，你先要了解这4个最流行框架

    借助其灵活的架构，用户可以轻松地将计算工作部署到多种平台（CPU、GPU、TPU）和设备（桌面设备、服务器集群、移动设备、边缘设备等）。 ?...这样就可以实现在服务器的TensorFlow上训练，在移动平台应用的场景。 此外，TesnorFlow Lite需要我们将其转换后的tflite文件打包到App或者目标存储设备中。...TensorFlow Lite启动时会将其加载到移动设备或嵌入式设备中。...MXNet支持命令式和符号式两种编程模式，简单、易于上手，同时支持在多端运行，包括多CPU、多GPU、集群、服务器、工作站，甚至移动智能手机。...不过这里值得一提的是，MXNet很好地支持了AWS SageMaker，能够借助一系列工具有针对性地（计算平台、体系结构、网络等）进行模型优化，并非常直接地在Core ML移动平台引擎上使用。

    59710

    超51亿的移动用户，TensorFlow移动端方兴未艾

    2018年初，TensorFlow作为一个技术热点，逐渐普及到机器学习应用开发的各个方面。在2018-2019年中国开发者报告中显示，TensorFlow 使用普及率达到52%，是第二名的两倍之多。...谷歌在2016年发布TPU（张量处理单元），通过硬件加速为人工智能提供强有力的计算基础，并在其数据中心大量使用TPU。国内华为等厂商也开始推出性能更高的芯片帮助移动端机器学习的实现。...随着移动设备变得越来越强大，我们会看到更多运行在移动设备上的机器学习应用程序。“On-Device”机器学习已经成为机器学习的主要应用形式。 ?...本书从深入讲解使用TensorFlow和TensorFlow Lite构建安卓的应用开始，讲解了如何在云端设计和训练模型，为移动端进行模型转化和优化，在专有硬件和平台上进行加速和优化，本书最后也介绍了一些最新的技术和开发框架...第四章到第七章 深入讲解了如何使用TensorFlow和TensorFlow Lite在安卓上进行机器学习应用的开发。

    37410
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券