Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >橙芯创想:香橙派AIPRO解锁升腾LLM与Stable Diffusion的创意密码

橙芯创想:香橙派AIPRO解锁升腾LLM与Stable Diffusion的创意密码

作者头像
一只
发布于 2024-07-18 00:09:44
发布于 2024-07-18 00:09:44
3261
举报

引言

在科技的浪潮中,一场融合智慧与创意的盛会正在启幕,《香橙派AIPRO解锁升腾LLMStable Diffusion的创意密码》引领你步入一个全新的维度。握住香橙派AI Pro开发板,如同掌握了一把通往未来的钥匙,不仅驾驭着ChatCLM模型,更将Stable Diffusion的力量纳入掌中,从零开始编织属于自己的智能织锦。

一. 香橙派AI PRO配置以及展示

优秀的扩展能力

​ 香橙派AI Pro,作为一款高性能的边缘计算平台,展现出非凡的扩展能力。它配备了丰富的I/O接口,包括但不限于USB、HDMI、网络接口以及GPIO端口,支持多种传感器、显示器和外部存储设备的直接连接。这种高度的兼容性和灵活性,使得开发者能够根据项目需求轻松扩展硬件配置,无论是构建复杂的机器人系统、智能物联网网关,还是高性能的边缘计算服务器,香橙派AI Pro都能提供坚实的技术支撑。

实物展示

二、Ascend-LLM模型部署

开机

香橙派AI Pro内置镜像,如果没有对高版本镜像的需求可以即插即用。

需要显示器、键盘、鼠标各一份。

默认壁纸还是非常漂亮的。默认密码:Mind@123

xshell连接香橙派

连接网络之后通过ifconfig查看ip地址。

通过ip+账号即可通过shell工具实现远程连接。我们选择xshell作为shell工具。

实战运行部署

我们选择南京大学开源的一套基于香橙派 AIpro部署的Tiny-Llama语言模型。充分释放性能。

gitee地址:[ChatGLM3 ManualReset: chatglm3基于香橙派AIPro部署 (gitee.com)](https://gitee.com/wan-zutao/chatglm3-manual-reset)

本地通过网络下载zip包通过xshell导入香橙派即可。

unzip 命令可以解压文件夹。

后面发现镜像自带git,无需下载,直使用git命名下载。

git clone https://gitee.com/wan-zutao/chatglm3-manual-reset.git

cd inference进入inference目录

bash downlado.sh 下载模型,大概11GB,网速快的几分钟即可。

python3 main.py 启动程序

在这里插入图片描述
在这里插入图片描述

从打印日志找到访问的url

可以非常愉快的和 Ascend-llm交互了。

通过top命名查看系统情况

  • CPU使用率:当前为29.1%,4.1%用于用户空间进程,4.1%用于内核空间,64.1%处于空闲状态。
  • 内存使用情况:总物理内存大小是7543.6 MiB,已用5287.6 MiB,剩余1586.9 MiB可用,交换内存总量为2048.0 MiB,已使用163.2 MiB,剩余1884.8 MiB未被使用。

运行结果分析

Ascend-LLM 部署过程中,香橙派AIPRO的兼容性和易用性得到了充分验证,使得模型能够迅速在边缘设备上实现落地。得益于其内置的NPU加速单元,Ascend-LLM的运行效率得到了显著提升,即使在资源受限的环境中也能保持高效的推理速度。

模型运行效率 得益于内置的NPU加速单元,Ascend-LLM模型在香橙派AI Pro上的运行效率显著提升,即使在资源受限的边缘设备上,也能保持高效的推理速度。

资源消耗 通过top命令监控系统状态,显示CPU使用率为29.1%,其中4.1%用于用户空间进程,4.1%用于内核空间,而64.1%处于空闲状态。内存方面,总物理内存为7543.6MiB,已用5287.6MiB,剩余1586.9MiB可用,交换内存总量为2048.0MiB,已使用163.2MiB,剩余1884.8MiB未被使用。

开发版表现

负载管理 香橙派AI Pro在处理模型时,尽管CPU和内存有一定的使用率,但整体仍有较大的余量,表明其具备良好的资源管理能力,能够在运行复杂模型的同时保持系统的稳定运行。

散热性能 在启动初期,大约10秒钟会有轻微的噪音,这是预热阶段正常现象。之后,开发板运行时几乎无声,风扇运行平稳,没有明显的噪音波动。长时间使用后,散热片温度适中,证明散热设计有效,有助于维持设备长期稳定运行。

三、Stable Diffusion

另外使用香橙派AIPRO部署了Stable Diffusion,来看看算力表现如何。

文生图

文生图是指通过输入文本描述,让Stable Diffusion模型生成与之匹配的图像。这个过程涉及到模型的推理和图像的生成。用户可以通过在工作区输入文本,然后在调参区调整参数,来生成符合自己需求的图像。

性能表现

Stable Diffusion ​对于Stable Diffusion这样的模型,通常在GPU或专用AI加速器上运行,其处理时间可以从几秒到几十秒不等,具体取决于上述因素。由于Stable Diffusion模型较为复杂,即使在高端GPU上,生成一张图像也可能需要几秒到十几秒的时间。但是,由于香橙派AI Pro的AI算力达到了20TOPS,它能够较快地处理此类任务。香橙派AI Pro的AI核心可以加速深度学习任务,但在处理复杂模型时可能不会像高端GPU那样快。在优化良好的条件下,使用香橙派AI Pro开发板生成一张图像的时间可能会在10秒到30秒之间,但这只是一个估计范围,实际时间可能会有所不同,具体取决于模型的具体配置和优化情况。

四、体验总结

性能

配置不输我自己的电脑,在跑AI模型的时候更是拉开了一大段差距。

硬件规格参数

CPU

4核64位处理器+ AI处理器 1个DaVinciV300 AI core,主频1.224GHz 4个TAISHANV200M处理器核,主频1.6GHz

AI算力

20TOPS算力

内存

LPDDR4X:12GB/24GB(可选),速率:4266Mbps

存储

·支持eMMC模块:32GB/64GB/256GB ·SATA/NVME SSD(M.2接口2280) ·SPI Flash: 32MB ·TF插槽

WIFI+蓝牙

Wi-Fi 5双频+BT 4.2,BLE

以太网收发器

双2.5G以太网

显示

·2 * HDMI TX 2.0输出,最大支持4K@60FPS ·1 * MIPI DSI 4-Lane 输出

摄像头

2 * MIPI CSI 4-Lane摄像头接口

USB

3 * USB 3.0 HOST 1 * USB Type-C 3.0 HOST/Device(兼容USB2.0) 1 * Type-C串口打印功能

音频

3.5mm耳机孔音频输入/输出

按键

1开机键、1RESET键、1启动拨动键、1BOOT键

40PIN

40PIN 功能扩展接口,支持以下接口类型: GPIO、UART、I2C、SPI、PWM

风扇

风扇接口*1

预留接口

预留2PIN电池接口

电源

Type-C PD 20V IN ,标准65W

支持的操作系统

Ubuntu、openEuler

产品尺寸

115.23mm83.26mm1.6mm

重量

120.5g

噪音

启动时,会经历大概十秒钟的轻微噪音,这是预热阶段。之后,就几乎听不到声音了。在处理模型的过程中,风扇的响声很平稳,没什么起伏。我用了好几个小时,这期间,风扇一直很安静。而且,散热片摸着不烫,说明设备散热做得挺好。

便捷性

仅需配备鼠标、键盘与显示器,即可实现全面操作。此板体积精巧,工艺细致,便携特性显著,轻而易举纳入随身口袋,随时随地展开工作或学习,移动性极佳。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2024-07-17,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
1 条评论
热度
最新
可以,大佬,互粉一下
可以,大佬,互粉一下
回复回复点赞举报
推荐阅读
编辑精选文章
换一批
用香橙派AIpro部署大模型、安装宝塔搭建私有随身WEB开发环境
Orange Pi AI Pro 开发板是香橙派联合华为精心打造的高性能 AI 开发板,其搭载了昇腾 AI 处理器,可提供 8TOPS INT8 的计算能力,内存提供了 8GB 和 16GB两种版本。可以实现图像、视频等多种数据分析与推理计算,可广泛用于教育、机器人、无人机等场景。
星哥玩云
2024/05/29
8180
用香橙派AIpro部署大模型、安装宝塔搭建私有随身WEB开发环境
性能怪兽!香橙派 Kunpeng Pro 开发板深度测评,带你解锁无限可能
大家好,我是猫头虎。随着科技的不断进步,嵌入式开发和物联网(IoT)技术的应用变得越来越广泛,各类高性能开发板也应运而生。这些开发板在物联网设备、智能家居、自动化控制等多个领域发挥着重要作用。近年来,市场上推出了多款高性能开发板,而其中,香橙派 Kunpeng Pro 因其强大的计算能力和丰富的接口配置,受到了广泛的关注和好评。
猫头虎
2024/05/28
6300
性能怪兽!香橙派 Kunpeng Pro 开发板深度测评,带你解锁无限可能
OrangePi_Kunpeng_Pro开发板测验——性能巨人
在开始测试之前,请确保您的香橙派 Kunpeng Pro 已正确启动,并通过 SSH 连接到您的开发板。
屿小夏
2024/05/30
1590
OrangePi_Kunpeng_Pro开发板测验——性能巨人
【腾讯云HAI】基于腾讯云HAI部署Stable Diffusion进行图像创作
在深度学习领域,稳定扩散(Stable Diffusion)是一种强大的生成模型,近年来备受关注。稳定扩散模型通过逐步将噪声信号转化为目标图像,实现了高质量图像生成的突破性进展。相较于传统的生成对抗网络(GAN)等模型,稳定扩散技术在生成图像时展现出更加稳定和可控的特性,为图像生成任务带来了全新的可能性。然而,稳定扩散模型对计算资源和硬件设备要求较高,需要充足的显存和计算能力来支持模型的训练和推理过程,一般的用户是无法在本地进行训练和推理的。腾讯云一直是国内大模型的重要参与中,腾讯云高性能应用服务(Hyper Application lnventor,HA),是一款面向 Al、科学计算的 GPU 应用服务产品,为开发者量身打造的澎湃算力平台,今天我们就基于腾讯云HAI进行Stable Diffusion的部署和推理
Freedom123
2024/03/27
4661
算能端侧 AI 盒子 Stable Diffusion 一秒一张图:AirBox BM1684X
本篇文章聊聊基于 端侧 AI 计算设备,20~30 瓦功耗运行大模型的算能 AirBox。
soulteary
2024/08/01
4840
算能端侧 AI 盒子 Stable Diffusion 一秒一张图:AirBox BM1684X
Xinference实战指南:全面解析LLM大模型部署流程,携手Dify打造高效AI应用实践案例,加速AI项目落地进程
Xorbits Inference (Xinference) 是一个开源平台,用于简化各种 AI 模型的运行和集成。借助 Xinference,您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理,并创建强大的 AI 应用。通过 Xorbits Inference,可以轻松地一键部署你自己的模型或内置的前沿开源模型
汀丶人工智能
2024/08/17
5.6K0
Xinference实战指南:全面解析LLM大模型部署流程,携手Dify打造高效AI应用实践案例,加速AI项目落地进程
MLC LLM——本地应用程序上原生部署任何语言模型
在AI浪潮风起云涌的当下,AI正在不断地重塑着每一个行业。在各大厂先后争先恐后地推出一系列大模型的同时,也不断出现了很多开源的大模型。今天介绍的这个出现在GitHub热榜上的项目是MLC LLM。它是一种通用解决方案,可以在各种硬件后端和本地应用程序上原生部署任何语言模型,同时为所有人提供一个高效的框架,以进一步优化模型性能以适应其自身的用例。 一切都在本地运行,无需服务器支持,并且可以在手机和笔记本电脑上通过本地GPU加速。
山行AI
2023/06/14
3.4K0
MLC LLM——本地应用程序上原生部署任何语言模型
LLM 推理和应用 开源框架梳理
之前对LLM 推理和应用了解不多,因此抽时间梳理了一下,我们从模型量化,模型推理,以及开发平台等三个层面来梳理分析。
JadePeng
2024/03/13
2K0
LLM 推理和应用 开源框架梳理
玩转 AIGC:Ubuntu 24.04 LTS 安装配置 Stable Diffusion WebUI
今天分享的内容是 玩转 AIGC「2024」 系列文档中的 Ubuntu 24.04 LTS 安装配置 Stable Diffusion WebUI。
运维有术
2024/05/11
2.7K0
玩转 AIGC:Ubuntu 24.04 LTS 安装配置 Stable Diffusion WebUI
基于 RK3588 的 ARM 架构 ITX 主机搭建指南:系统选型和配置优化
这篇文档,应该是目前你能够找到的 RK3588 相关,最全面的设备系统选型和配置优化的内容了,希望能够帮到有类似需求的你。
soulteary
2025/04/07
2460
基于 RK3588 的 ARM 架构 ITX 主机搭建指南:系统选型和配置优化
在搭载 M1 及 M2 芯片 MacBook设备上玩 Stable Diffusion 模型
本篇文章,我们聊了如何使用搭载了 Apple Silicon 芯片(M1 和 M2 CPU)的 MacBook 设备上运行 Stable Diffusion 模型。
soulteary
2023/03/05
3.5K0
在搭载 M1 及 M2 芯片 MacBook设备上玩 Stable Diffusion 模型
相关推荐
用香橙派AIpro部署大模型、安装宝塔搭建私有随身WEB开发环境
更多 >
LV.0
这个人很懒,什么都没有留下~
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档