前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >字节跳动开源云原生机器学习平台 Klever

字节跳动开源云原生机器学习平台 Klever

作者头像
用户7454708
发布2023-05-08 10:39:59
1.1K0
发布2023-05-08 10:39:59
举报
文章被收录于专栏:宗恩

SegmentFault 思否消息,字节跳动技术团队官方微信公众号发布消息称:「字节跳动基础架构团队基于火山引擎机器学习平台 Clever 及其丰富的行业落地经验,推出开源项目 Klever,以工程化的方式降低智能技术落地门槛,助力企业快速打造智能业务。」

项目地址 : https://github.com/kleveross


Klever 是一个支持 OCI(Open Container Initiative)标准存储训练模型、支持在线模型服务部署的云原生机器学习平台。算法科学家可以使用 Klever 进行模型管理模型解析模型转换模型服务,它已经解决了智能技术落地流程中的如下问题:

  • 模型的管理和分发
  • 模型解析和转换
  • 在线模型服务部署和管理

同时,基于字节跳动在机器学习和云原生开源社区的技术积累,Klever 提供强大、通用的开源技术标准,方便企业无缝迁移线上应用。

换句话说 Klever 的主要功能是解决 ,算法技术选型到模型最终上线过程中涉及到的大量工程化任务对接,从而解放算法工程师的「双手」,让他们可以聚焦在算法模型上,不必为大量繁琐的配置工作浪费时间。

现在,在字节跳动内部在基于各类实践完善云原生机器学习工程化平台的构建想法,丰富 Klever 的功能和内涵。在外部市场,火山引擎推出的商业化版机器学习平台 Clever 已在金融、制造、零售、能源等行业拥有成熟的解决方案。

Klever 的概述

系统架构

Klever 有四个自研发的组件,并依赖三个开源组件:

  • ormb:模型打包、解压、上传、下载工具
  • model-registry:模型仓库及模型服务 API 管理层
  • modeljob-operator:ModelJob controller,管理模型解析、模型转换任务
  • klever-web:前端组件
  • Istio:开源服务网格组件,模型服务通过 Istio 对外暴露模型服务地址,实现模型服务按内容分流和按比例分流
  • Harbor:模型底层存储组件,对模型配置和模型文件进行分层存储
  • Seldon Core:开源模型服务管理的 Seldon Deployment CRD 的 controller,通过 SeldonDeployment CR 实现模型服务的管理

CI 标准的模型仓库管理,用户可以像使用 Docker 管理镜像一样管理机器学习模型。

其次,整个系统可通过容器化的方式部署在 Kubernetes 容器管理平台之上,用户无需管理模型解析、模型转换、模型服务实际运行在哪台物理机之上,系统会自动调度和运行资源充足的机器,并在模型服务负载较高时自动弹性伸缩。

最后,由于机器学习在不同训练过程中往往使用不同的数据集,会产生不同的模型,Klever 支持多种模型服务运行时,可将产生的模型用于提供生产环境可用的在线服务。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2023-05-06,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Klever 的概述
    • 系统架构
    相关产品与服务
    容器服务
    腾讯云容器服务(Tencent Kubernetes Engine, TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,覆盖 Serverless、边缘计算、分布式云等多种业务部署场景,业内首创单个集群兼容多种计算节点的容器资源管理模式。同时产品作为云原生 Finops 领先布道者,主导开源项目Crane,全面助力客户实现资源优化、成本控制。
    领券
    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档