前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >安卓软件开发:使用机器学习TF框架和 CameraX 识别文本、识别语言和翻译文本

安卓软件开发:使用机器学习TF框架和 CameraX 识别文本、识别语言和翻译文本

原创
作者头像
Nimyears
修改2024-09-23 07:53:40
1050
修改2024-09-23 07:53:40

2024年已经过半了,我作为聋人独立开发者,我经常会时不时反思:自己这半年到底进步了多少?在这篇文章里,我分享实现机器学习部署Android端开发Nim翻译App的案例。如果你有一定开发经验,相信这篇文章对你会非常有所帮助。

一、项目背景

使用机器学习套件构建一个 Android App实现文本识别 API 识别实时相机画面中的文本。使用机器学习套件 Language Identification API 识别识别出的文本的语言。机器学习套件 Translation API,文本翻译成选项里任何选定的语言。

二、项目开发

这项目使用 Jetpack Compose 进行 UI 构建,结合 Material 3 设计元素实现了简洁美观UI。Kotlin 协程处理并发任务,两个者多个选手的进度同步更新而不阻塞主线程。 PS:适合已有编程基础的开发者,如果你是初学者,建议先看看我另一篇基础文章:安卓软件开发:如何实现机器学习部署到安卓端-腾讯云开发者社区-腾讯云 (tencent.com)

2.1 在build.gradle依赖MLKit套件和 CameraX

代码语言:groovy
复制
// CameraX 
def camerax_version = "1.0.0-beta05"
implementation "androidx.camera:camera-core:${camerax_version}"
implementation "androidx.camera:camera-camera2:${camerax_version}"
implementation "androidx.camera:camera-lifecycle:${camerax_version}"
implementation "androidx.camera:camera-view:1.0.0-alpha12"

// ML Kit
implementation 'com.google.android.gms:play-services-mlkit-text-recognition:16.0.0'
implementation 'com.google.mlkit:language-id:16.0.0'
implementation 'com.google.mlkit:translate:16.0.0'

2.2 构建 UI

代码语言:java
复制
<?xml version="1.0" encoding="utf-8"?>
<androidx.constraintlayout.widget.ConstraintLayout xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:app="http://schemas.android.com/apk/res-auto"
    xmlns:tools="http://schemas.android.com/tools"
    android:id="@+id/main"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    tools:context="com.google.mlkit.showcase.translate.main.MainFragment">

    <androidx.camera.view.PreviewView
        android:id="@+id/viewfinder"
        android:layout_width="match_parent"
        android:layout_height="0dp"
        app:layout_constraintEnd_toEndOf="parent"
        app:layout_constraintStart_toStartOf="parent"
        app:layout_constraintBottom_toTopOf="@id/middle"
        app:layout_constraintTop_toTopOf="parent" />
    <SurfaceView
        android:id="@+id/overlay"
        android:layout_width="match_parent"
        android:layout_height="0dp"
        app:layout_constraintStart_toStartOf="@id/viewfinder"
        app:layout_constraintEnd_toEndOf="@id/viewfinder"
        app:layout_constraintBottom_toBottomOf="@id/viewfinder"
        app:layout_constraintTop_toTopOf="@id/viewfinder" />

    <androidx.constraintlayout.widget.Guideline
        android:id="@+id/middle"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:orientation="horizontal"
        app:layout_constraintGuide_percent=".5" />

    <TextView
        android:id="@+id/srcLang"
        style="@style/SrcLangText"
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:layout_marginStart="20dp"
        android:layout_marginTop="8dp"
        android:layout_marginEnd="20dp"
        android:layout_marginBottom="4dp"
        app:layout_constraintBottom_toTopOf="@+id/srcTextScrollView"
        app:layout_constraintEnd_toEndOf="parent"
        app:layout_constraintStart_toStartOf="parent"
        app:layout_constraintTop_toBottomOf="@id/middle"
        tools:text=">源语言" />

    <ScrollView
        android:id="@+id/srcTextScrollView"
        android:layout_width="match_parent"
        android:layout_height="100dp"
        android:layout_marginBottom="4dp"
        android:fillViewport="true"
        android:scrollbars="vertical"
        app:layout_constraintBottom_toTopOf="@+id/divider"
        app:layout_constraintEnd_toEndOf="parent"
        app:layout_constraintStart_toStartOf="parent"
        app:layout_constraintTop_toBottomOf="@id/srcLang">

        <TextView
            android:id="@+id/srcText"
            style="@style/SrcText"
            android:layout_width="match_parent"
            android:layout_height="wrap_content"
            android:layout_marginStart="20dp"
            android:layout_marginEnd="20dp"
            tools:text="源文本" />
    </ScrollView>

    <View
        android:id="@+id/divider"
        android:layout_width="match_parent"
        android:layout_height="1dp"
        android:layout_marginStart="20dp"
        android:layout_marginEnd="20dp"
        android:background="?android:attr/listDivider"
        app:layout_constraintBottom_toTopOf="@+id/targetLangSelector"
        app:layout_constraintEnd_toEndOf="parent"
        app:layout_constraintStart_toStartOf="parent"
        app:layout_constraintTop_toBottomOf="@id/srcTextScrollView" />

    <Spinner
        android:id="@+id/targetLangSelector"
        android:layout_width="0dp"
        android:layout_height="wrap_content"
        android:layout_marginStart="20dp"
        app:layout_constraintStart_toStartOf="parent"
        app:layout_constraintTop_toBottomOf="@id/divider" />

    <ScrollView
        android:id="@+id/translatedTextScrollView"
        android:layout_width="match_parent"
        android:layout_height="100dp"
        android:layout_marginBottom="4dp"
        android:fillViewport="true"
        android:scrollbars="vertical"
        app:layout_constraintBottom_toTopOf="@+id/divider2"
        app:layout_constraintEnd_toEndOf="parent"
        app:layout_constraintStart_toStartOf="parent"
        app:layout_constraintTop_toBottomOf="@id/targetLangSelector">

        <TextView
            android:id="@+id/translatedText"
            style="@style/TranslatedText"
            android:layout_width="match_parent"
            android:layout_height="wrap_content"
            android:layout_marginStart="20dp"
            android:layout_marginEnd="20dp"
            android:layout_marginBottom="4dp"
            tools:text="翻译文本" />
    </ScrollView>

    <View
        android:id="@+id/divider2"
        android:layout_width="match_parent"
        android:layout_height="1dp"
        android:layout_marginStart="20dp"
        android:layout_marginTop="4dp"
        android:layout_marginEnd="20dp"
        android:layout_marginBottom="4dp"
        android:background="?android:attr/listDivider"
        app:layout_constraintBottom_toTopOf="@id/imageView"
        app:layout_constraintEnd_toEndOf="parent"
        app:layout_constraintStart_toStartOf="parent"
        app:layout_constraintTop_toBottomOf="@id/translatedTextScrollView" />
        
    <TextView
        android:layout_width="wrap_content"
        android:layout_height="20dp"
        android:scaleType="center"
        android:textSize="15sp"
        android:text="@Nim独立开发者"
        android:textColor="@color/colorAccent"
        app:layout_constraintBottom_toBottomOf="parent"
        app:layout_constraintEnd_toEndOf="parent"
        app:layout_constraintStart_toStartOf="parent"
        app:layout_constraintTop_toBottomOf="@id/divider2" />
        
    <ProgressBar
        android:id="@+id/progressBar"
        style="?android:attr/progressBarStyle"
        android:layout_width="30dp"
        android:layout_height="30dp"
        android:visibility="invisible"
        app:layout_constraintStart_toEndOf="@+id/targetLangSelector"
        app:layout_constraintTop_toTopOf="@id/targetLangSelector"
        app:layout_constraintBottom_toBottomOf="@id/targetLangSelector" />

    <TextView
        android:id="@+id/progressText"
        android:layout_width="0dp"
        android:layout_height="0dp"
        android:text="@string/downloading_model_files"
        app:layout_constraintEnd_toEndOf="parent"
        app:layout_constraintStart_toEndOf="@+id/progressBar"
        app:layout_constraintBottom_toBottomOf="@id/progressBar"
        android:gravity="center_vertical"
        app:layout_constraintTop_toTopOf="@id/progressBar" />

</androidx.constraintlayout.widget.ConstraintLayout>

2.3 效果图

2.4 开发添加文本识别的功能

2.4.1 实例化文本检测器

代码语言:java
复制
private val detector = TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS)

init {
   lifecycle.addObserver(detector)
}

还没写业务code,待更新,未续..

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、项目背景
  • 二、项目开发
    • 2.1 在build.gradle依赖MLKit套件和 CameraX
      • 2.2 构建 UI
    • 2.3 效果图
      • 2.4 开发添加文本识别的功能
      相关产品与服务
      云开发 CloudBase
      云开发(Tencent CloudBase,TCB)是腾讯云提供的云原生一体化开发环境和工具平台,为200万+企业和开发者提供高可用、自动弹性扩缩的后端云服务,可用于云端一体化开发多种端应用(小程序、公众号、Web 应用等),避免了应用开发过程中繁琐的服务器搭建及运维,开发者可以专注于业务逻辑的实现,开发门槛更低,效率更高。
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档