Reconoce flores con TensorFlow Lite en Android

1. Introducción

Nota: En este codelab, se requiere un dispositivo físico para realizar las pruebas

TensorFlow es un framework multipropósito de aprendizaje automático. TensorFlow se puede usar en cualquier lugar, ya sea para entrenar modelos grandes en clústeres en la nube o para ejecutar modelos de forma local en un sistema incorporado, como tu teléfono.

En este codelab, se usa TensorFlow Lite para ejecutar un modelo de reconocimiento de imágenes en un dispositivo Android.

Instala Android Studio 4.1 o una versión posterior

Si aún no lo tienes, ve a descargar e instalar Android Studio 4.1 o una versión posterior mientras entrenas tu modelo de TensorFlow Lite.

Qué aprenderás

• Cómo entrenar tu propio clasificador de imágenes personalizado con TensorFlow Lite Model Maker
• Cómo usar Android Studio para importar el modelo de TensorFlow Lite a fin de integrar el modelo personalizado en una app para Android con CameraX
• Cómo usar GPU en tu teléfono para acelerar tu modelo.

Qué compilarás

Una app de cámara sencilla que ejecuta un programa de reconocimiento de imágenes de TensorFlow para identificar flores.

Licencia: De uso gratuito

2. Entrena un reconocedor de flores con Colab

Antes de comenzar el entrenamiento de modelos, descarga e instala Android Studio 4.1 o una versión posterior.

Abre Colab, que muestra cómo entrenar un clasificador con Keras para reconocer flores con el aprendizaje por transferencia de TensorFlow Lite.

Asegúrese de lo siguiente:

1. descargó el modelo entrenado (model.tflite)
2. cambió el nombre del archivo FlowerModel.tflite

antes de continuar.

Algunos navegadores bloquearán las descargas:

Es posible que debas darle permiso a Colab para descargar los archivos:

3. Configura el directorio de trabajo

Clona el repositorio de Git

Con el siguiente comando, se clonará el repositorio de Git que contiene los archivos necesarios para este codelab:

git clone https://github.com/hoitab/TFLClassify.git

A continuación, ve al directorio en el que acabas de clonar el repositorio. Aquí es donde trabajarás durante el resto de este codelab:

cd TFLClassify

4. Cómo configurar la app de Skeleton de Android

Instala Android Studio 4.1 o una versión posterior

Si aún no lo tienes, instala Android Studio 4.1 o una versión posterior.

Abre el proyecto con Android Studio

Para abrir un proyecto con Android Studio, sigue estos pasos:

1. Abre Android Studio . Cuando se cargue, selecciona "Open an Existing project" desde esta ventana emergente:

2. En el selector de archivos, elige TFLClassify/build.gradle en el directorio de trabajo.

El proyecto contiene dos módulos, start y finish. Si no puedes avanzar, consulta el módulo finish para obtener una sugerencia.

3. Obtendrás una "Gradle Sync" la primera vez que abres el proyecto, en la que se te pregunta sobre el uso del wrapper de Gradle. Haz clic en "Aceptar".

4. Habilita el modelo de desarrollador y la depuración por USB en tu teléfono si aún no lo has hecho. Esta configuración se realiza por única vez. Sigue estas instrucciones.
5. Una vez que el proyecto y el teléfono estén listos, puedes ejecutarlo en un dispositivo real. Para ello, selecciona TFL_Classify.start y presiona el botón de ejecución en la barra de herramientas:

6. Ahora, permita que la demostración de Tensorflow acceda a su cámara:

7. Verás la siguiente pantalla en tu teléfono con números al azar que reemplazarán donde se mostrarán los resultados reales.

5. Agrega TensorFlow Lite a la app para Android

1. Selecciona el módulo start en el explorador de proyectos ubicado en el lado izquierdo:

2. Haz clic con el botón derecho en el módulo start o en File y, luego, en New > Other > TensorFlow Lite Model

3. Selecciona la ubicación del modelo donde descargaste antes el entrenamiento personalizado FlowerModel.tflite.

Ten en cuenta que las herramientas configurarán la dependencia del módulo por ti con la vinculación del modelo de AA y todas las dependencias insertadas automáticamente en el archivo build.gradle de tu módulo de Android.

4. Haz clic en Finish.
5. Al final, verás lo siguiente. FlowerModel.tflite se importó correctamente y muestra la información de alto nivel sobre el modelo, incluida la entrada y la salida, así como un código de muestra para comenzar.

6. Opcional: Revisa toda la lista de tareas pendientes

La lista de tareas pendientes te permite navegar fácilmente hasta la ubicación exacta en la que necesitas actualizar el codelab. También puedes usarla en tu proyecto de Android para recordar trabajos futuros. Puedes agregar elementos de tareas pendientes con comentarios de código y escribir la palabra clave TODO. Para acceder a la lista de tareas pendientes, puedes hacer lo siguiente:

1. Una buena manera de ver qué vamos a hacer es consultar la lista de tareas pendientes. Para hacerlo, selecciona la barra de menú superior View > Tool Windows > TODO

2. De forma predeterminada, enumera todos los elementos TODO en todos los módulos, lo que lo hace un poco confuso. Podemos ordenar solo las tareas pendientes iniciales. Para ello, haz clic en el botón Agrupar por en el costado del panel de tareas pendientes y elige Modules.

3. Expande todos los elementos debajo de los módulos de inicio:

7. Ejecuta el modelo personalizado con TensorFlow Lite

1. Haz clic en TODO 1 en la lista de tareas pendientes o abre el archivo MainActivity.kt y busca TODO 1, inicializa el modelo, agregando esta línea:

private class ImageAnalyzer(ctx: Context, private val listener: RecognitionListener) :
        ImageAnalysis.Analyzer {

  ...
  // TODO 1: Add class variable TensorFlow Lite Model
  private val flowerModel = FlowerModel.newInstance(ctx)

  ...
}

2. Dentro del método de análisis para CameraX Analyzer, debemos convertir el objeto ImageProxy de entrada de la cámara en un Bitmap y crear un objeto TensorImage para el proceso de inferencia.

Ten en cuenta que las herramientas actuales requieren que la entrada de imagen esté en formato Bitmap.

• Esto significa que, si la entrada es un archivo en lugar de ImageProxy, puedes ingresarla directamente al método fromBitmap como un objeto Bitmap.
• Si te interesa saber cómo se convierte ImageProxy en Bitmap, consulta el método toBitmap y YuvToRgbConverter. Esperamos que las necesidades de estos métodos sean temporales a medida que el equipo trabaja para lograr la asistencia de ImageProxy para TensorImage.

override fun analyze(imageProxy: ImageProxy) {
  ...
  // TODO 2: Convert Image to Bitmap then to TensorImage
  val tfImage = TensorImage.fromBitmap(toBitmap(imageProxy))
  ...
}

3. Procesa la imagen y realiza las siguientes operaciones en el resultado:

• Ordena los resultados por probabilidad de forma descendente en el atributo score, con la probabilidad más alta primero.
• Toma los resultados k superiores según lo definido por la constante MAX_RESULT_DISPLAY. Si lo deseas, puedes variar el valor de esta variable para obtener más o menos resultados.

override fun analyze(imageProxy: ImageProxy) {
  ...
  // TODO 3: Process the image using the trained model, sort and pick out the top results
  val outputs = flowerModel.process(tfImage)
      .probabilityAsCategoryList.apply {
          sortByDescending { it.score } // Sort with highest confidence first
      }.take(MAX_RESULT_DISPLAY) // take the top results

  ...
}

4. Convierte los resultados ordenados y filtrados en objetos de datos Recognition listos para que RecyclerView los consuma a través de la vinculación de datos:

override fun analyze(imageProxy: ImageProxy) {
  ...
  // TODO 4: Converting the top probability items into a list of recognitions
  for (output in outputs) {
      items.add(Recognition(output.label, output.score))
  }
  ...
}

5. Marca como comentario o borra las siguientes líneas que ayudan a generar los resultados falsos que vemos antes:

// START - Placeholder code at the start of the codelab. Comment this block of code out.
for (i in 0..MAX_RESULT_DISPLAY-1){
    items.add(Recognition("Fake label $i", Random.nextFloat()))
}
// END - Placeholder code at the start of the codelab. Comment this block of code out.

8. Para ejecutar la app en un dispositivo real, selecciona TFL_Classify.start y presiona el botón de ejecución en la barra de herramientas:

9. Verás la siguiente pantalla en tu teléfono; los números al azar cambiarán donde se mostrarán los resultados reales:

8. Opcional: Acelera la inferencia con el delegado de GPU

TensorFlow Lite admite varios aceleradores de hardware para acelerar la inferencia en tu dispositivo móvil. La GPU es uno de los aceleradores que TensorFlow Lite puede aprovechar a través de un mecanismo de delegado y es bastante fácil de usar.

1. Abre build.gradle en el módulo start o haz clic en TODO 5 en la lista de tareas pendientes y agrega la siguiente dependencia:

// TODO 5: Optional GPU Delegates    
implementation 'org.tensorflow:tensorflow-lite-gpu:2.3.0'

Nota: Agregamos esta importación de forma manual en este codelab, pero, cuando lo hagas en tu proyecto, solo marca la segunda casilla en la pantalla de importación para agregar una dependencia de aceleración de GPU:

2. Regresa al archivo MainActivity.kt o haz clic en TODO 6, en la lista de tareas pendientes. Reemplaza el inicio simple de flowerModel por lo siguiente: Obtén una instancia de la lista de compatibilidad de GPU y, luego, inicializa la GPU en función de si es una de las GPU compatibles que figuran en la lista. De lo contrario, inicia 4 subprocesos de CPU para ejecutar el modelo en su lugar:

private class ImageAnalyzer(ctx: Context, private val listener: RecognitionListener) :
        ImageAnalysis.Analyzer {
  ...

  // TODO 1: Add class variable TensorFlow Lite Model
  // Initializing the flowerModel by lazy so that it runs in the same thread when the process
  // method is called.
  private val flowerModel: FlowerModel by lazy{

    // TODO 6. Optional GPU acceleration
    val compatList = CompatibilityList()

    val options = if(compatList.isDelegateSupportedOnThisDevice){
        Log.d(TAG, "This device is GPU Compatible ")
        Model.Options.Builder().setDevice(Model.Device.GPU).build()
    } else {
        Log.d(TAG, "This device is GPU Incompatible ")
        Model.Options.Builder().setNumThreads(4).build()
    }

  ...
}

Nota: Hay varios objetos Model, elige el objeto org.tensorflow.lite.support.model.Model en tu importación.

3. Cambia el inicializador del modelo para usarlo. Para ello, agrega options a la entrada del método:

private class ImageAnalyzer(ctx: Context, private val listener: RecognitionListener) :
        ImageAnalysis.Analyzer {

  private val flowerModel: FlowerModel by lazy{

    ...

    // Initialize the Flower Model
    FlowerModel.newInstance(ctx, options)
  }
}

10. Para ejecutar la app en un dispositivo real, selecciona TFL_Classify.start y presiona el botón de ejecución en la barra de herramientas:

En un dispositivo móvil de gama media o alta, la GPU es mucho más rápida que la CPU. Los dispositivos de gama baja suelen tener GPU más lentas, por lo que la velocidad que veas variará.

9. Próximos pasos

Aquí tienes algunos vínculos para obtener más información:

• Prueba otros modelos de TFLite compatibles con la vinculación de modelos de AA desde tfhub.dev.
• Obtén más información sobre TFLite en los documentos de tensorflow.org y el repositorio de código.
• Prueba otros modelos previamente entrenados de TFLite, como un detector de palabras clave por voz y una versión de respuesta inteligente integrada en el dispositivo.
• Obtén más información sobre TensorFlow en general con nuestros documentos de introducción.