Codelab de iOS: Agrega recomendaciones a tu app con TensorFlow Lite y Firebase

Codelab de iOS:

Agrega recomendaciones a tu app con TensorFlow Lite y Firebase

Acerca de este codelab

Última actualización: sept 4, 2024

Escrito por un Googler

1. Descripción general

Nota: En este codelab, se usa la biblioteca de TensorFlow Lite. Se recomienda que todo el código nuevo use las herramientas de la biblioteca LiteRT de Google AI Edge.

Te damos la bienvenida al codelab Recomendaciones con TensorFlow Lite y Firebase. En este codelab, aprenderás a usar TensorFlow Lite y Firebase para implementar un modelo de recomendación en tu app. Este codelab se basa en este ejemplo de TensorFlow Lite.

Las recomendaciones permiten que las apps usen el aprendizaje automático para publicar de forma inteligente el contenido más relevante para cada usuario. Toman en cuenta el comportamiento anterior del usuario para sugerirle contenido de la app con el que podría interactuar en el futuro mediante un modelo entrenado en el comportamiento agregado de una gran cantidad de otros usuarios.

En este instructivo, se muestra cómo obtener datos de los usuarios de tu app con Firebase Analytics, compilar un modelo de aprendizaje automático para recomendaciones a partir de esos datos y, luego, usar ese modelo en una app para iOS para ejecutar inferencias y obtener recomendaciones. En particular, nuestras recomendaciones sugerirán qué películas es más probable que mire un usuario según la lista de películas que le gustaron anteriormente.

Qué aprenderás

• Integra Firebase Analytics en una app para Android para recopilar datos de comportamiento del usuario
• Exporta esos datos a Google BigQuery
• Procesa los datos con anterioridad y entrena un modelo de recomendaciones de TF Lite
• Implementa el modelo de TF Lite en el AA de Firebase y accede a él desde tu app
• Ejecuta la inferencia en el dispositivo con el modelo para sugerir recomendaciones a los usuarios

Requisitos

• Xcode 11 (o una versión posterior)
• CocoaPods 1.9.1 (o una versión posterior)

¿Cómo usarás este instructivo?

LeerLeer y completar los ejercicios

¿Cómo calificarías tu experiencia con la compilación de apps para iOS?

PrincipianteIntermedioAvanzado

2. Crea un proyecto de Firebase console

Agrega Firebase al proyecto

5. Ve a Firebase console.
6. Selecciona Create New Project y asigna el nombre "Firebase ML iOS Codelab" a tu proyecto.

3. Obtén el proyecto de ejemplo

Descargue el código

Comienza por clonar el proyecto de ejemplo y ejecutar pod update en el directorio del proyecto:

git clone https://github.com/FirebaseExtended/codelab-contentrecommendation-ios.git
cd codelab-contentrecommendation-ios/start
pod install --repo-update

Si no tienes git instalado, también puedes descargar el proyecto de ejemplo desde su página de GitHub o haciendo clic en este vínculo. Una vez que hayas descargado el proyecto, ejecútalo en Xcode y prueba la recomendación para ver cómo funciona.

Configura Firebase

Sigue la documentación para crear un proyecto de Firebase nuevo. Una vez que tengas tu proyecto, descarga el archivo GoogleService-Info.plist desde Firebase console y arrástralo a la raíz del proyecto de Xcode.

Agrega Firebase a tu Podfile y ejecuta pod install.

pod 'FirebaseAnalytics'
pod 'FirebaseMLModelDownloader', '9.3.0-beta'
pod 'TensorFlowLiteSwift'

En el método didFinishLaunchingWithOptions de tu AppDelegate, importa Firebase en la parte superior del archivo.

import FirebaseCore

Además, agrega una llamada para configurar Firebase.

FirebaseApp.configure()

Vuelve a ejecutar el proyecto para asegurarte de que la app esté configurada correctamente y no falle al iniciarse.

1. Asegúrate de que la opción "Habilitar Google Analytics para este proyecto" esté habilitada.
2. Sigue los pasos de configuración restantes en Firebase console y, luego, haz clic en Crear proyecto (o Agregar Firebase si usas un proyecto de Google existente).

4. Agrega Firebase Analytics a la app

En este paso, agregarás Firebase Analytics a la app para registrar los datos de comportamiento de los usuarios (en este caso, qué películas le gustan a un usuario). Estos datos se usarán en conjunto en pasos futuros para entrenar el modelo de recomendaciones.

Configura Firebase Analytics en la app

LikedMoviesViewModel contiene funciones para almacenar las películas que le gustan al usuario. Cada vez que al usuario le gusta una película nueva, también queremos enviar un evento de registro de Analytics para registrar ese Me gusta.

Agrega el siguiente código para registrar un evento de Analytics cuando el usuario haga clic en Me gusta en una película.

AllMoviesCollectionViewController.swift

import FirebaseAnalytics
//


override func collectionView(_ collectionView: UICollectionView, didSelectItemAt indexPath: IndexPath) {
//

if movie.liked == nil {
      movie.liked = true
      Analytics.logEvent(AnalyticsEventSelectItem, parameters: [AnalyticsParameterItemID: movie.id])
    } else {
      movie.liked?.toggle()
    }
       
}

5. Prueba tu integración de Analytics

En este paso, generaremos eventos de Analytics en la app y verificaremos que se envíen a Firebase console.

Habilita el registro de depuración de Analytics

Por lo general, los eventos que registra la app se agrupan en paquetes durante un período aproximado de una hora y se suben juntos. Este enfoque preserva la batería de los dispositivos del usuario final y reduce el uso de datos de la red. Sin embargo, para validar la implementación de Analytics (y para ver los datos de Analytics en el informe de DebugView), puedes habilitar el modo de depuración en el dispositivo de desarrollo para subir eventos con un retraso mínimo.

Para habilitar el modo de depuración de Analytics en tu dispositivo de desarrollo, especifica el siguiente argumento de línea de comandos en Xcode:

-FIRDebugEnabled

En este punto, integraste correctamente Firebase Analytics en tu app. A medida que los usuarios usen tu app y les gusten las películas, sus me gusta se registrarán de forma agregada. Usaremos estos datos agregados en el resto de este codelab para entrenar nuestro modelo de recomendaciones. El siguiente es un paso opcional para ver que los mismos eventos de Analytics que viste en Logcat también se transmiten a Firebase console. Puedes pasar a la siguiente página.

Opcional: Confirma los eventos de Analytics en Firebase console

1. Ve a Firebase console.
2. Selecciona DebugView en Analytics.
3. En Xcode, selecciona Run para iniciar la app y agregar algunas películas a tu lista de contenido que te gustó.
4. En DebugView de Firebase console, verifica que estos eventos se registren a medida que agregas películas en la app.

NOTA: Es posible que haya una demora antes de que los eventos de las estadísticas aparezcan en Firebase console.

6. Exporta datos de Analytics a BigQuery

BigQuery es un producto de Google Cloud que te permite examinar y procesar grandes cantidades de datos. En este paso, conectarás tu proyecto de Firebase console a BigQuery para que los datos de Analytics que genera tu app se exporten automáticamente a BigQuery.

Habilita la exportación a BigQuery

1. Ve a Firebase console.
2. Selecciona el ícono de ajustes junto a Descripción general del proyecto y, luego, selecciona Configuración del proyecto.
3. Selecciona la pestaña Integraciones.
4. Selecciona Vincular (o Administrar) dentro del bloque BigQuery.
5. Selecciona Siguiente en el paso Información para vincular Firebase a BigQuery.
6. En la sección Configurar integración, haz clic en el interruptor para habilitar el envío de datos de Google Analytics y selecciona Vincular a BigQuery.

Ahora habilitaste tu proyecto de Firebase console para que envíe automáticamente los datos de eventos de Firebase Analytics a BigQuery. Esto se realiza automáticamente sin necesidad de interacción adicional. Sin embargo, es posible que la primera exportación que crea el conjunto de datos de estadísticas en BigQuery no se realice durante 24 horas. Después de crear el conjunto de datos, Firebase exporta continuamente eventos nuevos de Analytics a BigQuery en la tabla intradía y agrupa los eventos de días anteriores en la tabla de eventos.

El entrenamiento de un modelo de recomendaciones requiere muchos datos. Como aún no tenemos una app que genere grandes cantidades de datos, en el siguiente paso importaremos un conjunto de datos de muestra a BigQuery para usarlo en el resto de este instructivo.

7. Usa BigQuery para obtener datos de entrenamiento de modelos

Ahora que conectamos Firebase console para exportar a BigQuery, los datos de eventos de nuestras estadísticas de aplicaciones aparecerán automáticamente en BigQuery console después de un tiempo. Para obtener algunos datos iniciales para los fines de este instructivo, en este paso, importaremos un conjunto de datos de muestra existente a tu Consola de BigQuery para usarlo en el entrenamiento de nuestro modelo de recomendaciones.

Importa un conjunto de datos de muestra a BigQuery

1. Ve al panel de BigQuery en la consola de Google Cloud.
2. Selecciona el nombre de tu proyecto en el menú.
3. Selecciona el nombre de tu proyecto en la parte inferior del panel de navegación izquierdo de BigQuery para ver los detalles.
4. Selecciona Crear conjunto de datos para abrir el panel de creación de conjuntos de datos.
5. Ingresa "firebase_recommendations_dataset" en ID del conjunto de datos y selecciona Crear conjunto de datos.
6. El nuevo conjunto de datos aparecerá en el menú de la izquierda, debajo del nombre del proyecto. Haz clic en él.
7. Selecciona Crear tabla para abrir el panel de creación de tablas.
8. En Crear tabla desde, selecciona "Google Cloud Storage".
9. En el campo Selecciona un archivo del bucket de GCS, ingresa "gs://firebase-recommendations/recommendations-test/formatted_data_filtered.txt".
10. Selecciona "JSONL" en el menú desplegable Formato de archivo.
11. Ingresa "recommendations_table" para el Nombre de la tabla.
12. Marca la casilla en Esquema > Detección automática > Esquema y parámetros de entrada.
13. Selecciona Crear tabla.

NOTA: Los pasos anteriores solo son obligatorios para importar el conjunto de datos de muestra. En circunstancias normales, Firebase creará automáticamente un conjunto de datos y una tabla en BigQuery cuando se usen los datos de Analytics.

Explora el conjunto de datos de muestra

En este punto, puedes explorar el esquema y obtener una vista previa de este conjunto de datos de forma opcional.

1. Selecciona firebase-recommendations-dataset en el menú de la izquierda para expandir las tablas que contiene.
2. Selecciona la tabla recommendations-table para ver el esquema de la tabla.
3. Selecciona Vista previa para ver los datos de eventos de Analytics reales que contiene esta tabla.

NOTA: Puedes obtener descripciones detalladas de cada uno de los campos de los datos de Analytics en este artículo del Centro de ayuda.

Crea credenciales de cuenta de servicio

Ahora, crearemos credenciales de cuenta de servicio en nuestro proyecto de la consola de Google Cloud que podremos usar en el entorno de Colab en el siguiente paso para acceder a nuestros datos de BigQuery y cargarlos.

1. Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.
2. Habilita las APIs de BigQuery y BigQuery Storage. < click here>
3. Ve a la página Crear clave de la cuenta de servicio.
4. En la lista Cuenta de servicio, selecciona Cuenta de servicio nueva.
5. Escribe un nombre en el campo Nombre de cuenta de servicio.
6. En la lista Función, selecciona Proyecto > Propietario.
7. Haz clic en Crear. Se descargará a tu computadora un archivo JSON con la clave.

En el siguiente paso, usaremos Google Colab para procesar estos datos de forma previa y entrenar nuestro modelo de recomendaciones.

8. Procesa los datos y entrena el modelo de recomendaciones

En este paso, usaremos un notebook de Colab para realizar los siguientes pasos:

1. Importa los datos de BigQuery al notebook de Colab.
2. Procesar previamente los datos para prepararlos para el entrenamiento del modelo
3. entrenar el modelo de recomendaciones con los datos de estadísticas
4. exporta el modelo como un modelo de TF Lite
5. implementar el modelo en Firebase console para poder usarlo en nuestra app

Antes de iniciar el notebook de entrenamiento de Colab, primero habilitaremos la API de Firebase Model Management para que Colab pueda implementar el modelo entrenado en nuestra Firebase console.

Habilita la API de Firebase Model Management

Crea un bucket para almacenar tus modelos de AA

En Firebase console, ve a Storage y haz clic en Comenzar.

Sigue el diálogo para configurar el bucket.

Habilita la API de Firebase ML

Ve a la página de la API de Firebase ML en la consola de Google Cloud y haz clic en Habilitar.

Usa el notebook de Colab para entrenar e implementar el modelo

Abre el notebook de Colab con el siguiente vínculo y completa los pasos que se indican. Después de terminar los pasos del notebook de Colab, tendrás un archivo de modelo de TF Lite implementado en Firebase console que podremos sincronizar con nuestra app.

Abrir en Colab

9. Descarga el modelo en tu app

En este paso, modificaremos nuestra app para descargar el modelo que acabamos de entrenar desde el aprendizaje automático de Firebase.

Agrega la dependencia de Firebase ML

Se necesita la siguiente dependencia para usar los modelos de aprendizaje automático de Firebase en tu app. Ya debería estar agregada (verifica).

Podfile

import FirebaseCore
import FirebaseMLModelDownloader

Descarga el modelo con la API de Firebase Model Manager

Copia el siguiente código en ModelLoader.swift para configurar las condiciones en las que se produce la descarga del modelo y crear una tarea de descarga para sincronizar el modelo remoto con nuestra app.

ModelLoader.swift

static func downloadModel(named name: String,
                            completion: @escaping (CustomModel?, DownloadError?) -> Void) {
    guard FirebaseApp.app() != nil else {
      completion(nil, .firebaseNotInitialized)
      return
    }
    guard success == nil && failure == nil else {
      completion(nil, .downloadInProgress)
      return
    }
    let conditions = ModelDownloadConditions(allowsCellularAccess: false)
    ModelDownloader.modelDownloader().getModel(name: name, downloadType: .localModelUpdateInBackground, conditions: conditions) { result in
            switch (result) {
            case .success(let customModel):
                    // Download complete.
                    // The CustomModel object contains the local path of the model file,
                    // which you can use to instantiate a TensorFlow Lite classifier.
                    return completion(customModel, nil)
            case .failure(let error):
                // Download was unsuccessful. Notify error message.
              completion(nil, .downloadFailed(underlyingError: error))
            }
    }
  }

10. Integra el modelo de recomendación de TensorFlow Lite en tu app

El entorno de ejecución de TensorFlow Lite te permitirá usar tu modelo en la app para generar recomendaciones. En el paso anterior, inicializamos un intérprete de TFlite con el archivo de modelo que descargamos. En este paso, primero cargaremos un diccionario y etiquetas para acompañar a nuestro modelo en el paso de inferencia. Luego, agregaremos el procesamiento previo para generar las entradas de nuestro modelo y el procesamiento posterior, en el que extraeremos los resultados de nuestra inferencia.

Carga el diccionario y las etiquetas

Las etiquetas que usa el modelo de recomendaciones para generar las recomendaciones candidatas se enumeran en el archivo sorted_movie_vocab.json de la carpeta de recursos. Copia el siguiente código para cargar estos candidatos.

RecommendationsViewController.swift

  func getMovies() -> [MovieItem] {
    let barController = self.tabBarController as! TabBarController
    return barController.movies
  }

Implementa el procesamiento previo

En el paso de procesamiento previo, cambiamos la forma de los datos de entrada para que coincidan con lo que espera nuestro modelo. Aquí, aumentamos la longitud de la entrada con un valor de marcador de posición si aún no generamos muchos Me gusta de los usuarios. Copia el siguiente código:

RecommendationsViewController.swift

  // Given a list of selected items, preprocess to get tflite input.
  func preProcess() -> Data {
    let likedMovies = getLikedMovies().map { (MovieItem) -> Int32 in
      return MovieItem.id
    }
    var inputData = Data(copyingBufferOf: Array(likedMovies.prefix(10)))

    // Pad input data to have a minimum of 10 context items (4 bytes each)
    while inputData.count < 10*4 {
      inputData.append(0)
    }
    return inputData
  }

Ejecuta el intérprete para generar recomendaciones

Aquí, usamos el modelo que descargamos en un paso anterior para ejecutar inferencias en nuestra entrada preprocesada. Establecemos el tipo de entrada y salida de nuestro modelo y ejecutamos la inferencia para generar nuestras recomendaciones de películas. Copia el siguiente código en tu app.

RecommendationsViewController.swift

import TensorFlowLite

RecommendationsViewController.swift

 private var interpreter: Interpreter?

 func loadModel() {
    // Download the model from Firebase
    print("Fetching recommendations model...")
    ModelDownloader.fetchModel(named: "recommendations") { (filePath, error) in
      guard let path = filePath else {
        if let error = error {
          print(error)
        }
        return
      }
      print("Recommendations model download complete")
      self.loadInterpreter(path: path)
    }
  }

 func loadInterpreter(path: String) {
    do {
      interpreter = try Interpreter(modelPath: path)

      // Allocate memory for the model's input `Tensor`s.
      try interpreter?.allocateTensors()

      let inputData = preProcess()

      // Copy the input data to the input `Tensor`.
      try self.interpreter?.copy(inputData, toInputAt: 0)

      // Run inference by invoking the `Interpreter`.
      try self.interpreter?.invoke()

      // Get the output `Tensor`
      let confidenceOutputTensor = try self.interpreter?.output(at: 0)
      let idOutputTensor = try self.interpreter?.output(at: 1)

      // Copy output to `Data` to process the inference results.
      let confidenceOutputSize = confidenceOutputTensor?.shape.dimensions.reduce(1, {x, y in x * y})

      let idOutputSize = idOutputTensor?.shape.dimensions.reduce(1, {x, y in x * y})

      let confidenceResults =
        UnsafeMutableBufferPointer<Float32>.allocate(capacity: confidenceOutputSize!)
      let idResults =
        UnsafeMutableBufferPointer<Int32>.allocate(capacity: idOutputSize!)
      _ = confidenceOutputTensor?.data.copyBytes(to: confidenceResults)
      _ = idOutputTensor?.data.copyBytes(to: idResults)

      postProcess(idResults, confidenceResults)

      print("Successfully ran inference")
      DispatchQueue.main.async {
        self.tableView.reloadData()
      }
    } catch {
      print("Error occurred creating model interpreter: \(error)")
    }
  }

Implementa el procesamiento posterior

Por último, en este paso, se postprocesa el resultado de nuestro modelo, se seleccionan los resultados con la mayor confianza y se quitan los valores contenidos (películas que al usuario ya le gustaron). Copia el siguiente código en tu app.

RecommendationsViewController.swift

  // Postprocess to get results from tflite inference.
  func postProcess(_ idResults: UnsafeMutableBufferPointer<Int32>, _ confidenceResults: UnsafeMutableBufferPointer<Float32>) {
    for i in 0..<10 {
      let id = idResults[i]
      let movieIdx = getMovies().firstIndex { $0.id == id }
      let title = getMovies()[movieIdx!].title
      recommendations.append(Recommendation(title: title, confidence: confidenceResults[i]))
    }
  }

Prueba tu app

Vuelve a ejecutar la app. A medida que selecciones algunas películas, debería descargar automáticamente el modelo nuevo y comenzar a generar recomendaciones.

11. ¡Felicitaciones!

Compilaste una función de recomendaciones en tu app con TensorFlow Lite y Firebase. Ten en cuenta que las técnicas y la canalización que se muestran en este codelab se pueden generalizar y usar para publicar otros tipos de recomendaciones.

Temas abordados

• AA de Firebase
• Firebase Analytics
• Exporta eventos de Analytics a BigQuery
• Cómo procesar previamente los eventos de Analytics
• Entrena el modelo de TensorFlow de recomendaciones
• Exporta el modelo y, luego, impleméntalo en Firebase console
• Publica recomendaciones de películas en una app

Próximos pasos

• Implementa las recomendaciones de AA de Firebase en tu app.

Más información

• Firebase.google.com

¿Tienes alguna pregunta?

• Stackoverflow “firebase-machine-learning”

Informar problemas

• Problemas de GitHub