Добавьте классификацию текста на устройстве в свое приложение с помощью TensorFlow Lite и Firebase - iOS Codelab

1. Обзор

Добро пожаловать в классификацию текста с TensorFlow Lite и кодовой лабораторией Firebase. В этой лаборатории кода вы узнаете, как использовать TensorFlow Lite и Firebase для обучения и развертывания модели классификации текста в вашем приложении. Эта кодовая лаборатория основана на этом примере TensorFlow Lite.

Классификация текста — это процесс присвоения тексту тегов или категорий в соответствии с его содержанием. Это одна из фундаментальных задач обработки естественного языка (NLP) с широкими приложениями, такими как анализ настроений, маркировка тем, обнаружение спама и обнаружение намерений.

Анализ настроений — это интерпретация и классификация эмоций (положительных, отрицательных и нейтральных) в текстовых данных с использованием методов анализа текста. Анализ настроений позволяет компаниям определять отношение клиентов к продуктам, брендам или услугам в онлайн-разговорах и отзывах.

В этом руководстве показано, как построить модель машинного обучения для анализа настроений, в частности, классифицировать текст как положительный или отрицательный. Это пример бинарной или двухклассовой классификации, важной и широко применимой проблемы машинного обучения.

Что вы узнаете

• Обучите модель анализа настроений TF Lite с помощью TF Lite Model Maker
• Разверните модели TF Lite в Firebase ML и получите к ним доступ из своего приложения.
• Отслеживайте отзывы пользователей, чтобы измерить точность модели с помощью Firebase Analytics.
• Производительность модели профиля с помощью Firebase Performance Monitoring
• Выберите, какая из нескольких развернутых моделей загружается через Remote Config.
• Поэкспериментируйте с разными моделями с помощью Firebase A/B Testing.

Что вам понадобится

• Xcode 11 (или выше)
• CocoaPods 1.9.1 (или выше)

Как вы будете использовать этот учебник?

Прочитайте только это Прочтите его и выполните упражнения

Как бы вы оценили свой опыт создания приложений для Android?

Новичок Средний Опытный

2. Создайте проект консоли Firebase

Добавьте Firebase в проект

5. Перейдите в консоль Firebase .
6. Выберите «Создать новый проект» и назовите свой проект «Firebase ML iOS Codelab».

3. Получите пример проекта

Скачать код

Начните с клонирования примера проекта и запуска pod update в каталоге проекта:

git clone https://github.com/FirebaseExtended/codelab-textclassification-ios.git
cd codelab-textclassification-ios
pod install --repo-update

Если у вас не установлен git, вы также можете скачать образец проекта с его страницы GitHub или перейдя по этой ссылке . После загрузки проекта запустите его в Xcode и поэкспериментируйте с классификацией текста, чтобы понять, как это работает.

Настроить Firebase

Следуйте документации , чтобы создать новый проект Firebase. Получив свой проект, загрузите файл GoogleService-Info.plist вашего проекта из консоли Firebase и перетащите его в корень проекта Xcode.

Добавьте Firebase в свой подфайл и запустите установку модуля.

pod 'FirebaseMLModelDownloader', '9.3.0-beta'

В методе didFinishLaunchingWithOptions вашего AppDelegate импортируйте Firebase в начало файла.

import FirebaseCore

И добавьте вызов для настройки Firebase.

FirebaseApp.configure()

Запустите проект еще раз, чтобы убедиться, что приложение настроено правильно и не аварийно завершает работу при запуске.

4. Обучите модель анализа настроений

Мы будем использовать TensorFlow Lite Model Maker для обучения модели классификации текста для прогнозирования тональности заданного текста.

Этот шаг представлен в виде записной книжки Python, которую вы можете открыть в Google Colab.

Открыть в Колабе

После завершения этого шага у вас будет модель анализа настроений TensorFlow Lite, готовая к развертыванию в мобильном приложении.

5. Разверните модель в Firebase ML

Развертывание модели в Firebase ML полезно по двум основным причинам:

1. Мы можем сохранить небольшой размер установки приложения и загружать модель только при необходимости.
2. Модель может обновляться регулярно и с другим циклом выпуска, чем все приложение.

Модель можно развернуть как через консоль, так и программно с помощью Firebase Admin SDK. На этом этапе мы выполним развертывание через консоль.

Сначала откройте консоль Firebase и нажмите «Машинное обучение» на левой панели навигации. Нажмите «Начать», если вы открываете это в первый раз. Затем перейдите к «Пользовательский» и нажмите кнопку «Добавить модель».

Когда будет предложено, назовите модель sentiment_analysis и загрузите файл, который вы скачали из Colab на предыдущем шаге.

Примечание. Если у вас есть конвейер для непрерывного переобучения модели, вы можете автоматизировать процесс загрузки в Firebase с помощью Firebase ML Model Management API .

6. Скачать модель из Firebase ML

Выбор времени для загрузки удаленной модели из Firebase в ваше приложение может быть сложным, поскольку модели TFLite могут вырасти относительно большими. В идеале мы хотим избежать загрузки модели сразу после запуска приложения, поскольку, если наша модель используется только для одной функции, а пользователь никогда не использует эту функцию, мы скачаем значительный объем данных без всякой причины. Мы также можем установить параметры загрузки, такие как получение моделей только при подключении к Wi-Fi. Если вы хотите, чтобы модель была доступна даже без подключения к сети, важно также связать ее без приложения в качестве резервной копии.

Для простоты мы удалим стандартную связанную модель и всегда будем скачивать модель из Firebase при первом запуске приложения. Таким образом, при выполнении анализа настроений вы можете быть уверены, что вывод выполняется с моделью, предоставленной Firebase.

В верхней части ModelLoader.swift импортируйте модуль Firebase.

import FirebaseCore
import FirebaseMLModelDownloader

Затем реализуйте следующие методы.

static func downloadModel(named name: String,
                          completion: @escaping (CustomModel?, DownloadError?) -> Void) {
  guard FirebaseApp.app() != nil else {
    completion(nil, .firebaseNotInitialized)
    return
  }
  guard success == nil && failure == nil else {
    completion(nil, .downloadInProgress)
    return
  }
  let conditions = ModelDownloadConditions(allowsCellularAccess: false)
  ModelDownloader.modelDownloader().getModel(name: name, downloadType: .localModelUpdateInBackground, conditions: conditions) { result in
          switch (result) {
          case .success(let customModel):
                  // Download complete.
                  // The CustomModel object contains the local path of the model file,
                  // which you can use to instantiate a TensorFlow Lite classifier.
                  return completion(customModel, nil)
          case .failure(let error):
              // Download was unsuccessful. Notify error message.
            completion(nil, .downloadFailed(underlyingError: error))
          }
  }
}

В ViewController.swift viewDidLoad замените вызов loadModel() нашим новым методом загрузки модели.

// Download the model from Firebase
print("Fetching model...")
ModelLoader.downloadModel(named: "sentiment_analysis") { (customModel, error) in
  guard let customModel = customModel else {
    if let error = error {
      print(error)
    }
    return
  }

  print("Model download complete")

  // TODO: Initialize an NLClassifier from the downloaded model
}

Перезапустите приложение. Через несколько секунд вы должны увидеть журнал Xcode, указывающий, что удаленная модель успешно загружена. Попробуйте ввести текст и убедитесь, что поведение приложения не изменилось.

Примечание. Убедитесь, что имя модели здесь совпадает с тем, которое вы указали при загрузке модели в Firebase на предыдущем шаге.

7. Интегрируйте модель в свое приложение

Библиотека задач Tensorflow Lite поможет вам интегрировать модели TensorFlow Lite в ваше приложение, написав всего несколько строк кода. Мы инициализируем экземпляр TFLNLClassifier , используя модель TensorFlow Lite, загруженную из Firebase. Затем мы будем использовать его для классификации ввода текста пользователями приложения и отображения результата в пользовательском интерфейсе.

Добавьте зависимость

Перейдите в подфайл приложения и добавьте библиотеку задач TensorFlow Lite (текст) в зависимости приложения. Убедитесь, что вы добавили зависимость в target 'TextClassification' .

pod 'TensorFlowLiteTaskText', '~> 0.2.0'

Запустите pod install , чтобы установить новую зависимость.

Инициализировать классификатор текста

Затем мы загрузим модель анализа настроений, загруженную из Firebase, используя NLClassifier из библиотеки задач.

ViewController.swift

Давайте объявим переменную экземпляра TFLNLClassifier. В верхней части файла импортируйте новую зависимость:

import TensorFlowLiteTaskText

Найдите этот комментарий над методом, который мы изменили на последнем шаге:

// TODO: Add an TFLNLClassifier property.

Замените TODO следующим кодом:

private var classifier: TFLNLClassifier?

Инициализируйте переменную textClassifier моделью анализа настроений, загруженной из Firebase. Найдите этот комментарий, который мы добавили на последнем шаге:

// TODO: Initialize an NLClassifier from the downloaded model

Замените TODO следующим кодом:

let options = TFLNLClassifierOptions()
self.classifier = TFLNLClassifier.nlClassifier(modelPath: customModel.path, options: options)

Классифицировать текст

После настройки экземпляра classifier вы можете запустить анализ настроений с помощью одного вызова метода.

ViewController.swift

В методе classify(text:) найдите комментарий TODO:

// TODO: Run sentiment analysis on the input text

Замените комментарий следующим кодом:

guard let classifier = self.classifier else { return }

// Classify the text
let classifierResults = classifier.classify(text: text)

// Append the results to the list of results
let result = ClassificationResult(text: text, results: classifierResults)
results.append(result)

8. Запустите финальное приложение

Вы интегрировали модель анализа настроений в приложение, так что давайте протестируем ее. Подключите устройство iOS и нажмите «Выполнить» ( ) на панели инструментов Xcode.

Приложение должно быть в состоянии правильно предсказать настроение отзыва о фильме, который вы вводите.

9. Добавьте в приложение больше функций Firebase.

Помимо размещения ваших моделей TFLite, Firebase предоставляет несколько других функций для повышения эффективности ваших вариантов использования машинного обучения:

• Мониторинг производительности Firebase для измерения скорости вывода вашей модели на устройствах пользователей.
• Firebase Analytics для измерения эффективности вашей модели в производственной среде путем измерения реакции пользователей.
• Firebase A/B Testing для тестирования нескольких версий вашей модели
• Вы помните, что ранее мы обучали две версии нашей модели TFLite? A/B-тестирование — хороший способ выяснить, какая версия работает лучше в продакшене!

Чтобы узнать больше о том, как использовать эти функции в своем приложении, ознакомьтесь с приведенными ниже лабораторными кодами:

• Добавьте Firebase в свое Android-приложение на базе TFLite
• Добавьте Firebase в ваше iOS-приложение на базе TFLite

10. Поздравляем!

В этой лаборатории кода вы узнали, как обучить модель анализа тональности TFLite и развернуть ее в своем мобильном приложении с помощью Firebase. Чтобы узнать больше о TFLite и Firebase, ознакомьтесь с другими примерами TFLite и руководствами по началу работы с Firebase.

Что мы рассмотрели

• ТензорФлоу Лайт
• Firebase ML

Следующие шаги

• Измерьте скорость вывода вашей модели с помощью Firebase Performance Monitoring.
• Разверните модель из Colab напрямую в Firebase через API управления моделями Firebase ML.
• Добавьте механизм, позволяющий пользователям оставлять отзывы о результатах прогнозирования, и используйте Firebase Analytics для отслеживания отзывов пользователей.
• A/B-тестирование модели Average Word Vector и модели MobileBERT с A/B-тестированием Firebase.

Узнать больше

• Документация по машинному обучению Firebase
• Документация TensorFlow Lite
• Измеряйте производительность приложений с помощью Firebase
• Модели A/B-тестирования с Firebase

Есть вопрос?

• Stackoverflow «firebase-машинное обучение»

Сообщить о проблемах

• Проблемы с гитхабом