Wenn Ihre App benutzerdefinierte TensorFlow Lite-Modelle verwendet, können Sie Ihre Modelle mit Firebase ML bereitstellen. Wenn Sie Modelle mit Firebase bereitstellen, können Sie die anfängliche Downloadgröße Ihrer App reduzieren und die ML-Modelle Ihrer App aktualisieren, ohne eine neue Version Ihrer App zu veröffentlichen. Mit Remote Config und A/B Testing können Sie verschiedenen Nutzergruppen dynamisch unterschiedliche Modelle bereitstellen.
TensorFlow Lite-Modelle
TensorFlow Lite-Modelle sind ML-Modelle, die für die Ausführung auf Mobilgeräten optimiert sind. So rufen Sie ein TensorFlow Lite-Modell ab:
- Verwenden Sie ein vordefiniertes Modell, z. B. eines der offiziellen TensorFlow Lite-Modelle.
- Ein TensorFlow-Modell, ein Keras-Modell oder eine bestimmte Funktion in TensorFlow Lite konvertieren
Hinweis
- Fügen Sie Ihrem Android-Projekt Firebase hinzu, falls noch nicht geschehen.
-
Fügen Sie in der Gradle-Datei des Moduls (auf App-Ebene) (in der Regel
<project>/<app-module>/build.gradle.ktsoder<project>/<app-module>/build.gradle) die Abhängigkeit für die Firebase ML-Bibliothek für den Modell-Downloader für Android hinzu. Wir empfehlen, die Firebase Android BoM zu verwenden, um die Versionierung der Bibliothek zu steuern.Außerdem müssen Sie bei der Einrichtung des Firebase ML-Modell-Downloaders das TensorFlow Lite SDK in Ihre App einfügen.
dependencies { // Import the BoM for the Firebase platform implementation(platform("com.google.firebase:firebase-bom:33.7.0")) // Add the dependency for the Firebase ML model downloader library // When using the BoM, you don't specify versions in Firebase library dependencies implementation("com.google.firebase:firebase-ml-modeldownloader")
// Also add the dependency for the TensorFlow Lite library and specify its version implementation("org.tensorflow:tensorflow-lite:2.3.0") }Mit der Firebase Android BoM haben Sie immer eine kompatible Version der Firebase Android-Bibliotheken in Ihrer App.
Alternative: Bibliotheksabhängigkeiten für Firebase ohne BoM hinzufügen
Wenn Sie Firebase BoM nicht verwenden, müssen Sie jede Firebase-Bibliotheksversion in der entsprechenden Abhängigkeitszeile angeben.
Wenn Sie in Ihrer App mehrere Firebase-Bibliotheken verwenden, empfehlen wir Ihnen dringend, die Bibliotheksversionen mithilfe der BoM zu verwalten. So wird sichergestellt, dass alle Versionen kompatibel sind.
dependencies { // Add the dependency for the Firebase ML model downloader library // When NOT using the BoM, you must specify versions in Firebase library dependencies implementation("com.google.firebase:firebase-ml-modeldownloader:25.0.1")
// Also add the dependency for the TensorFlow Lite library and specify its version implementation("org.tensorflow:tensorflow-lite:2.3.0") } - Deklarieren Sie im Manifest Ihrer App, dass die INTERNET-Berechtigung erforderlich ist:
<uses-permission android:name="android.permission.INTERNET" />
1. Modell bereitstellen
Sie können Ihre benutzerdefinierten TensorFlow-Modelle entweder über die Firebase-Konsole oder die Firebase Admin Python- und Node.js-SDKs bereitstellen. Weitere Informationen finden Sie unter Benutzerdefinierte Modelle bereitstellen und verwalten.
Nachdem Sie Ihrem Firebase-Projekt ein benutzerdefiniertes Modell hinzugefügt haben, können Sie in Ihren Apps auf das Modell mit dem angegebenen Namen verweisen. Sie können jederzeit ein neues TensorFlow Lite-Modell bereitstellen und es auf die Geräte der Nutzer herunterladen, indem Sie getModel() aufrufen (siehe unten).
2. Modell auf das Gerät herunterladen und einen TensorFlow Lite-Interpreter initialisieren
Wenn Sie Ihr TensorFlow Lite-Modell in Ihrer App verwenden möchten, laden Sie zuerst mit dem Firebase ML SDK die neueste Version des Modells auf das Gerät herunter. Erstellen Sie dann einen TensorFlow Lite-Interpreter mit dem Modell.Rufen Sie zum Starten des Modelldownloads die getModel()-Methode des Modell-Downloaders auf und geben Sie den Namen an, den Sie dem Modell beim Upload zugewiesen haben, ob Sie immer das neueste Modell herunterladen möchten und unter welchen Bedingungen Sie den Download zulassen möchten.
Sie können zwischen drei Downloadvorgängen wählen:
| Downloadtyp | Beschreibung |
|---|---|
| LOCAL_MODEL | Holen Sie sich das lokale Modell vom Gerät.
Wenn kein lokales Modell verfügbar ist, verhält sich das Modell wie LATEST_MODEL. Verwenden Sie diesen Downloadtyp, wenn Sie nicht nach Modellupdates suchen möchten. Angenommen, Sie verwenden Remote Config, um Modellnamen abzurufen, und laden Modelle immer unter neuen Namen hoch (empfohlen). |
| LOCAL_MODEL_UPDATE_IN_BACKGROUND | Rufen Sie das lokale Modell vom Gerät ab und beginnen Sie, das Modell im Hintergrund zu aktualisieren.
Wenn kein lokales Modell verfügbar ist, verhält sich das Modell wie LATEST_MODEL. |
| LATEST_MODEL | Rufen Sie das aktuelle Modell ab. Wenn das lokale Modell die neueste Version ist, wird das lokale Modell zurückgegeben. Andernfalls laden Sie das neueste Modell herunter. Dadurch wird der Zugriff blockiert, bis die neueste Version heruntergeladen wurde. Wir raten davon ab. Verwenden Sie dieses Verhalten nur, wenn Sie ausdrücklich die neueste Version benötigen. |
Sie sollten modellverwandte Funktionen deaktivieren, z. B. einen Teil der Benutzeroberfläche grau ausblenden, bis Sie bestätigen, dass das Modell heruntergeladen wurde.
Kotlin
val conditions = CustomModelDownloadConditions.Builder()
.requireWifi() // Also possible: .requireCharging() and .requireDeviceIdle()
.build()
FirebaseModelDownloader.getInstance()
.getModel("your_model", DownloadType.LOCAL_MODEL_UPDATE_IN_BACKGROUND,
conditions)
.addOnSuccessListener { model: CustomModel? ->
// Download complete. Depending on your app, you could enable the ML
// feature, or switch from the local model to the remote model, etc.
// The CustomModel object contains the local path of the model file,
// which you can use to instantiate a TensorFlow Lite interpreter.
val modelFile = model?.file
if (modelFile != null) {
interpreter = Interpreter(modelFile)
}
}
Java
CustomModelDownloadConditions conditions = new CustomModelDownloadConditions.Builder()
.requireWifi() // Also possible: .requireCharging() and .requireDeviceIdle()
.build();
FirebaseModelDownloader.getInstance()
.getModel("your_model", DownloadType.LOCAL_MODEL_UPDATE_IN_BACKGROUND, conditions)
.addOnSuccessListener(new OnSuccessListener<CustomModel>() {
@Override
public void onSuccess(CustomModel model) {
// Download complete. Depending on your app, you could enable the ML
// feature, or switch from the local model to the remote model, etc.
// The CustomModel object contains the local path of the model file,
// which you can use to instantiate a TensorFlow Lite interpreter.
File modelFile = model.getFile();
if (modelFile != null) {
interpreter = new Interpreter(modelFile);
}
}
});
Viele Apps starten die Downloadaufgabe in ihrem Initialisierungscode, Sie können dies aber auch jederzeit tun, bevor Sie das Modell verwenden müssen.
3. Inferenzen auf Eingabedaten durchführen
Eingabe- und Ausgabeformen des Modells abrufen
Der TensorFlow Lite-Modellinterpreter nimmt ein oder mehrere mehrdimensionale Arrays als Eingabe und gibt ein oder mehrere mehrdimensionale Arrays als Ausgabe zurück. Diese Arrays enthalten entweder Werte vom Typ byte, int, long oder float. Bevor Sie Daten an ein Modell übergeben oder dessen Ergebnis verwenden können, müssen Sie die Anzahl und die Dimensionen („Form“) der Arrays kennen, die in Ihrem Modell verwendet werden.
Wenn Sie das Modell selbst erstellt haben oder das Eingabe- und Ausgabeformat des Modells dokumentiert ist, haben Sie diese Informationen möglicherweise bereits. Wenn Sie die Form und den Datentyp der Eingabe und Ausgabe Ihres Modells nicht kennen, können Sie Ihr Modell mit dem TensorFlow Lite-Interpreter prüfen. Beispiel:
Python
import tensorflow as tf interpreter = tf.lite.Interpreter(model_path="your_model.tflite") interpreter.allocate_tensors() # Print input shape and type inputs = interpreter.get_input_details() print('{} input(s):'.format(len(inputs))) for i in range(0, len(inputs)): print('{} {}'.format(inputs[i]['shape'], inputs[i]['dtype'])) # Print output shape and type outputs = interpreter.get_output_details() print('\n{} output(s):'.format(len(outputs))) for i in range(0, len(outputs)): print('{} {}'.format(outputs[i]['shape'], outputs[i]['dtype']))
Beispielausgabe:
1 input(s): [ 1 224 224 3] <class 'numpy.float32'> 1 output(s): [1 1000] <class 'numpy.float32'>
Interpreter ausführen
Nachdem Sie das Format der Eingabe und Ausgabe Ihres Modells festgelegt haben, rufen Sie die Eingabedaten ab und führen Sie alle Transformationen an den Daten durch, die erforderlich sind, um eine Eingabe der richtigen Form für Ihr Modell zu erhalten.Wenn Sie beispielsweise ein Bildklassifizierungsmodell mit einer Eingabeform von [1 224 224 3]-Gleitkommawerten haben, können Sie eine Eingabe ByteBuffer aus einem Bitmap-Objekt generieren, wie im folgenden Beispiel gezeigt:
Kotlin
val bitmap = Bitmap.createScaledBitmap(yourInputImage, 224, 224, true)
val input = ByteBuffer.allocateDirect(224*224*3*4).order(ByteOrder.nativeOrder())
for (y in 0 until 224) {
for (x in 0 until 224) {
val px = bitmap.getPixel(x, y)
// Get channel values from the pixel value.
val r = Color.red(px)
val g = Color.green(px)
val b = Color.blue(px)
// Normalize channel values to [-1.0, 1.0]. This requirement depends on the model.
// For example, some models might require values to be normalized to the range
// [0.0, 1.0] instead.
val rf = (r - 127) / 255f
val gf = (g - 127) / 255f
val bf = (b - 127) / 255f
input.putFloat(rf)
input.putFloat(gf)
input.putFloat(bf)
}
}
Java
Bitmap bitmap = Bitmap.createScaledBitmap(yourInputImage, 224, 224, true);
ByteBuffer input = ByteBuffer.allocateDirect(224 * 224 * 3 * 4).order(ByteOrder.nativeOrder());
for (int y = 0; y < 224; y++) {
for (int x = 0; x < 224; x++) {
int px = bitmap.getPixel(x, y);
// Get channel values from the pixel value.
int r = Color.red(px);
int g = Color.green(px);
int b = Color.blue(px);
// Normalize channel values to [-1.0, 1.0]. This requirement depends
// on the model. For example, some models might require values to be
// normalized to the range [0.0, 1.0] instead.
float rf = (r - 127) / 255.0f;
float gf = (g - 127) / 255.0f;
float bf = (b - 127) / 255.0f;
input.putFloat(rf);
input.putFloat(gf);
input.putFloat(bf);
}
}
Weisen Sie dann einen ByteBuffer zu, der groß genug ist, um die Ausgabe des Modells zu enthalten, und übergeben Sie den Eingabe- und Ausgabebuffer an die run()-Methode des TensorFlow Lite-Interpreters. Beispiel für eine Ausgabeform mit [1 1000]-Gleitkommawerten:
Kotlin
val bufferSize = 1000 * java.lang.Float.SIZE / java.lang.Byte.SIZE
val modelOutput = ByteBuffer.allocateDirect(bufferSize).order(ByteOrder.nativeOrder())
interpreter?.run(input, modelOutput)
Java
int bufferSize = 1000 * java.lang.Float.SIZE / java.lang.Byte.SIZE;
ByteBuffer modelOutput = ByteBuffer.allocateDirect(bufferSize).order(ByteOrder.nativeOrder());
interpreter.run(input, modelOutput);
Wie Sie die Ausgabe verwenden, hängt vom verwendeten Modell ab.
Wenn Sie beispielsweise eine Klassifizierung durchführen, können Sie als nächsten Schritt die Indizes des Ergebnisses den entsprechenden Labels zuordnen:
Kotlin
modelOutput.rewind()
val probabilities = modelOutput.asFloatBuffer()
try {
val reader = BufferedReader(
InputStreamReader(assets.open("custom_labels.txt")))
for (i in probabilities.capacity()) {
val label: String = reader.readLine()
val probability = probabilities.get(i)
println("$label: $probability")
}
} catch (e: IOException) {
// File not found?
}
Java
modelOutput.rewind();
FloatBuffer probabilities = modelOutput.asFloatBuffer();
try {
BufferedReader reader = new BufferedReader(
new InputStreamReader(getAssets().open("custom_labels.txt")));
for (int i = 0; i < probabilities.capacity(); i++) {
String label = reader.readLine();
float probability = probabilities.get(i);
Log.i(TAG, String.format("%s: %1.4f", label, probability));
}
} catch (IOException e) {
// File not found?
}
Anhang: Modellsicherheit
Unabhängig davon, wie Sie Ihre TensorFlow Lite-Modelle für Firebase ML verfügbar machen, speichert Firebase ML sie im standardmäßigen serialisierten Protobuf-Format im lokalen Speicher.
Theoretisch kann also jeder Ihr Modell kopieren. In der Praxis sind die meisten Modelle jedoch so anwendungsspezifisch und durch Optimierungen verschleiert, dass das Risiko ähnlich hoch ist wie bei der Deaktivierung und Wiederverwendung Ihres Codes durch Mitbewerber. Sie sollten sich jedoch dieses Risiko bewusst machen, bevor Sie ein benutzerdefiniertes Modell in Ihrer App verwenden.
Ab Android API-Level 21 (Lollipop) wird das Modell in ein Verzeichnis heruntergeladen, das von der automatischen Sicherung ausgeschlossen ist.
Bei der Android API-Ebene 20 und niedriger wird das Modell in den privaten internen Speicher der App in ein Verzeichnis mit dem Namen com.google.firebase.ml.custom.models heruntergeladen. Wenn Sie die Dateisicherung mit BackupAgent aktiviert haben, können Sie dieses Verzeichnis ausschließen.