Von der alten API für benutzerdefinierte Modelle migrieren

Mit Version 22.0.2 der firebase-ml-model-interpreter-Bibliothek wird eine neue getLatestModelFile()-Methode, mit der der Standort auf dem Gerät einer benutzerdefinierten Modelle. Mit dieser Methode können Sie ein TensorFlow Lite-Interpreter-Objekt direkt instanziieren, das Sie anstelle des FirebaseModelInterpreter-Wrappers verwenden können.

In Zukunft ist dies die bevorzugte Vorgehensweise. Da die TensorFlow Lite-Version Interpreter-Version nicht mehr mit der Firebase-Bibliotheksversion gekoppelt ist, haben Sie mehr Flexibilität bei der Aktualisierung auf neue Versionen von TensorFlow Lite, wenn Sie oder benutzerdefinierte TensorFlow Lite-Builds verwenden können.

Auf dieser Seite wird beschrieben, wie Sie von FirebaseModelInterpreter zu der TensorFlow Lite Interpreter.

1. Projektabhängigkeiten aktualisieren

Aktualisieren Sie die Abhängigkeiten Ihres Projekts auf Version 22.0.2 der firebase-ml-model-interpreter-Bibliothek (oder höher) und die tensorflow-lite Bibliothek:

Vorher

implementation("com.google.firebase:firebase-ml-model-interpreter:22.0.1")

Nachher

implementation("com.google.firebase:firebase-ml-model-interpreter:22.0.2")
implementation("org.tensorflow:tensorflow-lite:2.0.0")

2. Einen TensorFlow Lite-Interpreter anstelle eines FirebaseModelInterpreter erstellen

Anstatt ein FirebaseModelInterpreter zu erstellen, rufen Sie den Modellstandort ab Gerät mit getLatestModelFile() an und verwenden es zum Erstellen eines TensorFlow Lite-Modells. Interpreter

Vorher

Kotlin+KTX

val remoteModel = FirebaseCustomRemoteModel.Builder("your_model").build()
val options = FirebaseModelInterpreterOptions.Builder(remoteModel).build()
val interpreter = FirebaseModelInterpreter.getInstance(options)

Java

FirebaseCustomRemoteModel remoteModel =
        new FirebaseCustomRemoteModel.Builder("your_model").build();
FirebaseModelInterpreterOptions options =
        new FirebaseModelInterpreterOptions.Builder(remoteModel).build();
FirebaseModelInterpreter interpreter = FirebaseModelInterpreter.getInstance(options);

Nachher

Kotlin+KTX

val remoteModel = FirebaseCustomRemoteModel.Builder("your_model").build()
FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
    .addOnCompleteListener { task ->
        val modelFile = task.getResult()
        if (modelFile != null) {
            // Instantiate an org.tensorflow.lite.Interpreter object.
            interpreter = Interpreter(modelFile)
        }
    }

Java

FirebaseCustomRemoteModel remoteModel =
        new FirebaseCustomRemoteModel.Builder("your_model").build();
FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
        .addOnCompleteListener(new OnCompleteListener<File>() {
            @Override
            public void onComplete(@NonNull Task<File> task) {
                File modelFile = task.getResult();
                if (modelFile != null) {
                    // Instantiate an org.tensorflow.lite.Interpreter object.
                    Interpreter interpreter = new Interpreter(modelFile);
                }
            }
        });

3. Vorbereitungscode für Eingabe und Ausgabe aktualisieren

Mit FirebaseModelInterpreter geben Sie die Eingabe- und Ausgabeformen des Modells an, indem Sie beim Ausführen ein FirebaseModelInputOutputOptions-Objekt an den Interpreter übergeben.

Für den TensorFlow Lite-Interpreter weisen Sie stattdessen ByteBuffer-Objekte mit der richtigen Größe für die Eingabe und Ausgabe Ihres Modells zu.

Angenommen, Ihr Modell hat eine Eingabeform mit [1 224 224 3] float-Werten. und eine Ausgabeform mit [1 1000] float-Werten haben, nehmen Sie diese Änderungen vor:

Vorher

Kotlin+KTX

val inputOutputOptions = FirebaseModelInputOutputOptions.Builder()
    .setInputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 224, 224, 3))
    .setOutputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 1000))
    .build()

val input = ByteBuffer.allocateDirect(224*224*3*4).order(ByteOrder.nativeOrder())
// Then populate with input data.

val inputs = FirebaseModelInputs.Builder()
    .add(input)
    .build()

interpreter.run(inputs, inputOutputOptions)
    .addOnSuccessListener { outputs ->
        // ...
    }
    .addOnFailureListener {
        // Task failed with an exception.
        // ...
    }

Java

FirebaseModelInputOutputOptions inputOutputOptions =
        new FirebaseModelInputOutputOptions.Builder()
                .setInputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 224, 224, 3})
                .setOutputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 1000})
                .build();

float[][][][] input = new float[1][224][224][3];
// Then populate with input data.

FirebaseModelInputs inputs = new FirebaseModelInputs.Builder()
        .add(input)
        .build();

interpreter.run(inputs, inputOutputOptions)
        .addOnSuccessListener(
                new OnSuccessListener<FirebaseModelOutputs>() {
                    @Override
                    public void onSuccess(FirebaseModelOutputs result) {
                        // ...
                    }
                })
        .addOnFailureListener(
                new OnFailureListener() {
                    @Override
                    public void onFailure(@NonNull Exception e) {
                        // Task failed with an exception
                        // ...
                    }
                });

Nachher

Kotlin+KTX

val inBufferSize = 1 * 224 * 224 * 3 * java.lang.Float.SIZE / java.lang.Byte.SIZE
val inputBuffer = ByteBuffer.allocateDirect(inBufferSize).order(ByteOrder.nativeOrder())
// Then populate with input data.

val outBufferSize = 1 * 1000 * java.lang.Float.SIZE / java.lang.Byte.SIZE
val outputBuffer = ByteBuffer.allocateDirect(outBufferSize).order(ByteOrder.nativeOrder())

interpreter.run(inputBuffer, outputBuffer)

Java

int inBufferSize = 1 * 224 * 224 * 3 * java.lang.Float.SIZE / java.lang.Byte.SIZE;
ByteBuffer inputBuffer =
        ByteBuffer.allocateDirect(inBufferSize).order(ByteOrder.nativeOrder());
// Then populate with input data.

int outBufferSize = 1 * 1000 * java.lang.Float.SIZE / java.lang.Byte.SIZE;
ByteBuffer outputBuffer =
        ByteBuffer.allocateDirect(outBufferSize).order(ByteOrder.nativeOrder());

interpreter.run(inputBuffer, outputBuffer);

4. Verarbeitungscode für Ausgabe aktualisieren

Anstatt die Modellausgabe mit dem FirebaseModelOutputs-Objekt zu erhalten, getOutput()-Objekts verwenden, konvertieren Sie die ByteBuffer-Ausgabe in einen beliebigen Struktur für Ihren Anwendungsfall geeignet.

Bei der Klassifizierung können Sie beispielsweise Änderungen wie die Folgendes:

Vorher

Kotlin+KTX

val output = result.getOutput(0)
val probabilities = output[0]
try {
    val reader = BufferedReader(InputStreamReader(assets.open("custom_labels.txt")))
    for (probability in probabilities) {
        val label: String = reader.readLine()
        println("$label: $probability")
    }
} catch (e: IOException) {
    // File not found?
}

Java

float[][] output = result.getOutput(0);
float[] probabilities = output[0];
try {
    BufferedReader reader = new BufferedReader(
          new InputStreamReader(getAssets().open("custom_labels.txt")));
    for (float probability : probabilities) {
        String label = reader.readLine();
        Log.i(TAG, String.format("%s: %1.4f", label, probability));
    }
} catch (IOException e) {
    // File not found?
}

Nachher

Kotlin+KTX

modelOutput.rewind()
val probabilities = modelOutput.asFloatBuffer()
try {
    val reader = BufferedReader(
            InputStreamReader(assets.open("custom_labels.txt")))
    for (i in probabilities.capacity()) {
        val label: String = reader.readLine()
        val probability = probabilities.get(i)
        println("$label: $probability")
    }
} catch (e: IOException) {
    // File not found?
}

Java

modelOutput.rewind();
FloatBuffer probabilities = modelOutput.asFloatBuffer();
try {
    BufferedReader reader = new BufferedReader(
            new InputStreamReader(getAssets().open("custom_labels.txt")));
    for (int i = 0; i < probabilities.capacity(); i++) {
        String label = reader.readLine();
        float probability = probabilities.get(i);
        Log.i(TAG, String.format("%s: %1.4f", label, probability));
    }
} catch (IOException e) {
    // File not found?
}