מעבר מה-API הקודם של מודל מותאם אישית

בגרסה 22.0.2 של ספריית firebase-ml-model-interpreter נוספה השיטה החדשה getLatestModelFile(), שמקבלת את המיקום במכשיר של מודלים מותאמים אישית. אפשר להשתמש בשיטה הזו כדי ליצור ישירות אובייקט Interpreter של TensorFlow Lite, שאפשר להשתמש בו במקום המעטפת FirebaseModelInterpreter.

זוהי הגישה המועדפת מעכשיו והלאה. מכיוון שגרסת המפרש של TensorFlow Lite כבר לא מותאמת לגרסה של ספריית Firebase, יש לכם גמישות רבה יותר לשדרג לגרסאות חדשות של TensorFlow Lite מתי שתרצו, או להשתמש בקלות רבה יותר ב-builds מותאמים אישית של TensorFlow Lite.

בדף הזה נסביר איך עוברים משימוש ב-FirebaseModelInterpreter ל-Interpreter של TensorFlow Lite.

1. עדכון יחסי התלות בפרויקט

מעדכנים את יחסי התלות של הפרויקט כך שיכללו את הגרסה 22.0.2 של ספריית firebase-ml-model-interpreter (או גרסה חדשה יותר) ואת ספריית tensorflow-lite:

לפני

implementation("com.google.firebase:firebase-ml-model-interpreter:22.0.1")

אחרי

implementation("com.google.firebase:firebase-ml-model-interpreter:22.0.2")
implementation("org.tensorflow:tensorflow-lite:2.0.0")

2. יצירת מתורגמן של TensorFlow Lite במקום FirebaseModelInterpreter

במקום ליצור FirebaseModelInterpreter, אפשר לקבל את המיקום של המודל במכשיר באמצעות getLatestModelFile() ולהשתמש בו כדי ליצור Interpreter של TensorFlow Lite.

לפני

Kotlin+KTX

val remoteModel = FirebaseCustomRemoteModel.Builder("your_model").build()
val options = FirebaseModelInterpreterOptions.Builder(remoteModel).build()
val interpreter = FirebaseModelInterpreter.getInstance(options)

Java

FirebaseCustomRemoteModel remoteModel =
        new FirebaseCustomRemoteModel.Builder("your_model").build();
FirebaseModelInterpreterOptions options =
        new FirebaseModelInterpreterOptions.Builder(remoteModel).build();
FirebaseModelInterpreter interpreter = FirebaseModelInterpreter.getInstance(options);

אחרי

Kotlin+KTX

val remoteModel = FirebaseCustomRemoteModel.Builder("your_model").build()
FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
    .addOnCompleteListener { task ->
        val modelFile = task.getResult()
        if (modelFile != null) {
            // Instantiate an org.tensorflow.lite.Interpreter object.
            interpreter = Interpreter(modelFile)
        }
    }

Java

FirebaseCustomRemoteModel remoteModel =
        new FirebaseCustomRemoteModel.Builder("your_model").build();
FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
        .addOnCompleteListener(new OnCompleteListener<File>() {
            @Override
            public void onComplete(@NonNull Task<File> task) {
                File modelFile = task.getResult();
                if (modelFile != null) {
                    // Instantiate an org.tensorflow.lite.Interpreter object.
                    Interpreter interpreter = new Interpreter(modelFile);
                }
            }
        });

3. עדכון הקוד להכנת הקלט והפלט

כשמשתמשים ב-FirebaseModelInterpreter, מציינים את צורות הקלט והפלט של המודל על ידי העברת אובייקט FirebaseModelInputOutputOptions למפרש כשמריצים אותו.

במקום זאת, למפרש של TensorFlow Lite מקצים אובייקטים מסוג ByteBuffer בגודל המתאים לקלט ולפלט של המודל.

לדוגמה, אם למודל יש צורה של קלט עם ערכי float‏ [1 224 224 3] וצורה של פלט עם ערכי float‏ [1 1000], מבצעים את השינויים הבאים:

לפני

Kotlin+KTX

val inputOutputOptions = FirebaseModelInputOutputOptions.Builder()
    .setInputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 224, 224, 3))
    .setOutputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 1000))
    .build()

val input = ByteBuffer.allocateDirect(224*224*3*4).order(ByteOrder.nativeOrder())
// Then populate with input data.

val inputs = FirebaseModelInputs.Builder()
    .add(input)
    .build()

interpreter.run(inputs, inputOutputOptions)
    .addOnSuccessListener { outputs ->
        // ...
    }
    .addOnFailureListener {
        // Task failed with an exception.
        // ...
    }

Java

FirebaseModelInputOutputOptions inputOutputOptions =
        new FirebaseModelInputOutputOptions.Builder()
                .setInputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 224, 224, 3})
                .setOutputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 1000})
                .build();

float[][][][] input = new float[1][224][224][3];
// Then populate with input data.

FirebaseModelInputs inputs = new FirebaseModelInputs.Builder()
        .add(input)
        .build();

interpreter.run(inputs, inputOutputOptions)
        .addOnSuccessListener(
                new OnSuccessListener<FirebaseModelOutputs>() {
                    @Override
                    public void onSuccess(FirebaseModelOutputs result) {
                        // ...
                    }
                })
        .addOnFailureListener(
                new OnFailureListener() {
                    @Override
                    public void onFailure(@NonNull Exception e) {
                        // Task failed with an exception
                        // ...
                    }
                });

אחרי

Kotlin+KTX

val inBufferSize = 1 * 224 * 224 * 3 * java.lang.Float.SIZE / java.lang.Byte.SIZE
val inputBuffer = ByteBuffer.allocateDirect(inBufferSize).order(ByteOrder.nativeOrder())
// Then populate with input data.

val outBufferSize = 1 * 1000 * java.lang.Float.SIZE / java.lang.Byte.SIZE
val outputBuffer = ByteBuffer.allocateDirect(outBufferSize).order(ByteOrder.nativeOrder())

interpreter.run(inputBuffer, outputBuffer)

Java

int inBufferSize = 1 * 224 * 224 * 3 * java.lang.Float.SIZE / java.lang.Byte.SIZE;
ByteBuffer inputBuffer =
        ByteBuffer.allocateDirect(inBufferSize).order(ByteOrder.nativeOrder());
// Then populate with input data.

int outBufferSize = 1 * 1000 * java.lang.Float.SIZE / java.lang.Byte.SIZE;
ByteBuffer outputBuffer =
        ByteBuffer.allocateDirect(outBufferSize).order(ByteOrder.nativeOrder());

interpreter.run(inputBuffer, outputBuffer);

4. עדכון הקוד לטיפול בפלט

לבסוף, במקום לקבל את הפלט של המודל באמצעות השיטה getOutput() של האובייקט FirebaseModelOutputs, ממירים את הפלט של ByteBuffer למבנה שמתאים לתרחיש לדוגמה.

לדוגמה, אם אתם מבצעים סיווג, תוכלו לבצע שינויים כמו:

לפני

Kotlin+KTX

val output = result.getOutput(0)
val probabilities = output[0]
try {
    val reader = BufferedReader(InputStreamReader(assets.open("custom_labels.txt")))
    for (probability in probabilities) {
        val label: String = reader.readLine()
        println("$label: $probability")
    }
} catch (e: IOException) {
    // File not found?
}

Java

float[][] output = result.getOutput(0);
float[] probabilities = output[0];
try {
    BufferedReader reader = new BufferedReader(
          new InputStreamReader(getAssets().open("custom_labels.txt")));
    for (float probability : probabilities) {
        String label = reader.readLine();
        Log.i(TAG, String.format("%s: %1.4f", label, probability));
    }
} catch (IOException e) {
    // File not found?
}

אחרי

Kotlin+KTX

modelOutput.rewind()
val probabilities = modelOutput.asFloatBuffer()
try {
    val reader = BufferedReader(
            InputStreamReader(assets.open("custom_labels.txt")))
    for (i in probabilities.capacity()) {
        val label: String = reader.readLine()
        val probability = probabilities.get(i)
        println("$label: $probability")
    }
} catch (e: IOException) {
    // File not found?
}

Java

modelOutput.rewind();
FloatBuffer probabilities = modelOutput.asFloatBuffer();
try {
    BufferedReader reader = new BufferedReader(
            new InputStreamReader(getAssets().open("custom_labels.txt")));
    for (int i = 0; i < probabilities.capacity(); i++) {
        String label = reader.readLine();
        float probability = probabilities.get(i);
        Log.i(TAG, String.format("%s: %1.4f", label, probability));
    }
} catch (IOException e) {
    // File not found?
}