מעבר מה-API הקודם של מודל מותאם אישית

בגרסה 22.0.2 של ספריית firebase-ml-model-interpreter מוצגת שיטה חדשה, getLatestModelFile(), שמאפשרת לקבל את המיקום במכשיר של מודלים בהתאמה אישית. אפשר להשתמש בשיטה הזו כדי ליצור ישירות מופע של אובייקט Interpreter של TensorFlow Lite, שאפשר להשתמש בו במקום העטיפה FirebaseModelInterpreter.

זו הגישה המועדפת מעכשיו והלאה. מכיוון שגרסת המפרש של TensorFlow Lite לא מקושרת יותר לגרסת ספריית Firebase, יש לכם יותר גמישות לשדרג לגרסאות חדשות של TensorFlow Lite מתי שתרצו, או להשתמש בקלות רבה יותר בגרסאות מותאמות אישית של TensorFlow Lite.

בדף הזה מוסבר איך אפשר לעבור משימוש ב-FirebaseModelInterpreter ל-TensorFlow Lite Interpreter.

1. עדכון התלות של הפרויקט במשאבים

מעדכנים את יחסי התלות של הפרויקט כך שיכללו את גרסה 22.0.2 של הספרייה firebase-ml-model-interpreter (או גרסה חדשה יותר) ואת הספרייה tensorflow-lite:

לפני

implementation("com.google.firebase:firebase-ml-model-interpreter:22.0.1")

אחרי

implementation("com.google.firebase:firebase-ml-model-interpreter:22.0.2")
implementation("org.tensorflow:tensorflow-lite:2.0.0")

2. יצירת TensorFlow Lite interpreter במקום FirebaseModelInterpreter

במקום ליצור FirebaseModelInterpreter, מקבלים את מיקום המודל במכשיר באמצעות getLatestModelFile() ומשתמשים בו כדי ליצור Interpreter TensorFlow Lite.

לפני

Kotlin

val remoteModel = FirebaseCustomRemoteModel.Builder("your_model").build()
val options = FirebaseModelInterpreterOptions.Builder(remoteModel).build()
val interpreter = FirebaseModelInterpreter.getInstance(options)

Java

FirebaseCustomRemoteModel remoteModel =
        new FirebaseCustomRemoteModel.Builder("your_model").build();
FirebaseModelInterpreterOptions options =
        new FirebaseModelInterpreterOptions.Builder(remoteModel).build();
FirebaseModelInterpreter interpreter = FirebaseModelInterpreter.getInstance(options);

אחרי

Kotlin

val remoteModel = FirebaseCustomRemoteModel.Builder("your_model").build()
FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
    .addOnCompleteListener { task ->
        val modelFile = task.getResult()
        if (modelFile != null) {
            // Instantiate an org.tensorflow.lite.Interpreter object.
            interpreter = Interpreter(modelFile)
        }
    }

Java

FirebaseCustomRemoteModel remoteModel =
        new FirebaseCustomRemoteModel.Builder("your_model").build();
FirebaseModelManager.getInstance().getLatestModelFile(remoteModel)
        .addOnCompleteListener(new OnCompleteListener<File>() {
            @Override
            public void onComplete(@NonNull Task<File> task) {
                File modelFile = task.getResult();
                if (modelFile != null) {
                    // Instantiate an org.tensorflow.lite.Interpreter object.
                    Interpreter interpreter = new Interpreter(modelFile);
                }
            }
        });

3. עדכון קוד ההכנה של הקלט והפלט

ב-FirebaseModelInterpreter, מציינים את צורות הקלט והפלט של המודל על ידי העברת אובייקט FirebaseModelInputOutputOptions למתורגמן כשמריצים אותו.

במקום זאת, במפרש של TensorFlow Lite, מקצים אובייקטים ByteBuffer בגודל המתאים לקלט ולפלט של המודל.

לדוגמה, אם למודל יש צורת קלט של [1 224 224 3] float ערכים וצורת פלט של [1 1000] float ערכים, צריך לבצע את השינויים הבאים:

לפני

Kotlin

val inputOutputOptions = FirebaseModelInputOutputOptions.Builder()
    .setInputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 224, 224, 3))
    .setOutputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 1000))
    .build()

val input = ByteBuffer.allocateDirect(224*224*3*4).order(ByteOrder.nativeOrder())
// Then populate with input data.

val inputs = FirebaseModelInputs.Builder()
    .add(input)
    .build()

interpreter.run(inputs, inputOutputOptions)
    .addOnSuccessListener { outputs ->
        // ...
    }
    .addOnFailureListener {
        // Task failed with an exception.
        // ...
    }

Java

FirebaseModelInputOutputOptions inputOutputOptions =
        new FirebaseModelInputOutputOptions.Builder()
                .setInputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 224, 224, 3})
                .setOutputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 1000})
                .build();

float[][][][] input = new float[1][224][224][3];
// Then populate with input data.

FirebaseModelInputs inputs = new FirebaseModelInputs.Builder()
        .add(input)
        .build();

interpreter.run(inputs, inputOutputOptions)
        .addOnSuccessListener(
                new OnSuccessListener<FirebaseModelOutputs>() {
                    @Override
                    public void onSuccess(FirebaseModelOutputs result) {
                        // ...
                    }
                })
        .addOnFailureListener(
                new OnFailureListener() {
                    @Override
                    public void onFailure(@NonNull Exception e) {
                        // Task failed with an exception
                        // ...
                    }
                });

אחרי

Kotlin

val inBufferSize = 1 * 224 * 224 * 3 * java.lang.Float.SIZE / java.lang.Byte.SIZE
val inputBuffer = ByteBuffer.allocateDirect(inBufferSize).order(ByteOrder.nativeOrder())
// Then populate with input data.

val outBufferSize = 1 * 1000 * java.lang.Float.SIZE / java.lang.Byte.SIZE
val outputBuffer = ByteBuffer.allocateDirect(outBufferSize).order(ByteOrder.nativeOrder())

interpreter.run(inputBuffer, outputBuffer)

Java

int inBufferSize = 1 * 224 * 224 * 3 * java.lang.Float.SIZE / java.lang.Byte.SIZE;
ByteBuffer inputBuffer =
        ByteBuffer.allocateDirect(inBufferSize).order(ByteOrder.nativeOrder());
// Then populate with input data.

int outBufferSize = 1 * 1000 * java.lang.Float.SIZE / java.lang.Byte.SIZE;
ByteBuffer outputBuffer =
        ByteBuffer.allocateDirect(outBufferSize).order(ByteOrder.nativeOrder());

interpreter.run(inputBuffer, outputBuffer);

4. עדכון קוד לטיפול בפלט

לבסוף, במקום לקבל את הפלט של המודל באמצעות השיטה FirebaseModelOutputs של האובייקט getOutput(), ממירים את הפלט ByteBuffer לכל מבנה שנוח לכם לשימוש בתרחיש לדוגמה.

לדוגמה, אם אתם מבצעים סיווג, יכול להיות שתבצעו שינויים כמו אלה:

לפני

Kotlin

val output = result.getOutput(0)
val probabilities = output[0]
try {
    val reader = BufferedReader(InputStreamReader(assets.open("custom_labels.txt")))
    for (probability in probabilities) {
        val label: String = reader.readLine()
        println("$label: $probability")
    }
} catch (e: IOException) {
    // File not found?
}

Java

float[][] output = result.getOutput(0);
float[] probabilities = output[0];
try {
    BufferedReader reader = new BufferedReader(
          new InputStreamReader(getAssets().open("custom_labels.txt")));
    for (float probability : probabilities) {
        String label = reader.readLine();
        Log.i(TAG, String.format("%s: %1.4f", label, probability));
    }
} catch (IOException e) {
    // File not found?
}

אחרי

Kotlin

modelOutput.rewind()
val probabilities = modelOutput.asFloatBuffer()
try {
    val reader = BufferedReader(
            InputStreamReader(assets.open("custom_labels.txt")))
    for (i in probabilities.capacity()) {
        val label: String = reader.readLine()
        val probability = probabilities.get(i)
        println("$label: $probability")
    }
} catch (e: IOException) {
    // File not found?
}

Java

modelOutput.rewind();
FloatBuffer probabilities = modelOutput.asFloatBuffer();
try {
    BufferedReader reader = new BufferedReader(
            new InputStreamReader(getAssets().open("custom_labels.txt")));
    for (int i = 0; i < probabilities.capacity(); i++) {
        String label = reader.readLine();
        float probability = probabilities.get(i);
        Log.i(TAG, String.format("%s: %1.4f", label, probability));
    }
} catch (IOException e) {
    // File not found?
}