您可以使用 ML Kit，在裝置端透過 TensorFlow Lite 模型。
這個 API 需要 Android SDK 級別 16 (Jelly Bean) 以上版本。
事前準備
- 如果還沒試過 將 Firebase 新增至您的 Android 專案。
- 將 ML Kit Android 程式庫的依附元件新增至模組
(應用程式層級) Gradle 檔案 (通常是
app/build.gradle)：apply plugin: 'com.android.application' apply plugin: 'com.google.gms.google-services' dependencies { // ... implementation 'com.google.firebase:firebase-ml-model-interpreter:22.0.3' }
- 將你要使用的 TensorFlow 模型轉換為 TensorFlow Lite 格式。 詳情請見 TOCO：TensorFlow Lite 最佳化轉換器。
託管或組合模型
使用 TensorFlow Lite 模型在應用程式中推論前，你必須 必須向 ML Kit 提供模型ML Kit 可以使用 TensorFlow Lite 搭配應用程式二進位檔，或同時與應用程式二進位檔相容，藉此使用 Firebase 從遠端託管的模型。
在 Firebase 託管模型後，您無須發布 新版應用程式，且您可以使用 Remote Config 和 A/B Testing 完成 為不同的使用者群組動態提供不同的模型。
如果您選擇僅透過 Firebase 託管模型，而非 就能縮減應用程式的初始下載大小。 不過請注意，如果模型未隨附於您的應用程式 您的應用程式必須下載 首次訓練模型
將模型與應用程式搭配使用，就能確保應用程式的機器學習功能 Firebase 託管的模型無法使用時仍能正常運作。
在 Firebase 上託管模型
如要在 Firebase 上託管 TensorFlow Lite 模型，請按照下列步驟操作：
- 在 Firebase 控制台的「ML Kit」專區中，按一下 「自訂」分頁。
- 按一下「新增自訂模式」或「新增其他模式」。
- 指定要在 Firebase 中識別模型的名稱
上傳 TensorFlow Lite 模型，然後上傳 TensorFlow Lite 模型檔案 (通常以
.tflite或.lite)。 - 在應用程式的資訊清單中，宣告需要 INTERNET 權限：
<uses-permission android:name="android.permission.INTERNET" />
在 Firebase 專案中加入自訂模型後，您就能參照 在應用程式中使用您指定的名稱您隨時可以上傳 新的 TensorFlow Lite 模型，您的應用程式就會下載新的模型 就會在應用程式下次重新啟動時開始使用您可以定義 ，應用程式嘗試更新模型所需的條件 (詳見下文)。
將模型與應用程式組合
如要將 TensorFlow Lite 模型與應用程式組合在一起，請複製模型檔案 (通常
結尾為 .tflite 或 .lite) 到應用程式的 assets/ 資料夾。(您可能需要
建立資料夾，請在 app/ 資料夾上按一下滑鼠右鍵，然後點選
新增 >資料夾 >素材資源資料夾)。
接著，將以下內容新增至應用程式的 build.gradle 檔案，確保 Gradle
建構應用程式時不會壓縮模型：
android {
// ...
aaptOptions {
noCompress "tflite" // Your model's file extension: "tflite", "lite", etc.
}
}
模型檔案將包含在應用程式套件中，並可供 ML Kit 使用 做為原始素材資源
載入模型
如要在應用程式中使用 TensorFlow Lite 模型，請先使用以下程式碼設定 ML Kit： 模型可以使用的位置：透過 Firebase 遠端存取 或兩者皆是如果您同時指定本機和遠端模型 可以使用遠端模型 (如果有的話) 並改回使用 本機儲存的模型 (如果沒有遠端模型可用)。設定 Firebase 託管的模型
如果您是使用 Firebase 代管模型，請建立FirebaseCustomRemoteModel
物件中存放，並指定您上傳模型時為其指派的名稱：
Java
FirebaseCustomRemoteModel remoteModel =
new FirebaseCustomRemoteModel.Builder("your_model").build();
Kotlin+KTX
val remoteModel = FirebaseCustomRemoteModel.Builder("your_model").build()
接著，開始模型下載工作，指定您套用何種條件 需要允許下載如果裝置上沒有該型號，或者是新型號 就能以非同步方式下載該模型 建立 Vertex AI 模型
Java
FirebaseModelDownloadConditions conditions = new FirebaseModelDownloadConditions.Builder()
.requireWifi()
.build();
FirebaseModelManager.getInstance().download(remoteModel, conditions)
.addOnCompleteListener(new OnCompleteListener<Void>() {
@Override
public void onComplete(@NonNull Task<Void> task) {
// Success.
}
});
Kotlin+KTX
val conditions = FirebaseModelDownloadConditions.Builder()
.requireWifi()
.build()
FirebaseModelManager.getInstance().download(remoteModel, conditions)
.addOnCompleteListener {
// Success.
}
許多應用程式會在初始化程式碼中啟動下載工作，但您可以這麼做 因此在您需要使用模型前
設定本機模型
如果將模型與應用程式搭配使用，請建立 FirebaseCustomLocalModel
物件中，指定 TensorFlow Lite 模型的檔案名稱：
Java
FirebaseCustomLocalModel localModel = new FirebaseCustomLocalModel.Builder()
.setAssetFilePath("your_model.tflite")
.build();
Kotlin+KTX
val localModel = FirebaseCustomLocalModel.Builder()
.setAssetFilePath("your_model.tflite")
.build()
根據模型建立翻譯器
設定模型來源後，請建立 FirebaseModelInterpreter
擷取的物件
如果您只有本機組合模型，只要從
FirebaseCustomLocalModel 物件：
Java
FirebaseModelInterpreter interpreter;
try {
FirebaseModelInterpreterOptions options =
new FirebaseModelInterpreterOptions.Builder(localModel).build();
interpreter = FirebaseModelInterpreter.getInstance(options);
} catch (FirebaseMLException e) {
// ...
}
Kotlin+KTX
val options = FirebaseModelInterpreterOptions.Builder(localModel).build()
val interpreter = FirebaseModelInterpreter.getInstance(options)
如果您使用的是遠端託管的模型，則須檢查該模型是否已
執行前已下載完成您可以查看模型下載狀態
工作使用模型管理員的 isModelDownloaded() 方法。
雖然您不必在執行翻譯前進行確認 同時擁有遠端託管和本機封裝模型 在將模型解譯器例項化時執行這項檢查：請建立 從遠端模型下載 反之。
Java
FirebaseModelManager.getInstance().isModelDownloaded(remoteModel)
.addOnSuccessListener(new OnSuccessListener<Boolean>() {
@Override
public void onSuccess(Boolean isDownloaded) {
FirebaseModelInterpreterOptions options;
if (isDownloaded) {
options = new FirebaseModelInterpreterOptions.Builder(remoteModel).build();
} else {
options = new FirebaseModelInterpreterOptions.Builder(localModel).build();
}
FirebaseModelInterpreter interpreter = FirebaseModelInterpreter.getInstance(options);
// ...
}
});
Kotlin+KTX
FirebaseModelManager.getInstance().isModelDownloaded(remoteModel)
.addOnSuccessListener { isDownloaded ->
val options =
if (isDownloaded) {
FirebaseModelInterpreterOptions.Builder(remoteModel).build()
} else {
FirebaseModelInterpreterOptions.Builder(localModel).build()
}
val interpreter = FirebaseModelInterpreter.getInstance(options)
}
如果只有遠端託管的模型，請停用模型相關
或隱藏部分 UI，直到
您確認模型已下載完成附加監聽器即可
變更為模型管理工具的 download() 方法：
Java
FirebaseModelManager.getInstance().download(remoteModel, conditions)
.addOnSuccessListener(new OnSuccessListener<Void>() {
@Override
public void onSuccess(Void v) {
// Download complete. Depending on your app, you could enable
// the ML feature, or switch from the local model to the remote
// model, etc.
}
});
Kotlin+KTX
FirebaseModelManager.getInstance().download(remoteModel, conditions)
.addOnCompleteListener {
// Download complete. Depending on your app, you could enable the ML
// feature, or switch from the local model to the remote model, etc.
}
指定模型的輸入和輸出內容
接下來，設定模型解譯器的輸入和輸出格式。
TensorFlow Lite 模型會做為輸入內容，並產生一或多個輸出內容
多維度陣列這些陣列包含 byte
int、long 或 float 值。您必須
設定 ML Kit，方法是使用
模型用途
如果您不知道模型輸入和輸出的形狀和資料類型， 您可以使用 TensorFlow Lite Python 解譯器檢查模型。例如：
import tensorflow as tf interpreter = tf.lite.Interpreter(model_path="my_model.tflite") interpreter.allocate_tensors() # Print input shape and type print(interpreter.get_input_details()[0]['shape']) # Example: [1 224 224 3] print(interpreter.get_input_details()[0]['dtype']) # Example: <class 'numpy.float32'> # Print output shape and type print(interpreter.get_output_details()[0]['shape']) # Example: [1 1000] print(interpreter.get_output_details()[0]['dtype']) # Example: <class 'numpy.float32'>
確定模型的輸入和輸出格式後，即可
建立應用程式的模型解譯器
FirebaseModelInputOutputOptions 物件。
以浮點圖像分類模型為例
Nx224x224x3 的 float 值陣列，代表整批
N 大小為 224x224 三通道 (RGB) 的圖片，並產生
1000 個 float 值，每個值都代表圖片所屬
是模型預測的 1000 個類別之一
針對這類模型，您可以設定模型解譯器的輸入和輸出內容 如下所示：
Java
FirebaseModelInputOutputOptions inputOutputOptions = new FirebaseModelInputOutputOptions.Builder() .setInputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 224, 224, 3}) .setOutputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 5}) .build();
Kotlin+KTX
val inputOutputOptions = FirebaseModelInputOutputOptions.Builder() .setInputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 224, 224, 3)) .setOutputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 5)) .build()
對輸入資料執行推論
最後，如要使用模型進行推論，請先取得輸入資料 為取得相關輸入陣列而需要的任何資料轉換 找出適合模型的形狀舉例來說，假設圖片分類模型的輸入形狀
[1 224 224 3] 浮點值，您可以從
Bitmap 物件，如以下範例所示：
Java
Bitmap bitmap = getYourInputImage(); bitmap = Bitmap.createScaledBitmap(bitmap, 224, 224, true); int batchNum = 0; float[][][][] input = new float[1][224][224][3]; for (int x = 0; x < 224; x++) { for (int y = 0; y < 224; y++) { int pixel = bitmap.getPixel(x, y); // Normalize channel values to [-1.0, 1.0]. This requirement varies by // model. For example, some models might require values to be normalized // to the range [0.0, 1.0] instead. input[batchNum][x][y][0] = (Color.red(pixel) - 127) / 128.0f; input[batchNum][x][y][1] = (Color.green(pixel) - 127) / 128.0f; input[batchNum][x][y][2] = (Color.blue(pixel) - 127) / 128.0f; } }
Kotlin+KTX
val bitmap = Bitmap.createScaledBitmap(yourInputImage, 224, 224, true) val batchNum = 0 val input = Array(1) { Array(224) { Array(224) { FloatArray(3) } } } for (x in 0..223) { for (y in 0..223) { val pixel = bitmap.getPixel(x, y) // Normalize channel values to [-1.0, 1.0]. This requirement varies by // model. For example, some models might require values to be normalized // to the range [0.0, 1.0] instead. input[batchNum][x][y][0] = (Color.red(pixel) - 127) / 255.0f input[batchNum][x][y][1] = (Color.green(pixel) - 127) / 255.0f input[batchNum][x][y][2] = (Color.blue(pixel) - 127) / 255.0f } }
然後，請使用您的程式碼建立 FirebaseModelInputs 物件
將輸入資料，以及模型的輸入和輸出規格
模型解譯器的 run 方法：
Java
FirebaseModelInputs inputs = new FirebaseModelInputs.Builder() .add(input) // add() as many input arrays as your model requires .build(); firebaseInterpreter.run(inputs, inputOutputOptions) .addOnSuccessListener( new OnSuccessListener<FirebaseModelOutputs>() { @Override public void onSuccess(FirebaseModelOutputs result) { // ... } }) .addOnFailureListener( new OnFailureListener() { @Override public void onFailure(@NonNull Exception e) { // Task failed with an exception // ... } });
Kotlin+KTX
val inputs = FirebaseModelInputs.Builder() .add(input) // add() as many input arrays as your model requires .build() firebaseInterpreter.run(inputs, inputOutputOptions) .addOnSuccessListener { result -> // ... } .addOnFailureListener { e -> // Task failed with an exception // ... }
如果呼叫成功，您可以呼叫 getOutput() 方法取得輸出內容
傳遞至成功事件監聽器的物件。例如：
Java
float[][] output = result.getOutput(0); float[] probabilities = output[0];
Kotlin+KTX
val output = result.getOutput<Array<FloatArray>>(0) val probabilities = output[0]
您使用輸出內容的方式取決於您使用的模型。
舉例來說，如果您接下來要進行分類 將結果的索引對應至它們代表的標籤：
Java
BufferedReader reader = new BufferedReader( new InputStreamReader(getAssets().open("retrained_labels.txt"))); for (int i = 0; i < probabilities.length; i++) { String label = reader.readLine(); Log.i("MLKit", String.format("%s: %1.4f", label, probabilities[i])); }
Kotlin+KTX
val reader = BufferedReader( InputStreamReader(assets.open("retrained_labels.txt"))) for (i in probabilities.indices) { val label = reader.readLine() Log.i("MLKit", String.format("%s: %1.4f", label, probabilities[i])) }
附錄：模型安全性
無論您是以何種方式將 TensorFlow Lite 模型提供給 ML Kit 和 ML Kit 都會以標準序列化 protobuf 格式 本機儲存空間
理論上，這代表任何人都可以複製您的模型不過 實務上，大多數模型 都特別適合應用程式，並經過模糊處理 並預測這類風險，與競爭對手的組裝和 重複使用程式碼然而，在使用 之前，請務必先瞭解此風險 在應用程式中加入自訂模型
在 Android API 級別 21 (Lollipop) 以上版本中，模型會下載到 目錄， 從自動備份中排除。
在 Android API 級別 20 及以下級別中，模型會下載至目錄
名為「com.google.firebase.ml.custom.models」在「應用程式私人」之下
內部儲存空間如果使用 BackupAgent 啟用檔案備份功能，
您可以選擇排除這個目錄