使用 AutoML Vision Edge 訓練專屬模型後，您就可以在應用程式中使用該模型，偵測圖片中的物件。
您可以透過兩種方式整合 AutoML Vision Edge 訓練的模型。您可以將模型檔案複製到 Xcode 專案中，藉此將模型打包，也可以從 Firebase 動態下載模型。
| 模型捆綁選項 | |
|---|---|
| 在應用程式中封裝 |
|
| 透過 Firebase 託管 |
|
事前準備
如果您要下載模型，請務必將 Firebase 新增至 Apple 專案 (如果您尚未這麼做)。如果您要將模型打包成套件，則不需要這麼做。
在 Podfile 中加入 TensorFlow 和 Firebase 程式庫：
如要將模型與應用程式組合：
Swift
pod 'TensorFlowLiteSwift'Objective-C
pod 'TensorFlowLiteObjC'如要從 Firebase 動態下載模型，請新增
Firebase/MLModelInterpreter依附元件：Swift
pod 'TensorFlowLiteSwift' pod 'Firebase/MLModelInterpreter'Objective-C
pod 'TensorFlowLiteObjC' pod 'Firebase/MLModelInterpreter'安裝或更新專案的 Pod 後，請使用其
.xcworkspace開啟 Xcode 專案。
1. 載入模型
設定本機模型來源
如要組合模型與應用程式，請將模型和標籤檔案複製到 Xcode 專案，並注意選取「Create folder reference」。模型檔案和標籤會包含在應用程式套件中。
另外，請查看與模型一併建立的 tflite_metadata.json 檔案。您需要兩個值：
- 模型的輸入維度。預設值為 320x320。
- 模型的偵測次數上限。預設值為 40。
設定由 Firebase 代管的模型來源
如要使用遠端代管的模型，請建立 CustomRemoteModel 物件，並指定您在發布模型時指派的名稱：
Swift
let remoteModel = CustomRemoteModel(
name: "your_remote_model" // The name you assigned in the Google Cloud console.
)
Objective-C
FIRCustomRemoteModel *remoteModel = [[FIRCustomRemoteModel alloc]
initWithName:@"your_remote_model"];
接著，啟動模型下載工作，並指定允許下載的條件。如果裝置上沒有模型，或是有較新版本的模型可供使用，工作會從 Firebase 異步下載模型：
Swift
let downloadProgress = ModelManager.modelManager().download(
remoteModel,
conditions: ModelDownloadConditions(
allowsCellularAccess: true,
allowsBackgroundDownloading: true
)
)
Objective-C
FIRModelDownloadConditions *conditions =
[[FIRModelDownloadConditions alloc] initWithAllowsCellularAccess:YES
allowsBackgroundDownloading:YES];
NSProgress *progress = [[FIRModelManager modelManager] downloadModel:remoteModel
conditions:conditions];
許多應用程式會在初始化程式碼中啟動下載工作，但在您需要使用模型前，您可以隨時執行此操作。
從模型建立物件偵測工具
設定模型來源後，請從其中一個來源建立 TensorFlow Lite Interpreter 物件。
如果您只有本機內建的模型，請直接從模型檔案建立解譯器：
Swift
guard let modelPath = Bundle.main.path(
forResource: "model",
ofType: "tflite"
) else {
print("Failed to load the model file.")
return true
}
let interpreter = try Interpreter(modelPath: modelPath)
try interpreter.allocateTensors()
Objective-C
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"model"
ofType:@"tflite"];
NSError *error;
TFLInterpreter *interpreter = [[TFLInterpreter alloc] initWithModelPath:modelPath
error:&error];
if (error != NULL) { return; }
[interpreter allocateTensorsWithError:&error];
if (error != NULL) { return; }
如果您使用的是遠端代管模型，請務必先確認模型已下載，再執行模型。您可以使用模型管理員的 isModelDownloaded(remoteModel:) 方法，查看模型下載作業的狀態。
雖然您只需要在執行轉譯器前確認這項資訊，但如果您同時擁有遠端代管模型和本機內建模型，在例項化 Interpreter 時執行這項檢查可能會比較合理：如果已下載遠端模型，請從該模型建立轉譯器；如果未下載，則從本機模型建立轉譯器。
Swift
var modelPath: String?
if ModelManager.modelManager().isModelDownloaded(remoteModel) {
ModelManager.modelManager().getLatestModelFilePath(remoteModel) { path, error in
guard error == nil else { return }
guard let path = path else { return }
modelPath = path
}
} else {
modelPath = Bundle.main.path(
forResource: "model",
ofType: "tflite"
)
}
guard modelPath != nil else { return }
let interpreter = try Interpreter(modelPath: modelPath)
try interpreter.allocateTensors()
Objective-C
__block NSString *modelPath;
if ([[FIRModelManager modelManager] isModelDownloaded:remoteModel]) {
[[FIRModelManager modelManager] getLatestModelFilePath:remoteModel
completion:^(NSString * _Nullable filePath,
NSError * _Nullable error) {
if (error != NULL) { return; }
if (filePath == NULL) { return; }
modelPath = filePath;
}];
} else {
modelPath = [[NSBundle mainBundle] pathForResource:@"model"
ofType:@"tflite"];
}
NSError *error;
TFLInterpreter *interpreter = [[TFLInterpreter alloc] initWithModelPath:modelPath
error:&error];
if (error != NULL) { return; }
[interpreter allocateTensorsWithError:&error];
if (error != NULL) { return; }
如果您只有遠端代管的模型，請在確認模型已下載前，停用模型相關功能 (例如將部分 UI 設為灰色或隱藏)。
您可以將觀察器附加至預設的通知中心，取得模型下載狀態。請務必在觀察器區塊中使用 self 的弱參照，因為下載作業可能需要一些時間，且原始物件可在下載完成時釋放。例如：
Swift
NotificationCenter.default.addObserver(
forName: .firebaseMLModelDownloadDidSucceed,
object: nil,
queue: nil
) { [weak self] notification in
guard let strongSelf = self,
let userInfo = notification.userInfo,
let model = userInfo[ModelDownloadUserInfoKey.remoteModel.rawValue]
as? RemoteModel,
model.name == "your_remote_model"
else { return }
// The model was downloaded and is available on the device
}
NotificationCenter.default.addObserver(
forName: .firebaseMLModelDownloadDidFail,
object: nil,
queue: nil
) { [weak self] notification in
guard let strongSelf = self,
let userInfo = notification.userInfo,
let model = userInfo[ModelDownloadUserInfoKey.remoteModel.rawValue]
as? RemoteModel
else { return }
let error = userInfo[ModelDownloadUserInfoKey.error.rawValue]
// ...
}
Objective-C
__weak typeof(self) weakSelf = self;
[NSNotificationCenter.defaultCenter
addObserverForName:FIRModelDownloadDidSucceedNotification
object:nil
queue:nil
usingBlock:^(NSNotification *_Nonnull note) {
if (weakSelf == nil | note.userInfo == nil) {
return;
}
__strong typeof(self) strongSelf = weakSelf;
FIRRemoteModel *model = note.userInfo[FIRModelDownloadUserInfoKeyRemoteModel];
if ([model.name isEqualToString:@"your_remote_model"]) {
// The model was downloaded and is available on the device
}
}];
[NSNotificationCenter.defaultCenter
addObserverForName:FIRModelDownloadDidFailNotification
object:nil
queue:nil
usingBlock:^(NSNotification *_Nonnull note) {
if (weakSelf == nil | note.userInfo == nil) {
return;
}
__strong typeof(self) strongSelf = weakSelf;
NSError *error = note.userInfo[FIRModelDownloadUserInfoKeyError];
}];
2. 準備輸入圖片
接下來，您需要為 TensorFlow Lite 解譯器準備圖片。
依照
tflite_metadata.json檔案中指定的模型輸入尺寸，裁剪及縮放圖片 (預設為 320x320 像素)。您可以使用 Core Image 或第三方程式庫執行這項操作將圖片資料複製到
Data(NSData物件)：Swift
guard let image: CGImage = // Your input image guard let context = CGContext( data: nil, width: image.width, height: image.height, bitsPerComponent: 8, bytesPerRow: image.width * 4, space: CGColorSpaceCreateDeviceRGB(), bitmapInfo: CGImageAlphaInfo.noneSkipFirst.rawValue ) else { return nil } context.draw(image, in: CGRect(x: 0, y: 0, width: image.width, height: image.height)) guard let imageData = context.data else { return nil } var inputData = Data() for row in 0 ..< 320 { // Model takes 320x320 pixel images as input for col in 0 ..< 320 { let offset = 4 * (col * context.width + row) // (Ignore offset 0, the unused alpha channel) var red = imageData.load(fromByteOffset: offset+1, as: UInt8.self) var green = imageData.load(fromByteOffset: offset+2, as: UInt8.self) var blue = imageData.load(fromByteOffset: offset+3, as: UInt8.self) inputData.append(&red, count: 1) inputData.append(&green, count: 1) inputData.append(&blue, count: 1) } }Objective-C
CGImageRef image = // Your input image long imageWidth = CGImageGetWidth(image); long imageHeight = CGImageGetHeight(image); CGContextRef context = CGBitmapContextCreate(nil, imageWidth, imageHeight, 8, imageWidth * 4, CGColorSpaceCreateDeviceRGB(), kCGImageAlphaNoneSkipFirst); CGContextDrawImage(context, CGRectMake(0, 0, imageWidth, imageHeight), image); UInt8 *imageData = CGBitmapContextGetData(context); NSMutableData *inputData = [[NSMutableData alloc] initWithCapacity:0]; for (int row = 0; row < 300; row++) { for (int col = 0; col < 300; col++) { long offset = 4 * (row * imageWidth + col); // (Ignore offset 0, the unused alpha channel) UInt8 red = imageData[offset+1]; UInt8 green = imageData[offset+2]; UInt8 blue = imageData[offset+3]; [inputData appendBytes:&red length:1]; [inputData appendBytes:&green length:1]; [inputData appendBytes:&blue length:1]; } }
3. 執行物件偵測工具
接下來，將準備好的輸入內容傳遞給轉譯器：
Swift
try interpreter.copy(inputData, toInputAt: 0)
try interpreter.invoke()
Objective-C
TFLTensor *input = [interpreter inputTensorAtIndex:0 error:&error];
if (error != nil) { return; }
[input copyData:inputData error:&error];
if (error != nil) { return; }
[interpreter invokeWithError:&error];
if (error != nil) { return; }
4. 取得偵測到的物件相關資訊
如果物件偵測成功，模型會產生三個陣列，每個陣列包含 40 個元素 (或 tflite_metadata.json 檔案中指定的任何元素)。每個元素都對應至一個潛在物件。第一個陣列是定界框陣列；第二個陣列則是標籤陣列；第三個陣列則是信心值陣列。如要取得模型輸出內容：
Swift
var output = try interpreter.output(at: 0)
let boundingBoxes =
UnsafeMutableBufferPointer<Float32>.allocate(capacity: 4 * 40)
output.data.copyBytes(to: boundingBoxes)
output = try interpreter.output(at: 1)
let labels =
UnsafeMutableBufferPointer<Float32>.allocate(capacity: 40)
output.data.copyBytes(to: labels)
output = try interpreter.output(at: 2)
let probabilities =
UnsafeMutableBufferPointer<Float32>.allocate(capacity: 40)
output.data.copyBytes(to: probabilities)
Objective-C
TFLTensor *output = [interpreter outputTensorAtIndex:0 error:&error];
if (error != nil) { return; }
NSData *boundingBoxes = [output dataWithError:&error];
if (error != nil) { return; }
output = [interpreter outputTensorAtIndex:1 error:&error];
if (error != nil) { return; }
NSData *labels = [output dataWithError:&error];
if (error != nil) { return; }
output = [interpreter outputTensorAtIndex:2 error:&error];
if (error != nil) { return; }
NSData *probabilities = [output dataWithError:&error];
if (error != nil) { return; }
接著，您可以將標籤輸出結果與標籤字典合併：
Swift
guard let labelPath = Bundle.main.path(
forResource: "dict",
ofType: "txt"
) else { return true }
let fileContents = try? String(contentsOfFile: labelPath)
guard let labelText = fileContents?.components(separatedBy: "\n") else { return true }
for i in 0 ..< 40 {
let top = boundingBoxes[0 * i]
let left = boundingBoxes[1 * i]
let bottom = boundingBoxes[2 * i]
let right = boundingBoxes[3 * i]
let labelIdx = Int(labels[i])
let label = labelText[labelIdx]
let confidence = probabilities[i]
if confidence > 0.66 {
print("Object found: \(label) (confidence: \(confidence))")
print(" Top-left: (\(left),\(top))")
print(" Bottom-right: (\(right),\(bottom))")
}
}
Objective-C
NSString *labelPath = [NSBundle.mainBundle pathForResource:@"dict"
ofType:@"txt"];
NSString *fileContents = [NSString stringWithContentsOfFile:labelPath
encoding:NSUTF8StringEncoding
error:&error];
if (error != nil || fileContents == NULL) { return; }
NSArray<NSString*> *labelText = [fileContents componentsSeparatedByString:@"\n"];
for (int i = 0; i < 40; i++) {
Float32 top, right, bottom, left;
Float32 labelIdx;
Float32 confidence;
[boundingBoxes getBytes:&top range:NSMakeRange(16 * i + 0, 4)];
[boundingBoxes getBytes:&left range:NSMakeRange(16 * i + 4, 4)];
[boundingBoxes getBytes:&bottom range:NSMakeRange(16 * i + 8, 4)];
[boundingBoxes getBytes:&right range:NSMakeRange(16 * i + 12, 4)];
[labels getBytes:&labelIdx range:NSMakeRange(4 * i, 4)];
[probabilities getBytes:&confidence range:NSMakeRange(4 * i, 4)];
if (confidence > 0.5f) {
NSString *label = labelText[(int)labelIdx];
NSLog(@"Object detected: %@", label);
NSLog(@" Confidence: %f", confidence);
NSLog(@" Top-left: (%f,%f)", left, top);
NSLog(@" Bottom-right: (%f,%f)", right, bottom);
}
}
改善即時成效的訣竅
如要在即時應用程式中標示圖片，請遵循下列指南，以獲得最佳的幀率：
- 限制對偵測器的呼叫。如果在偵測器執行期間有新的影片影格可用，請捨棄該影格。
- 如果您要使用偵測器的輸出內容，在輸入圖片上疊加圖形，請先取得結果，然後在單一步驟中算繪圖片和疊加圖形。這樣一來，您只需為每個輸入影格轉譯一次顯示介面。如需範例，請參閱精選範例應用程式中的 previewOverlayView 和 FIRDetectionOverlayView 類別。