Flutter와 함께 커스텀 TensorFlow Lite 모델 사용

앱에서 커스텀 TensorFlow Lite 모델을 사용하는 경우 Firebase ML을 사용하여 모델을 배포할 수 있습니다. Firebase로 모델을 배포하면 앱의 초기 다운로드 크기를 줄일 수 있으며 앱의 새 버전을 출시하지 않고도 앱의 ML 모델을 업데이트할 수 있습니다. 또한 원격 구성 및 A/B 테스팅을 사용하면 다양한 사용자 집합에 서로 다른 모델을 동적으로 제공할 수 있습니다.

TensorFlow Lite 모델

TensorFlow Lite 모델은 휴대기기에서 실행되도록 최적화된 ML 모델입니다. TensorFlow Lite 모델을 가져오려면 다음 안내를 따르세요.

공식 TensorFlow Lite 모델 중 하나와 같은 사전 빌드된 모델을 사용합니다.
TensorFlow 모델, Keras 모델 또는 콘크리트 함수를 TensorFlow Lite로 변환합니다.

Dart용 TensorFlow Lite 라이브러리가 유지되지 않는 경우 플랫폼에 맞는 네이티브 TensorFlow Lite 라이브러리와 통합해야 합니다. 이 통합은 여기에 설명되어 있지 않습니다.

시작하기 전에

아직 수행하지 않았으면 Flutter의 Firebase SDK를 설치하고 초기화합니다.
Flutter 프로젝트의 루트 디렉터리에서 다음 명령어를 실행하여 ML 모델 다운로더 플러그인을 설치합니다.
```
flutter pub add firebase_ml_model_downloader
```
프로젝트를 다시 빌드합니다.
```
flutter run
```

1. 모델 배포

Firebase Console 또는 Firebase Admin Python 및 Node.js SDK를 사용하여 커스텀 TensorFlow 모델을 배포합니다. 커스텀 모델 배포 및 관리를 참조하세요.

Firebase 프로젝트에 커스텀 모델을 추가한 후 지정한 이름을 사용하여 앱에서 모델을 참조할 수 있습니다. 언제든지 새 TensorFlow Lite 모델을 배포하고 getModel()을 호출하여 새 모델을 사용자 기기에 다운로드할 수 있습니다(아래 참조).

2. 기기에 모델 다운로드 및 TensorFlow Lite 인터프리터 초기화

앱에서 TensorFlow Lite 모델을 사용하려면 우선 모델 다운로더를 사용하여 모델의 최신 버전을 기기에 다운로드합니다. 그런 다음 모델을 사용하여 TensorFlow Lite 인터프리터를 인스턴스화합니다.

모델 다운로드를 시작하려면 모델을 업로드할 때 할당한 이름, 항상 최신 모델을 다운로드할지 여부, 다운로드 허용 조건을 지정하여 모델 다운로더의 getModel() 메서드를 호출합니다.

다음 세 가지 다운로드 동작 중에서 선택할 수 있습니다.

다운로드 유형	설명
`localModel`	기기에서 로컬 모델을 가져옵니다. 사용할 수 있는 로컬 모델이 없으면 `latestModel`처럼 작동합니다. 모델 업데이트를 확인하지 않아도 된다면 이 다운로드 유형을 사용하세요. 예를 들어 원격 구성을 사용하여 모델 이름을 검색하고 항상 새 이름으로 모델을 업로드합니다(권장).
`localModelUpdateInBackground`	기기에서 로컬 모델을 가져와 백그라운드에서 모델 업데이트를 시작합니다. 사용할 수 있는 로컬 모델이 없으면 `latestModel`처럼 작동합니다.
`latestModel`	최신 모델을 가져옵니다. 로컬 모델이 최신 버전이면 로컬 모델을 반환합니다. 그렇지 않은 경우 최신 모델을 다운로드합니다. 이 동작은 최신 버전이 다운로드될 때까지 차단됩니다(권장하지 않음). 최신 버전이 명시적으로 필요한 경우에만 이 동작을 사용하세요.

모델 다운로드 여부가 확인될 때까지 모델 관련 기능 사용을 중지해야 합니다(예: UI 비활성화 또는 숨김).

FirebaseModelDownloader.instance
    .getModel(
        "yourModelName",
        FirebaseModelDownloadType.localModel,
        FirebaseModelDownloadConditions(
          iosAllowsCellularAccess: true,
          iosAllowsBackgroundDownloading: false,
          androidChargingRequired: false,
          androidWifiRequired: false,
          androidDeviceIdleRequired: false,
        )
    )
    .then((customModel) {
      // Download complete. Depending on your app, you could enable the ML
      // feature, or switch from the local model to the remote model, etc.

      // The CustomModel object contains the local path of the model file,
      // which you can use to instantiate a TensorFlow Lite interpreter.
      final localModelPath = customModel.file;

      // ...
    });

대부분의 앱은 초기화 코드에서 다운로드 작업을 시작하지만 모델 사용이 필요한 시점 이전에 언제든지 다운로드할 수 있습니다.

3. 입력 데이터에 대한 추론 수행

이제 모델 파일이 기기에 있으므로 TensorFlow Lite 인터프리터와 함께 사용하여 추론을 수행할 수 있습니다. Dart용 TensorFlow Lite 라이브러리가 유지되지 않는 경우 iOS 및 Android용 네이티브 TensorFlow Lite 라이브러리와 통합해야 합니다.

부록: 모델 보안

TensorFlow Lite 모델을 어떤 방식으로 Firebase ML에 제공하든 Firebase ML은 로컬 스토리지에 직렬화된 표준 프로토콜 버퍼(protobuf) 형식으로 모델을 저장합니다.

즉, 이론적으로는 누구나 모델을 복사할 수 있습니다. 하지만 실제로는 대부분의 모델이 애플리케이션별로 너무나 다르며 최적화를 통해 난독화되므로 위험도는 경쟁업체가 내 코드를 분해해서 재사용하는 것과 비슷한 수준입니다. 그러나 앱에서 커스텀 모델을 사용하기 전에 이러한 위험성을 알고 있어야 합니다.