1. Tổng quan
|
|
Chào mừng bạn đến với lớp học lập trình Đề xuất bằng TensorFlow Lite và Firebase. Trong lớp học lập trình này, bạn sẽ tìm hiểu cách sử dụng TensorFlow Lite và Firebase để triển khai một mô hình đề xuất cho ứng dụng của mình. Lớp học lập trình này dựa trên ví dụ này của TensorFlow Lite.
Đề xuất cho phép các ứng dụng sử dụng công nghệ học máy để phân phát một cách thông minh nội dung phù hợp nhất cho từng người dùng. Các đề xuất này xem xét hành vi trước đây của người dùng để đề xuất nội dung trong ứng dụng mà người dùng có thể muốn tương tác trong tương lai bằng cách sử dụng một mô hình được huấn luyện dựa trên hành vi tổng hợp của một số lượng lớn người dùng khác.
Hướng dẫn này cho thấy cách lấy dữ liệu từ người dùng ứng dụng của bạn bằng Firebase Analytics, tạo một mô hình học máy để đưa ra đề xuất từ dữ liệu đó, sau đó sử dụng mô hình đó trong một ứng dụng iOS để chạy suy luận và nhận đề xuất. Cụ thể, hệ thống đề xuất của chúng tôi sẽ gợi ý những bộ phim mà người dùng có nhiều khả năng xem nhất dựa trên danh sách những bộ phim mà người dùng đã thích trước đó.
Kiến thức bạn sẽ học được
- Tích hợp Firebase Analytics vào một ứng dụng Android để thu thập dữ liệu về hành vi của người dùng
- Xuất dữ liệu đó sang Google BigQuery
- Xử lý trước dữ liệu và huấn luyện một mô hình đề xuất TF Lite
- Triển khai mô hình TF Lite cho Firebase ML và truy cập vào mô hình đó từ ứng dụng của bạn
- Chạy suy luận trên thiết bị bằng mô hình để đề xuất cho người dùng
Bạn cần có
- Xcode 11 (trở lên)
- CocoaPods 1.9.1 (trở lên)
Bạn sẽ sử dụng hướng dẫn này như thế nào?
Bạn đánh giá thế nào về trải nghiệm của mình khi tạo ứng dụng iOS?
2. Tạo dự án trên bảng điều khiển của Firebase
Thêm Firebase vào dự án
- Truy cập vào bảng điều khiển của Firebase.
- Chọn Create New Project (Tạo dự án mới) rồi đặt tên cho dự án là "Firebase ML iOS Codelab" (Lớp học lập trình Firebase ML iOS).
3. Tải dự án mẫu xuống
Tải mã nguồn xuống
Bắt đầu bằng cách sao chép dự án mẫu và chạy pod update trong thư mục dự án:
git clone https://github.com/FirebaseExtended/codelab-contentrecommendation-ios.git cd codelab-contentrecommendation-ios/start pod install --repo-update
Nếu chưa cài đặt git, bạn cũng có thể tải dự án mẫu xuống từ trang GitHub của dự án hoặc bằng cách nhấp vào đường liên kết này. Sau khi tải dự án xuống, hãy chạy dự án trong Xcode và khám phá đề xuất để hiểu cách hoạt động của đề xuất.
Thiết lập Firebase
Làm theo tài liệu để tạo một dự án Firebase mới. Sau khi bạn có dự án, hãy tải tệp GoogleService-Info.plist của dự án xuống từ bảng điều khiển Firebase rồi kéo tệp đó vào thư mục gốc của dự án Xcode.
Thêm Firebase vào Podfile và chạy lệnh pod install.
pod 'FirebaseAnalytics' pod 'FirebaseMLModelDownloader', '9.3.0-beta' pod 'TensorFlowLiteSwift'
Trong phương thức didFinishLaunchingWithOptions của AppDelegate, hãy nhập Firebase ở đầu tệp
import FirebaseCore
Và thêm một lệnh gọi để định cấu hình Firebase.
FirebaseApp.configure()
Chạy lại dự án để đảm bảo ứng dụng được định cấu hình đúng cách và không gặp sự cố khi khởi chạy.
- Đảm bảo bạn đã bật chế độ "Bật Google Analytics cho dự án này".
- Làm theo các bước thiết lập còn lại trong bảng điều khiển của Firebase, sau đó nhấp vào Tạo dự án (hoặc Thêm Firebase nếu bạn đang sử dụng một dự án hiện có trên Google).
4. Thêm Firebase Analytics vào ứng dụng
Trong bước này, bạn sẽ thêm Firebase Analytics vào ứng dụng để ghi lại dữ liệu về hành vi của người dùng (trong trường hợp này là những bộ phim mà người dùng thích). Dữ liệu này sẽ được dùng ở dạng tổng hợp trong các bước tiếp theo để huấn luyện mô hình đề xuất.
Thiết lập Firebase Analytics trong ứng dụng
LikedMoviesViewModel chứa các hàm để lưu trữ những bộ phim mà người dùng thích. Mỗi khi người dùng thích một bộ phim mới, chúng ta cũng muốn gửi một sự kiện nhật ký phân tích để ghi lại lượt thích đó.
Thêm mã bên dưới để đăng ký một sự kiện phân tích khi người dùng nhấp vào nút thích một bộ phim.
AllMoviesCollectionViewController.swift
import FirebaseAnalytics
//
override func collectionView(_ collectionView: UICollectionView, didSelectItemAt indexPath: IndexPath) {
//
if movie.liked == nil {
movie.liked = true
Analytics.logEvent(AnalyticsEventSelectItem, parameters: [AnalyticsParameterItemID: movie.id])
} else {
movie.liked?.toggle()
}
}
5. Kiểm thử chế độ tích hợp Analytics
Trong bước này, chúng ta sẽ tạo các sự kiện Analytics trong ứng dụng và xác minh rằng các sự kiện đó đang được gửi đến Bảng điều khiển của Firebase.
Bật tính năng ghi nhật ký gỡ lỗi Analytics
Thông thường, các sự kiện do ứng dụng của bạn ghi nhận sẽ được gộp lại trong khoảng thời gian khoảng một giờ và được tải lên cùng nhau. Phương pháp này giúp tiết kiệm pin trên thiết bị của người dùng cuối và giảm mức sử dụng dữ liệu mạng. Tuy nhiên, để xác thực việc triển khai Analytics (và để xem số liệu phân tích trong báo cáo DebugView), bạn có thể bật chế độ Gỡ lỗi trên thiết bị phát triển để tải các sự kiện lên với độ trễ tối thiểu.
Để bật chế độ Gỡ lỗi Analytics trên thiết bị phát triển của bạn, hãy chỉ định đối số dòng lệnh sau trong Xcode:
-FIRDebugEnabled
Đến đây, bạn đã tích hợp thành công Firebase Analytics vào ứng dụng của mình. Khi người dùng sử dụng ứng dụng và thích phim, lượt thích của họ sẽ được ghi lại dưới dạng dữ liệu tổng hợp. Chúng ta sẽ sử dụng dữ liệu tổng hợp này trong phần còn lại của lớp học lập trình này để huấn luyện mô hình đề xuất. Sau đây là bước không bắt buộc để xem các sự kiện Analytics mà bạn thấy trong Logcat cũng được truyền trực tuyến vào bảng điều khiển của Firebase. Bạn có thể chuyển sang trang tiếp theo.
Không bắt buộc: Xác nhận sự kiện Analytics trong Bảng điều khiển của Firebase
- Truy cập vào bảng điều khiển của Firebase.
- Chọn DebugView trong mục Analytics
- Trong Xcode, hãy chọn Run (Chạy) để khởi chạy ứng dụng và thêm một số phim vào danh sách Video đã thích.
- Trong DebugView của bảng điều khiển Firebase, hãy xác minh rằng các sự kiện này đang được ghi lại khi bạn thêm phim vào ứng dụng.
6. Xuất dữ liệu trong Analytics sang BigQuery
BigQuery là một sản phẩm của Google Cloud, cho phép bạn kiểm tra và xử lý một lượng lớn dữ liệu. Trong bước này, bạn sẽ kết nối dự án trên Bảng điều khiển của Firebase với BigQuery để dữ liệu Analytics do ứng dụng của bạn tạo ra sẽ tự động được xuất sang BigQuery.
Bật tính năng xuất dữ liệu của BigQuery
- Truy cập vào bảng điều khiển của Firebase.
- Chọn biểu tượng bánh răng Cài đặt bên cạnh Tổng quan về dự án, rồi chọn Cài đặt dự án
- Chọn thẻ Tích hợp.
- Chọn Liên kết (hoặc Quản lý) trong khối BigQuery.
- Chọn Tiếp theo trong bước Giới thiệu về việc liên kết Firebase với BigQuery.
- Trong mục Định cấu hình mối liên kết, hãy nhấp vào nút bật/tắt để bật tính năng gửi dữ liệu Google Analytics và chọn Liên kết với BigQuery.
Giờ đây, bạn đã bật dự án trên bảng điều khiển của Firebase để tự động gửi dữ liệu sự kiện Firebase Analytics đến BigQuery. Quá trình này diễn ra tự động mà không cần có thêm thao tác nào. Tuy nhiên, lần xuất đầu tiên tạo tập dữ liệu Analytics trong BigQuery có thể không diễn ra trong vòng 24 giờ. Sau khi tập dữ liệu được tạo, Firebase sẽ liên tục xuất các sự kiện Analytics mới sang BigQuery vào bảng trong ngày và nhóm các sự kiện từ những ngày trước đó vào bảng sự kiện.
Việc huấn luyện một mô hình đề xuất đòi hỏi nhiều dữ liệu. Vì chưa có ứng dụng nào tạo ra lượng lớn dữ liệu, nên ở bước tiếp theo, chúng ta sẽ nhập một tập dữ liệu mẫu vào BigQuery để sử dụng cho phần còn lại của hướng dẫn này.
7. Sử dụng BigQuery để lấy dữ liệu huấn luyện mô hình
Giờ đây, sau khi chúng ta kết nối Bảng điều khiển Firebase để xuất dữ liệu sang BigQuery, dữ liệu sự kiện phân tích ứng dụng sẽ tự động xuất hiện trong bảng điều khiển BigQuery sau một khoảng thời gian. Để lấy một số dữ liệu ban đầu cho mục đích của hướng dẫn này, trong bước này, chúng ta sẽ nhập một tập dữ liệu mẫu hiện có vào bảng điều khiển BigQuery để dùng huấn luyện mô hình đề xuất.
Nhập tập dữ liệu mẫu vào BigQuery
- Chuyển đến trang tổng quan BigQuery trong bảng điều khiển Google Cloud.
- Chọn tên dự án của bạn trong trình đơn.
- Chọn tên dự án ở cuối phần điều hướng bên trái của BigQuery để xem thông tin chi tiết.
- Chọn Tạo tập dữ liệu để mở bảng điều khiển tạo tập dữ liệu.
- Nhập "firebase_recommendations_dataset" cho Mã nhận dạng tập dữ liệu rồi chọn Tạo tập dữ liệu.
- Tập dữ liệu mới sẽ xuất hiện trong trình đơn bên trái bên dưới tên dự án. Nhấp vào đó.
- Chọn Tạo bảng để mở bảng điều khiển tạo bảng.
- Đối với Tạo bảng từ, hãy chọn "Google Cloud Storage".
- Trong trường Chọn tệp từ vùng lưu trữ GCS, hãy nhập "gs://firebase-recommendations/recommendations-test/formatted_data_filtered.txt".
- Chọn "JSONL" trong trình đơn thả xuống Định dạng tệp.
- Nhập "recommendations_table" cho Tên bảng.
- Đánh dấu vào hộp bên dưới phần Lược đồ > Tự động phát hiện > Lược đồ và các tham số đầu vào
- Chọn Tạo bảng
Khám phá tập dữ liệu mẫu
Lúc này, bạn có thể khám phá giản đồ và xem trước tập dữ liệu này (không bắt buộc).
- Chọn firebase-recommendations-dataset trong trình đơn bên trái để mở rộng các bảng mà tập dữ liệu này chứa.
- Chọn bảng recommendations-table để xem giản đồ bảng.
- Chọn Xem trước để xem dữ liệu sự kiện thực tế của Analytics mà bảng này chứa.
Tạo thông tin xác thực tài khoản dịch vụ
Bây giờ, chúng ta sẽ tạo thông tin đăng nhập tài khoản dịch vụ trong dự án bảng điều khiển Google Cloud mà chúng ta có thể sử dụng trong môi trường Colab ở bước tiếp theo để truy cập và tải dữ liệu BigQuery.
- Đảm bảo bạn đã bật tính năng thanh toán cho dự án trên Google Cloud.
- Bật API BigQuery và BigQuery Storage API. < nhấp vào đây>
- Truy cập vào trang Tạo khoá tài khoản dịch vụ.
- Trong danh sách Tài khoản dịch vụ, hãy chọn Tài khoản dịch vụ mới.
- Trong trường Tên tài khoản dịch vụ, hãy nhập một tên.
- Trong danh sách Vai trò, hãy chọn Dự án > Chủ sở hữu.
- Nhấp vào Tạo. Một tệp JSON chứa khoá của bạn sẽ được tải xuống máy tính.
Ở bước tiếp theo, chúng ta sẽ sử dụng Google Colab để tiền xử lý dữ liệu này và huấn luyện mô hình đề xuất.
8. Xử lý trước dữ liệu và huấn luyện mô hình đề xuất
Trong bước này, chúng ta sẽ sử dụng một sổ tay Colab để thực hiện các bước sau:
- nhập dữ liệu BigQuery vào sổ tay Colab
- xử lý trước dữ liệu để chuẩn bị cho việc huấn luyện mô hình
- huấn luyện mô hình đề xuất dựa trên dữ liệu phân tích
- xuất mô hình dưới dạng mô hình TF Lite
- triển khai mô hình này vào Bảng điều khiển của Firebase để có thể sử dụng trong ứng dụng
Trước khi ra mắt sổ tay huấn luyện Colab, trước tiên, chúng ta sẽ bật Firebase Model Management API để Colab có thể triển khai mô hình đã huấn luyện vào bảng điều khiển Firebase.
Bật API Quản lý mô hình Firebase
Tạo một vùng lưu trữ để lưu trữ các mô hình học máy
Trong Bảng điều khiển của Firebase, hãy chuyển đến mục Lưu trữ rồi nhấp vào Bắt đầu. 
Làm theo hộp thoại để thiết lập nhóm của bạn.
Bật Firebase ML API
Truy cập vào trang Firebase ML API trên Google Cloud Console rồi nhấp vào Bật.
Sử dụng sổ tay Colab để huấn luyện và triển khai mô hình
Mở sổ tay Colab bằng đường liên kết sau đây và hoàn tất các bước trong sổ tay đó. Sau khi hoàn tất các bước trong sổ tay Colab, bạn sẽ có một tệp mô hình TF Lite được triển khai vào bảng điều khiển Firebase mà chúng ta có thể đồng bộ hoá xuống ứng dụng của mình.
Mở trong Colab
9. Tải mô hình xuống ứng dụng
Trong bước này, chúng ta sẽ sửa đổi ứng dụng để tải mô hình mà chúng ta vừa huấn luyện xuống từ Firebase Machine Learning.
Thêm phần phụ thuộc Firebase ML
Bạn cần có phần phụ thuộc sau để sử dụng các mô hình Học máy của Firebase trong ứng dụng. Phần phụ thuộc này phải đã được thêm (hãy xác minh).
Podfile
import FirebaseCore
import FirebaseMLModelDownloader
Tải mô hình xuống bằng Firebase Model Manager API
Sao chép mã bên dưới vào ModelLoader.swift để thiết lập các điều kiện mà theo đó quá trình tải mô hình xuống sẽ diễn ra và tạo một tác vụ tải xuống để đồng bộ hoá mô hình từ xa với ứng dụng của chúng ta.
ModelLoader.swift
static func downloadModel(named name: String,
completion: @escaping (CustomModel?, DownloadError?) -> Void) {
guard FirebaseApp.app() != nil else {
completion(nil, .firebaseNotInitialized)
return
}
guard success == nil && failure == nil else {
completion(nil, .downloadInProgress)
return
}
let conditions = ModelDownloadConditions(allowsCellularAccess: false)
ModelDownloader.modelDownloader().getModel(name: name, downloadType: .localModelUpdateInBackground, conditions: conditions) { result in
switch (result) {
case .success(let customModel):
// Download complete.
// The CustomModel object contains the local path of the model file,
// which you can use to instantiate a TensorFlow Lite classifier.
return completion(customModel, nil)
case .failure(let error):
// Download was unsuccessful. Notify error message.
completion(nil, .downloadFailed(underlyingError: error))
}
}
}
10. Tích hợp mô hình đề xuất Tensorflow Lite vào ứng dụng của bạn
Thời gian chạy Tensorflow Lite sẽ cho phép bạn sử dụng mô hình của mình trong ứng dụng để tạo đề xuất. Trong bước trước, chúng ta đã khởi chạy một trình thông dịch TFlite bằng tệp mô hình mà chúng ta đã tải xuống. Trong bước này, trước tiên, chúng ta sẽ tải một từ điển và nhãn để đi kèm với mô hình trong bước suy luận, sau đó, chúng ta sẽ thêm bước tiền xử lý để tạo dữ liệu đầu vào cho mô hình và bước hậu xử lý để trích xuất kết quả từ quá trình suy luận.
Tải từ điển và nhãn
Các nhãn được dùng để tạo đề xuất ứng cử viên theo mô hình đề xuất được liệt kê trong tệp sorted_movie_vocab.json trong thư mục tài sản. Sao chép mã sau để tải các đề xuất này.
RecommendationsViewController.swift
func getMovies() -> [MovieItem] {
let barController = self.tabBarController as! TabBarController
return barController.movies
}
Triển khai quy trình Xử lý trước
Trong bước tiền xử lý, chúng tôi thay đổi dạng dữ liệu đầu vào cho phù hợp với những gì mô hình của chúng tôi mong đợi. Ở đây, chúng tôi thêm giá trị phần giữ chỗ vào độ dài của dữ liệu đầu vào nếu chúng tôi chưa tạo ra nhiều lượt thích của người dùng. Sao chép mã bên dưới:
RecommendationsViewController.swift
// Given a list of selected items, preprocess to get tflite input.
func preProcess() -> Data {
let likedMovies = getLikedMovies().map { (MovieItem) -> Int32 in
return MovieItem.id
}
var inputData = Data(copyingBufferOf: Array(likedMovies.prefix(10)))
// Pad input data to have a minimum of 10 context items (4 bytes each)
while inputData.count < 10*4 {
inputData.append(0)
}
return inputData
}
Chạy trình thông dịch để tạo đề xuất
Ở đây, chúng ta sử dụng mô hình đã tải xuống ở bước trước để chạy suy luận trên dữ liệu đầu vào đã xử lý trước. Chúng tôi đặt loại đầu vào và đầu ra cho mô hình của mình, đồng thời chạy quy trình suy luận để tạo đề xuất về phim. Sao chép mã sau vào ứng dụng của bạn.
RecommendationsViewController.swift
import TensorFlowLite
RecommendationsViewController.swift
private var interpreter: Interpreter?
func loadModel() {
// Download the model from Firebase
print("Fetching recommendations model...")
ModelDownloader.fetchModel(named: "recommendations") { (filePath, error) in
guard let path = filePath else {
if let error = error {
print(error)
}
return
}
print("Recommendations model download complete")
self.loadInterpreter(path: path)
}
}
func loadInterpreter(path: String) {
do {
interpreter = try Interpreter(modelPath: path)
// Allocate memory for the model's input `Tensor`s.
try interpreter?.allocateTensors()
let inputData = preProcess()
// Copy the input data to the input `Tensor`.
try self.interpreter?.copy(inputData, toInputAt: 0)
// Run inference by invoking the `Interpreter`.
try self.interpreter?.invoke()
// Get the output `Tensor`
let confidenceOutputTensor = try self.interpreter?.output(at: 0)
let idOutputTensor = try self.interpreter?.output(at: 1)
// Copy output to `Data` to process the inference results.
let confidenceOutputSize = confidenceOutputTensor?.shape.dimensions.reduce(1, {x, y in x * y})
let idOutputSize = idOutputTensor?.shape.dimensions.reduce(1, {x, y in x * y})
let confidenceResults =
UnsafeMutableBufferPointer<Float32>.allocate(capacity: confidenceOutputSize!)
let idResults =
UnsafeMutableBufferPointer<Int32>.allocate(capacity: idOutputSize!)
_ = confidenceOutputTensor?.data.copyBytes(to: confidenceResults)
_ = idOutputTensor?.data.copyBytes(to: idResults)
postProcess(idResults, confidenceResults)
print("Successfully ran inference")
DispatchQueue.main.async {
self.tableView.reloadData()
}
} catch {
print("Error occurred creating model interpreter: \(error)")
}
}
Triển khai quy trình Hậu xử lý
Cuối cùng, ở bước này, chúng tôi xử lý hậu kỳ đầu ra từ mô hình của mình, chọn những kết quả có độ tin cậy cao nhất và loại bỏ các giá trị có trong đó (những bộ phim mà người dùng đã thích). Sao chép mã sau vào ứng dụng của bạn.
RecommendationsViewController.swift
// Postprocess to get results from tflite inference.
func postProcess(_ idResults: UnsafeMutableBufferPointer<Int32>, _ confidenceResults: UnsafeMutableBufferPointer<Float32>) {
for i in 0..<10 {
let id = idResults[i]
let movieIdx = getMovies().firstIndex { $0.id == id }
let title = getMovies()[movieIdx!].title
recommendations.append(Recommendation(title: title, confidence: confidenceResults[i]))
}
}
Kiểm thử ứng dụng của bạn!
Chạy lại ứng dụng. Khi bạn chọn một vài bộ phim, ứng dụng sẽ tự động tải mô hình mới xuống và bắt đầu tạo đề xuất!
11. Xin chúc mừng!
Bạn đã tạo một tính năng đề xuất trong ứng dụng của mình bằng TensorFlow Lite và Firebase. Xin lưu ý rằng bạn có thể khái quát hoá và sử dụng các kỹ thuật cũng như quy trình được trình bày trong lớp học lập trình này để phân phát các loại đề xuất khác.
Nội dung đã đề cập
- Firebase ML
- Firebase Analytics
- Xuất sự kiện phân tích sang BigQuery
- Xử lý trước các sự kiện Analytics
- Mô hình TensorFlow đề xuất về tàu hoả
- Xuất mô hình và triển khai vào Bảng điều khiển của Firebase
- Đưa ra đề xuất phim trong một ứng dụng
Các bước tiếp theo
- Triển khai đề xuất của Firebase ML trong ứng dụng.
Tìm hiểu thêm
Bạn có câu hỏi?
Báo cáo vấn đề