Rozpoznawanie punktów orientacyjnych za pomocą Firebase ML w iOS

Możesz użyć Firebase ML, aby rozpoznać znane punkty orientacyjne na obrazie.

Zanim zaczniesz

    Jeśli nie dodano jeszcze Firebase do aplikacji, wykonaj czynności opisane w przewodniku dla początkujących.

    Do instalacji zależności Firebase i zarządzania nimi możesz używać menedżera pakietów Swift.

    1. Po otwarciu projektu aplikacji w Xcode wybierz Plik > Dodaj pakiety.
    2. Gdy pojawi się prośba, dodaj repozytorium pakietu SDK Firebase na platformy Apple:
      3.   https://github.com/firebase/firebase-ios-sdk.git
    3. Wybierz bibliotekę Firebase ML.
    4. Dodaj flagę -ObjC do sekcji Inne flagi linkera w ustawieniach kompilacji docelowej.
    5. Gdy to zrobisz, Xcode automatycznie zacznie wyszukiwać i pobierać zależności w tle.

    Następnie skonfiguruj aplikację:

    1. W aplikacji zaimportuj Firebase:

      Swift

      import FirebaseMLModelDownloader

      Objective-C

      @import FirebaseMLModelDownloader;

  1. Jeśli interfejsy API oparte na chmurze nie są jeszcze włączone w Twoim projekcie, zrób to teraz:

    1. Otwórz stronę Firebase ML Interfejsy API w konsoli Firebase.

    2. Jeśli nie przeszedłeś(-aś) jeszcze na abonament Blaze z modelem płatności „pay-as-you-go”, kliknij Przejdź na wyższy abonament. (Prośba o przejście na wyższy abonament pojawi się tylko wtedy, gdy Twój projekt nie jest objęty abonamentem Blaze).

      Interfejsów API w chmurze mogą używać tylko projekty korzystające z abonamentu Blaze.

    3. Jeśli interfejsy API oparte na chmurze nie są jeszcze włączone, kliknij Włącz interfejsy API oparte na chmurze.

Konfigurowanie wykrywacza punktów orientacyjnych

Domyślnie detektor w chmurze używa stabilnej wersji modelu i zwraca do 10 wyników. Jeśli chcesz zmienić któreś z tych ustawień, określ je za pomocą obiektu VisionCloudDetectorOptions, jak w tym przykładzie:

Swift

let options = VisionCloudDetectorOptions()
options.modelType = .latest
options.maxResults = 20
ViewController.swift

Objective-C

  FIRVisionCloudDetectorOptions *options =
      [[FIRVisionCloudDetectorOptions alloc] init];
  options.modelType = FIRVisionCloudModelTypeLatest;
  options.maxResults = 20;

W następnym kroku podczas tworzenia obiektu Cloud Detector przekaż obiekt VisionCloudDetectorOptions.

Uruchamianie modułu wykrywania punktów orientacyjnych

Aby rozpoznać punkty orientacyjne na obrazie, prześlij obraz jako UIImage lub CMSampleBufferRef do metody detect(in:) funkcji VisionCloudLandmarkDetector:

  1. Pobieranie instancji VisionCloudLandmarkDetector:

    Swift

    lazy var vision = Vision.vision()

let cloudDetector = vision.cloudLandmarkDetector(options: options)
// Or, to use the default settings:
// let cloudDetector = vision.cloudLandmarkDetector()
    ViewController.swift

    Objective-C

    FIRVision *vision = [FIRVision vision];
FIRVisionCloudLandmarkDetector *landmarkDetector = [vision cloudLandmarkDetector];
// Or, to change the default settings:
// FIRVisionCloudLandmarkDetector *landmarkDetector =
//     [vision cloudLandmarkDetectorWithOptions:options];
  2. Aby wywołać Cloud Vision, obraz musi mieć format ciągu tekstowego z kodowaniem Base64. Aby przetworzyć UIImage:

    Swift

    guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return }
let base64encodedImage = imageData.base64EncodedString()

    Objective-C

    NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
  [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];
  3. Następnie przekaż obraz metodzie detect(in:):

    Swift

    cloudDetector.detect(in: visionImage) { landmarks, error in
  guard error == nil, let landmarks = landmarks, !landmarks.isEmpty else {
    // ...
    return
  }

  // Recognized landmarks
  // ...
}
    ViewController.swift

    Objective-C

    [landmarkDetector detectInImage:image
                     completion:^(NSArray<FIRVisionCloudLandmark *> *landmarks,
                                  NSError *error) {
  if (error != nil) {
    return;
  } else if (landmarks != nil) {
    // Got landmarks
  }
}];

Uzyskiwanie informacji o rozpoznanych punktach orientacyjnych

Jeśli rozpoznawanie punktów orientacyjnych się powiedzie, do obiektu obsługującego zakończenie zostanie przekazana tablica obiektów VisionCloudLandmark. Możesz uzyskać informacje o każdym obiekcie, który został rozpoznany na obrazie.

Przykład:

Swift

for landmark in landmarks {
  let landmarkDesc = landmark.landmark
  let boundingPoly = landmark.frame
  let entityId = landmark.entityId

  // A landmark can have multiple locations: for example, the location the image
  // was taken, and the location of the landmark depicted.
  for location in landmark.locations {
    let latitude = location.latitude
    let longitude = location.longitude
  }

  let confidence = landmark.confidence
}

Objective-C

for (FIRVisionCloudLandmark *landmark in landmarks) {
   NSString *landmarkDesc = landmark.landmark;
   CGRect frame = landmark.frame;
   NSString *entityId = landmark.entityId;

   // A landmark can have multiple locations: for example, the location the image
   // was taken, and the location of the landmark depicted.
   for (FIRVisionLatitudeLongitude *location in landmark.locations) {
     double latitude = [location.latitude doubleValue];
     double longitude = [location.longitude doubleValue];
   }

   float confidence = [landmark.confidence floatValue];
}

Dalsze kroki