Распознавайте ориентиры с помощью Firebase ML на iOS

Вы можете использовать Firebase ML для распознавания известных достопримечательностей на изображении.

Прежде чем начать

    Если вы еще не добавили Firebase в свое приложение, сделайте это, следуя инструкциям в руководстве по началу работы .

    Используйте Swift Package Manager для установки и управления зависимостями Firebase.

    1. В Xcode откройте проект приложения и перейдите в меню Файл > Добавить пакеты .
    2. При появлении соответствующего запроса добавьте репозиторий Firebase Apple platform SDK: 
      3.   https://github.com/firebase/firebase-ios-sdk.git
    3. Выберите библиотеку Firebase ML .
    4. Добавьте флаг -ObjC в раздел «Другие флаги компоновщика» настроек сборки вашей цели.
    5. По завершении Xcode автоматически начнет разрешать и загружать ваши зависимости в фоновом режиме.

    Далее выполните некоторые настройки в приложении:

    1. Импортируйте Firebase в свое приложение:

      Быстрый 

      import FirebaseMLModelDownloader

      Objective-C 

      @import FirebaseMLModelDownloader;

  1. Если вы еще не включили облачные API для своего проекта, сделайте это сейчас:

    1. Откройте страницу API Firebase ML в консоли Firebase .

    2. Если вы еще не обновили свой проект до тарифного плана Blaze с оплатой по мере использования , нажмите «Обновить» , чтобы сделать это. (Вам будет предложено обновиться, только если ваш проект не входит в тарифный план Blaze.)

      Использовать облачные API могут только проекты на тарифном плане Blaze.

    3. Если облачные API еще не включены, нажмите Включить облачные API .

Настройте детектор ориентиров

По умолчанию детектор облаков использует стабильную версию модели и возвращает до 10 результатов. Если вы хотите изменить любой из этих параметров, укажите их с помощью объекта VisionCloudDetectorOptions , как в следующем примере:

Быстрый 

let options = VisionCloudDetectorOptions()
options.modelType = .latest
options.maxResults = 20
ViewController.swift

Objective-C 

  FIRVisionCloudDetectorOptions *options =
      [[FIRVisionCloudDetectorOptions alloc] init];
  options.modelType = FIRVisionCloudModelTypeLatest;
  options.maxResults = 20;

На следующем шаге передайте объект VisionCloudDetectorOptions при создании объекта детектора облаков.

Запустите детектор ориентиров

Чтобы распознать ориентиры на изображении, передайте изображение как UIImage или CMSampleBufferRef в метод detect(in:) VisionCloudLandmarkDetector :

  1. Получите экземпляр VisionCloudLandmarkDetector :

    Быстрый 

    lazy var vision = Vision.vision()

let cloudDetector = vision.cloudLandmarkDetector(options: options)
// Or, to use the default settings:
// let cloudDetector = vision.cloudLandmarkDetector()
    ViewController.swift

    Objective-C 

    FIRVision *vision = [FIRVision vision];
FIRVisionCloudLandmarkDetector *landmarkDetector = [vision cloudLandmarkDetector];
// Or, to change the default settings:
// FIRVisionCloudLandmarkDetector *landmarkDetector =
//     [vision cloudLandmarkDetectorWithOptions:options];
  2. Для вызова Cloud Vision изображение должно быть отформатировано как строка в кодировке base64. Для обработки UIImage :

    Быстрый 

    guard let imageData = uiImage.jpegData(compressionQuality: 1.0) else { return }
let base64encodedImage = imageData.base64EncodedString()

    Objective-C 

    NSData *imageData = UIImageJPEGRepresentation(uiImage, 1.0f);
NSString *base64encodedImage =
  [imageData base64EncodedStringWithOptions:NSDataBase64Encoding76CharacterLineLength];
  3. Затем передайте изображение методу detect(in:) :

    Быстрый 

    cloudDetector.detect(in: visionImage) { landmarks, error in
  guard error == nil, let landmarks = landmarks, !landmarks.isEmpty else {
    // ...
    return
  }

  // Recognized landmarks
  // ...
}
    ViewController.swift

    Objective-C 

    [landmarkDetector detectInImage:image
                     completion:^(NSArray<FIRVisionCloudLandmark *> *landmarks,
                                  NSError *error) {
  if (error != nil) {
    return;
  } else if (landmarks != nil) {
    // Got landmarks
  }
}];

Получите информацию о признанных достопримечательностях

Если распознавание ориентира прошло успешно, массив объектов VisionCloudLandmark будет передан обработчику завершения. Из каждого объекта можно получить информацию о распознанном на изображении ориентире.

Например:

Быстрый 

for landmark in landmarks {
  let landmarkDesc = landmark.landmark
  let boundingPoly = landmark.frame
  let entityId = landmark.entityId

  // A landmark can have multiple locations: for example, the location the image
  // was taken, and the location of the landmark depicted.
  for location in landmark.locations {
    let latitude = location.latitude
    let longitude = location.longitude
  }

  let confidence = landmark.confidence
}

Objective-C 

for (FIRVisionCloudLandmark *landmark in landmarks) {
   NSString *landmarkDesc = landmark.landmark;
   CGRect frame = landmark.frame;
   NSString *entityId = landmark.entityId;

   // A landmark can have multiple locations: for example, the location the image
   // was taken, and the location of the landmark depicted.
   for (FIRVisionLatitudeLongitude *location in landmark.locations) {
     double latitude = [location.latitude doubleValue];
     double longitude = [location.longitude doubleValue];
   }

   float confidence = [landmark.confidence floatValue];
}

Следующие шаги