กำหนดเวลาการส่งออกข้อมูล

หน้านี้จะอธิบายวิธีตั้งเวลาการส่งออกข้อมูล Cloud Firestore หากต้องการเรียกใช้การส่งออกตามกำหนดเวลา เราขอแนะนำให้ใช้ Cloud Functions และ Cloud Scheduler

ก่อนเริ่มต้น

ก่อนกำหนดเวลาการส่งออกข้อมูลที่มีการจัดการ คุณต้องดำเนินงานต่อไปนี้ให้เสร็จสมบูรณ์

  1. เปิดใช้ การเรียกเก็บเงินสำหรับโปรเจ็กต์ Google Cloud เฉพาะGoogle Cloud โปรเจ็กต์ที่เปิดใช้การเรียกเก็บเงินเท่านั้นที่ใช้ฟีเจอร์ส่งออกและนำเข้าได้
  2. การดำเนินการส่งออกต้องมีที่เก็บข้อมูล Cloud Storage ปลายทาง สร้าง Cloud Storageที่เก็บข้อมูลในตำแหน่งที่อยู่ใกล้ ตำแหน่งฐานข้อมูลCloud Firestore คุณใช้ที่เก็บข้อมูลที่ต้องชำระเงินโดยผู้ขอสำหรับการส่งออก ไม่ได้

สร้าง Cloud Function และงาน Cloud Scheduler

ทำตามขั้นตอนด้านล่างเพื่อสร้าง Cloud Function ของ Node.js ที่ เริ่มCloud Firestoreการส่งออกข้อมูลและงานCloud Scheduler เพื่อเรียกใช้ฟังก์ชันดังกล่าว

Firebase CLI
  1. ติดตั้ง Firebase CLI ในไดเรกทอรีใหม่ ให้เริ่มต้น CLI สำหรับ Cloud Functions:

    firebase init functions --project PROJECT_ID
    1. เลือก JavaScript สำหรับภาษา
    2. เปิดใช้ ESLint (ไม่บังคับ)
    3. ป้อน y เพื่อติดตั้งทรัพยากร Dependency
  2. แทนที่โค้ดในไฟล์ functions/index.js ด้วยโค้ดต่อไปนี้

    const functions = require('firebase-functions');
    const firestore = require('@google-cloud/firestore');
    const client = new firestore.v1.FirestoreAdminClient();
    
    // Replace BUCKET_NAME
    const bucket = 'gs://BUCKET_NAME';
    
    exports.scheduledFirestoreExport = functions.pubsub
                                                .schedule('every 24 hours')
                                                .onRun((context) => {
    
      const projectId = process.env.GCP_PROJECT;
      const databaseName = 
        client.databasePath(projectId, '(default)');
    
      return client.exportDocuments({
        name: databaseName,
        outputUriPrefix: bucket,
        // Leave collectionIds empty to export all collections
        // or set to a list of collection IDs to export,
        // collectionIds: ['users', 'posts']
        collectionIds: []
        })
      .then(responses => {
        const response = responses[0];
        console.log(`Operation Name: ${response['name']}`);
      })
      .catch(err => {
        console.error(err);
        throw new Error('Export operation failed');
      });
    });
  3. ในโค้ดด้านบน ให้แก้ไขข้อมูลต่อไปนี้
    • แทนที่ BUCKET_NAME ด้วยชื่อที่เก็บข้อมูล ของคุณ
    • แก้ไข every 24 hours เพื่อกำหนดเวลาการส่งออก ใช้ ไวยากรณ์ cron.yaml ของ App Engine หรือ รูปแบบ unix-cron (* * * * *)
    • แก้ไข collectionIds: [] เพื่อส่งออกเฉพาะกลุ่มคอลเล็กชันที่ระบุ เท่านั้น ปล่อยไว้ตามเดิมเพื่อส่งออกคอลเล็กชันทั้งหมด

  4. ทำให้ฟังก์ชันที่กำหนดเวลาแล้วใช้งานได้

    firebase deploy --only functions
คอนโซล Google Cloud
สร้างฟังก์ชันระบบคลาวด์
  1. ไปที่หน้า Cloud Functions ใน Google Cloud Console

    ไปที่ Cloud Functions

  2. คลิกสร้างฟังก์ชัน
  3. ป้อนชื่อฟังก์ชัน เช่น firestoreExport
  4. ในส่วนทริกเกอร์ ให้เลือก Cloud Pub/Sub
  5. เลือกสร้างหัวข้อใหม่ในส่วนหัวข้อ ป้อนชื่อสำหรับ หัวข้อ Pub/Sub เช่น initiateFirestoreExport จดชื่อหัวข้อไว้เนื่องจากคุณจะต้องใช้เพื่อสร้างงาน Cloud Scheduler
  6. ในส่วนซอร์สโค้ด ให้เลือกเครื่องมือแก้ไขในหน้า ป้อนรหัส ต่อไปนี้ในส่วน index.js
    const firestore = require('@google-cloud/firestore');
    const client = new firestore.v1.FirestoreAdminClient();
    // Replace BUCKET_NAME
    const bucket = 'gs://BUCKET_NAME'
    
    exports.scheduledFirestoreExport = (event, context) => {
      const databaseName = client.databasePath(
        process.env.GCP_PROJECT,
        '(default)'
      );
    
      return client
        .exportDocuments({
          name: databaseName,
          outputUriPrefix: bucket,
          // Leave collectionIds empty to export all collections
          // or define a list of collection IDs:
          // collectionIds: ['users', 'posts']
          collectionIds: [],
        })
        .then(responses => {
          const response = responses[0];
          console.log(`Operation Name: ${response['name']}`);
          return response;
        })
        .catch(err => {
          console.error(err);
        });
    };
    ในโค้ดด้านบน ให้แก้ไขข้อมูลต่อไปนี้
    • แทนที่ BUCKET_NAME ด้วยชื่อที่เก็บข้อมูล ของคุณ
    • แก้ไข collectionIds: [] เพื่อส่งออกเฉพาะกลุ่มคอลเล็กชันที่ระบุ เท่านั้น ปล่อยไว้ตามเดิมเพื่อส่งออกคอลเล็กชันทั้งหมด

  7. เพิ่มการอ้างอิงต่อไปนี้ในส่วน package.json
    {
      "dependencies": {
        "@google-cloud/firestore": "^1.3.0"
      }
    }
  8. ในส่วนฟังก์ชันที่จะเรียกใช้ ให้ป้อน scheduledFirestoreExport ซึ่งเป็น ชื่อของฟังก์ชันใน index.js
  9. คลิกสร้างเพื่อติดตั้งใช้งาน Cloud Function
สร้างงาน Cloud Scheduler

จากนั้นสร้างCloud Scheduler งานที่เรียกใช้ Cloud Function ดังนี้

  1. ไปที่หน้า Cloud Scheduler ใน Google Cloud Console โดยทำดังนี้

    ไปที่ Cloud Scheduler

  2. คลิกสร้างงาน
  3. ป้อนชื่อสำหรับงาน เช่น scheduledFirestoreExport
  4. ป้อนความถี่ เช่น every 24 hours
  5. เลือกเขตเวลา
  6. ในส่วนเป้าหมาย ให้เลือก Pub/Sub ในช่องหัวข้อ ให้ป้อนชื่อหัวข้อ Pub/Sub ที่คุณกำหนดไว้ข้าง Cloud Function initiateFirestoreExport ในตัวอย่าง ด้านบน
  7. ในช่อง Payload ให้ป้อน start export งานต้องมีเพย์โหลดที่กำหนดไว้ แต่ Cloud Function ด้านบนไม่ได้ใช้ค่านี้จริงๆ
  8. คลิกสร้าง
ตอนนี้คุณได้ติดตั้งใช้งาน Cloud Function และงาน Cloud Scheduler แล้ว แต่ Cloud Function ยังคงต้องมีสิทธิ์เข้าถึงเพื่อดำเนินการส่งออก

กำหนดค่าสิทธิ์การเข้าถึง

จากนั้นให้สิทธิ์ Cloud Function ในการเริ่มการดำเนินการส่งออก และเขียนไปยังที่เก็บข้อมูล GCS

Cloud Function นี้ใช้บัญชีบริการเริ่มต้นของโปรเจ็กต์เพื่อ ตรวจสอบสิทธิ์และให้สิทธิ์การดำเนินการส่งออก เมื่อสร้างโปรเจ็กต์ ระบบจะสร้างบัญชีบริการเริ่มต้นให้คุณโดยมีชื่อดังนี้

PROJECT_ID@appspot.gserviceaccount.com

บัญชีบริการนี้ต้องมีสิทธิ์ในการเริ่มการดำเนินการส่งออก และสิทธิ์เขียนไปยังที่เก็บข้อมูล Cloud Storage หากต้องการให้สิทธิ์เหล่านี้ ให้กำหนดบทบาท IAM ต่อไปนี้ให้กับบัญชีบริการเริ่มต้น

  • Cloud Datastore Import Export Admin
  • บทบาท Owner หรือ Storage Admin ในที่เก็บข้อมูล

คุณใช้เครื่องมือบรรทัดคำสั่ง gcloud และ gsutil เพื่อกำหนดบทบาทเหล่านี้ได้

หากยังไม่ได้ติดตั้ง คุณสามารถเข้าถึงเครื่องมือเหล่านี้ได้จาก Cloud Shell ในคอนโซล Google Cloud
เริ่ม Cloud Shell

  1. มอบหมายบทบาทผู้ดูแลระบบการนำเข้าและส่งออกของ Cloud Datastore แทนที่ PROJECT_ID แล้วเรียกใช้คำสั่งต่อไปนี้

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member serviceAccount:PROJECT_ID@appspot.gserviceaccount.com \
        --role roles/datastore.importExportAdmin
  2. มอบหมายบทบาทผู้ดูแลระบบพื้นที่เก็บข้อมูลในที่เก็บข้อมูล แทนที่ PROJECT_ID และ BUCKET_NAME แล้วเรียกใช้คำสั่งต่อไปนี้

    gsutil iam ch serviceAccount:PROJECT_ID@appspot.gserviceaccount.com:admin \
        gs://BUCKET_NAME

หากปิดใช้หรือลบบัญชีบริการเริ่มต้น App Engine แอปของคุณจะเสียสิทธิ์เข้าถึงฐานข้อมูล Cloud FirestoreApp Engine หากปิดใช้บัญชีบริการ App Engine คุณจะเปิดใช้บัญชีอีกครั้งได้ โปรดดูการเปิดใช้บัญชีบริการ หากคุณลบบัญชีบริการ App Engine ภายใน 30 วันที่ผ่านมา คุณสามารถกู้คืนบัญชีบริการได้ โปรดดูการยกเลิกการลบบัญชีบริการ

ทดสอบงาน Cloud Scheduler และ Cloud Function

คุณสามารถทดสอบCloud Schedulerงานในหน้า Cloud Scheduler ของ คอนโซล Google Cloud ได้

  1. ไปที่หน้า Cloud Scheduler ใน Google Cloud Console
    ไปที่ Cloud Scheduler

  2. ในแถวของงาน Cloud Scheduler ใหม่ ให้คลิกเรียกใช้ตอนนี้

    หลังจากนั้นไม่กี่วินาที งาน Cloud Scheduler ควรจะอัปเดตคอลัมน์ผลลัพธ์ เป็นสำเร็จ และการเรียกใช้ครั้งล่าสุดเป็นเวลาปัจจุบัน คุณอาจต้องคลิกรีเฟรช

Cloud Scheduler หน้าเว็บจะยืนยันว่างานเรียกใช้ Cloud Function ของคุณเท่านั้น เปิดหน้า Cloud Functions เพื่อดูบันทึกของฟังก์ชัน

ดูบันทึกของ Cloud Function

หากต้องการดูว่า Cloud Function เริ่มการดำเนินการส่งออกสำเร็จหรือไม่ ให้ เปิดบันทึกของฟังก์ชัน

คอนโซล Firebase

ไปที่หน้า Cloud Functions ในคอนโซล Firebase

ไปที่บันทึกฟังก์ชัน

คอนโซล GCP

ไปที่หน้า Cloud Functions ใน Google Cloud Console

ไปที่ผู้ดูบันทึก

ดูความคืบหน้าในการส่งออก

คุณใช้คำสั่ง gcloud firestore operations list เพื่อดูความคืบหน้าของการดำเนินการส่งออกได้ โปรดดูการจัดการการดำเนินการส่งออกและนำเข้า

หลังจากดำเนินการส่งออกเสร็จแล้ว คุณจะดูไฟล์เอาต์พุตใน Cloud Storage บัคเก็ตได้โดยทำดังนี้

เปิดเบราว์เซอร์ Cloud Storage