ייצוא נתוני מעקב הביצועים ל-BigQuery

אפשר לייצא נתוני Performance Monitoring מאפליקציות של Apple ו-Android אל BigQuery לצורך ניתוח נוסף. ‫BigQuery מאפשר לכם לנתח את הנתונים באמצעות BigQuery SQL, לייצא אותם לספק ענן אחר ואפילו להשתמש בנתונים במודלים של ML בהתאמה אישית.

הפעלת הייצוא של BigQuery

1. עוברים לדף Integrations (שילובים) במסוף Firebase ולוחצים על Link (קישור) בכרטיס BigQuery.

2. פועלים לפי ההוראות במסך כדי להפעיל את BigQuery.

   כשמפעילים את הייצוא של BigQuery עבור Performance Monitoring, קורה הדבר הבא:

   • ‫Firebase מייצא עותק של הנתונים הקיימים אל BigQuery. ההפצה הראשונית של נתונים לייצוא עשויה להימשך עד 48 שעות.

     • אפשר לתזמן מילוי חוסרים של נתונים באופן ידני עד 30 ימים אחורה או עד התאריך האחרון שבו הפעלתם את הייצוא של BigQuery (התאריך המאוחר מביניהם).

   • אי אפשר לשנות את המיקום אחרי שיוצרים מערך הנתונים, אבל אפשר להעתיק את מערך הנתונים למיקום אחר או להעביר ידנית את מערך הנתונים למיקום אחר (ליצור אותו מחדש). מידע נוסף זמין במאמר שינוי המיקום של מערך נתונים.

   • מערכת Firebase מגדירה סנכרונים קבועים של הנתונים מפרויקט Firebase אל BigQuery. בדרך כלל, פעולות הייצוא היומיות מסתיימות תוך 24 שעות אחרי שהן מתוזמנות.

   • כברירת מחדל, כל האפליקציות בפרויקט מקושרות אל BigQuery. כל האפליקציות שתוסיפו לפרויקט במועד מאוחר יותר יקושרו באופן אוטומטי אל BigQuery. אפשר לקבוע אילו אפליקציות ישלחו נתונים.

כדי להשבית את הייצוא של BigQuery, צריך לבטל את הקישור של הפרויקט במסוף Firebase.

אילו נתונים מיוצאים אל BigQuery?

לכל אפליקציה בפרויקט, הייצוא יוצר טבלה שכוללת את כל אירועי הביצועים שתועדו. כל שורה בטבלה היא אירוע ביצועים יחיד, שיכול להיות אחד מהסוגים הבאים:

• מעקב אחר משך הזמן – מעקבים שאוספים כברירת מחדל את המדד 'משך הזמן', שכולל את הפעלת האפליקציה, את האפליקציה בחזית ואת האפליקציה ברקע, וגם מעקבים של קוד מותאם אישית שהוגדר על ידי המפתח

  • event_type הוא DURATION_TRACE
  • ‫event_name זהה לשם המעקב

• מדד מעקב – מדדים מותאמים אישית שמשויכים למעקבים של קוד מותאם אישית שהוגדר על ידי מפתחים

  • event_type הוא TRACE_METRIC
  • ‫event_name הוא שם המדד
  • ‫parent_trace_name הוא שם העקבה שמכילה את המדד הזה

• מעקב אחר מסך – מעקב שמתפרס על פני משך החיים של מסך (מעקב אחר עיבוד מסך)

  • event_type הוא SCREEN_TRACE
  • ‫event_name היא הקידומת _st_ בתוספת השם בפועל של המסך

• בקשת רשת – מעקב שמתפרס על פני משך החיים של בקשת רשת (מעקב אחר בקשות רשת HTTP)

  • event_type הוא NETWORK_REQUEST
  • ‫event_name הוא הדפוס המסווג של כתובת ה-URL של בקשת הרשת

כל אירוע ביצועים מכיל מאפיינים של האירוע (כמו המדינה והספק של מכשיר הלקוח), וגם מידע ספציפי לאירוע:

• דוחות של משך הזמן, מדדי מעקב ודוחות של מסך מכילים trace_info
• מדדי מעקב מכילים trace_info.metric_info
• עקבות המסך מכילים trace_info.screen_info
• מעקבים ברשת מכילים network_info

סכימה של נתונים מפורטים

מה אפשר לעשות עם הנתונים המיוצאים?

בקטעים הבאים מופיעות דוגמאות לשאילתות שאפשר להריץ ב-BigQuery על נתוני Performance Monitoring שיוצאו.

התאמה לנתונים שמוצגים במסוף

במרכז הבקרה של Firebase, הנתונים היומיים נצברים באזור הזמן America/Los_Angeles. כדי שהתוצאה תהיה זהה למה שמוצג במסוף, צריך להגדיר במפורש את אזור הזמן America/Los_Angeles בפונקציות של התאריך, אחרת ברירת המחדל של פונקציות התאריך היא UTC.

SELECT
  DATE(event_timestamp, 'America/Los_Angeles') AS daily_date,
  APPROX_QUANTILES(trace_info.duration_us, 100)[OFFSET(90)] / 1000000 AS p90_seconds,
FROM `TABLE_NAME`
WHERE
  DATE(event_timestamp, 'America/Los_Angeles')
    >= DATE_SUB( PARSE_DATE('%Y%m%d', 'YYYY-MM-DD'), INTERVAL 7 DAY)
  AND DATE(event_timestamp, 'America/Los_Angeles')
    <= PARSE_DATE('%Y%m%d', 'YYYY-MM-DD')
  AND event_name = '_app_start'
GROUP BY 1
ORDER BY 1 DESC;

הצגת פירוט של זמן האחזור הממוצע להפעלת האפליקציה לפי מדינה

SELECT AVG(trace_info.duration_us), country
FROM `TABLE_NAME`
WHERE _PARTITIONTIME > TIMESTAMP("YYYY-MM-DD")
AND event_type = "DURATION_TRACE"
AND event_name = "_app_start"
GROUP BY 2;

בדיקת היחס בין פריימים קפואים לתנאים שונים

לדוגמה, אתם יכולים לבדוק את היחס בין מסגרות קפואות לבין משך הזמן שמשתמשים מבלים בכל מסך באפליקציה שלכם כשהם משתמשים בסוגים שונים של רדיו (Wi-Fi,‏ 4G וכו').

SELECT
  AVG(trace_info.duration_us / 1000000) AS seconds_on_screen,
  AVG(trace_info.screen_info.frozen_frame_ratio) AS frozen_frame_ratio,
  event_name,
  radio_type
FROM `TABLE_NAME`
WHERE _PARTITIONTIME > TIMESTAMP("YYYY-MM-DD")
AND event_type = "SCREEN_TRACE"
GROUP BY event_name, radio_type
ORDER BY event_name, radio_type;

חישוב שיעור הפגיעה במטמון לצורך טעינה של סוגים מסוימים של קבצים מהדיסק

הניתוח הזה מבוסס על ההנחה שהטמעתם מעקב אחר קוד מותאם אישית לטעינה מהדיסק עם מאפיין מותאם אישית בשם file-extension ומדד מותאם אישית (TRACE_METRIC) בשם cache-hit שמוגדר לערך 1 אם יש פגיעה במטמון ולערך 0 אם אין פגיעה במטמון.

לדוגמה, אפשר לחשב את שיעור הפגיעה במטמון עבור טעינת קובצי PNG מהדיסק:

SELECT AVG(trace_info.metric_info.metric_value) AS cache_hit_rate
FROM `TABLE_NAME`
WHERE _PARTITIONTIME > TIMESTAMP("YYYY-MM-DD")
AND event_type = "TRACE_METRIC"
AND event_name = "cache-hit"
AND parent_trace_name = "loadFromDisk"
AND STRUCT("file-extension", "png") IN UNNEST(custom_attributes);

בדיקה של השעה ביום שבה המשתמשים שולחים בקשות לרשת

לדוגמה, אפשר לבדוק באיזו שעה ביום משתמשים מארצות הברית שולחים בקשות לרשת מהאפליקציה שלכם:

SELECT
  count(1) AS hourly_count,
  EXTRACT(HOUR FROM event_timestamp) AS hour_of_day
FROM `TABLE_NAME`
WHERE _PARTITIONTIME > TIMESTAMP("YYYY-MM-DD")
AND event_type = "NETWORK_REQUEST"
AND country = "US"
GROUP BY 2 ORDER BY 2;

לוקחים את הנתונים של Performance Monitoring לכל מקום

לפעמים רוצים לגשת לנתוני Performance Monitoring בצד השרת או להעביר אותם לפתרון אחר של צד שלישי. בשלב הזה, אין חיוב על ייצוא נתונים.

אפשר לייצא את הנתונים בדרכים הבאות:

• שימוש בממשק המשתמש של BigQuery באינטרנט

• הרצת הפקודה bq extract ב-CLI

• שליחת משימת חילוץ באמצעות ה-API או ספריות הלקוח.

תמחור

ייצוא נתונים מ-Performance Monitoring לא כרוך בתשלום, ו-Performance Monitoring מספק מגבלות שימוש נדיבות ללא עלות.BigQuery למידע מפורט, אפשר לעיין בBigQuery מחירון או בארגז החול של BigQuery.