A/B পরীক্ষার মাধ্যমে মেসেজিং পরীক্ষা তৈরি করুন

যখন আপনি আপনার ব্যবহারকারীদের সাথে যোগাযোগ করছেন অথবা একটি নতুন বিপণন প্রচারণা শুরু করছেন, তখন আপনি নিশ্চিত করতে চান যে আপনি এটি সঠিকভাবে করছেন। A/B পরীক্ষা আপনার ব্যবহারকারী বেসের নির্বাচিত অংশগুলিতে বার্তার ধরণ পরীক্ষা করে সর্বোত্তম শব্দবিন্যাস এবং উপস্থাপনা খুঁজে পেতে সহায়তা করতে পারে। আপনার লক্ষ্যটি আরও ভালভাবে ধরে রাখা বা কোনও অফারের রূপান্তর করা হোক না কেন, A/B পরীক্ষা পরিসংখ্যানগত বিশ্লেষণ করতে পারে যাতে নির্ধারণ করা যায় যে কোনও বার্তার ধরণ আপনার নির্বাচিত উদ্দেশ্যের জন্য বেসলাইনকে ছাড়িয়ে যাচ্ছে কিনা।

বেসলাইন সহ A/B পরীক্ষা বৈশিষ্ট্য ভেরিয়েন্টের জন্য, নিম্নলিখিতগুলি করুন:

1. তোমার পরীক্ষা তৈরি করো।
2. একটি পরীক্ষামূলক ডিভাইসে আপনার পরীক্ষাটি যাচাই করুন।
3. তোমার পরীক্ষা পরিচালনা করো।

একটি পরীক্ষা তৈরি করুন

নোটিফিকেশন কম্পোজার ব্যবহার করে এমন একটি পরীক্ষা আপনাকে একটি একক নোটিফিকেশন বার্তার একাধিক রূপ মূল্যায়ন করতে দেয়।

1. Firebase কনসোলে সাইন ইন করুন এবং যাচাই করুন যে আপনার প্রোজেক্টে Google Analytics সক্ষম করা আছে যাতে পরীক্ষাটি Analytics ডেটাতে অ্যাক্সেস পেতে পারে।

   যদি আপনি আপনার প্রকল্প তৈরি করার সময় Google Analytics সক্ষম না করে থাকেন, তাহলে আপনি এটি ইন্টিগ্রেশন ট্যাবে সক্ষম করতে পারেন, যা আপনি Firebase কনসোলে settings > প্রকল্প সেটিংস ব্যবহার করে অ্যাক্সেস করতে পারেন।

2. Firebase কনসোল নেভিগেশন বারের Engage বিভাগে, A/B Testing ক্লিক করুন।

3. পরীক্ষা তৈরি করুন ক্লিক করুন, এবং তারপর আপনি যে পরিষেবাটি নিয়ে পরীক্ষা করতে চান তার জন্য অনুরোধ করা হলে বিজ্ঞপ্তি নির্বাচন করুন।

4. আপনার পরীক্ষার জন্য একটি নাম এবং ঐচ্ছিক বিবরণ লিখুন, এবং পরবর্তী ক্লিক করুন।

5. টার্গেটিং ফিল্ডগুলি পূরণ করুন, প্রথমে আপনার পরীক্ষাটি ব্যবহার করে এমন অ্যাপটি বেছে নিন। আপনি নিম্নলিখিত বিকল্পগুলি বেছে নিয়ে আপনার পরীক্ষায় অংশগ্রহণের জন্য আপনার ব্যবহারকারীদের একটি উপসেটকে টার্গেট করতে পারেন:

   • সংস্করণ: আপনার অ্যাপের এক বা একাধিক সংস্করণ
   • ব্যবহারকারীর শ্রোতা: পরীক্ষায় অন্তর্ভুক্ত হতে পারে এমন ব্যবহারকারীদের লক্ষ্য করার জন্য Analytics শ্রোতাদের ব্যবহার করা হয়েছিল
   • ব্যবহারকারীর সম্পত্তি: পরীক্ষায় অন্তর্ভুক্ত হতে পারে এমন ব্যবহারকারীদের নির্বাচন করার জন্য এক বা একাধিক Analytics ব্যবহারকারীর বৈশিষ্ট্য
   • দেশ/অঞ্চল: পরীক্ষায় অন্তর্ভুক্ত হতে পারে এমন ব্যবহারকারীদের নির্বাচন করার জন্য এক বা একাধিক দেশ বা অঞ্চল
   • ডিভাইসের ভাষা: পরীক্ষায় অন্তর্ভুক্ত হতে পারে এমন ব্যবহারকারীদের নির্বাচন করতে ব্যবহৃত এক বা একাধিক ভাষা এবং স্থানীয় ভাষা
   • প্রথমবার খোলা: ব্যবহারকারীরা আপনার অ্যাপটি প্রথমবার খোলার উপর ভিত্তি করে তাদের লক্ষ্য করুন
   • শেষ অ্যাপের সাথে যুক্ত থাকা: ব্যবহারকারীরা আপনার অ্যাপের সাথে শেষ কবে যুক্ত ছিলেন তার উপর ভিত্তি করে তাদের লক্ষ্য করুন

6. লক্ষ্য ব্যবহারকারীর শতাংশ নির্ধারণ করুন: আপনার অ্যাপের ব্যবহারকারী বেসের কত শতাংশ, যা লক্ষ্য ব্যবহারকারীর অধীনে সেট করা মানদণ্ডের সাথে মিলে যায় এবং আপনার পরীক্ষায় বেসলাইন এবং এক বা একাধিক ভেরিয়েন্টের মধ্যে সমানভাবে ভাগ করতে চান তা নির্বাচন করুন। এটি 0.01% থেকে 100% এর মধ্যে যেকোনো শতাংশ হতে পারে। প্রতিটি পরীক্ষার জন্য ব্যবহারকারীদের শতাংশ এলোমেলোভাবে পুনর্নির্ধারণ করা হয়, যার মধ্যে ডুপ্লিকেট পরীক্ষাও অন্তর্ভুক্ত।

7. " ভেরিয়েন্ট" বিভাগে, "এন্টার মেসেজ টেক্সট" ক্ষেত্রে বেসলাইন গ্রুপে পাঠানোর জন্য একটি বার্তা টাইপ করুন। বেসলাইন গ্রুপে কোনও বার্তা না পাঠাতে, এই ক্ষেত্রটি ফাঁকা রাখুন।

8. (ঐচ্ছিক) আপনার পরীক্ষায় একাধিক ভেরিয়েন্ট যোগ করতে, "ভেরিয়েন্ট যোগ করুন" এ ক্লিক করুন। ডিফল্টরূপে, পরীক্ষায় একটি বেসলাইন এবং একটি ভেরিয়েন্ট থাকে।

9. (ঐচ্ছিক) আপনার পরীক্ষায় প্রতিটি ভেরিয়েন্টের জন্য একটি নাম লিখুন যাতে ভেরিয়েন্ট A , ভেরিয়েন্ট B ইত্যাদি নামগুলি প্রতিস্থাপন করা যায়।

10. ড্রপডাউন তালিকা থেকে যেকোনো পছন্দসই অতিরিক্ত মেট্রিক্সের সাথে পরীক্ষার ধরণ মূল্যায়ন করার সময় আপনার পরীক্ষার জন্য একটি লক্ষ্য মেট্রিক নির্ধারণ করুন। এই মেট্রিক্সগুলির মধ্যে অন্তর্নির্মিত উদ্দেশ্য (সংযুক্তি, ক্রয়, আয়, ধরে রাখা ইত্যাদি), Analytics রূপান্তর ইভেন্ট এবং অন্যান্য Analytics ইভেন্ট অন্তর্ভুক্ত রয়েছে।

11. আপনার বার্তার জন্য বিকল্পগুলি বেছে নিন:

    • ডেলিভারির তারিখ: হয় সেভ করার সাথে সাথেই আপনার পরীক্ষা শুরু করতে "এখনই পাঠান" বেছে নিন, অথবা ভবিষ্যতে আপনার পরীক্ষা শুরু করার সময় নির্দিষ্ট করার জন্য "শিডিউল" বেছে নিন।
    • উন্নত বিকল্প: আপনার পরীক্ষায় অন্তর্ভুক্ত সমস্ত বিজ্ঞপ্তির জন্য উন্নত বিকল্পগুলি বেছে নিতে, উন্নত বিকল্পগুলি প্রসারিত করুন এবং তারপরে তালিকাভুক্ত যেকোনো বার্তা বিকল্প পরিবর্তন করুন।

12. আপনার পরীক্ষা সংরক্ষণ করতে পর্যালোচনাতে ক্লিক করুন।

প্রতিটি প্রকল্পে সর্বোচ্চ ৩০০টি পরীক্ষা-নিরীক্ষার অনুমতি রয়েছে, যার মধ্যে সর্বোচ্চ ২৪টি চলমান পরীক্ষা-নিরীক্ষা থাকতে পারে, বাকিগুলো খসড়া বা সম্পূর্ণ হিসেবে থাকবে।

একটি পরীক্ষামূলক ডিভাইসে আপনার পরীক্ষা যাচাই করুন

প্রতিটি Firebase ইনস্টলেশনের জন্য আপনি এর সাথে সম্পর্কিত FCM রেজিস্ট্রেশন টোকেনটি পুনরুদ্ধার করতে পারেন। আপনার অ্যাপ ইনস্টল থাকা একটি পরীক্ষামূলক ডিভাইসে নির্দিষ্ট পরীক্ষার ধরণগুলি পরীক্ষা করার জন্য আপনি এই টোকেনটি ব্যবহার করতে পারেন। একটি পরীক্ষামূলক ডিভাইসে আপনার পরীক্ষা যাচাই করতে, নিম্নলিখিতগুলি করুন:

1. FCM রেজিস্ট্রেশন টোকেনটি নিম্নরূপে পান:

   সুইফট

   Messaging.messaging().token { token, error in
     if let error = error {
       print("Error fetching FCM registration token: \(error)")
     } else if let token = token {
       print("FCM registration token: \(token)")
       self.fcmRegTokenMessage.text  = "Remote FCM registration token: \(token)"
     }
   }

   অবজেক্টিভ-সি

   [[FIRMessaging messaging] tokenWithCompletion:^(NSString *token, NSError *error) {
     if (error != nil) {
       NSLog(@"Error getting FCM registration token: %@", error);
     } else {
       NSLog(@"FCM registration token: %@", token);
       self.fcmRegTokenMessage.text = token;
     }
   }];

   Java

   FirebaseMessaging.getInstance().getToken()
       .addOnCompleteListener(new OnCompleteListener<String>() {
           @Override
           public void onComplete(@NonNull Task<String> task) {
             if (!task.isSuccessful()) {
               Log.w(TAG, "Fetching FCM registration token failed", task.getException());
               return;
             }
   
             // Get new FCM registration token
             String token = task.getResult();
   
             // Log and toast
             String msg = getString(R.string.msg_token_fmt, token);
             Log.d(TAG, msg);
             Toast.makeText(MainActivity.this, msg, Toast.LENGTH_SHORT).show();
           }
       });

   Kotlin

   FirebaseMessaging.getInstance().token.addOnCompleteListener(OnCompleteListener { task ->
       if (!task.isSuccessful) {
           Log.w(TAG, "Fetching FCM registration token failed", task.exception)
           return@OnCompleteListener
       }
   
       // Get new FCM registration token
       val token = task.result
   
       // Log and toast
       val msg = getString(R.string.msg_token_fmt, token)
       Log.d(TAG, msg)
       Toast.makeText(baseContext, msg, Toast.LENGTH_SHORT).show()
   })

   সি++

   firebase::InitResult init_result;
   auto* installations_object = firebase::installations::Installations::GetInstance(
       firebase::App::GetInstance(), &init_result);
   installations_object->GetToken().OnCompletion(
       [](const firebase::Future<std::string>& future) {
         if (future.status() == kFutureStatusComplete &&
             future.error() == firebase::installations::kErrorNone) {
           printf("Installations Auth Token %s\n", future.result()->c_str());
         }
       });

   ঐক্য

   Firebase.Messaging.FirebaseMessaging.DefaultInstance.GetTokenAsync().ContinueWith(
     task => {
       if (!(task.IsCanceled || task.IsFaulted) && task.IsCompleted) {
         UnityEngine.Debug.Log(System.String.Format("FCM registration token {0}", task.Result));
       }
     });

2. Firebase কনসোল নেভিগেশন বারে, A/B টেস্টিং এ ক্লিক করুন।
3. খসড়া ক্লিক করুন, আপনার পরীক্ষার উপর কার্সার রাখুন, প্রসঙ্গ মেনুতে ক্লিক করুন ( more_vert ), এবং তারপর পরীক্ষা ডিভাইস পরিচালনা করুন ক্লিক করুন
4. একটি পরীক্ষামূলক ডিভাইসের জন্য FCM টোকেন লিখুন এবং সেই পরীক্ষামূলক ডিভাইসে পাঠানোর জন্য পরীক্ষামূলক রূপটি বেছে নিন।
5. অ্যাপটি চালান এবং নিশ্চিত করুন যে নির্বাচিত ভেরিয়েন্টটি পরীক্ষামূলক ডিভাইসে গৃহীত হচ্ছে।

আপনার পরীক্ষা পরিচালনা করুন

আপনি Remote Config , নোটিফিকেশন কম্পোজার, অথবা Firebase In-App Messaging দিয়ে কোনও পরীক্ষা তৈরি করুন না কেন, আপনি তারপরে আপনার পরীক্ষাটি যাচাই করতে এবং শুরু করতে পারেন, এটি চলমান থাকাকালীন আপনার পরীক্ষাটি পর্যবেক্ষণ করতে পারেন এবং আপনার চলমান পরীক্ষায় অন্তর্ভুক্ত ব্যবহারকারীর সংখ্যা বাড়াতে পারেন।

আপনার পরীক্ষা সম্পন্ন হলে, আপনি বিজয়ী ভেরিয়েন্ট দ্বারা ব্যবহৃত সেটিংস নোট করতে পারেন এবং তারপর সেই সেটিংসগুলি সমস্ত ব্যবহারকারীর কাছে রোল আউট করতে পারেন। অথবা, আপনি অন্য একটি পরীক্ষা চালাতে পারেন।

একটি পরীক্ষা শুরু করুন

1. Firebase কনসোল নেভিগেশন মেনুর Engage বিভাগে, A/B Testing ক্লিক করুন।
2. খসড়া ক্লিক করুন, এবং তারপর আপনার পরীক্ষার শিরোনামে ক্লিক করুন।
3. আপনার অ্যাপে এমন ব্যবহারকারী আছে কিনা তা যাচাই করতে, খসড়ার বিবরণ প্রসারিত করুন এবং টার্গেটিং এবং বিতরণ বিভাগে 0% এর বেশি সংখ্যা পরীক্ষা করুন (উদাহরণস্বরূপ, মানদণ্ডের সাথে মেলে এমন 1% ব্যবহারকারী )।
4. আপনার পরীক্ষা পরিবর্তন করতে, সম্পাদনা করুন এ ক্লিক করুন।
5. আপনার পরীক্ষা শুরু করতে, পরীক্ষা শুরু করুন ক্লিক করুন। আপনি একবারে প্রতিটি প্রকল্পে সর্বোচ্চ ২৪টি পরীক্ষা চালাতে পারবেন।

একটি পরীক্ষা পর্যবেক্ষণ করুন

একবার কোনও পরীক্ষা কিছুক্ষণ ধরে চলার পর, আপনি তার অগ্রগতি পরীক্ষা করতে পারেন এবং আপনার পরীক্ষায় অংশগ্রহণকারী ব্যবহারকারীদের জন্য আপনার ফলাফল কেমন দেখাচ্ছে তা দেখতে পারেন।

1. Firebase কনসোল নেভিগেশন মেনুর Engage বিভাগে, A/B Testing ক্লিক করুন।

2. Running এ ক্লিক করুন, এবং তারপর আপনার পরীক্ষার শিরোনামে ক্লিক করুন, অথবা অনুসন্ধান করুন। এই পৃষ্ঠায়, আপনি আপনার চলমান পরীক্ষার বিভিন্ন পর্যবেক্ষণ এবং মডেল করা পরিসংখ্যান দেখতে পারবেন, যার মধ্যে নিম্নলিখিতগুলি অন্তর্ভুক্ত রয়েছে:

   • বেসলাইন থেকে % পার্থক্য : বেসলাইনের তুলনায় একটি প্রদত্ত ভ্যারিয়েন্টের জন্য একটি মেট্রিকের উন্নতির একটি পরিমাপ। ভ্যারিয়েন্টের মান পরিসরের সাথে বেসলাইনের মান পরিসরের তুলনা করে গণনা করা হয়।
   • বেসলাইনকে ছাড়িয়ে যাওয়ার সম্ভাবনা : নির্বাচিত মেট্রিকের জন্য একটি প্রদত্ত ভেরিয়েন্ট বেসলাইনকে ছাড়িয়ে যাওয়ার আনুমানিক সম্ভাবনা।
   • প্রতি ব্যবহারকারীর জন্য observed_metric : পরীক্ষার ফলাফলের উপর ভিত্তি করে, এটি হল পূর্বাভাসিত পরিসর যার মধ্যে মেট্রিক মান সময়ের সাথে সাথে পড়বে।
   • Total observed_metric : বেসলাইন বা ভ্যারিয়েন্টের জন্য পর্যবেক্ষণকৃত ক্রমবর্ধমান মান। প্রতিটি এক্সপেরিমেন্ট ভ্যারিয়েন্ট কতটা ভালো পারফর্ম করে তা পরিমাপ করার জন্য এই মান ব্যবহার করা হয় এবং উন্নতি , মান পরিসর , বেসলাইনকে ছাড়িয়ে যাওয়ার সম্ভাবনা এবং সেরা ভ্যারিয়েন্ট হওয়ার সম্ভাবনা গণনা করার জন্য ব্যবহৃত হয়। পরিমাপ করা মেট্রিকের উপর নির্ভর করে, এই কলামটিকে "প্রতি ব্যবহারকারীর সময়কাল," "প্রতি ব্যবহারকারীর রাজস্ব," "ধারণ হার," অথবা "রূপান্তর হার" লেবেল করা যেতে পারে।

3. আপনার পরীক্ষাটি কিছুক্ষণ চলার পরে ( FCM এবং In-App Messaging জন্য কমপক্ষে 7 দিন বা Remote Config জন্য 14 দিন), এই পৃষ্ঠার ডেটা নির্দেশ করে যে কোন রূপটি, যদি থাকে, "লিডার"। কিছু পরিমাপের সাথে একটি বার চার্ট থাকে যা একটি ভিজ্যুয়াল ফর্ম্যাটে ডেটা উপস্থাপন করে।

সকল ব্যবহারকারীর জন্য একটি পরীক্ষা শুরু করুন

একটি পরীক্ষা এত দীর্ঘ সময় ধরে চলার পর যে আপনার লক্ষ্য মেট্রিকের জন্য একটি "নেতৃস্থানীয়" বা বিজয়ী রূপ আছে, আপনি পরীক্ষাটি ১০০% ব্যবহারকারীর কাছে প্রকাশ করতে পারেন। এর ফলে আপনি ভবিষ্যতে সকল ব্যবহারকারীর কাছে প্রকাশ করার জন্য একটি রূপ নির্বাচন করতে পারবেন। এমনকি যদি আপনার পরীক্ষাটি স্পষ্টভাবে বিজয়ী নাও হয়, তবুও আপনি আপনার সমস্ত ব্যবহারকারীর কাছে একটি রূপ প্রকাশ করতে পারেন।

1. Firebase কনসোল নেভিগেশন মেনুর Engage বিভাগে, A/B Testing ক্লিক করুন।
2. Completed অথবা Running এ ক্লিক করুন, এমন একটি পরীক্ষায় ক্লিক করুন যা আপনি সকল ব্যবহারকারীর জন্য প্রকাশ করতে চান, প্রসঙ্গ মেনুতে ক্লিক করুন ( more_vert ) রোল আউট ভেরিয়েন্ট ।

3. নিম্নলিখিত যেকোনো একটি করে আপনার পরীক্ষাটি সকল ব্যবহারকারীর কাছে পৌঁছে দিন:

   • নোটিফিকেশন কম্পোজার ব্যবহার করে এমন একটি পরীক্ষার জন্য, রোল আউট মেসেজ ডায়ালগ ব্যবহার করে বাকি লক্ষ্যবস্তু ব্যবহারকারীদের কাছে বার্তাটি পাঠান যারা পরীক্ষার অংশ ছিলেন না।
   • একটি Remote Config পরীক্ষার জন্য, কোন Remote Config প্যারামিটার মান আপডেট করতে হবে তা নির্ধারণ করতে একটি বৈকল্পিক নির্বাচন করুন। পরীক্ষা তৈরি করার সময় সংজ্ঞায়িত টার্গেটিং মানদণ্ডটি আপনার টেমপ্লেটে একটি নতুন শর্ত হিসাবে যোগ করা হয়েছে, যাতে রোলআউট শুধুমাত্র পরীক্ষা দ্বারা লক্ষ্যবস্তু করা ব্যবহারকারীদের উপর প্রভাব ফেলে। পরিবর্তনগুলি পর্যালোচনা করতে রিমোট কনফিগ-এ পর্যালোচনা ক্লিক করার পরে, রোলআউট সম্পূর্ণ করতে পরিবর্তনগুলি প্রকাশ করুন- এ ক্লিক করুন।
   • In-App Messaging পরীক্ষার জন্য, কোন ভেরিয়েন্টটি একটি স্বতন্ত্র In-App Messaging প্রচারণা হিসেবে চালু করা প্রয়োজন তা নির্ধারণ করতে ডায়ালগটি ব্যবহার করুন। একবার নির্বাচিত হয়ে গেলে, প্রকাশের আগে কোনও পরিবর্তন (যদি প্রয়োজন হয়) করার জন্য আপনাকে FIAM কম্পোজ স্ক্রিনে পুনঃনির্দেশিত করা হবে।

একটি পরীক্ষা প্রসারিত করুন

যদি আপনি দেখেন যে কোনও পরীক্ষা A/B Testing জন্য পর্যাপ্ত ব্যবহারকারী আনছে না যা তাদের শীর্ষস্থানীয় ঘোষণা করতে পারে, তাহলে আপনি অ্যাপটির ব্যবহারকারী বেসের একটি বৃহত্তর শতাংশে পৌঁছানোর জন্য আপনার পরীক্ষার বিতরণ বৃদ্ধি করতে পারেন।

1. Firebase কনসোল নেভিগেশন মেনুর Engage বিভাগে, A/B Testing ক্লিক করুন।
2. আপনি যে চলমান পরীক্ষাটি সম্পাদনা করতে চান তা নির্বাচন করুন।
3. এক্সপেরিমেন্টের ওভারভিউতে , কনটেক্সট মেনুতে ( more_vert ) ক্লিক করুন, এবং তারপর Edit running experiment এ ক্লিক করুন।
4. টার্গেটিং ডায়ালগে চলমান পরীক্ষায় থাকা ব্যবহারকারীদের শতাংশ বাড়ানোর একটি বিকল্প দেখানো হবে। বর্তমান শতাংশের চেয়ে বড় একটি সংখ্যা নির্বাচন করুন এবং প্রকাশ করুন ক্লিক করুন। পরীক্ষাটি আপনার নির্দিষ্ট করা ব্যবহারকারীদের শতাংশে পুশ করা হবে।

কোনও পরীক্ষা ডুপ্লিকেট করুন বা বন্ধ করুন

1. Firebase কনসোল নেভিগেশন মেনুর Engage বিভাগে, A/B Testing ক্লিক করুন।
2. Completed অথবা Running এ ক্লিক করুন, আপনার পরীক্ষার উপর পয়েন্টারটি ধরে রাখুন, প্রসঙ্গ মেনুতে ক্লিক করুন ( more_vert ), এবং তারপর Duplicate experiment অথবা Stop experiment এ ক্লিক করুন।

ব্যবহারকারীর টার্গেটিং

নিম্নলিখিত ব্যবহারকারী-লক্ষ্যকরণ মানদণ্ড ব্যবহার করে আপনি আপনার পরীক্ষায় অন্তর্ভুক্ত করার জন্য ব্যবহারকারীদের লক্ষ্য করতে পারেন।

A/B Testing মেট্রিক্স

যখন আপনি আপনার পরীক্ষা তৈরি করেন, তখন আপনি একটি প্রাথমিক বা লক্ষ্য মেট্রিক বেছে নেন, যা বিজয়ী ভেরিয়েন্ট নির্ধারণ করতে ব্যবহৃত হয়। প্রতিটি পরীক্ষার ভেরিয়েন্টের পারফর্ম্যান্স আরও ভালভাবে বুঝতে এবং ব্যবহারকারীর ধরে রাখা, অ্যাপের স্থিতিশীলতা এবং অ্যাপ-মধ্যস্থ কেনাকাটার আয়ের মতো গুরুত্বপূর্ণ ট্রেন্ডগুলি ট্র্যাক করার জন্য আপনার অন্যান্য মেট্রিকগুলিও ট্র্যাক করা উচিত। আপনি আপনার পরীক্ষায় পাঁচটি পর্যন্ত লক্ষ্য-বহির্ভূত মেট্রিক ট্র্যাক করতে পারেন।

• দুটি ভেরিয়েন্টের মধ্যে আপনার সম্মিলিত অ্যাপ-মধ্যস্থ কেনাকাটা এবং বিজ্ঞাপনের আয়ের পার্থক্য দেখার জন্য আনুমানিক মোট আয়
• আপনার দৈনিক/সাপ্তাহিক ব্যবহারকারী ধরে রাখার ট্র্যাক রাখতে ধরে রাখা (১ দিন) , ধরে রাখা (২-৩ দিন) , ধরে রাখা (৪-৭ দিন)

লক্ষ্য মেট্রিক্স এবং অন্যান্য মেট্রিক্স কীভাবে গণনা করা হয় তার বিশদ বিবরণ নিম্নলিখিত সারণীতে দেওয়া হয়েছে।

লক্ষ্য মেট্রিক্স

অন্যান্য মেট্রিক্স

BigQuery ডেটা এক্সপোর্ট

Firebase কনসোলে A/B Testing পরীক্ষার ডেটা দেখার পাশাপাশি, আপনি BigQuery তে পরীক্ষার ডেটা পরিদর্শন এবং বিশ্লেষণ করতে পারেন। যদিও A/B Testing আলাদা BigQuery টেবিল নেই, তবুও Experiment এবং Variant সদস্যপদগুলি Analytics ইভেন্ট টেবিলের মধ্যে প্রতিটি Google Analytics ইভেন্টে সংরক্ষণ করা হয়।

যেসব ব্যবহারকারীর বৈশিষ্ট্যে পরীক্ষামূলক তথ্য থাকে, সেগুলো userProperty.key like "firebase_exp_%" অথবা userProperty.key = "firebase_exp_01" যেখানে 01 হল পরীক্ষামূলক আইডি, এবং userProperty.value.string_value পরীক্ষামূলক ভেরিয়েন্টের (শূন্য-ভিত্তিক) সূচক থাকে।

আপনি এই পরীক্ষামূলক ব্যবহারকারীর বৈশিষ্ট্যগুলি ব্যবহার করে পরীক্ষার তথ্য বের করতে পারেন। এটি আপনাকে বিভিন্ন উপায়ে আপনার পরীক্ষার ফলাফলগুলি স্লাইস করার এবং A/B Testing ফলাফলগুলি স্বাধীনভাবে যাচাই করার ক্ষমতা দেয়।

শুরু করতে, এই নির্দেশিকায় বর্ণিত নিম্নলিখিতগুলি সম্পূর্ণ করুন:

1. Firebase কনসোলে Google Analytics এর জন্য BigQuery এক্সপোর্ট সক্ষম করুন
2. BigQuery ব্যবহার করে A/B Testing ডেটা অ্যাক্সেস করুন
3. উদাহরণ কোয়েরিগুলি অন্বেষণ করুন

Firebase কনসোলে Google Analytics এর জন্য BigQuery এক্সপোর্ট সক্ষম করুন

যদি আপনি Spark প্ল্যানে থাকেন, তাহলে আপনি BigQuery স্যান্ডবক্স ব্যবহার করে বিনামূল্যে BigQuery অ্যাক্সেস করতে পারেন, স্যান্ডবক্স সীমা সাপেক্ষে। আরও তথ্যের জন্য মূল্য নির্ধারণ এবং BigQuery স্যান্ডবক্স দেখুন।

প্রথমে, নিশ্চিত করুন যে আপনি আপনার Analytics ডেটা BigQuery তে রপ্তানি করছেন:

1. ইন্টিগ্রেশন ট্যাবটি খুলুন, যা আপনি Firebase কনসোলে settings > প্রজেক্ট সেটিংস ব্যবহার করে অ্যাক্সেস করতে পারবেন।
2. যদি আপনি ইতিমধ্যেই অন্যান্য Firebase পরিষেবার সাথে BigQuery ব্যবহার করে থাকেন, তাহলে Manage এ ক্লিক করুন। অন্যথায়, Link এ ক্লিক করুন।
3. BigQuery এর সাথে Firebase লিঙ্ক করার বিষয়ে পর্যালোচনা করুন, তারপর Next-এ ক্লিক করুন।
4. কনফিগার ইন্টিগ্রেশন বিভাগে, Google Analytics টগল সক্ষম করুন।

5. একটি অঞ্চল নির্বাচন করুন এবং রপ্তানি সেটিংস নির্বাচন করুন।

6. BigQuery এর লিঙ্কে ক্লিক করুন।

আপনি কীভাবে ডেটা রপ্তানি করতে চান তার উপর নির্ভর করে, টেবিলগুলি উপলব্ধ হতে এক দিন পর্যন্ত সময় লাগতে পারে। BigQuery তে প্রকল্পের ডেটা রপ্তানি করার বিষয়ে আরও তথ্যের জন্য, BigQuery তে প্রকল্পের ডেটা রপ্তানি করুন দেখুন।

BigQuery তে A/B Testing ডেটা অ্যাক্সেস করুন

কোনও নির্দিষ্ট পরীক্ষার জন্য ডেটা অনুসন্ধান করার আগে, আপনার কোয়েরিতে ব্যবহার করার জন্য আপনাকে নিম্নলিখিতগুলির কিছু বা সমস্ত তথ্য পেতে হবে:

• এক্সপেরিমেন্ট আইডি: আপনি এক্সপেরিমেন্ট ওভারভিউ পৃষ্ঠার URL থেকে এটি পেতে পারেন। উদাহরণস্বরূপ, যদি আপনার URL https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25 এর মতো দেখায়, তাহলে এক্সপেরিমেন্ট আইডি হল 25 ।
• Google Analytics প্রপার্টি আইডি : এটি আপনার ৯-সংখ্যার Google Analytics প্রপার্টি আইডি। আপনি এটি Google Analytics মধ্যে খুঁজে পেতে পারেন; যখন আপনি আপনার প্রোজেক্টের নামটি প্রসারিত করে আপনার Google Analytics ইভেন্ট টেবিলের নাম ( project_name.analytics_000000000.events ) দেখান তখন এটি BigQuery তেও প্রদর্শিত হয়।
• পরীক্ষার তারিখ: দ্রুত এবং আরও কার্যকর কোয়েরি তৈরি করার জন্য, আপনার কোয়েরিগুলিকে Google Analytics দৈনিক ইভেন্ট টেবিল পার্টিশনের মধ্যে সীমাবদ্ধ রাখা ভালো, যেখানে আপনার পরীক্ষার ডেটা থাকে—একটি YYYYMMDD সাফিক্স দিয়ে চিহ্নিত টেবিল। সুতরাং, যদি আপনার পরীক্ষাটি ২রা ফেব্রুয়ারী, ২০২৪ থেকে ২রা মে, ২০২৪ পর্যন্ত চলে, তাহলে আপনাকে _TABLE_SUFFIX between '20240202' AND '20240502' নির্দিষ্ট করতে হবে। উদাহরণস্বরূপ, একটি নির্দিষ্ট পরীক্ষার মান নির্বাচন করুন দেখুন।
• ইভেন্টের নাম: সাধারণত, এগুলি আপনার পরীক্ষায় কনফিগার করা লক্ষ্য মেট্রিক্সের সাথে মিলে যায়। উদাহরণস্বরূপ, in_app_purchase ইভেন্ট, ad_impression , অথবা user_retention ইভেন্ট।

তথ্য সংগ্রহ করার পর আপনার কোয়েরি তৈরি করার জন্য আপনার প্রয়োজনীয় তথ্য:

1. Google Cloud কনসোলে BigQuery খুলুন।
2. আপনার প্রকল্প নির্বাচন করুন, তারপর SQL কোয়েরি তৈরি করুন নির্বাচন করুন।
3. আপনার কোয়েরি যোগ করুন। উদাহরণস্বরূপ কোয়েরি চালানোর জন্য, Explore example queries দেখুন।
4. রান ক্লিক করুন।

Firebase কনসোলের স্বয়ংক্রিয়ভাবে তৈরি হওয়া কোয়েরি ব্যবহার করে পরীক্ষামূলক ডেটা কোয়েরি করুন

যদি আপনি Blaze প্ল্যান ব্যবহার করেন, তাহলে Experiment overview পৃষ্ঠাটি একটি নমুনা কোয়েরি প্রদান করে যা Experiment এর নাম, ভেরিয়েন্ট, ইভেন্টের নাম এবং আপনি যে Experiment দেখছেন তার ইভেন্টের সংখ্যা প্রদান করে।

স্বয়ংক্রিয়ভাবে তৈরি হওয়া কোয়েরিটি পেতে এবং চালাতে:

1. Firebase কনসোল থেকে, A/B Testing খুলুন এবং Experiment ওভারভিউ খুলতে আপনি যে A/B Testing পরীক্ষাটি জিজ্ঞাসা করতে চান তা নির্বাচন করুন।
2. বিকল্প মেনু থেকে, BigQuery ইন্টিগ্রেশনের নীচে, Query experiment data নির্বাচন করুন। এটি Google Cloud console কনসোলের মধ্যে BigQuery তে আপনার প্রকল্পটি খুলবে এবং একটি মৌলিক প্রশ্ন প্রদান করবে যা আপনি আপনার পরীক্ষার ডেটা অনুসন্ধান করতে ব্যবহার করতে পারেন।

নিম্নলিখিত উদাহরণে "শীতকালীন স্বাগত পরীক্ষা" নামক তিনটি ভেরিয়েন্ট (বেসলাইন সহ) সহ একটি পরীক্ষার জন্য একটি জেনারেট করা কোয়েরি দেখানো হয়েছে। এটি প্রতিটি ইভেন্টের জন্য সক্রিয় পরীক্ষার নাম, ভেরিয়েন্টের নাম, অনন্য ইভেন্ট এবং ইভেন্টের সংখ্যা প্রদান করে। মনে রাখবেন যে কোয়েরি নির্মাতা আপনার প্রকল্পের নাম টেবিলের নামে নির্দিষ্ট করে না, কারণ এটি সরাসরি আপনার প্রকল্পের মধ্যেই খোলে।

  /*
    This query is auto-generated by Firebase A/B Testing for your
    experiment "Winter welcome experiment".
    It demonstrates how you can get event counts for all Analytics
    events logged by each variant of this experiment's population.
  */
  SELECT
    'Winter welcome experiment' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'Welcome message (1)'
      WHEN '2' THEN 'Welcome message (2)'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_000000000.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
    AND userProperty.key = 'firebase_exp_25'
  GROUP BY
    experimentVariant, eventName

অতিরিক্ত কোয়েরি উদাহরণের জন্য, Explore example queries এ যান।

উদাহরণ কোয়েরিগুলি অন্বেষণ করুন

নিম্নলিখিত বিভাগগুলিতে Google Analytics ইভেন্ট টেবিল থেকে A/B Testing পরীক্ষার ডেটা বের করার জন্য আপনি যে কোয়েরিগুলি ব্যবহার করতে পারেন তার উদাহরণ দেওয়া হয়েছে।

সকল পরীক্ষা-নিরীক্ষা থেকে ক্রয় এবং পরীক্ষামূলক মান বিচ্যুতির মান বের করুন

Firebase A/B Testing ফলাফল স্বাধীনভাবে যাচাই করার জন্য আপনি পরীক্ষার ফলাফলের ডেটা ব্যবহার করতে পারেন। নিম্নলিখিত BigQuery SQL স্টেটমেন্টটি পরীক্ষার ভেরিয়েন্ট, প্রতিটি ভেরিয়েন্টে অনন্য ব্যবহারকারীর সংখ্যা এবং in_app_purchase এবং ecommerce_purchase ইভেন্ট থেকে মোট আয় এবং _TABLE_SUFFIX শুরু এবং শেষ তারিখ হিসাবে নির্দিষ্ট সময়সীমার মধ্যে সমস্ত পরীক্ষার জন্য স্ট্যান্ডার্ড ডেভিয়েশনের যোগফল বের করে। Firebase যে ফলাফলগুলি সরবরাহ করে তা আপনার নিজস্ব বিশ্লেষণের সাথে মেলে কিনা তা যাচাই করতে আপনি এই কোয়েরি থেকে প্রাপ্ত ডেটা ওয়ান-টেইলড টি-টেস্টের জন্য একটি পরিসংখ্যানগত তাৎপর্য জেনারেটরের সাথে ব্যবহার করতে পারেন।

A/B Testing কীভাবে অনুমান গণনা করে সে সম্পর্কে আরও তথ্যের জন্য, পরীক্ষার ফলাফল ব্যাখ্যা করুন দেখুন।

  /*
    This query returns all experiment variants, number of unique users,
    the average USD spent per user, and the standard deviation for all
    experiments within the date range specified for _TABLE_SUFFIX.
  */
  SELECT
    experimentNumber,
    experimentVariant,
    COUNT(*) AS unique_users,
    AVG(usd_value) AS usd_value_per_user,
    STDDEV(usd_value) AS std_dev
  FROM
    (
      SELECT
        userProperty.key AS experimentNumber,
        userProperty.value.string_value AS experimentVariant,
        user_pseudo_id,
        SUM(
          CASE
            WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
              THEN event_value_in_usd
            ELSE 0
            END) AS usd_value
      FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
      CROSS JOIN UNNEST(user_properties) AS userProperty
      WHERE
        userProperty.key LIKE 'firebase_exp_%'
        AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
        AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
      GROUP BY 1, 2, 3
    )
  GROUP BY 1, 2
  ORDER BY 1, 2;

একটি নির্দিষ্ট পরীক্ষার মান নির্বাচন করুন

নিচের উদাহরণ কোয়েরিটি BigQuery তে একটি নির্দিষ্ট পরীক্ষার জন্য ডেটা কীভাবে সংগ্রহ করতে হয় তা ব্যাখ্যা করে। এই নমুনা কোয়েরিটি পরীক্ষার নাম, ভেরিয়েন্টের নাম (বেসলাইন সহ), ইভেন্টের নাম এবং ইভেন্টের সংখ্যা প্রদান করে।

  SELECT
    'EXPERIMENT_NAME' AS experimentName,
    CASE userProperty.value.string_value
      WHEN '0' THEN 'Baseline'
      WHEN '1' THEN 'VARIANT_1_NAME'
      WHEN '2' THEN 'VARIANT_2_NAME'
      END AS experimentVariant,
    event_name AS eventName,
    COUNT(*) AS count
  FROM
    `analytics_ANALYTICS_PROPERTY.events_*`,
    UNNEST(user_properties) AS userProperty
  WHERE
    (_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
    AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
  GROUP BY
    experimentVariant, eventName