Gdy kontaktujesz się z użytkownikami lub rozpoczynasz nową kampanię marketingową, chcesz mieć pewność, że wszystko robisz dobrze. Testy A/B mogą pomóc Ci znaleźć optymalne sformułowanie i sposób prezentacji, ponieważ umożliwiają testowanie wariantów wiadomości na wybranych częściach bazy użytkowników. Niezależnie od tego, czy Twoim celem jest lepsze utrzymanie użytkowników, czy zwiększenie konwersji w ramach oferty, testy A/B mogą przeprowadzić analizę statystyczną, aby sprawdzić, czy wariant wiadomości osiąga lepsze wyniki niż punkt odniesienia w przypadku wybranego celu.
Aby przeprowadzić test A/B wariantów funkcji z punktem odniesienia:
- Utwórz eksperyment.
- Sprawdź eksperyment na urządzeniu testowym.
- Zarządzaj eksperymentem.
Tworzenie eksperymentu
Eksperyment, który korzysta z Firebase In-App Messaging, umożliwia ocenę wielu wariantów jednej wiadomości w aplikacji.
Zaloguj się w Firebase konsoli i sprawdź, czy Google Analytics jest włączona w projekcie, aby eksperyment miał dostęp do danych Analytics.
Jeśli podczas tworzenia projektu nie włączysz Google Analytics, możesz to zrobić na karcie Integracje, do której możesz przejść, klikając kolejno > Ustawienia projektu w konsoli Firebase.
W menu nawigacyjnym Firebase konsoli w sekcji DevOps i zaangażowanie kliknij A/B Testing.
Kliknij Utwórz eksperyment , a następnie, gdy pojawi się prośba o wybranie usługi, którą chcesz przetestować, kliknij Wiadomości w aplikacji.
Możesz też w menu nawigacyjnym konsoli Firebase rozwinąć Zaangażowanie, a następnie kliknąć In-App Messaging. Potem kliknij Nowy eksperyment.
Wpisz Nazwę i opcjonalny Opis eksperymentu, a następnie kliknij Dalej.
Wypełnij pola Kierowanie , najpierw wybierając aplikację, która będzie używać eksperymentu. Możesz też kierować reklamy na podzbiór użytkowników, którzy mają wziąć udział w eksperymencie, wybierając opcje obejmujące:
- Wersja: co najmniej 1 wersja aplikacji.
- Odbiorcy: Analytics listy odbiorców używane do kierowania reklam na użytkowników którzy mogą zostać uwzględnieni w eksperymencie.
- Właściwość użytkownika: co najmniej 1 Analytics właściwość użytkownika służąca do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie.
- Kraj/region: co najmniej 1 kraj lub region służący do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie.
- Język urządzenia: co najmniej 1 język i ustawienia regionalne służące do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie.
- Pierwsze uruchomienie: kierowanie na użytkowników na podstawie tego, że po raz pierwszy uruchomili Twoją aplikację.
- Ostatnia interakcja z aplikacją: kierowanie na użytkowników na podstawie tego, kiedy ostatni raz weszli w interakcję z Twoją aplikacją.
Ustaw Odsetek docelowych użytkowników: wybierz odsetek użytkowników aplikacji spełniających kryteria określone w sekcji Docelowi użytkownicy , który chcesz równomiernie podzielić między punkt odniesienia a co najmniej 1 wariant w eksperymencie. Może to być dowolny odsetek od 0,01% do 100%. Odsetki są losowo przypisywane do użytkowników w przypadku każdego eksperymentu, w tym eksperymentów zduplikowanych.
W sekcji Warianty skonfiguruj podstawową wiadomość w aplikacji, która ma być wysyłana do grupy podstawowej, korzystając z interfejsu projektowania wiadomości używanego w przypadku zwykłej kampanii wiadomości w aplikacji.
Aby dodać wariant do eksperymentu, kliknij Dodaj wariant. Domyślnie eksperymenty mają 1 punkt odniesienia i 1 wariant.
(Opcjonalnie) Wpisz bardziej opisową nazwę każdego wariantu.
(Opcjonalnie) U góry sekcji Warianty kliknij przycisk Porównaj warianty, aby porównać co najmniej 1 wariant wiadomości z wiadomością podstawową.
Określ dane celu, które mają być używane w eksperymencie do oceny wariantów eksperymentu, oraz wszelkie dodatkowe dane, których chcesz użyć z listy. Te dane obejmują wbudowane cele (zaangażowanie, zakupy, przychody, utrzymanie użytkowników itp.), Analytics zdarzenia konwersji i inne Analytics zdarzenia.
Skonfiguruj harmonogram eksperymentu:
- Ustaw Datę rozpoczęcia i Datę zakończenia eksperymentu.
- Ustaw sposób wywoływania wiadomości w aplikacji we wszystkich wariantach.
Aby zapisać eksperyment, kliknij Sprawdź.
W każdym projekcie możesz mieć maksymalnie 300 eksperymentów, z czego maksymalnie 24 mogą być aktywne, a pozostałe mogą być wersjami roboczymi lub zakończonymi.
Sprawdzanie eksperymentu na urządzeniu testowym
W przypadku każdej instalacji Firebase możesz pobrać powiązany z nią token uwierzytelnienia instalacji. Możesz użyć tego tokena, aby przetestować określone warianty eksperymentu na urządzeniu testowym z zainstalowaną aplikacją. Aby sprawdzić eksperyment na urządzeniu testowym:
- Pobierz token uwierzytelnienia instalacji w ten sposób:
Swift
do { let result = try await Installations.installations() .authTokenForcingRefresh(true) print("Installation auth token: \(result.authToken)") } catch { print("Error fetching token: \(error)") }
Objective-C
[[FIRInstallations installations] authTokenForcingRefresh:true completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) { if (error != nil) { NSLog(@"Error fetching Installation token %@", error); return; } NSLog(@"Installation auth token: %@", [result authToken]); }];
Java
FirebaseInstallations.getInstance().getToken(/* forceRefresh */true) .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() { @Override public void onComplete(@NonNull Task<InstallationTokenResult> task) { if (task.isSuccessful() && task.getResult() != null) { Log.d("Installations", "Installation auth token: " + task.getResult().getToken()); } else { Log.e("Installations", "Unable to get Installation auth token"); } } });
Kotlin
val forceRefresh = true FirebaseInstallations.getInstance().getToken(forceRefresh) .addOnCompleteListener { task -> if (task.isSuccessful) { Log.d("Installations", "Installation auth token: " + task.result?.token) } else { Log.e("Installations", "Unable to get Installation auth token") } }
Sieć
import { getInstallations, getToken } from "firebase/installations"; const installations = getInstallations(app); const installationAuthToken = getToken(installations);
- Na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B.
- Kliknij Wersja robocza (lub Aktywny w przypadku eksperymentów Zdalnej konfiguracji), najedź kursorem na eksperyment, kliknij menu kontekstowe (more_vert), a następnie kliknij Zarządzaj urządzeniami testowymi.
- Wpisz token uwierzytelnienia instalacji urządzenia testowego i wybierz wariant eksperymentu, który ma zostać wysłany na to urządzenie.
- Uruchom aplikację i sprawdź, czy wybrany wariant jest odbierany na urządzeniu testowym.
Więcej informacji o instalacjach Firebase znajdziesz w artykule Zarządzanie instalacjami Firebase.
Zarządzanie eksperymentem
Niezależnie od tego, czy utworzysz eksperyment za pomocą Remote Config, narzędzia do tworzenia powiadomień czy Firebase In-App Messaging, możesz go sprawdzić i uruchomić, monitorować jego działanie oraz zwiększyć liczbę użytkowników uwzględnionych w aktywnym eksperymencie.
Gdy eksperyment się zakończy, możesz zapisać ustawienia używane przez zwycięski wariant, a następnie wdrożyć te ustawienia u wszystkich użytkowników. Możesz też przeprowadzić kolejny eksperyment.
Rozpoczynanie eksperymentu
- W menu nawigacyjnym Firebase konsoli w sekcji DevOps i zaangażowanie kliknij A/B Testing.
- Kliknij Wersja robocza, a następnie kliknij tytuł eksperymentu.
- Aby sprawdzić, czy Twoja aplikacja ma użytkowników, którzy zostaną uwzględnieni w eksperymencie, rozwiń szczegóły wersji roboczej i sprawdź, czy w sekcji Kierowanie i dystrybucja jest liczba większa niż 0% (np. 1% użytkowników spełniających kryteria).
- Aby zmienić eksperyment, kliknij Edytuj.
- Aby rozpocząć eksperyment, kliknij Rozpocznij eksperyment. W danym momencie możesz przeprowadzać maksymalnie 24 eksperymenty na projekt.
Monitorowanie eksperymentu
Gdy eksperyment trwa już jakiś czas, możesz sprawdzić jego postępy i zobaczyć, jakie wyniki uzyskali dotychczasowi uczestnicy.
- W menu nawigacyjnym Firebase konsoli w sekcji DevOps i zaangażowanie kliknij A/B Testing.
Kliknij Aktywny , a następnie kliknij lub wyszukaj tytuł swojego eksperymentu. Na tej stronie możesz wyświetlić różne obserwowane i modelowane statystyki dotyczące aktywnego eksperymentu, w tym:
- % różnicy wobec punktu odniesienia: miara poprawy danych w przypadku danego wariantu w porównaniu z punktem odniesienia. Obliczana przez porównanie zakresu wartości wariantu z zakresem wartości punktu odniesienia.
- Prawdopodobieństwo przekroczenia wartości podstawowej: szacowane prawdopodobieństwo, że dany wariant osiągnie lepsze wyniki niż punkt odniesienia w przypadku wybranych danych.
- observed_metric per user (na użytkownika): na podstawie wyników eksperymentu, jest to przewidywany zakres, w którym wartość danych będzie się mieścić w czasie.
- Total observed_metric (obserwowane dane łącznie): obserwowana wartość skumulowana punktu odniesienia lub wariantu. Ta wartość służy do pomiaru skuteczności każdego wariantu eksperymentu oraz do obliczania poprawy, zakresu wartości, prawdopodobieństwa przekroczenia wartości podstawowej i prawdopodobieństwa bycia najlepszym wariantem. W zależności od mierzonych danych ta kolumna może mieć nazwę „Czas trwania na użytkownika”, „Przychody na użytkownika”, „Współczynnik utrzymania użytkowników” lub „Współczynnik konwersji”.
Gdy eksperyment trwa już jakiś czas (co najmniej 7 dni w przypadku FCM i In-App Messaging lub 14 dni w przypadku Remote Config), dane na tej stronie wskazują, który wariant (jeśli w ogóle) jest „liderem”. Niektórym pomiarom towarzyszy wykres słupkowy, który przedstawia dane w formacie wizualnym.
Wdrażanie eksperymentu u wszystkich użytkowników
Gdy eksperyment trwa już wystarczająco długo, aby można było określić „lidera” lub zwycięski wariant na podstawie danych celu, możesz wdrożyć eksperyment u wszystkich użytkowników. Oznacza to, że możesz wybrać wariant, który będzie wyświetlany wszystkim użytkownikom. Możesz to zrobić także w przypadku, gdy eksperyment nie wyłoni zdecydowanego zwycięzcy.
- W menu nawigacyjnym Firebase konsoli w sekcji DevOps i zaangażowanie kliknij A/B Testing.
- Kliknij Zakończony lub Aktywny, kliknij eksperyment, który chcesz wdrożyć u wszystkich użytkowników, kliknij menu kontekstowe () Wdróż wariant.
Wdróż eksperyment u wszystkich użytkowników, wykonując jedną z tych czynności:
- W przypadku eksperymentu, który korzysta z narzędzia do tworzenia powiadomień, użyj okna Wdróż wiadomość, aby wysłać wiadomość do pozostałych docelowych użytkowników, którzy nie brali udziału w eksperymencie.
- W przypadku eksperymentu Remote Config wybierz wariant, aby określić, które Remote Config wartości parametrów należy zaktualizować. Kryteria kierowania wybrane podczas tworzenia eksperymentu zostaną dodane jako nowy warunek do Twojego szablonu, aby zapewnić wdrożenie wariantu tylko w przypadku użytkowników, na których kierowany jest dany eksperyment. Kliknij Weryfikacja ze Zdalną konfiguracją , aby przejrzeć zmiany, a następnie Opublikuj zmiany , aby zakończyć wdrożenie.
- W przypadku eksperymentu In-App Messaging użyj okna, aby określić, który wariant ma zostać wdrożony jako samodzielna In-App Messaging kampania. Po wybraniu wariantu nastąpi przekierowanie do ekranu tworzenia wiadomości w aplikacji, na którym możesz wprowadzić zmiany (jeśli są wymagane) przed opublikowaniem.
Rozszerzanie eksperymentu
Jeśli okaże się, że eksperyment nie przyciąga wystarczającej liczby użytkowników, aby A/B Testing mogły wyłonić najlepszy wariant, możesz zwiększyć dystrybucję eksperymentu, aby dotrzeć do większego odsetka użytkowników aplikacji.
- W menu nawigacyjnym Firebase konsoli w sekcji DevOps i zaangażowanie kliknij A/B Testing.
- Wybierz aktywny eksperyment, który chcesz edytować.
- W sekcji Podsumowanie eksperymentu kliknij menu kontekstowe (), a następnie kliknij Edytuj aktywny eksperyment.
- W oknie Kierowanie wyświetla się opcja zwiększenia odsetka użytkowników, którzy biorą udział w aktywnym eksperymencie. Wybierz liczbę większą niż bieżący odsetek i kliknij Opublikuj. Eksperyment zostanie wdrożony u określonego odsetka użytkowników.
Duplikowanie lub zatrzymywanie eksperymentu
- W menu nawigacyjnym Firebase konsoli w sekcji DevOps i zaangażowanie kliknij A/B Testing.
- Kliknij Zakończony lub Aktywny, najedź kursorem na eksperyment, kliknij menu kontekstowe (), a następnie kliknij Duplikuj eksperyment lub Zatrzymaj eksperyment.
Kierowanie na użytkowników
Użytkowników, którzy mają zostać uwzględnieni w eksperymencie, możesz wybrać na podstawie tych kryteriów kierowania na użytkowników.
| Kryterium kierowania | Operator(-y) | Wartość(-i) | Notatka |
|---|---|---|---|
| Wersja | zawiera,
nie zawiera, dokładnie pasuje, zawiera wyrażenie regularne |
Wpisz wartość co najmniej 1 wersji aplikacji, którą chcesz uwzględnić w eksperymencie. |
Jeśli używasz operatorów zawiera, nie zawiera lub dokładnie pasuje, możesz podać listę wartości rozdzielonych przecinkami. Jeśli używasz operatora zawiera wyrażenie regularne, możesz tworzyć wyrażenia regularne w formacie RE2. Wyrażenie regularne może pasować do całości lub części docelowego ciągu znaków wersji. Możesz też użyć kotwic ^ i $, aby dopasować odpowiednio początek, koniec lub całość ciągu docelowego. |
| Odbiorcy | zawiera wszystkie,
zawiera przynajmniej jeden, nie zawiera wszystkich, nie zawiera przynajmniej jednego |
Wybierz co najmniej 1 listę odbiorców Analytics, aby kierować reklamy na użytkowników, którzy mogą zostać uwzględnieni w eksperymencie. | Gromadzenie danych w niektórych eksperymentach, które są kierowane na listy odbiorców Google Analytics, może potrwać a kilka dni, ponieważ podlegają one Analytics opóźnieniu przetwarzania danych. Najprawdopodobniej opóźnienie wystąpi w przypadku nowych użytkowników, którzy są zwykle dodawani do kwalifikujących się list odbiorców 24–48 godzin po utworzeniu, lub w przypadku niedawno utworzonych list odbiorców. |
| Właściwość użytkownika | W przypadku tekstu:
zawiera, nie zawiera, dokładnie pasuje, zawiera wyrażenie regularne W przypadku liczb: <, ≤, =, ≥, > |
Właściwość użytkownika Analytics służy do wybierania użytkowników, którzy mogą zostać uwzględnieni
w eksperymencie, z zakresem opcji wybierania wartości właściwości użytkownika.
Po stronie klienta możesz ustawiać tylko wartości ciągu znaków dla właściwości użytkownika. W przypadku warunków, które używają operatorów numerycznych, usługa Remote Config konwertuje wartość odpowiedniej właściwości użytkownika na liczbę całkowitą lub zmiennoprzecinkową. |
Jeśli używasz operatora zawiera wyrażenie regularne, możesz tworzyć wyrażenia regularne w formacie RE2. Wyrażenie regularne może pasować do całości lub części docelowego ciągu znaków wersji. Możesz też użyć kotwic ^ i $, aby dopasować odpowiednio początek, koniec lub całość ciągu docelowego. |
| Kraj/region | Nie dotyczy | Co najmniej 1 kraj lub region służący do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie. | |
| Języki | Nie dotyczy | Co najmniej 1 język i ustawienia regionalne służące do wybierania użytkowników, którzy mogą zostać uwzględnieni w eksperymencie. | |
| Pierwsze uruchomienie |
Więcej niż
Mniej niż Pomiędzy |
Kierowanie na użytkowników na podstawie tego, że po raz pierwszy uruchomili Twoją aplikację, określone w dniach. | |
| Ostatnia interakcja z aplikacją |
Więcej niż
Mniej niż Pomiędzy |
Kierowanie na użytkowników na podstawie tego, kiedy ostatni raz weszli w interakcję z Twoją aplikacją, określone w dniach. |
A/B Testing dane
Podczas tworzenia eksperymentu wybierasz podstawowe dane lub dane celu , które służą do określania zwycięskiego wariantu. Warto też śledzić inne dane, aby lepiej zrozumieć skuteczność każdego wariantu eksperymentu i śledzić ważne trendy, które mogą się różnić w zależności od wariantu, takie jak utrzymanie użytkowników, stabilność aplikacji i przychody z zakupów w aplikacji. W eksperymencie możesz śledzić maksymalnie 5 danych innych niż dane celu.
Załóżmy na przykład, że dodajesz do aplikacji nowe zakupy w aplikacji i chcesz porównać skuteczność 2 różnych wiadomości „zachęcających”. W takim przypadku możesz ustawić Przychody z zakupów jako dane celu, ponieważ chcesz, aby zwycięski wariant reprezentował powiadomienie, które przyniosło najwyższe przychody z zakupów w aplikacji. Ponieważ chcesz też śledzić, który wariant spowodował więcej przyszłych konwersji i utrzymał użytkowników, możesz dodać te dane w sekcji Inne dane do śledzenia:- Szacunkowe łączne przychody , aby sprawdzić, jak łączna wartość przychodów z zakupów w aplikacji i reklam różni się w przypadku 2 wariantów.
- Utrzymanie użytkowników (1 dzień), Utrzymanie użytkowników (2–3 dni), Utrzymanie użytkowników (4–7 dni), aby śledzić dzienne i tygodniowe utrzymanie użytkowników.
W tabelach poniżej znajdziesz szczegółowe informacje o sposobie obliczania danych celu i innych danych.
Dane celu
| Dane | Opis |
|---|---|
| Użytkownicy, u których nie wystąpił błąd | Odsetek użytkowników, u których nie wystąpiły błędy w aplikacji wykryte przez pakiet Firebase Crashlytics SDK podczas eksperymentu.
Uwaga: Firebase Crashlytics nie jest obsługiwany w przypadku aplikacji internetowych. |
| Szacunkowe przychody z reklam | Szacunkowe zarobki z reklam. |
| Szacunkowe łączne przychody | Łączna wartość przychodów z zakupów i szacunkowych przychodów z reklam. |
| Przychody z zakupów | Łączna wartość wszystkich purchase i
in_app_purchase zdarzeń.
|
| Utrzymanie użytkowników (1 dzień) | Liczba użytkowników, którzy codziennie wracają do Twojej aplikacji. |
| Utrzymanie użytkowników (2–3 dni) | Liczba użytkowników, którzy wracają do Twojej aplikacji w ciągu 2–3 dni. |
| Utrzymanie użytkowników (4–7 dni) | Liczba użytkowników, którzy wracają do Twojej aplikacji w ciągu 4–7 dni. |
| Utrzymanie użytkowników (8–14 dni) | Liczba użytkowników, którzy wracają do Twojej aplikacji w ciągu 8–14 dni. |
| Utrzymanie użytkowników (15 dni lub więcej) | Liczba użytkowników, którzy wracają do Twojej aplikacji po co najmniej 15 dniach od ostatniego użycia. |
| first_open | Zdarzenie Analytics, które jest wywoływane, gdy użytkownik po raz pierwszy otwiera aplikację po zainstalowaniu lub ponownym zainstalowaniu. Używane jako część ścieżki konwersji. |
Inne dane
| Dane | Opis |
|---|---|
| notification_dismiss | Zdarzenie Analytics, które jest wywoływane, gdy powiadomienie wysłane przez narzędzie do tworzenia powiadomień zostanie odrzucone (tylko na Androidzie). |
| notification_receive | Zdarzenie Analytics, które jest wywoływane, gdy powiadomienie wysłane przez narzędzie do tworzenia powiadomień nadejdzie w czasie, kiedy aplikacja działa w tle (tylko na Androidzie). |
| os_update | Zdarzenie Analytics śledzące, kiedy system operacyjny urządzenia jest
aktualizowany do nowej wersji.Więcej informacji znajdziesz w artykule Zdarzenia
rejestrowane automatycznie.
Ten wskaźnik nie jest obsługiwany w przypadku aplikacji internetowych. |
| screen_view | Zdarzenie Analytics śledzące ekrany wyświetlane w aplikacji. Więcej informacji znajdziesz w artykule Śledzenie wyświetleń ekranu. |
| session_start | Zdarzenie Analytics zliczające sesje użytkowników w aplikacji. Aby dowiedzieć się więcej, zobacz Zdarzenia rejestrowane automatycznie. |