Bu sayfada, test sonuçlarınızın alaka düzeyini ve faydasını en üst düzeye çıkarmanıza yardımcı olmak için Firebase A/B Testing aracının işleyiş şekli hakkında ayrıntılı bilgiler verilmektedir.
Örnek boyutu
Firebase A/B Testing çıkarımı, deneme başlatılmadan önce minimum örnek boyutunun belirlenmesini gerektirmez. Genel olarak, kendinizi rahat hissettiğiniz en büyük deneme gösterim düzeyini seçmelisiniz. Özellikle varyantlar arasındaki performans farkları küçük olduğunda, daha büyük örneklem boyutları istatistiksel olarak anlamlı bir sonuç bulma şansını artırır. Denemenizin özelliklerine göre önerilen örneklem boyutunu bulmak için online örneklem boyutu hesaplayıcıdan da yararlanabilirsiniz.
Denemeleri düzenleme
Çalışan denemelerin seçili parametrelerini düzenleyebilirsiniz. Bu parametreler şunlardır:
- Deneme adı
- Açıklama
- Hedefleme koşulları
- Varyant değerleri
Bir denemeyi düzenlemek için:
- Firebase konsolunda DevOps ve Etkileşim > A/B Testi'ne gidin.
- Değiştirmek istediğiniz denemenin sonuçlar sayfasını açın.
- Diğer menüsünden Çalışan denemeyi düzenle'yi seçin.
- Değişikliklerinizi yapıp Yayınla'yı tıklayın.
Çalışan bir deneme sırasında uygulamanın davranışını değiştirmenin sonuçları etkileyebileceğini unutmayın.
Remote Config varyant atama mantığı
Tüm deneme hedefleme koşullarını (yüzde gösterim koşulu dahil) karşılayan kullanıcılar, varyant ağırlıklarına ve deneme kimliği ile kullanıcının Firebase yükleme kimliğinin karmasına göre deneme varyantlarına atanır.
Google Analytics Kitleler gecikmeye tabidir ve bir kullanıcı kitle ölçütlerini ilk karşıladığında hemen kullanılamaz:
- Yeni bir kitle oluşturduğunuzda, kitlenin yeni kullanıcılar toplaması 24-48 saat sürebilir.
- Yeni kullanıcılar, uygunluk kazandıktan genellikle 24-48 saat sonra uygun kitlelere kaydedilir.
Zamana duyarlı hedefleme için Google Analytics kullanıcı özelliklerini veya ülke ya da bölge, dil ve uygulama sürümü gibi yerleşik hedefleme seçeneklerini kullanabilirsiniz.
Bir denemeye giren kullanıcı, deneme varyantına kalıcı olarak atanır ve deneme etkin kaldığı sürece denemeden parametre değerleri alır. Bu durum, kullanıcının kullanıcı özellikleri değişse ve artık deneme hedefleme ölçütlerini karşılamasa bile geçerlidir.
Etkinleştirme etkinlikleri
Deneme etkinleştirme etkinlikleri, deneme ölçümünü etkinleştirme etkinliğini tetikleyen uygulama kullanıcılarıyla sınırlandırır. Deneme etkinleştirme etkinliğinin, uygulama tarafından getirilen deneme parametreleri üzerinde herhangi bir etkisi yoktur. Deneme hedefleme ölçütlerini karşılayan tüm kullanıcılar deneme parametrelerini alır. Bu nedenle, deneme parametreleri getirilip etkinleştirildikten sonra ancak deneme parametreleri uygulamanın davranışını değiştirmek için kullanılmadan önce gerçekleşen bir etkinleştirme etkinliği seçmek önemlidir.
Varyant ağırlıkları
Deneme oluşturma sırasında, deneme kullanıcılarının daha büyük bir yüzdesini bir varyanta yerleştirmek için varsayılan varyant ağırlıklarını değiştirmek mümkündür.
Test sonuçlarını yorumlama
Firebase A/B Testing, deneme sonuçlarınızın yalnızca tesadüfen ortaya çıkma olasılığını anlamanıza yardımcı olmak için frekansçı çıkarımı kullanır. Bu olasılık, olasılık değeri veya p değeri ile temsil edilir. p değeri, iki varyant arasında bu kadar büyük veya daha büyük bir performans farkının, aslında hiçbir etki yoksa rastgele bir şans nedeniyle ortaya çıkma olasılığıdır. 0 ile 1 arasında bir değerle ölçülür. A/B Testing, 0,05 anlamlılık düzeyi kullanır.Bu sayede:
- 0,05'ten küçük bir p değeri, gerçek fark sıfırsa bu kadar uç bir farkın rastgele gerçekleşme olasılığının %5'ten az olduğunu gösterir. Eşik 0,05 olduğundan, 0,05'ten küçük p değerleri varyantlar arasında istatistiksel olarak önemli bir fark olduğunu gösterir.
- 0,05'ten büyük bir p değeri, varyantlar arasındaki farkın istatistiksel olarak önemli olmadığını gösterir.
Deneme verileri günde bir kez yenilenir ve son güncelleme zamanı, deneme sonuçları sayfasının üst kısmında gösterilir.
Deneme sonuçları grafiğinde, seçilen metriğin kümülatif ortalama değerleri gösterilir. Örneğin, metrik olarak kullanıcı başına reklam gelirini izliyorsanız kullanıcı başına gözlemlenen geliri gösterir. Kilitlenme yaşamayan kullanıcıları izliyorsanız kilitlenme yaşamayan kullanıcıların yüzdesini izler. Bu veriler, denemenin başlangıcından itibaren kümülatiftir.
Sonuçlar Gözlemlenen veriler ve Çıkarım verileri olarak ikiye ayrılır. Gözlemlenen veriler doğrudan Google Analytics verilerine göre hesaplanır. Çıkarım verileri ise gözlemlenen verilerin istatistiksel önemini değerlendirmenize yardımcı olmak için p değerleri ve güven aralıkları sağlar.
Her metrik için aşağıdaki istatistikler gösterilir:
Gözlemlenen veriler
- İzlenen metriğin toplam değeri (elde tutulan kullanıcı sayısı, kilitlenme yaşayan kullanıcı sayısı, toplam gelir)
- Metriğe özel oran (elde tutma oranı, dönüşüm oranı, kullanıcı başına gelir)
- Varyant ile referans arasındaki yüzde farkı (artış)
Çıkarım verileri
%95 GA (Ortalamalardaki fark), izlenen metriğin "gerçek" değerini %95 güvenle içeren bir aralık gösterir. Örneğin, denemeniz tahmini toplam gelir için 5 ABD doları ile 10 ABD doları arasında %95 güven aralığı ile sonuçlanırsa ortalamalar arasındaki gerçek farkın 5 ABD doları ile 10 ABD doları arasında olma olasılığı %95'tir. CI aralığı 0'ı içeriyorsa varyant ile referans arasında istatistiksel olarak anlamlı bir fark tespit edilmemiştir.
Güven aralığı değerleri, izlenen metrikle eşleşen biçimde görünür. Örneğin, kullanıcıları elde tutma için süre (
HH:MM:SScinsinden), kullanıcı başına reklam geliri için ABD doları ve dönüşüm oranı için yüzde.P değeri, varyant ile referans değer arasında gerçek bir fark olmadığı varsayıldığında, denemede elde edilen sonuçlar kadar uç verilerin gözlemlenme olasılığını temsil eder. P değeri ne kadar düşük olursa denemeyi tekrarladığımızda gözlemlenen performansın doğru kalacağına dair güven o kadar yüksek olur. 0,05 veya daha düşük bir değer, önemli bir fark olduğunu ve sonuçların şans eseri ortaya çıkma olasılığının düşük olduğunu gösterir. P değerleri, varyant değerinin referans değerden daha yüksek olduğu tek yönlü teste dayanır. Firebase, sürekli değişkenler (gelir gibi sayısal değerler) için eşit olmayan varyans t testi, dönüşüm verileri (kullanıcıları elde tutma, kilitlenmeyen kullanıcılar, Google Analytics etkinliğini tetikleyen kullanıcılar gibi ikili değerler) için ise oranların z testi yöntemini kullanır.
Deneme sonuçları, her deneme varyantı için önemli bilgiler sağlar. Örneğin:
- Her bir deneme metriğinin, doğrudan ölçülen (yani gerçekte gözlemlenen veriler) referans değerden ne kadar yüksek veya düşük olduğu
- Varyant ile referans arasında gözlemlenen farkın rastgele bir şans (p değeri) nedeniyle ortaya çıkma olasılığı
- Her bir deneme metriği için varyant ile referans arasındaki "gerçek" performans farkını içermesi muhtemel bir aralık. Bu aralık, "en iyi" ve "en kötü" performans senaryolarını anlamanın bir yoludur.
Lider belirleme
Frekansçı çıkarım kullanan denemelerde Firebase, hedef metriğinde varyant ile referans değer arasında istatistiksel olarak önemli bir performans farkı varsa varyantın lider olduğunu bildirir. Birden fazla varyant bu ölçütü karşılıyorsa en düşük p değerine sahip varyant seçilir.
Lider belirleme yalnızca birincil hedefe dayalı olduğundan, lider varyantı kullanıma sunup sunmamaya karar vermeden önce tüm ilgili faktörleri göz önünde bulundurmalı ve ikincil metriklerin sonuçlarını incelemelisiniz. Değişiklik yapmanın beklenen avantajını, olumsuz riskini (ör. iyileştirme için güven aralığının alt ucu) ve birincil hedef dışındaki metrikler üzerindeki etkisini göz önünde bulundurmanız önerilir.
Örneğin, birincil metriğiniz kilitlenme yaşamayan kullanıcılar ise ve A varyantı, referans değerin açık ara önündeyse ancak A varyantının kullanıcıları elde tutma metrikleri referans değerin gerisindeyse A varyantını daha geniş bir kitleye sunmadan önce daha fazla araştırma yapmanız gerekebilir.
Hem birincil hem de ikincil metriklerdeki performansla ilgili genel değerlendirmenize göre yalnızca lider varyantı değil, herhangi bir varyantı kullanıma sunabilirsiniz.
Deneme süresi
Firebase, aşağıdaki koşullar karşılanana kadar denemenin çalışmaya devam etmesini önerir:
- Deneme, faydalı bir sonuç sağlamak için yeterli veriyi topladı. Denemeler ve sonuç verileri günde bir kez güncellenir. Denemeniz için önerilen örneklem boyutunu değerlendirmek üzere online bir örneklem boyutu hesaplayıcıya başvurabilirsiniz.
- Deneme, kullanıcılarınızın temsili bir örneğini oluşturacak ve uzun vadeli performansı ölçecek kadar uzun süre çalıştırılmıştır. Tipik bir Remote Config denemesi için önerilen minimum çalışma süresi iki haftadır.
Deneme verileri, deneme başlangıcından sonra en fazla 90 gün boyunca işlenir. 90 gün sonra deneme otomatik olarak durdurulur. Deneme sonuçları artık Firebase konsolunda güncellenmez ve deneme, denemeye özel parametre değerleri göndermeyi durdurur. Bu noktada istemciler, Remote Config şablonunda ayarlanan koşullara göre parametre değerlerini getirmeye başlar. Geçmiş deneme verileri, siz denemeyi silene kadar saklanır.
BigQuery şeması
Firebase konsolunda A/B Testing deneme verilerini görüntülemenin yanı sıra BigQuery'da deneme verilerini inceleyip analiz edebilirsiniz. A/B Testing için ayrı bir BigQuery tablosu olmasa da deneme ve varyant üyelikleri, Analytics etkinlik tablolarındaki her Google Analytics etkinliğinde depolanır.
Deneme bilgilerini içeren kullanıcı özellikleri userProperty.key like "firebase_exp_%" veya userProperty.key =
"firebase_exp_01" biçimindedir. Burada 01, deneme kimliğidir ve userProperty.value.string_value, deneme varyantının (sıfır tabanlı) dizinini içerir.
Deneme verilerini ayıklamak için bu deneme kullanıcı özelliklerini kullanabilirsiniz. Bu sayede, deneme sonuçlarınızı birçok farklı şekilde dilimleyebilir ve A/B Testing sonuçlarını bağımsız olarak doğrulayabilirsiniz.
Başlamak için bu kılavuzda açıklandığı şekilde aşağıdakileri tamamlayın:
- Firebase konsolunda Google Analytics için BigQuery dışa aktarmayı etkinleştirin
- BigQuery kullanarak A/B Testing verilerine erişme
- Örnek sorguları inceleme
Firebase konsolunda Google Analytics için BigQuery dışa aktarmayı etkinleştirin
Spark planını kullanıyorsanız korumalı alan sınırlarına tabi olmak kaydıyla BigQuery hizmetine ücretsiz erişmek için BigQuery korumalı alanını kullanabilirsiniz. Daha fazla bilgi için Fiyatlandırma ve BigQuery korumalı alanı bölümüne bakın.
Öncelikle Analytics verilerinizi BigQuery hizmetine aktardığınızdan emin olun:
Firebase konsolunda
Ayarlar > Entegrasyonlar sekmesine gidin.BigQuery kartında Yönet'i tıklayın ve projenizin Analytics verilerini BigQuery hizmetine aktardığını doğrulayın.
Kartta Bağla ifadesi varsa dışa aktarma işlemini ayarlamanız gerekir (sonraki adıma geçin).
Dışa aktarma işlemini ayarlamanız gerekiyorsa:
Firebase'i BigQuery hesabına bağlama hakkında bölümünü inceleyin, ardından İleri'yi tıklayın.
Entegrasyonu yapılandırın bölümünde Google Analytics'yi etkinleştirin.
Bir bölge ve dışa aktarma ayarlarını seçin.
BigQuery ile bağlantı oluştur'u tıklayın.
Verileri nasıl dışa aktarmayı seçtiğinize bağlı olarak tabloların kullanılabilir hale gelmesi bir gün kadar sürebilir. Proje verilerini BigQuery platformuna aktarma hakkında daha fazla bilgi için Proje verilerini BigQuery platformuna aktarma başlıklı makaleyi inceleyin.
BigQuery'de A/B Testing verilerine erişme
Belirli bir denemeyle ilgili verileri sorgulamadan önce, sorgunuzda kullanmak üzere aşağıdakilerin bir kısmını veya tamamını edinmeniz gerekir:
- Deneme kimliği: Bu kimliği Denemeye genel bakış sayfasının URL'sinden alabilirsiniz. Örneğin, URL'niz
https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25şeklindeyse deneme kimliği 25'tir. - Google Analytics mülk kimliği: Bu, 9 haneli Google Analytics mülk kimliğinizdir. Bu kimliği Google Analytics içinde bulabilirsiniz. Ayrıca, Google Analytics etkinlik tablonuzun (
project_name.analytics_000000000.events) adını göstermek için proje adınızı genişlettiğinizde BigQuery içinde de görünür. - Deneme tarihi: Daha hızlı ve daha verimli bir sorgu oluşturmak için sorgularınızı, deneme verilerinizi içeren Google Analytics günlük etkinlik tablosu bölümleriyle (
YYYYMMDDson ekiyle tanımlanan tablolar) sınırlamanız önerilir. Örneğin, denemeniz 2 Şubat 2026 ile 2 Mayıs 2026 arasında çalıştıysa_TABLE_SUFFIX between '20260202' AND '20260502'belirtmeniz gerekir. Örnek için Belirli bir denemenin değerlerini seçme bölümüne bakın. - Etkinlik adları: Bunlar genellikle denemede yapılandırdığınız hedef metriklerinize karşılık gelir. Örneğin,
in_app_purchaseetkinlikleri,ad_impressionveyauser_retentionetkinlikleri.
Sorgunuzu oluşturmak için gereken bilgileri topladıktan sonra:
- Google Cloud konsolunda BigQuery bölümüne gidin.
- Projenizi ve ardından SQL sorgusu oluştur'u seçin.
- Sen de paylaş etiketini ekleyin. Çalıştırılacak örnek sorgular için Örnek sorguları keşfetme başlıklı makaleyi inceleyin.
- Çalıştır'ı tıklayın.
Firebase konsolunun otomatik olarak üretilmiş sorgusunu kullanarak deneme verilerini sorgulama
Blaze planını kullanıyorsanız Denemeye genel bakış sayfasında, görüntülediğiniz denemenin adını, varyantlarını, etkinlik adlarını ve etkinlik sayısını döndüren örnek bir sorgu sunulur.
Otomatik olarak üretilmiş sorguyu almak ve çalıştırmak için:
- Firebase konsolunda DevOps ve Etkileşim > A/B Testi'ne gidin.
- Sorgulamak istediğiniz A/B Testing denemesini seçerek Denemeye genel bakış sayfasını açın.
- Seçenekler menüsünde, BigQuery entegrasyonu bölümünde Deneme verilerini sorgula'yı seçin. Bu işlem, projenizi Google Cloud konsolunda BigQuery içinde açar ve deneme verilerinizi sorgulamak için kullanabileceğiniz temel bir sorgu sağlar.
Aşağıdaki örnekte, "Kış karşılama denemesi" adlı üç varyantı (referans dahil) olan bir deneme için oluşturulan sorgu gösterilmektedir. Bu sorgu, her etkinlik için etkin deneme adını, varyant adını, benzersiz etkinliği ve etkinlik sayısını döndürür. Sorgu oluşturucu doğrudan projenizde açıldığından, tablo adında proje adınızı belirtmez.
/*
This query is auto-generated by Firebase A/B Testing for your
experiment "Winter welcome experiment".
It demonstrates how you can get event counts for all Analytics
events logged by each variant of this experiment's population.
*/
SELECT
'Winter welcome experiment' AS experimentName,
CASE userProperty.value.string_value
WHEN '0' THEN 'Baseline'
WHEN '1' THEN 'Welcome message (1)'
WHEN '2' THEN 'Welcome message (2)'
END AS experimentVariant,
event_name AS eventName,
COUNT(*) AS count
FROM
`analytics_000000000.events_*`,
UNNEST(user_properties) AS userProperty
WHERE
(_TABLE_SUFFIX BETWEEN '20260202' AND '20260502')
AND userProperty.key = 'firebase_exp_25'
GROUP BY
experimentVariant, eventName
Daha fazla sorgu örneği için Örnek sorguları keşfetme bölümüne gidin.
Örnek sorguları inceleme
Aşağıdaki bölümlerde, Google Analytics etkinlik tablolarından A/B Testing deneme verilerini ayıklamak için kullanabileceğiniz sorgu örnekleri verilmiştir.
Tüm denemelerden satın alma ve deneme standart sapma değerlerini ayıklama
Firebase A/B Testing sonuçlarını bağımsız olarak doğrulamak için deneme sonuçları verilerini kullanabilirsiniz. Aşağıdaki BigQuery SQL ifadesi, deneme varyantlarını, her varyanttaki tekil kullanıcı sayısını, in_app_purchase ve ecommerce_purchase etkinliklerinden elde edilen toplam geliri ve _TABLE_SUFFIX başlangıç ve bitiş tarihleri olarak belirtilen zaman aralığındaki tüm denemelerin standart sapmalarını ayıklar. Bu sorgudan elde ettiğiniz verileri, tek kuyruklu t testleri için istatistiksel önem oluşturucuyla birlikte kullanarak Firebase'in sağladığı sonuçların kendi analizinizle eşleştiğini doğrulayabilirsiniz.
A/B Testing aracının çıkarımı nasıl hesapladığı hakkında daha fazla bilgi için Test sonuçlarını yorumlama başlıklı makaleyi inceleyin.
/*
This query returns all experiment variants, number of unique users,
the average USD spent per user, and the standard deviation for all
experiments within the date range specified for _TABLE_SUFFIX.
*/
SELECT
experimentNumber,
experimentVariant,
COUNT(*) AS unique_users,
AVG(usd_value) AS usd_value_per_user,
STDDEV(usd_value) AS std_dev
FROM
(
SELECT
userProperty.key AS experimentNumber,
userProperty.value.string_value AS experimentVariant,
user_pseudo_id,
SUM(
CASE
WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
THEN event_value_in_usd
ELSE 0
END) AS usd_value
FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
CROSS JOIN UNNEST(user_properties) AS userProperty
WHERE
userProperty.key LIKE 'firebase_exp_%'
AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
GROUP BY 1, 2, 3
)
GROUP BY 1, 2
ORDER BY 1, 2;
Belirli bir denemenin değerlerini seçme
Aşağıdaki örnek sorguda, BigQuery içinde belirli bir denemeyle ilgili verilerin nasıl alınacağı gösterilmektedir. Bu örnek sorgu; deneme adını, varyant adlarını (temel dahil), etkinlik adlarını ve etkinlik sayılarını döndürür.
SELECT
'EXPERIMENT_NAME' AS experimentName,
CASE userProperty.value.string_value
WHEN '0' THEN 'Baseline'
WHEN '1' THEN 'VARIANT_1_NAME'
WHEN '2' THEN 'VARIANT_2_NAME'
END AS experimentVariant,
event_name AS eventName,
COUNT(*) AS count
FROM
`analytics_ANALYTICS_PROPERTY.events_*`,
UNNEST(user_properties) AS userProperty
WHERE
(_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
GROUP BY
experimentVariant, eventName
Sınırlar
A/B Testing, 24 etkin deneme dahil olmak üzere toplam 300 denemeyle sınırlıdır. Bu sınırlar Remote Config kullanıma sunma işlemiyle paylaşılır. Örneğin, çalışan iki sunumunuz ve üç denemeniz varsa en fazla 19 ek sunum veya deneme yapabilirsiniz.
Toplam 300 deneme sınırına ulaşırsanız yeni bir deneme oluşturmadan önce mevcut bir denemeyi silmeniz gerekir.
Devam eden 24 deneme ve kullanıma sunma sınırına ulaşırsanız yeni bir deneme veya kullanıma sunma başlatmadan önce devam eden bir denemeyi ya da kullanıma sunmayı durdurmanız gerekir.
Bir denemede en fazla 8 varyant (referans dahil) ve her varyant için en fazla 25 parametre olabilir. Bir denemenin boyutu yaklaşık 200 KiB olabilir. Buna varyant adları, varyant parametreleri ve diğer yapılandırma meta verileri dahildir.