HesapHanem

A/B Test Anlamlılık Hesaplama

A/B test sonucunuzun istatistiksel olarak anlamlı olup olmadığını kontrol edin.

Nasıl hesaplanır?

Araç iki oran için z testi uygular. Dönüşüm oranları pA = cA / nA ve pB = cB / nB'dir; n her varyanttaki ziyaretçi, c dönüşüm sayısıdır. Birleşik oran p = (cA + cB) / (nA + nB), standart hata SE = √(p(1 − p)(1/nA + 1/nB)) ve z = (pB − pA) / SE olur. Gösterilen artış, yüzde olarak (pB − pA) / pA'dır. A'da hiç dönüşüm yoksa (%0 taban) göreli artış tanımsızdır ve "—" olarak gösterilir.

Karar sabittir: |z| ≥ 1,96 (iki yönlü %95 düzeyi) istatistiksel olarak anlamlı, daha küçük değerler anlamlı değil olarak bildirilir. p değeri gösterilmez. Dönüşümler ziyaretçi sayısını aşamaz ve ziyaretçi sayıları sıfırdan büyük olmalıdır. Test, ziyaretçilerin rastgele bölündüğünü ve örneklem büyüklüğünün önceden belirlendiğini varsayar.

Örnek hesaplama

A varyantı: 5.000 ziyaretçi, 250 dönüşüm, yani pA = %5,00. B varyantı: 5.000 ziyaretçi, 300 dönüşüm, yani pB = %6,00. Birleşik oran 550 / 10.000 = %5,5 olup SE ≈ 0,00456 çıkar. 0,01'lik fark buna bölününce z ≈ 2,19 bulunur. Artış 1 / 5 = %20,00. 2,19 değeri 1,96'nın üstünde olduğundan karar İstatistiksel olarak anlamlı olur. Aynı oranlarla varyant başına yalnızca 1.000 ziyaretçi olsaydı z 0,98'e düşer ve sonuç anlamlı olmazdı.

Bu örneği dene →

Sık yapılan hatalar

  • Dönüşüm alanına dönüşüm oranı yazmak. Alan sayı ister (250), yüzde değil (5).
  • Sonuç anlamlı çıkar çıkmaz testi durdurmak. Sürekli bakıp erken bitirmek yanlış pozitifleri artırır; örneklem büyüklüğünü önceden belirleyin.
  • %20,00 artışı yüzde puan sanmak. Bu göreli bir artıştır: %5'ten %6'ya çıkmak 1 puanlık kazançtır, göreli olarak %20 eder.
  • Anlamlı sonucu değişikliğin büyük ya da değerli olduğunun kanıtı saymak. Yalnızca bu eşikte farkın tesadüf olma ihtimalinin düşük olduğunu söyler.
  • Eşit olmayan ya da rastgele olmayan trafik bölmelerinden toplamlar girmek veya geri dönen ziyaretçileri iki kez saymak; testin varsaydığı bağımsızlığı bozar.

Bu hesaplama hakkında

Bu hesaplayıcı, iki dönüşüm oranı arasındaki farkın istatistiksel olarak anlamlı olup olmadığını kontrol etmek için iki oranlı z-testi çalıştırır; her iki örneklem büyüklüğünden ve dönüşüm sayısından ortak (pooled) standart hata hesaplanır, ardından elde edilen z-skoru, %95 güven düzeyinde (çift yönlü) anlamlılık sınırı olan 1,96 ile karşılaştırılır.

Ürün yöneticileri, büyüme pazarlamacıları ve UX araştırmacıları, bir açılış sayfası, e-posta konu başlığı veya ödeme akışı üzerinde yaptıkları A/B testinin ardından dönüşümlerdeki artışın gerçek mi yoksa rastgele bir sapma mı olduğuna karar vermek için bunu kullanır.

Bu faydalı oldu mu?

En fazla 3 tepki seçebilirsiniz.

Yorumlar (1)

  • Editör ekibi

    Örneklem büyüklüğünü ve bitiş tarihini teste başlamadan önce belirleyin. Sonucu her gün kontrol edip karar anlamlıya döner dönmez durdurmak yanlış pozitifleri artırır, çünkü bu tek seferlik z testi yalnızca bir bakış varsayar. Araç sadece yüzde 95 çift yönlü kararı verir; artışın önemli olacak kadar büyük olup olmadığı hakkında bir şey söylemez. Testlerinizi yürütürken sonuca erken bakma konusunu nasıl ele alıyorsunuz?

Popüler hesaplayıcılar

Kredi Hesaplama

Aylık taksit, toplam faiz ve ödeme planını hesaplayın.

Yüzde Hesaplama

Yüzde değişim, indirim ve oran hesaplamaları.

İndirim Hesaplama

İndirimli fiyatı, kazancı ve indirim tutarını hesaplayın.

Vücut Kitle Endeksi (VKİ)

Boy ve kiloya göre vücut kitle endeksini hesaplayın.

Yaş Hesaplama

Doğum tarihinden bugüne tam yıl, ay ve gün cinsinden yaşınızı hesaplayın.

Bileşik Faiz Hesaplama

Ana para, faiz oranı ve süreye göre bileşik faizle nihai tutarı hesaplayın.

Tüm Hesaplayıcılar