Kalkulator A/B Test - Hitung Signifikansi Statistik & Lift
Evaluasi hasil eksperimen A/B testing Kamu. Hitung conversion rate, lift, z-score, dan tentukan apakah perbedaan performa varian signifikan secara statistik.
Rumus A/B Test
Z = (pā - pā) / ā[p(1-p)(1/nā + 1/nā)]Keterangan:
- pā= Conversion Rate Varian A(contoh: 20%)
- pā= Conversion Rate Varian B(contoh: 25%)
- nā= Sampel Varian A(contoh: 1000)
- nā= Sampel Varian B(contoh: 1000)
- Z= Z-Score (Signifikansi)(contoh: > 1.96)
Cara Menggunakan Kalkulator A/B Test
- 1
Input Data Varian A
Masukkan jumlah konversi (goal) dan total sampel (pengunjung) untuk varian kontrol.
- 2
Input Data Varian B
Masukkan data yang sama untuk varian eksperimen (penantang).
- 3
Analisis Hasil
Lihat Lift (kenaikan) dan Z-Score. Jika Z-Score > 1.96, perbedaannya signifikan (Confidence 95%).
Contoh Perhitungan
Uji Signifikansi (Menang)
Soal:
A: 100/1000 konversi. B: 130/1000 konversi.
Penyelesaian:
- 1.Rate A = 10%
- 2.Rate B = 13%
- 3.Lift = +30%
- 4.Hitung Z-Score...
Hasil:Z-Score: 2.16 (Signifikan)
Varian B menang dengan kenaikan 30% yang signifikan.
Hasil Tidak Signifikan
Soal:
A: 50/1000 konversi. B: 55/1000 konversi.
Penyelesaian:
- 1.Rate A = 5%
- 2.Rate B = 5.5%
- 3.Lift = +10%
- 4.Hitung Z-Score...
Hasil:Z-Score: 0.72 (Tidak Signifikan)
Meskipun ada kenaikan 10%, secara statistik belum cukup bukti untuk menyatakan Varian B lebih baik (butuh sampel lebih banyak).
Pertanyaan yang Sering Diajukan (FAQ)
Apa itu Z-Score?
Ukuran statistik yang menunjukkan seberapa jauh hasil menyimpang dari rata-rata. Z > 1.96 berarti 95% percaya bedanya bukan kebetulan.
Berapa sampel yang dibutuhkan?
Tergantung pada baseline conversion rate dan lift yang diharapkan. Gunakan kalkulator Sample Size kami.
Bagaimana cara menginterpretasikan Lift?
Lift menunjukkan persentase kenaikan atau penurunan performa Varian B dibandingkan Varian A. Lift positif berarti peningkatan, negatif berarti penurunan.
Berapa lama durasi ideal untuk menjalankan A/B Test?
Idealnya minimal 1-2 siklus bisnis penuh (biasanya 2-4 minggu) untuk mengakomodasi fluktuasi harian dan mingguan, serta mencapai ukuran sampel yang cukup.
Apa bedanya signifikansi statistik dan praktis?
Signifikansi statistik memastikan perbedaan bukan karena kebetulan, sedangkan signifikansi praktis melihat apakah perbedaan tersebut cukup besar untuk berdampak nyata pada bisnis atau biaya implementasi.
Apa arti Confidence Level 90%, 95%, dan 99%?
Tingkat kepercayaan bahwa hasil bukan kebetulan. 95% adalah standar industri (Z > 1.96). 90% lebih longgar (Z > 1.645), dan 99% lebih ketat (Z > 2.576) untuk keputusan berisiko tinggi.
Apa asumsi yang digunakan dalam perhitungan ini?
Asumsi utama adalah independensi sampel dan distribusi normal (untuk ukuran sampel besar). Pastikan data dikumpulkan secara acak dan tidak bias.