A/B Testing — jak testować hipotezy

A/B Testing to eksperyment gdzie pokazujesz różnym użytkownikom różne wersje produktu i mierzysz która działa lepiej. To naukowa metoda podejmowania decyzji produktowych.

Jak działa A/B Test

1. Hipoteza
"Zmiana koloru CTA button z niebieskiego na zielony zwiększy conversion o 10%"

2. Warianty

• Control (A): Obecna wersja (niebieski button)
• Variant (B): Nowa wersja (zielony button)

3. Split traffic
50% użytkowników widzi A, 50% widzi B (losowo)

4. Mierzenie
Która wersja ma wyższy conversion rate?

5. Decyzja
Jeśli B wygrywa statystycznie — rollout do 100%

Kiedy robić A/B test

Rób A/B test gdy:

• Masz wystarczający traffic (min 1000 users/tydzień)
• Testujesz optymalizację (nie nową feature)
• Masz jasną metrykę sukcesu
• Zmiana może mieć duży impact

NIE rób A/B test gdy:

• Za mało trafficu (nie osiągniesz statistical significance)
• Testujesz kompletnie nową feature (użyj beta test)
• Zmiana jest oczywista (np. fix krytycznego buga)

Statistical Significance

Nie wystarczy że B ma 5% wyższy conversion. Musisz mieć pewność że to nie przypadek.

p-value < 0.05 = 95% confidence że różnica nie jest przypadkowa

Sample size calculator: Ile użytkowników potrzebujesz?

• Baseline conversion: 10%
• Minimum detectable effect: 10% relative improvement (10% → 11%)
• Confidence: 95%
• Power: 80%
• Result: ~15 000 users per variant

Typowe błędy w A/B testing

1. Stopping test za wcześnie
"B wygrywa po 2 dniach!" — ale nie ma statistical significance. Poczekaj.

2. Testing too many things
10 wariantów jednocześnie = potrzebujesz 10x więcej trafficu

3. Ignoring seasonality
Test w Black Friday vs normalny tydzień — różne wyniki

4. Not testing long enough
Novelty effect — użytkownicy klikają bo nowe, nie bo lepsze

Co testować

High-impact areas:

• Landing page: Headline, CTA, hero image
• Signup flow: Liczba kroków, form fields
• Pricing page: Ceny, plan names, features
• Onboarding: Tutorial vs no tutorial
• Email campaigns: Subject lines, CTA

A/B Testing Tools

• Optimizely: Enterprise, feature flags + A/B
• VWO: Visual editor, easy to use
• Google Optimize: Free, integracja z GA
• LaunchDarkly: Feature flags dla devs

Framework A/B testu

1. Hipoteza
"Jeśli [zmiana], to [metryka] wzrośnie o [X%], bo [powód]"

2. Success metric
Primary: Conversion rate
Secondary: Time on page, bounce rate

3. Sample size
Ile users potrzebujesz? (użyj kalkulatora)

4. Duration
Minimum 1 tydzień (żeby pokryć cały tydzień)

5. Analysis
p-value, confidence interval, segmentation