Conversii & analytics

Testare A/B pe site: cum o faci corect, de la ipoteză la decizie

Ipoteze, eșantion, durată și semnificație statistică: cum faci testarea A/B pe site fără concluzii false.

De Dr. ing., fondator Succes Grup9 min de citit

Testarea A/B pe site, făcută corect, compară două variante ale aceleiași pagini, afișate aleatoriu unor vizitatori diferiți, pe baza unei ipoteze scrise înainte de start. Stabilești dinainte indicatorul, mărimea eșantionului și durata, rulezi testul pe cicluri complete de săptămâni, nu te uiți la rezultat ca să-l oprești când îți convine și iei decizia doar după ce ai atins eșantionul planificat.

Ce este un test A/B și ce nu este

Într-un test A/B, jumătate din vizitatori văd versiunea actuală (varianta de control, A), iar cealaltă jumătate o versiune modificată (varianta B). Împărțirea se face aleatoriu, iar apoi compari un indicator precis, de exemplu procentul de vizitatori care trimit formularul.

Ce NU este un test A/B: să schimbi pagina luni și să compari cu luna trecută. Între cele două luni s-au schimbat sezonul, campaniile, traficul, poate chiar concurența. Un test A/B rulează variantele în paralel tocmai ca aceste diferențe să afecteze ambele variante în același fel.

Testarea nu e un instrument de „inspirație”; e un instrument de decizie. Răspunde la întrebarea: „această modificare produce o diferență reală, sau variația pe care o văd poate fi întâmplare?”. Dacă te interesează calculul de bază al ratei de conversie, îl găsești explicat în articolul despre cum se calculează rata de conversie.

Când are sens să testezi și când nu

Testarea A/B funcționează doar cu suficient trafic și cu un număr rezonabil de conversii. Dacă pagina primește câteva sute de vizitatori pe lună și are puține conversii, un test clasic poate dura luni sau ani fără un rezultat clar.

  • Are sens când ai trafic constant, o pagină cu rol clar (pagină de produs, formular, landing page) și un indicator ușor de măsurat.
  • Nu are sens când traficul este foarte mic, când pagina are probleme evidente (formular stricat, mobil imposibil de folosit) sau când știi deja ce trebuie reparat.

În situații de trafic mic, e mai util să corectezi problemele evidente pe baza analizei calitative: înregistrări de sesiuni, hărți de clic, sondaje scurte, conversații cu clienții. Apoi aplici schimbările și compari înainte și după, știind că nu este o probă perfectă, dar este o decizie rezonabilă. Pentru structura unei pagini de conversie, vezi și articolul despre structura unui landing page.

Cum scrii o ipoteză bună

O ipoteză de test are trei părți: ce schimbi, ce efect te aștepți să apară și de ce. Formula simplă: „Pentru că [observația], dacă schimbăm [elementul] în [varianta], vom vedea [efectul] la [indicatorul], deoarece [motivul].”

Exemplu ipotetic: imaginează-ți un cabinet care primește multe vizite pe pagina de programări, dar puține formulare trimise. Înregistrările arată că vizitatorii se opresc la câmpul „motivul consultației”, obligatoriu și deschis. Ipoteza: „Pentru că mulți abandonează la câmpul liber, dacă îl transformăm într-o listă de opțiuni, rata de trimitere a formularului va crește, deoarece efortul perceput scade.”

Diferența față de „hai să încercăm un buton verde”: ipoteza se bazează pe o observație și poți învăța ceva chiar dacă testul pierde. Dacă varianta nu câștigă, afli că motivul abandonului era altul și poți continua cu o ipoteză nouă.

Ce poți testa, în ordinea impactului probabil

ElementExempleImpact potențial
Propunerea de valoaretitlu principal, promisiunea ofertei, subtitluMare
Ofertagaranție, livrare gratuită, perioadă de probă, preț afișatMare
Formularulnumăr de câmpuri, ordine, mesaje de eroareMare
Dovezi socialerecenzii reale, poziția în pagină, logo-uri de clienți cu acordMediu
Apelul la acțiunetext, poziție, număr de butoaneMediu
Imagini și videofotografie reală versus stoc, demonstrație videoMediu
Detalii vizualeculoarea butonului, mici ajustări de aliniereMic

Schimbările mici dau rareori diferențe vizibile și cer eșantioane uriașe pentru a fi demonstrate. De aceea, în prima etapă testează idei mari: mesaj, ofertă, structură.

Mărimea eșantionului: de ce nu poți ghici

Mărimea eșantionului depinde de trei lucruri: rata ta actuală de conversie, cea mai mică îmbunătățire pe care vrei s-o poți detecta și nivelul de încredere dorit (de regulă 95%, cu o putere statistică de 80%). Cu cât diferența căutată e mai mică, cu atât ai nevoie de mai mulți vizitatori.

Valorile de mai jos sunt calcule orientative, făcute cu formula clasică pentru compararea a două proporții, la 95% încredere și 80% putere:

Rata actualăCreștere relativă urmărităRata nouăVizitatori necesari pe variantă (aprox.)
3%+20%3,6%aproximativ 14.000
3%+10%3,3%aproximativ 53.000
1%+20%1,2%aproximativ 43.000

Observă cât crește cerința când vrei să detectezi o diferență mică sau când rata de bază e mică. Pentru calcule pe cifrele tale, folosește calculatorul de conversii. Dacă rezultatul îți arată că ai nevoie de câteva luni de trafic, ia asta ca informație: fie testezi o schimbare mai mare, fie nu rulezi testul.

Durata testului și semnificația statistică

Durata nu se decide după cum arată graficul, ci după eșantionul calculat și după ciclurile de comportament ale publicului. Câteva reguli:

  • Rulează testul pe săptămâni întregi, pentru că weekendul și zilele lucrătoare se comportă diferit.
  • Acoperă, dacă se poate, cel puțin două cicluri complete (de pildă două săptămâni), ca să reduci efectul întâmplării.
  • Evită perioadele neobișnuite: sărbători, campanii mari, lansări, defecțiuni tehnice.
  • Nu extinde testul la nesfârșit sperând că „se clarifică”: fixează dinainte data sau eșantionul de oprire.

„Semnificația statistică” spune cât de improbabil este să vezi o diferență cel puțin atât de mare dacă, în realitate, variantele ar fi egale. Un rezultat „semnificativ la 95%” nu înseamnă „95% șanse că varianta B e mai bună”. Înseamnă că, dacă nu ar exista nicio diferență, ai vedea un rezultat atât de extrem într-un procent mic de cazuri. Mulți oameni înțeleg greșit acest lucru, de aceea merită să tratezi pragul ca pe o regulă de decizie stabilită dinainte, nu ca pe o garanție.

Cum faci un test, pas cu pas

  1. Verifică măsurarea. Fără evenimente corecte nu are sens să testezi; pornește de la tracking-ul conversiilor.
  2. Alege un singur indicator principal (de exemplu formulare trimise sau comenzi) și câțiva indicatori de siguranță (rata de respingere, valoarea medie a comenzii).
  3. Scrie ipoteza și notează de ce ar trebui să funcționeze.
  4. Calculează eșantionul și durata estimată; dacă nu e realist, regândește testul.
  5. Creează varianta modificând un lucru sau un grup coerent de lucruri, pe care le poți explica.
  6. Verifică tehnic: variantele se încarcă corect pe mobil și desktop, fără „clipirea” paginii originale, iar evenimentele se înregistrează în ambele.
  7. Pornește testul și nu-l modifica. Nu schimba traficul, textul sau bugetul pe parcurs.
  8. Oprește la eșantionul planificat, analizează rezultatul principal, apoi segmentele, ca ipoteze pentru testele viitoare.
  9. Documentează și decide: implementezi, respingi sau repeți. Notează ce ai învățat.

Greșeli frecvente care duc la concluzii false

  • Oprirea prematură. Te uiți zilnic și oprești testul când varianta B „câștigă”. În primele zile diferențele fluctuează mult; oprirea la un vârf întâmplător produce falși câștigători.
  • Prea multe variante deodată. Cu cât compari mai multe variante sau indicatori, cu atât crește șansa ca una să arate bine doar din întâmplare.
  • Schimbarea mai multor lucruri fără motiv. Dacă testezi o pagină total diferită, afli că a câștigat, dar nu de ce.
  • Segmentare după test. „La femei din Cluj a câștigat varianta B” este adesea doar zgomot, dacă segmentul nu a fost planificat.
  • Efectul de noutate. O variantă nouă poate atrage atenție la început, iar efectul scade; de aceea durata contează.
  • Traficul împărțit inegal sau defectuos. Dacă o variantă primește mult mai puțini vizitatori decât ar fi trebuit, există o problemă tehnică de randomizare.
  • Ignorarea indicatorilor de siguranță. O variantă poate crește formularele trimise, dar scade calitatea lead-urilor.
  • Nicio documentație. Peste un an nimeni nu mai știe ce s-a testat, iar aceleași teste se repetă.

Definiții utile

Variantă de control: versiunea curentă, cu care compari. Ipoteză nulă: presupunerea că între variante nu există nicio diferență reală. Putere statistică: șansa de a detecta o diferență reală, dacă ea există. Efect minim detectabil: cea mai mică îmbunătățire pe care testul este proiectat s-o observe. Interval de încredere: intervalul de valori în care se află, probabil, efectul real. Randomizare: atribuirea aleatorie a vizitatorilor la variante.

Cum procedăm noi

Înainte să propunem un test, verificăm dacă măsurarea este corectă și dacă traficul permite concluzii. Dacă nu permite, spunem asta deschis și propunem corecturi bazate pe analiză calitativă, în loc de un test care ar produce zgomot. Când testăm, documentăm ipoteza, calculul și decizia, ca învățămintele să rămână și după ce echipa se schimbă.

Testarea este una dintre componentele optimizării conversiilor, alături de analiză, cercetare și implementare. Aceeași disciplină se aplică și reclamelor; vezi cum organizăm testele de creative în Facebook Ads.

Pe scurt

  • Testul A/B compară variante în paralel, cu vizitatori împărțiți aleatoriu.
  • Scrie ipoteza, indicatorul principal și eșantionul înainte de start.
  • Cu trafic mic, testează schimbări mari sau folosește analiză calitativă.
  • Rulează pe săptămâni întregi și nu opri testul când îți convine.
  • Semnificația statistică e un prag de decizie, nu o garanție.
  • Documentează fiecare test, inclusiv pe cele pierdute.
Cât trafic am nevoie pentru un test A/B?

Depinde de rata de conversie și de diferența pe care vrei s-o detectezi. Orientativ, la o rată de 3% și o creștere relativă de 20% sunt necesari câteva zeci de mii de vizitatori în total. Cu trafic mai mic, caută schimbări mai mari sau folosește metode calitative de analiză.

Cât timp ar trebui să ruleze un test?

Până la atingerea eșantionului calculat și, de regulă, pe cel puțin două săptămâni întregi, ca să acoperi ciclul de comportament al publicului. Nu opri testul doar pentru că o variantă pare câștigătoare după câteva zile; rezultatele timpurii sunt instabile și induc în eroare.

Pot testa mai multe lucruri în același timp?

Da, dar cu prudență. Dacă schimbi mai multe elemente într-o singură variantă, afli dacă ansamblul funcționează, nu care element contează. Testele multivariate cer mult mai mult trafic. La început, rămâi la o singură ipoteză clară pe test.

Ce fac dacă testul nu arată o diferență clară?

Este un rezultat valid: înseamnă că schimbarea nu a avut un efect suficient de mare ca să fie detectat. Notează concluzia, verifică dacă ipoteza era bună și treci la o idee cu impact mai mare. Un test fără câștigător tot îți arată ce nu merită efortul.

Ce instrumente pot folosi pentru teste A/B?

Există platforme dedicate de experimentare, pluginuri pentru WordPress și funcții în unele platforme de reclame sau email. Google Optimize a fost închis în 2023, deci verifică alternativele disponibile în prezent. Alege un instrument care își împarte corect traficul și se integrează cu măsurarea ta.

Merge testarea A/B și pentru reclame sau emailuri?

Da, principiile sunt aceleași: ipoteză, o variabilă principală, eșantion suficient, durată fixată dinainte. Platformele de reclame și de email au instrumente proprii de testare. Atenție la audiențe care se suprapun și la bugete prea mici, care nu produc suficiente evenimente pentru concluzii.

Laborator

Încearcă gratuit

Unelte din Laborator care te ajută să aplici ghidul.

Vrei să aplicăm asta pentru afacerea ta?

Spune-ne unde ești acum și ce vrei să obții — primești o propunere concretă, cu servicii, calendar și buget transparent.