Jeżeli dobrze zaplanowaliśmy swoje testy A/B lub wielowymiarowe z dużym prawdopodobieństwem uda nam się uniknąć większości popełnianych zazwyczaj błędów.

Największą uwagę powinniśmy jednak zwrócić na cztery, najczęściej popełniane, błędy:

1. „Testowanie jest kompletnie darmowe! Nie trzeba nad nim myśleć – trzeba działać”

We wszystkich naszych postach, tak na temat danych jakościowych jak i również testów online piszemy, że nie ma wymówek przed ich wykorzystywaniem, ponieważ można to robić praktycznie za darmo.

Praktycznie, nie oznacza jednak, że w pełni. Oczywiście, znajdziemy świetne narzędzia, które są darmowe i poświęcimy swój czas, aby przeanalizować dane i przygotować nowe propozycje. Nasz czas jednak kosztuje. I nie jest on bynajmniej jedynym elementem, za który przyjdzie nam zapłacić.

Nie wszystkie propozycje dadzą pozytywny efekt.

Testy online pomagają nam w szybszym popełnianiu błędów i wyciąganiu z tego konstruktywnych wniosków. Powoduje to jednak, że przez pewien okres – zanim poprawimy konwersję – będziemy tak naprawdę zarabiać mniej.

Wyobraźmy sobie sytuację w której testujesz propozycje A (oryginalna), B i C. Po dwóch tygodniach otrzymujemy następujące wyniki: A – 2,5% B – 3% C – 1,1%

Jeśli każda z wersji otrzymała 33% ruchu, to średni współczynnik konwersji przez okres dwóch tygodni jest równy 2,2% (średnia z trzech liczb: 2,5%, 3%, 1,1%). Gdyby testów nie było ten współczynnik równałby się 2,5%. Oznacza to 12% gorszy współczynnik konwersji niż gdybyśmy testów nie przeprowadzali!

W długim okresie na pewno wygramy. Nie odbędzie się to jednak zerowym kosztem.

W gorszej sytuacji znajdujemy się, jeśli testowane przez nas kombinacje mają wynik słabszy niż wersja oryginalna. Oznacza to nie tylko, że naraziliśmy się na niższy dochód ze swojej witryny internetowej przez okres testu, ale również poniekąd straciliśmy zainwestowany do tej pory czas, ponieważ wnioski z analizy okazały się niepoprawne. Tak czasem się zdarza – nie powinniśmy się jednak załamywać. W takich wypadkach trzeba przeanalizować co nie odpowiadało naszym użytkownikom i wystartować z nowym testem, który będzie wolny od tych błędów.

Należy sobie również odpowiedzieć na pytanie, czy testy są w tym momencie priorytetem? Koszt alternatywny innych działań może przewyższyć przychód z ich przeprowadzenia. Powinniśmy pamiętać o priorytyzacji.

Z powyższych powodów nie należy traktować testów, jako kompletnie darmowego rozwiązania.

2. „Zróbmy szybsze testy A/B. Po co testować interakcje pomiędzy elementami i tracić czas? Czuję, że ich nie ma!”

Testy A/B i wieloczynnikowe porównujące skuteczność jedynie wybranych kombinacji zakładają, że nie ma interakcji pomiędzy poszczególnymi zmiennymi. W Internecie bardzo często nie jest to prawdą.

Aby łatwiej było wyobrazić sobie interakcje pomiędzy zmiennymi zerknijmy na poniższy przykład.

Mamy dwie zmienne. Obrazek oraz nagłówek.

Nagłówek ma tylko jedną odmianę: Samochody Ferrari są najszybsze

Obrazek ma natomiast dwie odmiany:

Źródło: http://www.sportscarcup.com/; http://www.lotustalk.com/

W obu przypadkach z tym samym nagłówkiem będziemy mieli zupełnie różne przekazy.

Jak to może wpłynąć na przeprowadzane przez nas testy? Jeżeli przykładowo założymy, że pomiędzy elementem X i Y nie ma interakcji możemy przeprowadzić testy A/B w których zmienimy połączenie tych dwóch elementów (traktujemy je jako jedna zmienna). Testy dają pozytywny wynik wzrostu konwersji o 12,5% – świętujemy sukces.

Tak naprawdę, nie wiemy w tym momencie, czemu zawdzięczasz sukces. Może być tak, że w zwycięskiej wersji zmiana elementu X zwiększała konwersję o 50%, natomiast zmiana elementu Y obniżała ją o 25% i stąd wziął się wynik 12,5%. Jak widzimy nie jest to wynik optymalny, ponieważ nie zmieniając elementu Y konwersja zostałaby poprawiona o 50% (a nie liche 12,5% ;) ).

Oznacza to, że należy mocno przyglądać się możliwym interakcjom pomiędzy zmiennymi i je monitorować, ponieważ zakładając z góry, że tych interakcji nie ma – można narazić się na niepełne wykorzystanie potencjału testowanych elementów.

3. „Po dwóch dniach mam statystycznie istotne wyniki! Mamy zwycięzcę, więc startujemy z kolejnym testem.”

Zbyt krótki okres zbierania danych może prowadzić do przesadnego hurraoptymizmu. Przy zbieraniu danych będziemy obserwowali fluktuacje i nic na to nie poradzimy.

Zbyt częste sprawdzanie wyników testu na początku jego trwania może nas doprowadzić do błędnych wniosków. Na początku możemy święcić triumfy, a po kilku dniach okaże się, że jednak poprawa była mniejsza niż wskazywały na to wstępne dane.

Dzięki statystyce, zebranie coraz większej liczby danych powinno ustabilizować nam szacowane współczynniki konwersji na rzeczywistym poziomie. Zmniejszą się wtedy zakresy błędu szacunkowego, który zawsze powinniśmy brać pod uwagę analizując dane z testu.

Patrząc na powierzchownie na powyższe dane widzimy, że wersja próbna daje o 33% gorsze wyniki – jej wynik to współczynnik konwersji na poziomie 12,5%, natomiast wersja oryginalna zanotowała wynik rzędu 18,9%. Różnica wynosi 6,4 punkta procentowego!

Jeśli jednak weźmiemy pod uwagę błąd szacunkowy, może okazać się że różnica ta jest jednak znacznie mniejsza. Minimalny wynik współczynnika konwersji dla wersji oryginalnej to 15,7% (18,9% – 3,2%), natomiast maksymalny wynik dla wersji próbnej to 15,2% (12,5% + 2,7%). Różnica to 0,5 p.p. Różnica w poziomie konwersji już nie jest tak jednoznaczna i powalająca, prawda?

Z powyższych powodów powinniśmy zawsze czekać aż uda nam się uzbierać większą ilość danych. Test, który będzie dla nas podstawą do wdrożenia zmiany nanaszej witrynie, powinien trwać ok. 2 tygodnie. Do tego czasu zakres błędu mocno się ograniczy, a prezentowanym wynikom będzie można uwierzyć.

4. „Przecież moje testy trwają tylko 2 tygodnie. Po co mam brać pod uwagę sezonowość?”

Najgorszym możliwym typem testowania jest prezentowanie przez np. tydzień wersji strony A, a przez kolejny tydzień wersji strony B. Możemy mieć pewność, że z porównania takich danych nic dobrego nie wyjdzie, ponieważ zbyt wiele czynników jest zmiennych.

Niektóre z nich mają również bardzo poważny wpływ przy przeprowadzaniu testów równoległych. Nawet ci sami ludzie odwiedzając nasza witrynę w różnych okresach mogą zachowywać się różnie. Maja na to wpływ takie czynniki jak np. znajomość naszego produktu czy działania konkurencji.

W związku z tym powinniśmy pamiętać o tym, aby testy:

• przeprowadzać na stabilnych źródłach ruchu – nie zmieniać ich zestawu w trakcie prowadzonego testu (segmentujmy ruch),
• starać się ominąć sezony sprzedażowe – np. święta (chyba, że testujemy specjalnie pod nie).

A co Wy dopisalibyście do powyższej listy 4 najczęściej popełnianych błędów? Czy nie zgadzacie się z którymś punktem? Zapraszam do komentowania.

Ciekawym dopełnieniem powyższej listy 4 najczęstszych błędów, związanych z testowaniem, jest post Mateusza na temat tego, jaki model współpracy w ramach projektu optymalizacji konwersji należy wybrać.

Gdyby zapytać bardzo aktywną w Internecie firmę, jakie projekty w ramach swojej witryny zamierza wprowadzić w przyszłym roku z pewnością byłaby to dłuuuga lista. Dodatkowo nie zapominajmy, że codzienna obsługa dużego serwisu sprawia nie lada problemy, które są krótko mówiąc czasochłonne. W związku z dużą liczbą zadań do wykonania, firmy muszą sobie jakoś z tym radzić – wydaje mi się, że w większości przypadków pierwszą kolejność na liście rzeczy do zrobienia zajmują projekty, które:

• jako pierwsze zostały zainicjowane wg zasady „kto pierwszy ten lepszy” (ang. first in, first out),
• są nadzorowane przez osoby wyżej postawione w organizacji.

Powyższe podejścia są intuicyjne, lecz nie do końca zgodne ze zdrowym rozsądkiem, ponieważ okazuje się, że projekty, które mogłyby mieć znaczący wpływ na przychód firmy ustępują mniej ważnym zadaniom. W związku z tym pojawia się potrzeba priorytyzacji.

W ostatnich moich dwóch artykułach pisałem o modelach monetyzacji, a w szczególności o ich istocie oraz o tym, jak tworzyć takie modele. Wspomniałem wówczas również, że te modele mogą być podstawą priorytyzacji w firmie – stąd mój dzisiejszy post na ten temat:)

Chciałbym w nim krótko zwrócić Twoją uwagę na ten bardzo ważny aspekt. W końcu Twoja strona nie istnieje jedynie dla Twojego kaprysu – z reguły ma po prostu zarabiać na Twój biznes. W szczególności chciałbym przedstawić koncepcję dynamicznej priorytyzacji zaproponowaną przez firmę ZAAZ Inc.

Dynamiczna priorytyzacja

Dzięki temu podejściu firma może oszacować optymalny efekt każdego z planowanych przedsięwzięć. Takie estymacje bazują wówczas na stworzonym wcześniej modelu monetyzacji. Każdy planowany projekt powinien mieć wartość dodaną dla serwisu – nie zawsze można to wyrazić bezpośrednio w kategoriach pieniężnych, ale pamiętajmy, że istnieje coś takiego jak koszt alternatywny tj. koszt utraconych możliwości. Jeżeli planujemy wprowadzić funkcjonalność, która bezpośrednio nie wpływa na zwiększenie przychodu ze strony, to kosztem alternatywnym wprowadzenia tego projektu jest wartość jaką moglibyśmy uzyskać wprowadzając inną zmianę, która bezpośrednio wpłynie np. na współczynnik konwersji celu. W takim wypadku bardzo istotnym jest, aby poszczególnym zadaniom przypisywać potencjalną wartość dodaną wynikającą z modelu monetyzacji, jaka zostanie osiągnięta po implementacji projektu.

Jakkolwiek koncepcja dynamicznej priorytyzacji zakłada również wgląd na inne aspekty projektu – nie tylko na potencjalną wartość przedsięwzięcia wynikającą z modelu monetyzacji. W szczególności należą do nich:

• koszt podjęcia inicjatywy, czyli co będziesz potrzebował, aby wdrożyć projekt w życie,
• prawdopodobieństwo, że osiągniesz zakładany poziom poprawy – w jakim stopniu jesteś pewny, że osiągniesz zakładany poziom zmian np. współczynnika konwersji,
• potencjalny zysk z wprowadzonych zmian – zysk i przychód to dwie różne rzeczy. Kategorią, która je rozróżnia jest koszt, który nie zawsze rośnie proporcjonalnie do wzrostu przychodu, który to wynika bezpośrednio z modelu monetyzacji,
• czas, jaki jest potrzebny do całkowitego wdrożenia projektu,
• czas spłaty projektu tzn. ile musi minąć, aby zainwestowane środki zostały wyrównane przez zyski z wprowadzonej zmiany,
• ogólny wpływ na wizerunek firmy – czy rozpatrywany projekt przypadkiem nie zmieni wizerunku firmy o 180 stopni.

Pewnie zastanawiasz się teraz, na czym tak naprawdę polega koncept dynamicznej priorytyzacji, że z jednej strony najważniejszy jest model monetyzacji, a z drugiej trzeba wziąć pod uwagę tyle aspektów. Otóż tutaj tkwi całe sedno tego konceptu. W zależności od Twojego biznesu, grupy celowej – odbiorców usług/produktów oraz branży w której działasz musisz dostosować tak swoje działania, aby brały pod uwagę wszystkie powyższe aspekty z monetyzacją na czele.

Podsumowując…

… można powiedzieć, że słowem kluczem w priorytyzacji, zwłaszcza w koncepcji dynamicznej priorytyzacji jest elastyczność w ramach powyższych aspektów.

Co o tym myślicie?

Ktoś zapyta, po co ta cała zabawa w priorytety. Odpowiedź jest (moim zdaniem) prosta – jeżeli już wiesz dokąd zmierzasz (masz opracowaną strategię analityki internetowej i zgodnie z nią optymalizujesz swoją stronę aby osiągać założone kluczowe wskaźniki wydajności) to nie wystarczy iść tylko przed siebie – potrzeba tak opracować drogę, żeby do celu dotrzeć jak najszybciej!

Dołącz do dyskusji: 7692 Komentarzyhttp%3A%2F%2Fwww.conversion.pl%2Fblog%2Fo-priorytyzacji-w-analityce-internetowej-slow-kilka%2FO+priorytyzacji+w+analityce+internetowej+s%C5%82%C3%B3w+kilka2010-10-01+06%3A01%3A37Mariusz+Michalczukhttp%3A%2F%2Fwww.conversion.pl%2Fblog%2F%3Fp%3D769