Szukamy Digital Analytics Developera! Ciekawy?   Sprawdź

Szkolenia z Google Analytics, Google Tag Managera i Optymalizacji Konwersji 24-27 października 2016, WARSZAWA

Zarejestruj się już dziś »


Testy online: A/B czy wielowymiarowe?

W artykule z przed kilku tygodni na temat danych jakościowych w analityce wyszczególniłem 3 podstawowe typy danych jakościowych:

  • testy użyteczności,
  • testowanie treści i wyglądu witryn (testy A/B lub wielowymiarowe),
  • ankiety.

Testowanie A/B czy wielowymiaroweOd tego czasu opisałem jakich błędów należy się wystrzegać przygotowując ankiety oraz stworzyłem listę narzędzi do tworzenia ankiet i zbierania opinii online.

Tym samym pozostały nam dwa tematy do omówienia: testy użyteczności oraz testowanie treści i wyglądu witryn.

Dzisiejszy z postów będzie pierwszym z kilku na temat testów online. Jego celem jest przedstawienie wam dostępnych na rynku metodyk.

Testuj albo nie bierz się za optymalizację witryn

Poprawa komunikacji online jest najwyższym celem analityki internetowej.

Zgodnie z procesem analityki internetowej analiza danych ma prowadzić do wyciągnięcia wniosków. Te natomiast mają prowadzić do działań, które będą miały na celu poprawę m.in. treści dostarczanych online.

Dlaczego więc należy przeprowadzać testy skuteczności on-line?

  • testy są jedyną drogą, aby pokazać naszemu szefowi / klientowi, że jednak nie zna on na wylot swoich klientów i jego wskazówki nie zawsze są błyskotliwe,
  • najlepszy design, użyteczność i kopia strony dzisiaj są najgorsze dnia następnego,
  • testy są jedynym rozwiązaniem na sprawdzenie reakcji klienta – np. na zmianę ceny,
  • (i moje ulubione) w 80% mylimy się oceniając czego oczekują klienci od naszej witryny.

Czy powyższe powody Cię przekonują?

Mam nadzieję, że tak.

Podstawowe pojęcia

Nim omówimy rodzaje testów musisz poznać 3 podstawowe pojęcia, które są niezbędne do zrozumienia testów online:

  • zmienne – elementy systemu, które można zmieniać.Przykładowymi zmiennymi mogą być: kolor przycisku, tekst nagłówka.

    Oznacza to, że mamy 2 zmienne.

  • odmiany – różne, możliwe wartości zmiennych.Przykładowymi odmianami koloru przycisku mogą być zielony i czerwony, natomiast tekstu nagłówka „Przetestuj za darmo” lub „Skontaktuj się z nami”.

    Oznacza to, że mamy 2 odmiany każdej zmiennej (w sumie 4).

  • komibnacje – wszystkie możliwe połączenia zmiennych w każdej odmianie. Jedna kombinacja to np.: czerwony kolor przycisku i tekst nagłówka „Przetestuj za darmo”.Oznacza to, że mamy 4 kombinacje (2×2).

Mając jasność co do tych 3 podstawowych pojęć możemy przejść do opisu dwóch głównych rodzajów testów:

  • testów A/B,
  • testów wielowymiarowych.

Testy A/B (ang. split tests)

Testy A/B sa najprostszą formą testów. Dzięki nim porównujemy wydajność minimum dwóch odmian jednej zmiennej.

Tego typu testy stosuje się najczęściej przy znaczących zmianach na jednej stronie (wtedy strona jest zmienną w kilku odmianach) lub gdy testujemy tylko jedną zmienną w obrębie podstrony – np. strefę promocyjną w przykładzie poniżej.

Testy A/B

Testy A/B można porównać do wizyty u okulisty, gdy badany jest Twój wzrok:

Doktor: Przez które szkło widzi Pan lepiej – numer 1 czy numer 2?

Ty: Wydaje mi się, że numer 1.

Doktor: Ok. A teraz? Numer 3 czy 4?

Ty: Zdecydowanie numer 4.

Doktor: W takim razie ostatnie pytanie. Przez które szkło Pan widzi lepiej 1 czy 3?

Wybierasz lepsze szkło i niedługo potem Twoje nowe okulary są gotowe.

Badanie wzroju jak testy A/B

Podobnie jest z testami A/B. W ich trakcie sprawdzasz, która odmiana (czerwony przycisk czy zielony przycisk?) powoduje, że więcej osób wykonuje pożądaną przez Ciebie akcję (kupuje produktu).

Plusy testów A/B

  • użyteczne gdy mamy mało odwiedzin – jeżeli Twoja strona docelowa ma tylko kilka konwersji dziennie nie masz tak naprawdę wyboru,
  • łatwa konstrukcja testu – możesz je przeprowadzić z użyciem praktycznie każdego narzędzia do przeprowadzania testów (jak np. darmowego Google Website Optimizer),
  • łatwe przygotowanie projektu – testy A/B nie wymagają drobiazgowego przygotowania grafiki – po prostu decydujesz ile odmian chcesz porównać i dzielisz ruch pomiędzy nie,
  • bardzo niski koszt – nie potrzebujesz zaawansowanego kodowania, możesz użyć darmowych narzędzi, projekty graficzne nie muszą być tak bardzo dopracowane – jednymi słowy jest to tania metoda,
  • dobry sposób na start – testy A/B są najlepszym sposobem rozpoczęcia przygód z testowaniem, jeśli nigdy wcześniej nie miałeś z nimi do czynienia.

Minusy testów A/B

  • ograniczone możliwości – wykorzystując testy A/B możesz testować jedynie proste elementy i nie możesz rozpoznać powiązań pomiędzy elementami,
  • wpływ czynników zewnętrznych – musisz pamiętać, że na wyniki testu wpływa sezonowość i czynniki zewnętrzne, co oznacza, że nigdy nie będziesz w 100% pewny wyników swoich testów.

Testy wielowymiarowe (ang. multivariate tests)

Testy na wielu odmianach dają możliwość spróbowania różnorodnych kombinacji kilku zmiennych (każda w kilku odmianach).

Przykładowo można testować treść nagłówków na stronie w połączeniu z testem obrazków występujących na stronie (2 zmienne). Można przeprowadzić testy dla 2 odmian nagłówka i 4 odmian głównego obrazka. W tym przypadku mamy do czynienia z 8 kombinacjami (2×4).

Każda kombinacja jest dostarczana innej grupie odbiorców. Podobnie jak w przypadku testów A/B porównuje się metryki, które świadczą o wydajności danej kombinacji i wybiera zwycięzcę, który zanotował najlepszy wynik.

Youtube case

W rzeczywistości istnieją dwie odmiany testów wielowymiarowych:

  • porównujące skuteczność każdej kombinacji (ang. full factorial) – ruch dzielony jest równomiernie na każdą kombinację. Ta odmiana testów jest stosowana (w głównej mierze) w darmowym narzędziu Google Website Optimizer. Podejście to wymaga mniej skomplikowanej analizy,
  • porównujące skuteczność jedynie wybranych kombinacji (ang. fractional factorial) – wyobraź sobie sytuację w której testujesz bezpieczeństwo samochodu z 2 zmiennymi: opony (z 3 odmianami) oraz położeniem silnika (z 4 odmianami). Daje nam to 12 kombinacji. Aby przetestować je wszystkie musiał byś zniszczyć właśnie tyle samochodów. Jeżeli jednak założysz, że nie zachodzi interakcja pomiędzy oponami, a położeniem silnika mógłbyś wciąż (dzięki testom fractional factorial) ocenić główne efekty (które opony są najlepsze i które położenie silnika jest najlepsze) niszcząc jedynie 4 samochody. Musisz zadbać jedynie o to, żeby każda odmiana opony pojawiła się przynajmniej raz oraz każde położenie silnika pojawiło się również przynajmniej raz. Tego typu testy wymagają znacznie większej wiedzy o statystyce, ponieważ bardzo ciężko je analizować. Mają jednak swój plus – możesz dzięki nim przetestować większą liczbę kombinacji przy mniejszej liczbie użytkowników. Teoretycznie rzecz biorąc tej odmiany eksperymenty można przeprowadzać w Google Website Optimizer.

Plusy testów wielowymiarowych

  • można korzystać z zewnętrznego oprogramowania – oznacza to, że nie musisz angażować działu IT w przygotowywaniu testów (co może zdarzyć Ci się przy przygotowywaniu całych stron w testach A/B), ponieważ wszystkie zmienne są przechowywane na serwerach dostawców,
  • możliwość przetestowania większej liczby zmiennych w trakcie jednego testu – jeżeli masz wystarczającą liczbę użytkowników, by uzyskać statystycznie istotne wyniki testów, możesz znacznie przyspieszyć wprowadzanie usprawnień.

Minusy testów wielowymiarowych

  • wymagają większej liczby użytkowników – liczba kombinacji zwiększa się bardzo szybko w miarę wzrostu liczby zmiennych i ich odmian. 2 zmienne w 2 odmianach to 4 kombinacje, ale 3 zmienne w 4 odmianach to aż 64 kombinacje. Z drugiej strony YouTube przeprowadził testy na 1024 kombinacjach, które przyniosły statystycznie istotne wyniki już w 2 tygodnie. Pozostaje jedynie powzdychać do liczby użytkowników odwiedzających ten serwis :)
  • SISO (shit in shit out) – z powodu łatwości i szybkości przeprowadzanych testów może pojawić się pokusa ich wykonywania bez uprzedniej analizy, wnioskowania i celów strategicznych. Pamiętaj, że takie podejście nie zapewnie Ci długotrwałego sukcesu (a może spowodować frustrację).

Podsumowując

W kolejnych artykułach będę głębiej wgryzał się w tematykę testów skuteczności online. Przedstawię podejście do ich przeprowadzania, czynniki, które mają wpływ na współczynnik konwersję, problemy, które możesz napotkać oraz zestawię narzędzia, które mogą Ci się przydać.

Zapraszam także do lektury postu Mateusza na temat tego jaki model współpracy w ramach projektu optymalizacji konwersji wybrać – stanowi on ciekawe dopełnienie powyższych treści.

Zgadzasz się z tym co tu napisałem? A może nie? Tak czy owak napisz co sądzisz o tym artykule w komentarzach.

Autor: Paweł

Paweł optymalizuje konwersję, szkoli, wdraża analitykę i dodatkowo zajmuje się marketingiem w Conversion. Jednak przede wszystkim Paweł jest nieskończoną kopalnią pomysłów, które napędzają naszą firmę. Jest absolwentem Szkoły Głównej Handlowej na kierunku Zarządzanie. Możecie przeczytać całą masę artykułów, które napisał oraz posłuchać go na konferencjach branżowych.





  • http://eksperymentalnie.blogspot.com/ Agata

    dopiero wchodzę małymi kroczkami w świat analityki internetowej i poznaję jej możliwości, artykuł bardzo ciekawie i jasno napisany, nawet taki laik jak ja zrozumiał :) czekam na kolejne artykuły

    p.s. mała literówka: "zmienne – elementy system" chyba powinno być systemu, jeśli się mylę to przepraszam :)

    • http://www.conversion.pl/blog/ Paweł Ogonowski

      Cieszę się, że treści są zrozumiałe – właśnie o to nam chodzi, aby z artykułów czerpały korzyści nie tylko osoby, które mają już doświadczenie, ale także ci, którzy dopiero rozpoczynają przygodę z analityką internetową.

      Jeśli chodzi o literówkę to oczywiście masz rację – dzięki za zwrócenie uwagi – poprawione :)

  • http://eksperymentalnie.blogspot.com/ Agata

    zatem czekam na więcej :)

  • https://www.facebook.com/duda.anna Anna Duda

    Jak zwykle jasno i zrozumiale :) Czytam dalej :) (Poprawcie tylko link do Google Website Optimizer :) )

    • http://www.conversion.pl/blog/ Paweł Ogonowski

      Cieszę się, że się podoba i jasno przekazuje wiedzę – bo o to chodzi :)

      Dzięki też za wskazanie błędu – poprawione ;)

  • Rita

    Bardzo ciekawy artykuł, zwłaszcza słowniczek i przykłady. Jednak mam uwagę: testy A/B i wielowymiarowe zakwalifikowałabym do metod ilościowych. Można powiedzieć, że są na granicy między ilościowymi a jakościowymi, jednak korzystając np. z google webiste optimizera dostajemy suche dane liczbowe. Bez połączenia testów A/B z badaniem użyteczności z udziałem użytkowników nie można mówić o jakościówce. Pozdrawiam!

    • http://www.conversion.pl/blog/ Paweł Ogonowski

      Cieszę się, że artykuł się spodoba. Obiecuję, że niedługo pojawią się nowe przykłady z projektów, które realizujemy dla naszych klientów :)

  • gosc

    czy da sie w jakis sposob przeprowadzic test a/b ale tylko dla uzytkownikow przychodzacych z danego zrodła basz slowa kluczowego ?
    czy jezeli bade mial profil na ktorym zbierani beda tylko uzytkoniwcy przychodzacy ze slow brandowych i na tym profilu zrobie eksperyment, to czy to bedzie poprawnie dzialalo ?

    • http://www.conversion.pl/blog/ Paweł Ogonowski

      Da się przeprowadzić taki test. Jeżeli chcesz zrobić to za pomocą eksperymentów Google Analytics, to musisz się trochę kodowo nagimnastykować.

      Pamiętaj, że eksperyment losuje tych użytkowników, którym wczyta się kod eksperymentu. Użytkowników nie determinuje profil w Google Analytics. Oznacza to, że jeżeli chciałbyś zrobić taki eksperyment to musiałbyś zadbać o to, aby tylko użytkownicy z interesującego Cię źródła mieli wczytywany skrypt eksperymentu.

x

Pobierz najnowsze case study

Przeczytaj jak Limango Polska wykorzystuje potencjał analityki internetowej w swojej organizacji.

Pobierz case study
Przeczytaj poprzedni wpis:
Dlaczego analityka internetowa (ang. web analytics) jest skazana na niepowodzenie (w niektórych firmach)

Mimo że w Polsce analityka internetowa jest ciągle dziedziną, z której korzyści większość firm nie zdaje sobie sprawy, to chciałbym...

Zamknij