Czy testy A/B w e-commerce działają? (pełny darmowy przewodnik od specjalistów) WorkShop Podcast

Około, jedynie około 10% testowanych zmian, które miały na celu podnieść jakąś metrykę, podnosiły tę metrykę. 7-8 na 10 pomysłów nie przynosi oczekiwanych rezultatów.

Ja bym chciał, żeby zachęcić was do tego, że no właśnie nawet nie macie budżetów na testowania, czy nawet takiej skali ruchu, żebyście po prostu sobie porozmawiali ze swoimi klientami.

Przygotowaliśmy dla ciebie mały quiz. Zaraz ci wyświetlimy kilka sklepów internetowych w różnych wariantach. Co ty na to?

No, dasz się pojechać.

Cześć, tu Oskar Lipiński, jestem współwłaścicielem marki DUNK. Zostałem wybrany dyrektorem e-commerce roku 2024 w kategorii producent. Możesz spodziewać się szczerej, brudnej prawdy o marketingu e-commerce. Bez lukrowania rzeczywistości, 100% praktycznej wiedzy i soczyste marketingowe miękko. Napisz do mnie teraz na Instagramie kurs, a podeślę ci darmowy 6-dniowy mini kurs o e-commerce. Gratulacje!

Blisko 20% z was subskrybuje mój kanał, ale nadal 80% tego nie robi.

Więc chciałem cię zachęcić do subskrypcji.

Kliknij teraz w przycisk subskrybuj. A jeśli cenisz moje wartościowe treści, które dodaję na YouTubie, to będzie takie fajne mikro wsparcie. Dołożysz cegiełkę do tego, co otworzę każdego dnia. Przechodzimy do kolejnego odcinka. Cześć, witam was w kolejnym odcinku podcastu z Buta w Marketing. Nie do końca dzisiaj w podcastu, bo dzisiaj trochę zmieniamy formułę. Jak widzicie jesteśmy obładowani laptopami na stole, bo dzisiaj robimy taką nową wersję, a dokładnie jest to workshop podcast. Będziemy nagrywać również ekran laptopa jednego z moich gości i trochę wam tłumaczyć. Dzisiaj w ogóle jest też... Temat taki dość ciekawy, bo sobie będziemy mówić o testach AB, więc jeśli ktoś nas słucha jadąc na przykład w drodze do pracy, no to musicie obejrzeć odcinek zdecydowanie w formie wideo. Cześć panowie.

Cześć.

Cześć.

Czym się zajmujecie ciekawym? W ogóle piękne wprowadzenie zrobiłeś.

Może sobie przygotowała.

Dziękuję.

Zero przygotowania, na pełno skończyłem.

Idealne do porannej kawki, a to jest THW. Wiesz co, my się zajmujemy optymalizacją konwersji i wdrażaniem programów testów AB w organizacjach. Pracujemy w tym momencie z trzema klientami większymi enterprise'owymi, ale nazwy nie mogę podać

z uwagi Próbowałem wyciągnąć, ale...

Nie da rady, niestety. Pytałem jeszcze wcześniej z uwagi na NDA-ki, na... ale głównie mamy większość klientów takich, którzy przychodowo, powiedzmy, mniej więcej są na skali kilkunastu, kilkudziesięciu milionów przychodu rocznie. Są to nie tylko e-commerce'y, ale też chociażby szkoły językowe. z którymi współpracujemy w tym momencie, dwie agencje spelno... celno-spedycyjne, więc to są różnej maści biznesy. Generalnie w każdym z tych biznesów można optymalizować konwersję. Wszystko jest kwestią tego, co jest kluczową konwersją dla danego biznesu. I jeszcze jedna rzecz, tylko dodam od razu, i oczywiście od niedawna, marka Torebek, ręcznie szykujemy lubi i nie. Która jest zaczęta na D, kończy na AG.

Może kojarzę.

Może kojarzę, dokładnie.

Tak, też podjęliśmy ostatnią współpracę. Ja bym chciał też zaznaczyć taką dość ważną rzecz, drodzy słuchacze, że to nie jest odcinek sponsorowany, to jest odcinek, który wyszedł z tego, że my razem z chłopakami sobie gramy od jakiegoś czasu wpada,

dużo sobie o tym gadamy.

I też zrobiliśmy ostatnio jakiś tam test u nas na koszyku na dagu i stwierdziłem, że warto by się było podzielić taką wiedzą trochę bardziej sprofesjonalizowaną, bo bądź co bądź wasze podejście opiera się mocno na danych, a nie jest takim wyimaginowanym podejściem. Słuchajcie panowie, Krążą czasami takie treści w internecie, które ukazują, że na przykład zmiana zaokrąglenia przycisku dolaj do koszyka poprawi konwersję 18%. Jak to jest z tymi wszystkimi treściami, które są takim złotym gralem wydawałoby się?

Świętym gralem, przepraszam. Słuchaj, są takie badania, które pokazują, że właśnie zaokrąglone przyciski zwiększają konwersję od 17 do 64%, więc myślę, że możesz też wdrożyć to u siebie w DAG-u, jechać na wakacje i cieszyć się wzrostem sprzedaży.

Masz gwarantowany sukces.

Czyli wystarczy połapać trochę tej treści z internetu i mamy gwarantowany sukces i w sumie możemy ten podcast kończyć.

Dokładnie.

No tak, jak połapiesz, wiesz, kilka takich procentów do kupy.

Ja bym na twoim miejscu zaokrąglił tylko wszędzie batony, jeszcze kilka magicznych trików i wzrost masz gwarantowany.

Koniec.

Mamy.

A słuchajcie, mówiąc już tak totalnie szczerze i bez żartów, no to o czym my dzisiaj porozmawiamy? Słuchajcie, żeby nasi słuchacze, uważam, że to będzie dość dla nich wartościowe, dowiedzieli się, jaki będzie temat przewodni, co mogą wyciągnąć z tego odcinka. Załóżmy taką sytuację hipotetyczną, że ktoś sobie odpalił ten podcast. Zrobiliśmy tą clickbaitową miniaturę, którą mieliśmy w zamyśle oraz tytuł podcastu. No i co my dzisiaj ciekawego poruszymy? Jakie wartości będą płynęły z tego podcastu? Workshop podcast, fajna nazwa.

Yes, workshop podcast. Od razu na starcie dodam, że staraliśmy się w miarę podzielić z Adrianem o tym, o czym będziemy opowiadać, żeby sobie też nie wchodzić w słowo, bo myślę, że wtedy byłoby to dosyć problematyczne też dla słuchaczy, jakbyśmy sobie wchodzili w zdanie. Więc Adrian zacznie, krótko mówiąc, i będziemy opowiadać o tym, jak optymalizować sklep internetowy, aby skutecznie zwiększyć konwersję. Też pogadamy trochę o testach HB, natomiast tutaj też rozmawialiśmy wcześniej przed podcastem, żeby nie zrobić z tego takiej kobyły wielkiej i zanudzić słuchaczy, bo też musimy się zmieścić w jakichś ramach czasowych, więc też nie będziemy wchodzić w detale statystyki. No, pomkniemy o tym. Myślę, że jak ktoś się będzie chciał więcej dowiedzieć, to już wspólnie zdecydujemy, gdzie ma się odezwać, napisać, czy zrobimy jakieś materiały z tego po prostu do wysłania.

No i obalimy trochę mitów o tych testach HB, bo to jest dość krzywdzące dla e-commerce'u właśnie to, co powiedzieliśmy o tych. Sam zresztą się ładno załapałem, panowie, że właśnie, a może zmienię przycisk na zielony, a może na czerwony i robimy gdzieś tam testy jakiejś Google Optimize'ie i tak

naprawdę... To jest szczęście, guys.

to nie jest tak, że te zaokrąglone przyciski nie działają i na pewno są gorsze, tylko takie duże wzrosty wywołane tak małą UI-ową zmianą każą przywołać coś takiego jak prawo Twajmana, które mówi, że każda liczba, która wygląda niestandardowo, bardzo unikatowo jest zazwyczaj błędna. Okazuje się, że w tym badaniu, o którym sobie wspomnieliśmy, dwa testy nie były wiarygodne, jeden z nich był w ogóle przeprowadzony na próbie około 450 osób na wariant, no co siłą rzeczy wskazuje na to, że nie można na tej podstawie wyciągnąć wiarygodnych wniosków. Więc jeśli wzrosty dzięki tym zaokrąglonym batonom faktycznie występują, no to one są pewnie grubo poniżej 0,5% wzrostu, a nie kilkanastu procent, tak jak to często się mówi.

Ja tylko dodam dla wszystkich, którzy naprawdę włączyli na początku podcast, że to już wystarczy zaokrąglić batony i na tym koniec. To był żart. Nie róbcie tego. Więc tak, to co Adrian wspomniał o prawie Twoimana, to się zdecydowanie zgadza i się zgadza.

Generalnie optymalizacja sklepu nie powinna polegać na jakiejś randomowej zmianie zaokrągleń czy kolorów batonów, tylko na rozwiązywaniu realnych problemów użytkowników, szukaniu gdzie i dlaczego ucieka konwersja, no i potem stawianiu hipotez, weryfikowaniu ich. No i dzisiaj sobie o tym więcej powiemy.

No to zaczynajmy. Jeśli ktoś jeszcze nie przełączył z audio na wideo, to musicie to teraz zrobić, bo nie będziecie widzieć presji, którą przygotowaliśmy.

Tak jest. Mamy też dla ciebie quiz.

Właśnie. Zanim zaczniemy z merytum, to zazwyczaj ty tutaj odpytujesz swoje gości. Dzisiaj chcielibyśmy trochę zamienić się rolami na chwilkę.

Głównym parterem podcastu jest Marka Da, który jesteś współwłaścicielem oraz dyrektorem e-commerce. Torebki skórzane szyte od 30 lat w Lublinie. Bardzo się cieszę na to, że znalazłem partnerów strategicznych, z których usług na co dzień korzystam. Chopper oferuje kompletny ekosystem usług w obszarach takich jak sprzedaż wielokanalowa, finanse, logistyka i marketing internetowy. Chopper oferuje 100% wsparcia sprzedaży online. Sam z niego korzystam jako marka DAK. Sam BAI Platforma Smart Marketing Automation, z której również korzystam. Auto pełni niezawodne płatności online dla sklepów internetowych oraz innych biznesów online. Nowoczesne usługi dla flot oraz błyskawiczne do ładowywania telefonów. Zaufane.pl to integralne rozwiązanie do pozyskiwania opinii o sklepie i opinii produktowych, które pomaga e-commerce'om w budowaniu solidnej reputacji poprzez skuteczny marketing opinii. Dzięki wykorzystaniu tej technologii pozyskiwanie, zarządzanie oraz prezentowanie recenzji staje się łatwe i efektywne. Nie zabraknie także partnerów. medialnych, czyli e-commerce w praktyce, Marketer Plus oraz nowy marketing. Sam korzystam, czytam i dzielę się tam wiedzą. Nie przedłużając, zapraszam Cię do odwiedzenia mojej strony internetowej oskarlipiński.pl oraz zapisania się na newsletter. W każdą niedzielę o 9.00 wysyłam garść praktycznych informacji e-commerce oraz marketing.

Przygotowaliśmy dla ciebie mały quiz. Zaraz ci wyświetlimy kilka sklepów internetowych w różnych wariantach. A twoją rolą będzie odgadnięcie, obstawienie, który z tych wariantów konwertuje lepiej.

Okej.

Co ty na to?

No, da się boje.

Przepraszam, że Oskar nie widział wcześniej tych pytań quizowych. Więc nie mógł się przygotować. Ale jak trafi wszystko, to zaczniemy od początku. Wtedy musisz tylko jedno zgadnąć.

Dobra. Zaczynamy od Netflixa. Strona Netflixa w dwóch wariantach. Jeden z nich ma dodany input na e-mail. Możesz się temu przyjrzeć chwilę. No i daj znać, jak myślisz, co lepiej konwertuje.

Który ma więcej konwersji? A co było całym konwersją? Zapis na e-mail?

Czy przykliknięcie się tam? Podanie kontaktu, skonwertowanie i już uzyskanie lida.

No... Dużo, dużo prawdopodobieństwa. Moja intuicja mówi, że wersja A.

No niestety.

A to ciekawe, nie? Bo wydawałoby się, że samo kliknięcie jest mniej angażujące.

A tu musisz podać adres e-mail, co wydawać by się mogło, że no już jak musisz zostawić jakieś dane, to ludzie mniej chętnie, wiesz, je wpiszą i raczej klikną najpierw try it now bez podania adresu e-mail. Tutaj jak ja ten test sobie też robiłem, też się pomyliłem. Jestem ekspertem, podobno.

Wiemy, że to nie jest tutaj ustawione.

Dobra, idźmy dalej. Przenosimy się do Airbnb. To jest widok, który widzą ludzie, którzy chcą zostać hostem, wynając swoje mieszkanie na Airbnb. No i w wersji B i C został dodany social proof. Nie wiem, czy tu dokładnie widzisz, w wersji B jest informacja, że twoje miasto jest popularne i tam jest podany procent bookingów, które są... procent listingów, które są już zabukowane. A w wersji C jest taka informacja, że ludzie z całego świata generalnie odwiedzają twoje miasto.

Tak, ja jeszcze dodam jedną rzecz, że w przypadku dużych serwisów możemy robić, mamy dużo ruchu, dużo danych, testy A, B, C. Tak, generalnie standardowo się robi testy A, B. Tutaj dlatego widzicie teraz właśnie wersję A, wersję B, wersję C. No bo Airbnb ma po prostu bardzo dużą skalę i może sobie też pozwolić na wiarygodne testowanie w tym wypadku trzech wariantów. Ale zgaduj.

No patrząc na, jestem wersją B, bo jest jakieś FOMO liczbowe, no więc ja bym totalnie obstawiał B. Ale wiecie, że podświadomości myślałem, w sensie, że jakby to może być taka podpucha trochę, ale niesamowite, że bez social proofu.

Tak, ciekawe. Idźmy dalej. Przenosimy się na Etsy, ale zostajemy w temacie social proof. Tutaj w wersji A informacja o tym, że ten produkt jest w kilku różnych koszykach, jest pod batonem, pod batonem dodaj do koszyka, a w wersji B, jak widzisz, jest trochę mocniej wyróżniony. No i znów pytanie. Co lepiej konwertuje?

Teraz moim zdaniem już jakiś schemat wypracował, wiesz, że wie co, nie konwertuje, skonwertuje i zaraz będzie trafiać wszystko moim zdaniem.

Ja uważam, że pod batonem bądź co bądź.

Pod batonem.

Czy ja jakiś zdobędę punkt w tej grze?

No to liczę.

Spokojnie, za jeden punkt zapraszamy na kawę.

Jeszcze kilka szans. Mamy tutaj Amazon. Tu był testowany różne umiejscowienie tytułu produktu. W wersji A jest rozciągnięty w jednej kolumnie, w wersji B jest na dwie kolumny, a w wersji C jeszcze trochę inaczej przedstawiony.

Tu może nie być tak dobrze widać, na pierwszy rzut oka. Zmiany. Zmiany, no w sensie... Jeszcze tu widzę,

jest mniejsza trzcionka w tej wersji.

Tak, no.

No ja bym obstawiał wersja.

No i jest, pierwszy punkt. Aj, aj, aj.

Ale to jakoś intuicyjnie, tak w sensie, tak kojarzyłem, że na Amazonie H ta wersja jest na stałe, nie?

No więc... Wrzuciliśmy ci jedną, a ty już.

Tak, tak. Ten akurat znowu przed.

Tak. Dobra, lecimy dalej, przenosimy się na polskie podwórko. Sklep na szoperze swoją drogą. I jest tutaj przedstawiony header, górna część strony.

Totalnie wersja B, to nawet nie ma...

Totalnie wersja B. Mój ulubiony przykład.

Mój też.

Ale jak? W sensie on wizualnie nawet UI-owo wygląda ciężkawo.

Słuchajmy, chcieliśmy sobie dać rękę uciąć, że wersja B będzie konwertowała lepiej.

Bardzo długo też klienta przekonywaliśmy od tego testu, bo był zakochany w tej cegiełce.

Tak.

Puściliśmy test AB, no i... Tutaj na

marginesie to jest nasz klient, który sobie zażyczył właśnie piękną cegiełkę w tle, której ja osobiście niestety nie trafiłem.

A może klient miał przyczynienia z tą cegiełką od lat?

Prawdopodobnie tak.

I że ciężko już jest to im zmienić. No ciekawe.

No i dobra, ostatni przykład. Też polski sklep z zabawkami i tutaj widzimy kartę produktu w dwóch różnych wariantach.

Intuica powiedziała mi, że w pierwszym rzucie jest dalej do koszyka na froncie, więc powiedziałbym, że wersja B, a dla odmiany powiem, że wersja A, żeby być na przekór swoim przekonaniem.

No i niepotrzebnie zmieniłeś.

Czyli tak naprawdę loteria.

No i właśnie. I co my tym całym quizem chcemy Ci przekazać? Udało Ci się z tego, co pamiętam, jedno na sześć przykładów zgadnąć dobrze. No i prowadzi to nas do... Zazwyczaj ludzie też sobie radzą z tym mniej więcej podobnie. No i prowadzi to nas do smutnej, ale prawdziwej konkluzji. Ludzie, w tym nawet najlepsi eksperci UX czy CRO, nie są zbyt skuteczni w intuicyjnym określaniu, czy dany pomysł na zmianę jest dobry. No i gdyby tego quizu było nam mało, gdyby nie było wystarczająco, żeby to dowieść, no to dane z Airbnb, Bookingu, Netflixa, czyli organizacji, które testują na masową skalę, pokazują, że około, jedynie około 10% testowanych zmian, które miały na celu podnieść jakąś metrykę, podnosiły tę metrykę. Biorąc pod uwagę również więcej organizacji, średnio 8, 7, 8, 10, 7, 8 na 10 pomysłów nie przynosi oczekiwanych rezultatów.

Jasne. Czyli twoja zgadywanka quizowa totalnie odzwierciedliła tą statystykę, nie? I potwierdzasz autodanę.

No dobra, no to jak podejmować dobre decyzje w takim razie?

Dobra optymalizacja sklepu to jest odpowiedni proces i ten proces możemy skondensować do takich trzech najistotniejszych kroków. Po pierwsze, Znalezienie wąskich gardeł, zidentyfikowanie gdzie i dlaczego ucieka konwersja. No i to możemy osiągnąć szeregiem różnych badań, na przykład analizą Google Analyticsa, usertestingiem itd., itd. Krok drugi to postawienie hipotezy, co mogę zmienić w swoim sklepie, aby tę konwersję podnieść. Może to być na przykład przebudowa karty produktu. No i po trzecie zwalidowanie tej hipotezy, sprawdzenie czy ta nowa karta produktu w rzeczywistości działa lepiej.

Tak i jeszcze to, co widzicie teraz na ekranie, to jest proces, który my w ten sposób ułożyliśmy też u nas in-house'owo i ten cykl, który widzicie, to jest cykl, z którym pracujemy też z każdym klientem u nas i on jest nie bez powodu w ten sposób poukładany, ale też dalej pewnie trochę więcej opowiemy na case'ach, dlaczego on jest w ten sposób poukładany.

No właśnie, ja też mam jakby od was podmiot do tego procesu. Długo to w ogóle trwa? Taki proces całościowy zidentyfikowania tych problemów, testowania?

Generalnie my to sobie zawsze dzielimy z klientami jak pracujemy w sprintach. To z reguły pierwszy miesiąc my go nazywamy audytowym, czyli generalnie to są te pierwsze trzy kroki, jak zerkniesz, nie? Badania, analizy, szanse na wzrost i priorytety i hipotezy. No i to jest z reguły miesiąc pierwszy, a później od drugiego miesiąca zawsze z każdym klientem już chcemy zacząć testować AB, wdrażać program testów AB od tych najbardziej priorytetowych testów. Czy przeprowadzać badania, których sobie też opowiemy, bo nie u wszystkich klientów możemy testy AB przeprowadzać, więc wtedy robimy badania jakościowe, badania ilościowe, o których też sobie później więcej opowiemy.

No, też włączyliście do temat tych hipotez. Te hipotezy pewnie wynikają w pewnym stopniu trochę od klientów, trochę od was na bazie jakichś danych z Analyticsa. To jak w ogóle efektywnie te hipotezy weryfikować? W sensie, jak do tego w ogóle podejść?

Wiesz co, jedno to jest weryfikowanie tych hipotez, ale też to, co wspomniałeś o hipotezach, jakie stawiać, no właśnie istotne jest, żeby stawiać silne hipotezy. I to, co ja praktycznie się jeszcze nie spotkałem z tym w żadnej rozmowie z organizacją, która coś testowała już, bo większość w ogóle nie testowała, ale jeśli ktoś testował, że to były hipotezy, które powstawały na zasadzie burzy mózgów, że ktoś tam sobie wymyślił, a może przetestujmy inny układ albo właśnie te wspomniane wcześniej zaokrąglenia batonów czy kolory batonów. Ważne jest postawienie silnej hipotezy, a później walidacja. Jak stawiać silną hipotezę? Opowiemy sobie też później na konkretnych case'ach. Natomiast przede wszystkim ważne jest, żeby znaleźć realny problem w analityce i odpowiedzieć sobie na pytanie, co może ten problem powodować i jak go rozwiązać, nie? Więc też później na konkretnych case'ach, jednym, którym w Kudzieć pokazywaliśmy odnośnie redesignu karty produktu, powiemy ci, jak właśnie znaleźliśmy problem, postawiliśmy hipotezę i przetestowaliśmy to AB.

No dobra, a od tej strony takiej procesowej, to jak Adrian weryfikować te hipotezy?

Takich metod jest generalnie wiele. Jest wiele metod, które podpowiadają nam, co możemy zmienić na swojej stronie, aby poprawić UX czy konwersję. No i część z tych metod jest lepsza, a część gorsza. No i jest coś takiego jak hierarchia dowodów w optymalizacji stron internetowych, którą teraz widzimy na ekranie. Im wyżej będziemy się piąć po tej piramidce, tym silniejsze dowody będziemy otrzymywać na to, że wdrożenie konkretnej zmiany jest dobre i tym niższe ryzyko będzie to za sobą niosło. Jak widzisz, na samym dole są najlepsze praktyki, checklisty, opinie również z ekspertów, czy decyzje podejmowane na podstawie intuicji.

Czyli to, co robi większość osób.

Czyli to, co robi większość osób i co tutaj chciałbym podkreślić, że to nie musi być koniecznie złe, bo jeśli dopiero zaczynasz, masz amatorski design sklepu, wcześniej w ogóle nie podejmowałeś żadnych działań pod kątem UX-u, idź z najlepszymi praktykami, to da ci pewnie solidny fundament. Jeśli już te podstawy masz i chcesz dalej optymalizować swój sklep, no to dobrze spojrzeć na te wyższe segmenty w piramidzie. No i na samej górze są właśnie testy AB i metaanalizy z wielu testów AB, czyli podsumowując, one dostarczają nam najsilniejszych dowodów na to, że wdrożenie konkretnej zmiany jest dobre. No i są takim złotym standardem w ustalaniu przyczynowości, dlatego, bo możemy kontrolować wpływ jednej zmiany, na przykład zmianę na karcie produktu, na inną zmienną, no i to nam dostarcza dobrych wniosków, rzetelnych wniosków, że konkretna zmiana jest dobra albo słaba. Albo neutralna, bo też większość testów jest nierozstrzygnięta.

To też jest ciekawe.

Dokładnie. Tutaj w ogóle, jak zawsze rozmawiam, czy z klientami, z lidami, jak tą piramidę pokazuje, to ona bardzo szybko im wyjaśnia, dlaczego należy testować AB, w sensie tak wizualnie, nie? I dosyć, dosyć szybko zaczynają rozumieć, dlaczego należy, należy to robić i w którym miejscu obecnie są. My jeszcze mamy tę piramidę trochę bardziej rozbudowaną, w sensie wydzieloną jeszcze dokładniej, natomiast tutaj w fajnym uproszczeniu to, to pokazuje to, co powiedział Adrian.

No dobra panowie, a w tym środku piramidy są badania ilościowe i jakościowe. Możecie przybliżyć naszym słuchaczom czym to jest?

Generalnie tak, badania ilościowe, na przykład pod ilościówkę już podchodzi tree testing, chociażby, czy card sorting. To są badania, które się robi na grupie od 30 do 100 osób. To są akurat konkretnie badania na drzewko kategorii, na architekturę informacji. I mamy też badania jakościowe, czyli na przykład user testing, to jest badanie z użytkownikami. które przeprowadzamy na grupie od pięciu do dziesięciu osób. To są badania, gdzie widzimy, my to nazywamy takim hot jarem na boostie trochę, czyli krótko mówiąc, widzimy mimikę twarzy i to, co mówi do ekranu osoba badana. One są też rekrutowane za pomocą platformy, z którą współpracujemy, oczywiście dopasowane do grupy zainteresowań, naszego klienta, grupy odbiorców. Jeszcze z jakościówki, no mamy badanie. Coś jeszcze pominąłem z jakościówki?

Test preferencji jest na przykład. Do tych metod jest trochę, natomiast myślę, że nie ma co w nie dzisiaj głęboko wchodzić. Michał wymienił te najważniejsze.

Tak, no a standardową analizę GA4 z ilościówki. Mamy też hitmapy, scrollmapy, record sessions, clarity. No to są takie... Standardowo już się wszyscy znają. Więc to jeszcze tutaj to wchodzi.

Czyli robiąc takie krótkie podsumowanie, stawiając hipozę, to tak, mamy te najlepsze praktyki, to jest, jak się ktoś ma sklep, który nigdy nie był mocno dłubany, jeśli chodzi o UX, UI, to to jest podstawa. Badania ilościowe, jakościowe są właściwe dla wszystkich, czy też od jakiegoś poziomu sprzedaży i komersu, nie wiem, ilości sesji, ruchu, no bo już wiemy jedno, że te testy będą, to trzeba tych jednak danych trochę mieć. A jak to jest z tymi badaniami ilościowymi, jakościowymi?

Z jakościwymi jest tak, że tutaj nie masz progu wejścia, bo zazwyczaj polegają na tym, że rekrutujesz ludzi z jakiejś tam grupy i przeprowadzasz z nimi badania. Więc tutaj zdecydowanie może przeprowadza cię każdy. Jeśli chodzi o badania ilościowe i wyciąganie wniosków np. z GA4, no to tych danych też już trochę musi być, żeby nie porównywać dwóch kanałów, które mają po 10 użytkowników, no bo niewiele nam to powie.

Okej. Fajnie. Czyli mamy ten temat podsumowany. Przychodzimy do wisienki na torcie. Tego, co dzisiaj tutaj jest głównym tematem naszego workshop podcast.

Testy AB.

Jak te testy AB wyglądają w praktyce?

Ja bym może na starcie zrobił w ogóle takie intro jeszcze odnośnie samych testów AB. Tutaj przepraszam wszystkich, ale niestety zostałem wyznaczony do przeklikania prezentacji, więc muszę łączyć to, co mówię z wyklikiwaniem. No nie jest, bo ja wiesz, ja stary mówię. Tutaj mam coś mówić, a przy okazji klikać i patrzeć.

Tego nie przewidziałeś tu.

Tego nie przewidziałem dokładnie, ale myślę, że celowo mnie do tego wyznaczyliście, bo wiedzieliście, że mi będzie trudniej. A ja o tym nie pomyślałem wcześniej i się dałem na to nabrać.

Jest jak jest.

Dokładnie tak. Odnośnie testów ABS-a, Mech, właśnie żebym to spiął też z preską. Ja bym jeszcze powiedział przed, bo to co mieliśmy też poukładane w tej presce, żeby to całe story miało ręce i nogi od tego, co ma wpływ na współczynnik konwersji i na to, ile wpływa, jakby, ile czynników wpływa na ten współczynnik konwersji, że niestety...

Ja będę wbił takie szpileczki, bo może to jest taki, wiecie, początkujący. Czym jest ten współczynnik konwersji?

Okej, no współczynnik konwersji generalnie to jest liczba akcji, którą konwersji w tym wypadku, czyli krótko mówiąc w przypadku e-commerce'u jest to zakup, podzielona przez liczbę userów, no i wychodzi nam na tej podstawie procent osób, który dokonał zakupu w przypadku e-commerce'u na sklepie. W przypadku stron usługowych może to być wypełnienie formularza, tak? Super. W dużym uproszczeniu. Właśnie, odnośnie tego, co wpływa też na sam współczynnik konwersji, generalnie to jest częsty temat i case, jak ktoś do nas trafia, też przez nazwę, którą my mamy, czyli CRO, skrót od optymalizacja właśnie współczynnika konwersji, że fokusują się i skupiają na, stricte na samym współczynniku. To jest błędne, bo na sam ten współczynnik ma wpływ chociażby zmiana, nie wiem, promocją konkurencji, zmiana cen u ciebie też w sklepie, bo jak nagle zrobisz te duże promocje, no to automatycznie ten współczynnik konwersji ci rośnie. Właśnie działania konkurencji, o których wspomniałem, kampanie marketingowe. Wystarczy, że zwiększymy budżet na zimny ruch i z automatu ten współczynnik konwersji nam poleci. Zmiany w strukturze ruchu, sytuacja gospodarczo-ekonomiczna, pandemia, którą też mieliśmy, nie wiem, czy można wymieniać nadal to słowo na YouTubie, więc najwyżej zostanie wypikane.

Stało się już.

Stało się, dokładnie. Pogoda, naprawdę masa, masa czynników i my też właśnie płynnie przechodząc do testów OB, nigdy nie kładziemy fokusu na to, czy współczynnik konwersji rośnie, czy nie, we współpracy z klientem, bo nie tylko my mamy wpływ na sam ten współczynnik, ale głównie skupiamy się właśnie na testowaniu AB, bo w wyizolowanym środowisku, na okres przeprowadzania testu, my wiemy, który wariant działa lepiej albo gorzej. Możemy to zweryfikować.

Jest to bardziej miarodajne.

Dokładnie, no.

Tak, a właśnie jedną z najpopularniejszych metod oceny, czy dane wdrożenie jest, czy dany wdrożony pomysł jest dobry czy zły, jest obserwacja współczynnika konwersji przed i po wdrożeniu tej zmiany. Tylko, tak jak Michał wspomniał, na ten współczynnik konwersji ma wpływ mnóstwo różnych czynników, więc wystarczy, że my zmienimy coś w koszyku i ta zmiana jest dobra, ale jednocześnie z ruchu z bloga zacznie wpływać więcej zimnego ruchu, który nie konwertuje, no i ten współczynnik konwersji może spadać, mimo że wdrażamy dobre zmiany.

Tak jest.

Wydaje się to niezwykle ciężkie w takim wypadku do weryfikacji, bo jest dużo tych zmiennych. No to powiedzcie mi w takim razie, jak to wygląda w ogóle w praktyce?

W praktyce w sensie samo przeprowadzenie testu AB? Generalnie, tak już od strony technicznej, żeby wyjaśnić, 50% ruchu wpuszczamy na wariant oryginalny, 50% na wariant testowany. To, co jest istotne, to userzy nie wiedzą o tym, że im się wyświetla inny wariant. Tam nie ma jakiegoś flickeringu, czyli przeładowania, że ktoś wie już, że hej, coś mi się zmieniło nagle. na ekranie, tylko to jest randomizowane i też user nie wie o tym, że mu się wyświetla inny wariant, więc nie działamy w żadnym stopniu na podświadomość już tego usera. To tak od tej strony, od tej strony technicznej. Co jeszcze pytałeś odnośnie testu OB?

Ja bym chciał zobaczyć jak to wygląda w praktyce, na jakichś liczbach. Może macie jakieś przykłady?

Możemy sobie przejść płynnie teraz do case'ów. To jest zawsze najbardziej ciekawe.

Bo wszystkim się wydaje, tak jak gadaliśmy na samym początku o tych zaokrąglonych batonach, że to nie wiadomo jak wzrastać te sprzedaż i to nie wiadomo jak dużo daje ci dodatkowego przychodu.

Dokładnie, dokładnie. Tu w ogóle mamy właśnie ten pierwszy case optymalizacji karty produktu u jednego z naszych klientów.

Czy to jest najważniejsza w ogóle strona w e-commerce?

Jedna z w ścieżce zakupowej. Jeszcze koszyk, checkout. To są takie najczęściej odwiedzane strony, na które kierujemy najwięcej ruchu, chociażby z reklam. To zawsze na kartę produktu wpada sporo ruchu, a potem koszyki, checkout, bo tam jest finalizowana cała transakcja.

Na tych trzech podstronach można najwięcej ugrać, generalnie.

Czyli jak ktoś sobie chce optymalizować ten sklep, to powinien zaczynać od trzech na raz? Czy jak ma ograniczenie budżetu, jest jakaś taka jedna strona, która waszym zdaniem jest najistotniejsza, żeby się nią zająć w pierwszej kolejności i ogarnąć ją, że tak powiem?

to się okaże w momencie jak zajrzymy w GA4 i realnie zobaczymy gdzie jest problem. No bo jeśli mamy najwięcej kasy klientowi ucieka na przejściach z koszyka do checkoutu, a na karcie produktu ten bounce rate jest, powiedzmy mieści się w benchmarkach gdzieś, no to nie będziemy się skupiać na karcie produktu tylko skupimy się wtedy na na koszyku i czekała cię. Zresztą taką zasadą się kierujemy w każdej współpracy, że definiujemy największe wąskie gardła i naszym celem jest wyeliminowanie tych wąskich gardeł. Na pewno w dalszym etapie karta produktu jest warta optymalizacji, ale no w pierwszej chwili się skupiamy tam, krótko mówiąc, gdzie ucieka najwięcej kasy, a u każdego to jest indywidualne, nie? U każdego to może być zupełnie, zupełnie co innego.

Nie wydaje mi się, że tylko analityks, moi drodzy słuchacze.

Nie tylko, dokładnie. Poza GA4. GA4 jest generalnie, może źle powiedziałem, papierkiem lakmusowym takim dla nas, gdzie zaglądamy i widzimy, że jest gdzieś problem, ale potem tego jeszcze dochodzi. Clarity dochodzi też. Jakościówka, którą zresztą ty też w DAGu robisz sporo wywiadów z klientkami, sporo czerpiesz też informacji od swoich klientek.

Rozmowa z customer supportem. To jest często pomijane, a to jest kupalnia wiedzy. Ci ludzie mają, wiesz, na co dzień kontakt z tytkami klientów, którzy często w prosty sposób, jasny, mówią, co im nie pasuje na tej stronie.

U nas to jest stały proces. Mamy tam z 8 tysięcy ankiet wypełnionych, ale bardzo dużo osób w e-commerce'ie tego nie robi, nie rozmawia, nie prowadzi dialogu z klientami, więc ja bym chciał, żeby zachęcić was do tego, że nawet nie macie budżetów na testowanie A, B, czy nawet takiej skali ruchu, żebyście po prostu sobie porozmawiali ze swoimi klientami. I żebyście przyglądali sobie, o czym oni piszą w mailach, jakie najczęściej pojawiają się problemy.

Zdecydowanie. No tutaj jeden ciekawy case mi wpadł do głowy odnośnie tego Customer Supportu, gdzie u jednego z klientów okazało się, że masę zapytań dostają o to, gdzie, chyba nawet o tym gadaliśmy kiedyś, gdzie dodać kod rabatowy w koszyku bodajże, czy już tam na etapie finalizacji zakupu, bo był dziwnie, dziwnie ukryty, w sensie miał takie rozwinięcie. I oni mieli support, miały na to gotową formułkę i mieli takich zapytań, wiesz, kilkadziesiąt tygodniowo, co jest absurdalne.

Nikt nie pomyślał o tym, żeby to zmienić na stronie, tylko przygotowali jakiś template mailowy. A tych zapytań było dziesiątki, dobrze pamiętam, w skali tygodnia.

No bo tam skala już była kilkunastu tysięcy transakcji miesięcznie, nie? No to było kilkadziesiąt zapytań w tygodniu.

Czyli dialog również z Customer Service, nie tylko z klientami.

Tak, to prawda.

No dobra panowie, przechodźmy do case'ów. Opowiedzcie o tym więcej.

Tak, no case, który pojawił się w quizie zresztą, którego nie trafiłeś.

Fajnie.

Tutaj ścieżka właśnie zgodna z tym procesem, w którym pracujemy, czyli i znów postawienie silnej hipotezy, czyli wyjście od step by step Rozmowa z Customer Supportem. Analiza GA4, gdzie zaobserwowaliśmy wysoki bounce rate akurat tego klienta i ten test miał jeden z wyższych priorytetów. To był w ogóle jeden z pierwszych testów, który przeprowadziliśmy u tego klienta. Dodatkowo jeszcze w Clarity też zaobserwowaliśmy że userzy mieli generalnie problem z poruszaniem się po karcie produktu, ze znalezieniem jakichś kluczowych informacji. I na tej podstawie postawiliśmy silną hipotezę o e-designie karty produktu i gdzie chcemy umiejscowić konkretne informacje. No tutaj jeszcze było dosyć istotnym czynnikiem w odbiorze, to nie pamiętam czy to nam też później wyszło w user testingu czy nie, ale generalnie UI tej karty produktu, ta po lewej stronie, no ma taki UI niezbyt sprzyjający, który budzi zaufanie. No i przeprowadziliśmy właśnie test testa bezredesignem karty produktu. Efekt był taki, że w tym wypadku ten test zwyciężył z wersją B, konwertował o 6,03% To dużo? Dużo. W przypadku testów OB większość wyników ma ile? Między 5 a 15 procent max, czy 5-10?

5-10 to jest już dużo. W tych większych organizacjach, które testują na masową skalę zazwyczaj to są wyniki poniżej 5 procent.

Dokładnie. Dlatego też jest kwestia skali. 6 procent dla kogoś, kto robi dziesięć tysięcy złotych miesięcznie, no to są grosze to nawet. Wiesz, jest to nierentowne w żaden sposób. Jakby czas poświęcony na wdrożenie i tak dalej, i tak dalej. Nie ma sensu. Natomiast w przypadku tego klienta, no tak jak tutaj widać na załączonym obrazku, to jest trzydzieści osiem tysięcy dodatkowego przychodu w skali miesiąca, nie? Więc... To się przyda już. Dokładnie. No to to jest jeden... To się przyda już. Świetnie powiedziałeś. Więc no jak sobie... I to jest tylko jeden test, nie? który w zasadzie, no, wdrożenie tego testu to jest rentowne już, nie?

Tutaj tylko zaznaczmy, że skala tego klienta była całkiem spora, więc w większości e-commerce'ów, podnosząc konwersję o 6%, no nie uzyskamy dodatkowych 38 tysięcy.

To fajne, fajnie, żeby to wzięło, żeby właśnie osoby z niższą skalą się przed kimś też nie pakowały w takie rzeczy, które mogą być nierentowne dla nich. No dobra, jakieś inne teściki, nie pooglądam, quiz.

Chętnie pooglądasz, dobra. Drugi case, odnośnie w tym wypadku małej zmiany na karcie produktu, gdzie zaznaczmy mogliśmy taką małą zmianę przetestować, bo też mieliśmy skalę klienta odpowiednio dużą, żeby w ogóle wykryć, wykryć efekt założony w preanalizie i żeby ten test był wiarygodny. Bardzo prosty test z pokazaniem liczby opinii na karcie produktu, totalnie inny od tego poprzedniego, gdzie to był duży redesign. Celowo go też pokazujemy, bo on miał bardzo ciekawy wynik, a mianowicie 4,08% konwersji więcej, co mogłoby w sumie tak naprawdę wcześniej, przed przeprowadzeniem tego testu, no nie spodziewaliśmy się takiego wyniku, prawdę mówiąc, raczej trochę mniejszego wzrostu, tym bardziej, że to jest pokazanie opinii na karcie produktu. A tutaj ten test 4,008% wzrostu.

Wy jako specjaliści byście nie spodziewali? Ja bym się spodziewał większego. Tak moim zdaniem wydaje się to logiczne.

Ile? 30%?

No wiesz, tak jak wszystkie te reklamy, które wyskakują w internecie, mówią, że tu zwiększ to, to nigdy nie widziałem procentów 4-5%, tylko raczej te właśnie 15-30% wyskakuje gdzieś tam w komunikacji, że zrób to, zrób to.

Słuchaj, to ładnie wygląda, w sensie wiesz, Czy 15% czy 30% brzmi bardziej sexy niż 6%?

No jest mało zamówiące.

Umówmy się, czy 4%. Natomiast jeśli ktoś do nas przychodzi i chce wiarygodnie testować AB, no to my nie możemy opowiadać o jakichś wzrostach 30% czy 50%, które oczywiście się zdarzają sumarycznie rok do roku. Przykładowo 20% wzrost przychodów klienta rok do roku, ale On wynika z tego, że to jest właśnie suma przeprowadzonych wszystkich testów ABE, badań, wdrożeń i tak dalej, czy jakieś większe redesigny, po których są tu wzrosty. Natomiast tak jak wcześniej powiedzieliśmy, 5-10 to jest taki standard w przypadku wiarygodnych testów ABE. Dla tych, co nie dowierzają, są bazy duże testów ABE, takie globalne, gdzie można to sprawdzić, że nie ma takich wzrostów. Z reguły zobacz, gdzie gdzie się pojawiają te wzrosty 30-procentowe, czy ten wcześniej case, o którym Adrian wspomniał, z tym zaokrągleniem batona. Z reguły są to niewiarygodne testy po prostu. I tyle. I dlatego ten wynik jest tak duży. Zresztą pokażemy ci później jeden ciekawy przypadek jeszcze w dalszej części preski.

No to niewiarygodne, jeszcze wyjaśnię, o co chodzi z tym niewiarygodnym. Niewiarygodne, czyli przeprowadzane często na zbyt małej próbie. I wtedy te wyniki wychodzą bardzo duże, bardzo zaskakujące. No i tutaj znów warto się powołać wtedy na prawo Twajmana. A przeprowadzanie testów AB na za małej próbie to jest trochę tak, jakbyśmy rzucili monetą 10 razy. Jeśli 7 razy by nam wypadła reszka, to byśmy stwierdzili, że jest 70-procentowe prawdopodobieństwo wyrzucenia reszki przy kolejnym rzucie. No a oczywiście to nie jest prawda.

Widzę tutaj w presie jeszcze jakiś test, który jest z wideo, no bo to wideo jest generalnie w socialach super wiodące. Jak to się sprawdziło w przypadku testu, który tutaj przeprowadziliście?

To jest o tyle ciekawy test, że klient w ogóle wyszedł z propozycją, że chcą dodać wideo na kartę produktu, no bo wtedy zaczęła się ta moda. swego rodzaju moda, że wszyscy zaczęli dodawać wideo na karcie produktowej.

Bardziej angażuje.

Dokładnie, bardziej angażuje. W branży fashion też zamiast zdjęcia produktowego wideo i tak dalej, i tak dalej. No i oni chcieli dodać wideo i prawdę mówiąc, no my też byśmy wyszli z założenia, że no wideo nie może konwert, przecież nie może konwertować gorzej, no raczej bardziej angażuje. Ale puściliśmy test B, żeby to sprawdzić zanim klient wdroży, no bo skala biznesu też dosyć duża, więc tam już wdrożenie czegoś bez testowania wiąże się z większymi konsekwencjami. No i co ciekawe, Envariant konwertował 4,67% gorzej. I też później właśnie, bo to też jest istotne, w analizie testu AB, już po przeprowadzonym teście, obserwowaliśmy na przykład nagrania użytkowników w Clarity. I okazało się, że po prostu to wideo odciągało uwagę od jakichś kluczowych informacji na stronie. I kolejny inny czynnik, na który nikt nie zwrócił uwagi wcześniej, że wideo, w tym wypadku na mobilkach, powoduje też, wpływa na ładowność strony. I na to wiele osób nie zwraca uwagi, że wideo jest obciążające dla strony i spowalnia jej ładowność. A ładowność jest jakby, nie patrzeć, kluczowym elementem, jeśli chodzi o konwersję w ogóle i o działanie e-commerce'u.

Ciekawe. No, wydawałoby się logicznym, nie? A jednak, jednak tak nie jest. No dobra, wspomnieliście też o tym, dla kogo te testy są, dla kogo nie są. Czy moglibyście jakoś ubrać taką klamerkę i powiedzieć mi, no kto powinien testować? Jeśli ktoś na przykład nas słucha i mówi, a fajne, ciekawe rzeczy mówią chłopaki, to kto powinien to robić, a kto tego nie powinien robić?

Na pewno testowanie A-B nie jest dla każdego, natomiast to też trudno ubrać w taką klamrę, jak wspomniałeś, bo to ile my danych potrzebujemy zebrać w konkretnym teście A-B zależy od kilku czynników, m.in. od progu istotności statystycznej, mocy testu, liczby ruchu, liczby konwersji i efektu, który chcemy wykryć, tak zwanego MDE.

Oskar się uśmiecha od razu. Co? MDE, moc statystyczna. A co chodzi?

Da się tego wytłumaczyć?

Im mniejszy efekt chcemy wykryć, tym więcej tych danych będziemy potrzebować. Przykładowo, jeśli chcesz zmienić coś małego w swojej stopce albo zaokrąglić batony, to będziesz potrzebował dużo więcej danych, żeby podjąć na podstawie tego testu jakąś wiarygodną decyzję, niż jakbyś na przykład zredesignował cały koszyk i checkout. No i generalnie przed każdym takim testem dobrze jest zrobić preanalizę, żeby obliczyć ile czasu powinien trwać ten test i jaką próbę powinien zebrać, aby móc na nim, na jego podstawie podjąć wyragodne decyzje. I wiem, że to też wiele nie mówi na tym etapie, więc jeśli mielibyśmy jakoś generalizować, ale podkreślam, że to jest generalizacja, no to taki e-commerce powinien mieć około 4 tysięcy konwersji, transakcji miesięcznie. żeby móc wiarygodnie testować, tylko znów tutaj z gwiazdką. To wszystko zależy od kilku czynników, więc jeśli chcemy przetestować jakąś bardziej radykalną zmianę, no to tych danych pewnie może być trochę mniej.

Dokładnie, no tutaj na przykładzie w DAG-u, nie, jak robiliśmy, teraz jest w trakcie akurat, więc też później podzielimy. Kiedy skończysz?

Jakoś niebawem, a co?

Niebawem się dowiesz. Test A, B. Generalnie testujemy multi-step versus one-step checkout. To jest bardzo duży test i w przypadku tak dużego testu też ta zmiana, potencjalnie różnica w konwersji, którą wykryjemy, będzie prawdopodobnie, może być znaczna, tak? Więc też I zanim podchodzimy do testu AB, to co Adrian powiedział, musimy się zastanowić, czy to jest rzeczywiście większa zmiana, którą chcemy testować, czy drobna. No bo przy drobnej ciężko będzie ten efekt wykryć. Dużo, chociaż miałem kiedyś dyskusję z jednym gościem, który testował na próbie 20 konwersji i mówi, no to skoro tam...

Dwudziestu?

Dwudziestu transakcji.

Są dwudziestu tysięcy.

Szalony. Szalony człowiek.

20 tysięcy byłoby OK. 20 tysięcy było spoko.

Szalony człowiek testował na 20 konwersjach i próbował udowodnić nam, mi, że to jest słuszne. No i ja mu powiedziałem, żeby, krótko mówiąc, jeśli osiąga takie wzrosty, po 30-40%, to jego biznes, przeliczyłem mu to tam w skali każdego testu, który zrobił, że powinien już mieć naprawdę gigantyczny biznes, skoro robi takie wzrosty na każdym teście. Potem doszło do wymiany zdań, że on miał statystykę na studiach i tak dalej. To już tam inne kwestie. Natomiast to co Adrian powiedziało o przykładzie z monetą. Nie można na tak niskiej próbie podjąć decyzji, czy coś jest słuszne, czy nie. I tutaj właśnie myślę, że idealny przykład.

Jeden ciekawy przykład. Możesz przełączyć na ekranie, żeby też widzowie widzieli.

Montażysta nas zabija.

I nie lubi nas.

Ale to też jest nowa forma podcastu,

więc się... Słuchaj, przyjrzyj się tym wynikom. Załóżmy, że test trwał 5 tygodni. Przyjrzyj się tym danym i daj znać, jak myślisz, czy warto by było wdrożyć tutaj wariant B do e-commerce'u.

No wydaje się, że... Ale dobra, jest tylko 200 konwersji.

No i dobrze myślisz.

Mało.

Tak naprawdę to był test A, czyli oba warianty były identyczne, a mimo to... Test pokazał 9-procentowy wzrost. Dlaczego? No i to, co trzeba zrozumieć, to, że wynik, który widzimy w teście AB, to jest składowa dwóch rzeczy. Po pierwsze, rzeczywistego wyniku. I po drugie, szumu losowego. Czyli to, co tutaj widzieliśmy, te 9%, to jest składowa rzeczywistego wyniku, który wynosił 0%, no bo to był test AA. I szumu losowego, który był w tym przypadku bardzo duży. No i im mniej mamy tych danych, im krócej trwają testy, im są na mniejszej próbie, tym ten szum losowy gra większe znaczenie.

Tak i w ogóle po to... Czyli

taki test AA trzeba przyrobić na samym początku?

Tak, zawsze go robimy na początku albo robimy niedowiarką, którzy chcą testować na próbie właśnie 20-30 konwersji. Dlaczego tego nie robić? To jest jeden czynnik, a dwa robimy też testy na starcie, co Ostatnio mieliśmy styczność w bardzo dużej organizacji, która testowała kilkadziesiąt tysięcy konwersji miesięcznie. Testa jest też po to, żeby sprawdzić, czy narzędzie poprawnie zbiera dane w ogóle. No bo jeśli tego nie zweryfikujemy, to jak puszczamy testy A-B, okazuje się, że jest rozjazd, co się zdarza i trzeba poprawiać konfigurację, że masz rozjazd, nie wiem, 20-30 procentowy, no to nie możesz puszczać testu A-B i wiele osób tego nie robi. przed rozpoczęciem w ogóle testowania AB i puszczają testu AA, który właśnie po to jest, po to się go puszczamy, go puszczamy na starcie jeszcze, zanim zaczniemy robić nawet audyt i cokolwiek badać, żeby w ogóle już mieć to zebrane poprawność zbierania danych w narzędziu i właśnie to co Adrian już wcześniej wspomniał, czego nie będę powtarzać już drugi raz.

Jak sobie was tak słucham, panowie eksperci, to myślę sobie, że tak, reklamę na Facebooku to łatwo, może ustawić każdy, na Google może ustawić każdy, Analyticsa jeszcze jakaś tam część podepnie, no ale chyba z tymi testami jest tak, że Nie da się tego zrobić samemu. Trzeba zaufać osobom, które się naprawdę znamy.

Tak, jest to ciężkie. Już nie mówię o fakcie testowania dużych zmian. I to jest też niesamowite, że ludzie nie wiedzą na przykład, że development się robi z poziomu narzędzi testów FAB. Z reguły jak wszyscy robili testy FAB, to pewnie tak jak ty też miałeś styczność, to leciliście z poziomu edytora wizualnego. Takiego, że a tu sobie coś przestawię i tak dalej. Czyli mogłeś testować komunikaty, no właśnie batony i tak dalej. Dlatego to są też najczęstsze testy w ogóle, które są przyprowadzane w organizacjach. A test AB można robić development z poziomu narzędzia. Jakby nie jesteśmy ograniczeniami do edytora wizualnego, tylko jest developer, który pisze kod do danego testu AB. Dwa, no to jest, wiesz, cała preanaliza, o której wspominał Adrian. Później też analiza, bo też trzeba umieć analizować testy. Są do tego odpowiednie kalkulatory. No jest naprawdę masa czynników, które jak zaczynamy z klientami, którymi pracujemy, rozkładać na czynniki pierwsze, no to oni dochodzą do wniosku, że sami, krótko mówiąc, no by tego nie zrobili, musieli poświęcić bardzo dużo czasu na naukę. No tutaj siedzi pan Adrian, który czyta książki o statystyce. To jest ulubione intro. Wszyscy tak przedstawiają Adriana. Adrian każe czytać pracownikom książki o statystyce. To jest prawda. Ja na szczęście nie jestem w tej grupie, która musi czytać książki o statystyce. Ale nie, no teraz tak totalnie serio, to naprawdę sporo czasu trzeba poświęcić na naukę tego i digowanie tego tematu, nie? To nie jest takie hop siup, żeby sobie w jeden dzień usiąść i zacząć testować AB. Znaczy jest z perspektywy, że wepniemy narzędzie i zmienimy kolor przycisku. No tylko pytanie, czy ma to sens, nie?

Puszczać testy może każdy, tylko potem one się kończą tak, że widzimy w teście AA wzrost o 15%.

Dokładnie.

No dobra, jeśli ktoś dotrzeł do tego momentu naszej rozkminki analitycznej i ma tych konwersji bądź co bądź, te kilka tysięcy, o których mówiliśmy, To gdzie on może was w ogóle znaleźć, żeby sobie zgłębić ten temat? No bo wiemy, że sam tego nie zrobi. A ja potem chcę przejść do trochę takiego tematu uproszczonego.

Generalnie tak. To możecie nas napisać na stronie.

Podlinkujemy coś.

Podlinkujemy. Nazwę firmy mówiliśmy na starcie Digispot albo z angielska Digispot. Więc, więc podlinkujemy. Sporo też jest na blogu. Adrian sporo pisze też do e-commerce praktyce, do Marketer Plusa. Teraz zresztą w niedawnym wydaniu e-commerce praktyce jest Adriana artykuł bardzo fajny o kontrowersyjnym copywritingu. Skuteczne scenariusze.

12 scenariuszy jak możemy optymalizować copyright.

Tak, a teraz niebawem w Marketerze też najnowszym będzie artykuł.

Tak jest. O wiarygodnym testowaniu.

To nie było przygotowane.

No dobra.

Co teraz?

Teraz moje pytanie jest następujące, panowie. No bo wracając do tej piramidki trochę początkowej naszej, no to jeśli ktoś bądź co bądź, no nie ma możliwości testowania AB, to jakie on alternatywy ma? No tutaj na waszej prezentacji, którą są wam przed sobą, jest jakieś rzeczy typu user testing, free testing, test 5 sekund, test preferencji. Czy moglibyście powiedzieć o czym to jest i co z tego można sobie wdrożyć, że tak powiem własnym sumutem jako właściciel sklepu e-commerce?

Jasne, no tu z tych rzeczy, skrótowo może zróbmy tak, opowiemy o każdym z tych badań, potem powiemy co można wdrożyć, bo to też jest fajny case, żebyś ty powiedział w DAG-u właśnie odnośnie jakościówki.

O pytania, które my zadajemy.

Tak, o pytania, które wy zadajecie, bo to właśnie sami robicie i to myślę, że każdy właściciel e-commerce'u może totalnie, totalnie sam to robić. Odnośnie badań, no to tak, user testing, to opowiadałem o tym, badanie z użytkownikami na grupę pięć, dziesięć osób.

Jak to wygląda w praktyce?

W praktyce wygląda to tak, że pracujemy z platformą, z Sherwellem albo z Useberry i krótko mówiąc, te platformy dysponują bardzo dużą grupą testerów, gdzie jesteśmy w stanie przykładowo, tak jak byśmy robili user testing u ciebie w Dagu, No to jesteśmy w stanie dopasować grupę odbiorczych i w tym wypadku kobiety w tym i w tym wieku zainteresowane fashion, na przykład torebkami, nie wiem, szoperkami przykładowo, tak? I oni są nam w stanie takie, takie testerki w tym wypadku znaleźć. Oczywiście, że można, natomiast to, co jest fajne w wizjortestingu, fajnie jak to jest osoba, która nie miała styczności z marką w ogóle, z twoją stroną. Wiadomo, że im większy brand, tym ciężej, bo gdzieś tam, wiesz, ktoś zna, ktoś ma jakąś styczność. Natomiast w przypadku toreb, no myślę, że można było znaleźć osoby, które na przykład na DAG-u nie były, nie wiem, nie kupiły torebki i znaleźć takie testerki. Predefiniujemy im scenariusz w zależności od tego, co chcemy przebadać, co wcześniej sobie zdefiniujemy, czyli nie wiem, chcemy przebadać filtry, chcemy przebadać kartę produktu. Dajemy pewne zadania im do wykonania. Przykładowo, Znajdź za pomocą filtrów taki i taki produkt. Potem wejdź na ten produkt. Ona wchodzi na ten produkt, znajdź taką i taką informację. Czy miałaś problem ze znalezieniem tej informacji. I tak przechodzimy całą ścieżkę zakupową z tym testerem. i widzieć to, co jest fajne, właśnie to, co wcześniej mówiłem. Widzimy mimikę twarzy, to, co mówi do ekranu, dostajemy pełne skrypty, takie kilkudziesięciominutowe z tych rozmów i można naprawdę powyciągać masę, masę insightów, znaleźć jeszcze problemy, o których nawet nie myśleliśmy wcześniej na etapie analizy.

Ale też potwierdzić hipotezy, które sobie postawiliśmy wcześniej. Dokładnie, no.

I uważacie, że jak ktoś skorzysta sobie z takiej strony, z tej bazy testerów, to potem sam jest w stanie wyciągnąć wnioski, czy jednak musi zgłosić do osób,

które mają książkę o statystyce? Tu zdaniem jest technicznie moim jakby, wiesz, technicznie narzędzia to nie jest, tu umówmy się, narzędzia to narzędzie. Każdy jest w stanie sobie poradzić z tym. Natomiast tu jest kwestia odpowiedniego przygotowania scenariusza. My z tym mamy doświadczenie. Robiliśmy już tego ileś razy. Więc myślę, że głównie tutaj ta kompetencja właśnie, czyli co my chcemy przebadać z tym user testingiem i jak ten scenariusz napisać do user testingu, bo to jest bardzo czasochłonne i też trzeba umieć to robić, żeby jakieś story to miało. Odnośnie tree testingu, krótko. Padanie na drzewku kategorii.

Tak, to jest zrozumiałe. Ten test 5 sekund mi się wydaje fajny, bo nie wiem, może trwa krótko.

Może mało roboty.

To może Cię wdrażać sami, bo to trwa 5 sekund, nie? Siadasz 5 sekund i potem masz po prostu.

Tak, te 5 sekund nie dotyczy czasu poświęconego na konfigurację, tylko na czasie, który spędza użytkownik nad jakimś screenshotem czy stroną internetową. To pozwala nam trochę zmierzyć czy USP na przykład jest zrozumiałe na stronie, czy klient rozumie czym jest dana strona, rozumie co ona sprzedaje.

Po pięciu sekundach musi zrozumieć?

Tak.

Okej.

To polega na takim pierwszym wrażeniu, czyli trafia na stronę główną i po pięć sekundach jak widzi stronę ma właśnie powiedź decyzor i powiedział czym się zajmuje, co to jest za firma i to fajnie nam odpowiada często. Nagle się okazuje, że komunikacja od razu która jest na sklepie totalnie jest sprzeczna z tym co naprawdę klient sprzedaje.

Fajne.

Bardzo fajne.

Zróbmy to.

Spoko. Zapiszesz na jutro? Test preferencji, mega fajny. Robiliśmy to u jednego z klientów, który z rebranding robił. Gdzieś chcieliśmy sobie, krótko mówiąc, sprawdzić tą kwestię kolorystyki, dużego brandingu i tak dalej. Fajny test, ale... Ten test robimy rzadko z uwagi na to, że właśnie to musi być jakaś większa zmiana. Zmiana rebrandingu, kolorów na przykład i tak dalej.

Jak nie masz wystarczająco danych do testu A-B, też możesz porównać jakieś dwa warianty kluczowego nagłówka i poznać odczucia użytkowników a propos tych dwóch nagłówków. No tylko znów to, co trzeba podkreślić. To jest badanie deklaratywne. Czyli użytkownik mówi, co czuje, ale my trochę nie wiemy, jak jest naprawdę. Więc to też trzeba mieć z tyłu.

Może kłamać.

Może być gorszy dzień.

To jest na zasadzie pytań jak na ulicy ktoś idzie i ci zadaje niech pan spróbuje tych dwóch jogurtów, który jest lepszy albo który kolor by pan wybrał. To są tylko... Właśnie patrzę się na ciebie oczami.

Wychodzisz poza mikrofon.

Chciałem zbliżyć się do ciebie po prostu. To są dane deklaratywne tylko. Fajne badanie to było z czym? Z gitarami, telewizorami, kolorami?

Chyba z boomboxami, ale zaznaczam, że to może mogę coś przykręcić. Było właśnie badanie, w którym zapytano jakichś studentów czy inną grupę ludzi, które z boomboxów byś wybrał i tam było do wyboru żółty i czarny. Większość z tych ludzi odpowiadało, że żółty, bo jest taki bardziej młodzieżowy, mniej smutny niż ten czarny. I potem w podziękowaniu za wystąpienie w tym badaniu. Ci użytkownicy mogli sobie wybrać na koniec jeden z boomboxów, który zabiorą do domu. Największość ludzi zabierała czarny.

Tak, więc to tylko pokazuje, jak w danych, właśnie dane deklaratywne. Ludzie potem inaczej podejmują decyzje. To się samo tyczy ubrań. Co się najczęściej sprzedaje? Biały, czarny, nie?

Bejski.

Dokładnie, nie pomarańcze, czy czerwone, etc. To jest wizerunkowe, ale... To jest wizyrunkowe, wiesz, każdy test ma jakiś cel, w sensie nie możemy na podstawie testu preferencji podejmować decyzji o tym, jak ma w ogóle cały sklep wyglądać. Trzeba brać na to poprawkę, no bo to są różne metody w ogóle walidowania. Nagranie użytkowników myślę, że jasne. Możemy to robić sami, jedną tylko wtrącę dosyć istotną uwagę, jak to robimy. Usiadajmy tego z jakimś konkretnym celem, czyli nie przeglądajmy na wariata, jak leci wszystkich nagrań, tylko zastanówmy się, ok, jest jakiś problem na koszyku i checkaucie, czyli to co mówiłem wcześniej o naszym GA4, usiądźmy z jakimś konkretnym celem, co my chcemy sprawdzić.

Przykładowo widzimy w Analyticsie, że dużo ludzi cofa się z checkautu do koszyka, co jest dziwne, niestandardowe, nie powinno tak być. Załóżmy, że mamy jakąś hipotezę, że coś w tym checkout'cie jest niezrozumiałe albo brakuje jakiejś kluczowej informacji. Wtedy usiądźmy do nagrań i przyjrzyjmy, co się dzieje z tymi userami, którzy się cofają do koszyka.

Tak, bo często w ogóle nawet jak ja mam swoich klientów, to oni właśnie sobie, wiecie, implementują Parity i Hotjar i nie wiedzą co zrobić. I oglądają wszystko na standard. Tak, tak.

Na przykład my też jak zadajemy pytanie, no, no coś tam przeglądałem w Hotjarze, a wszystko jest spoko. Jest okej, jest okej. Znaczy, no co, na karcie produktu chodzą, chodzą, tak? Kupują, kupują, kupują, kupują, dokładnie. To są moje ulubione odpowiedzi, więc siadajmy do tego z konkretnym, z konkretnym celem, bo można dużo fajnych rzeczy wyciągnąć na ankiety, wywiady z użytkownika.

No właśnie, i tu.

Tak, myślę, że to możemy robić zdecydowanie.

Jakie pytania zadawać? Jakby ktoś nigdy nie rozmawiał z swoimi klientami. Co może być wartościowe, żeby spytać tych klientów o jakie rzeczy? Ja na pewno powiem z swojej perspektywy dagowej coś, ale panowie eksperci, tak się was określam?

O, to wiesz, to jest panowie, tak się was określa.

Gdzie są wasze garnitury?

Gdzie są wasze garnitury? Wiesz co, w kontekście ankiet wywiadów z użytkownikami, no co chatka to zagadka i każdy biznes jest mega indywidualny. Tutaj wszystko nam w zasadzie, jakie pytania my chcemy zadać, to nam wychodzi po etapie warsztatowym z klientem, wywiadzie z customer supportem i takiego szerszego kontekstu na cały biznes. Też przeprowadzanie ankiet tak na ślepo, na zasadzie po prostu zadawania jakichś pytań też nie ma sensu. My siadamy z jakimś konkretnym pytaniem, jakimś konkretnym celem w przypadku, nie wiem, szkoły językowej, a jak robiliśmy, poprosimy dział sprzedaży, żeby robili ankiety akurat telefoniczne, jeśli dobrze pamiętam, z klientami czy z potencjalnymi klientami, którzy finalnie nie weszli w usługę. no to tam były konkretne pytania, na przykład, co spowodowało, że nie zdecydowałeś się na współpracę z nami? A ci, co weszli, na przykład, na jakiej podstawie podjąłeś decyzję o wejściu we współpracę z ZED-u? Czy, nie wiem, w kontekście cennika, czy cennik na etapie zakupu był dla ciebie jasny i klarowny? Bo zauważyliśmy jakieś potencjalne problemy z cennikiem wcześniej, nie?

Dlaczego wybrałeś nas, a nie konkurencję? A dla tych, którzy wybrali konkurencję, dlaczego wybrałeś konkurencję, a nie nas?

No i potem możesz pogłębiać te pytania. Wszystko jest kwestią tego, co my chcemy wyciągnąć realnie z tej ankiety, czy z takiego wywiadu. Robiliśmy też fajne wywiady ostatnio dla jednego z klientów, gdzie w ogóle tworzymy nowy produkt i nie mamy danych ilościowych w ogóle, wiesz, nie mamy, jest to nowe, zupełnie nowy brand. Więc na przykład to, co zrobiliśmy fajnego, klient generalnie na co dzień zna wielu fizjoterapeutów, z którymi też współpracuje przy innym biznesie i robiliśmy wywiady z fizjoterapeutami, którzy mają swoje gabinety. Ich pytaliśmy na przykład, dlaczego się zaopatrują w produkty i w jakim sklepie i dlaczego, nie? I uzyskaliśmy masę fajnych insightów, gdzie okazało się, że klient, jak się o tym dowiedział, miał zupełnie inne założenia odnośnie tego, oferty całej produktowej tego, co będzie czynnikiem zakupowym. Naprawdę wyszły, wyszły fajne rzeczy. Też zadajemy pytanie na przykład, co by spowodowało, żebyś kupił, żebyś zmienił sklep, w którym się zaopatrujesz w gabinecie, wiesz.

Co jest trygerem najważniejszym.

Tak, co jest trygerem i na tej podstawie na przykład, no, Wiesz, my mogliśmy nawet klientowi dać jakieś rekomendacje odnośnie oferty produktowej, nie? Że słuchaj, jakby to wygląda tak i tak. Warto się zastanowić nad na przykład taką kategorią produktową, nie? O czym klient wcześniej nie wiedział, bo trochę na ślepo chciał ten sklep zbudować, bo zna branżę, no ale nie mamy żadnych danych wstecz, nie? Więc to tak odnośnie wywiadów już z klientami i userami.

Czy jakieś narzędzia, jakiś Typeform, Google Docs, czy coś jeszcze do tego dodacie?

Jest Typeforma, bo ma fajny dosyć interfejs, design taki jest przyjemny. Google Docs mi się bardziej kojarzy jak jest ze szkołą, więc...

Ale też się...

Ale jest darmowy.

Dokładnie.

Oskar lubi wszystko co darmowe. Więc tak, mamy narzędzia googlowskie, jest tego naprawdę sporo z narzędzi, z których możemy korzystać. Ale właśnie, w DAG-u, tak jak ty robisz, sporo wiemy jakościówki.

Mamy z taką stałą ankietę wpiętą.

Fajnie robiliście też, nawet jak nowy design wypuszczaliście DAG-a, sporo tam wrzucaliście klientkom na przykład.

Poddawaliśmy do dyskusji nawet. To była taka jakościówka, w której wrzuciliśmy ej słuchajcie jest nowa strona i co wam się podoba czego wam brakuje i lajkujcie swoje komentarze. I na podstawie tego jak ktoś coś pisał np. coś było najbardziej trygoryjące jeśli to 30 osób polubiło to dawało nam jakiś ogląd do tego żeby podać testowi czy wdrożyć bo czegoś brakuje. Więc no tu się kłania budowanie społeczności. Jak będziecie mieli zbudowaną społeczność to na pewno będzie wam łatwiej brainstormować się z waszą marką.

Tak, ale właśnie budowanie społeczności, jeśli tak angażujemy mocno klientów naszych w właśnie jakieś wywiady, dajemy im po tym rabat, no to też jest swego rodzaju lojalizacja tego klienta, bo poświęcamy mu czas. On może usiąść na przykład z ownerem albo z kimś z zespołu i czuję, że ma jakiś impact na działanie tej marki, na funkcjonowanie tej marki. Znów bardzo ważna rzecz, czym innym są marki, do których klientki powracają, no nie wiem, nowy model torebki, nowy kolor torebki, czy kupią dla kogoś na prezent, a zupełnie inną specyfikę ma, wiesz, biznes, nie wiem, meblarski, gdzie kanapy się nie kupuje raz na miesiąc, tylko tam w jakimś dłuższym okienku czasowym i też ta powracalność jest niższa.

Hashtag reklama waszego... Hashtag patyna. No dobra, panowie. Dużo ciekawych rzeczy dzisiaj sobie opowiedzieliśmy. Adrian, czy są jakieś podcasty, jacyś, nie wiem, ludzie, którzy zgłębiają ten temat testowy, o których można warto byłoby się uczyć, albo jak kogoś ten temat zainteresował, to gdzie on mógłby czerpać wiedzę, pomijając oczywiście twoje artykuły oraz sekcję blogową.

Tylko Adrian Jaskulski, moim zdaniem, na rynku.

Bez autoreklamy, na dwie grupy.

Nie ma.

To jest świetne podsumowanie, moim zdaniem.

Dla początkujących jest taki gość, Ruben Deborr się nazywa, ma bardzo fajny newsletter darmowy,

który... Podlinkujesz w komentarzu?

Wrzucimy w komentarzu, w którym jest przeprowadzony, przeprowadza ludzi przez całe wszystkie podstawy testów AB, CERO. A dla tych bardziej chłonnych wiedzy też stworzył taki fajny kurs CRO na Udemy w całkiem przystępnej cenie. No i tam już jest to trochę większa, jak była i też są fajne fundamenty. Dla tych bardziej zaawansowanych polecam obserwować Rona Kochawiego. I tam jest sporo materiałów na LinkedInie, na przykład o tym, jakie błędy się najczęściej popełnia, jeśli chodzi o testowanie A, B. Ogólnie o tym pisze, jak wiarygodnie testować. I tu warto też wspomnieć o jego książce, która swoją drogą niedawno została przetłumaczona na polski. Kontrolowane eksperymenty online to też jest taka biblia dla ludzi, którzy chcą testować dużo i w odpowiedni sposób.

A czy my do tej książki przypadkiem nie mieliśmy dostępu w jakimś doksie udostępnionym?

Mieliśmy, ale ona już jest live.

Tak, bo to jakieś tam wrzucili ekspertom kilku w Polsce, kilkunastu, żeby przeczytali w kontekście tłumaczeń, czy jest to odpowiednio przetłumaczone na język ludzki, bo czasem te tłumaczenia z angielskiego, tak jak sam wiesz, są turbo dziwne. Więc mieliśmy od tego wgląd, no, taka bardziej zaawansowana.

Super. I tą niezwykle merytoryczną klamerką zamykamy dzisiejszą rozmowę. A was, drodzy słuchacze, muszę poprosić o komentarze, bo jak widzicie, format się był zupełnie inny. Trochę prezentacji, trochę sprzętu, trochę takiej wiedzy.

Trochę problemów technicznych.

Tak, trochę problemów technicznych, ale mam nadzieję, że wyszło to finalnie fajnie, więc dajcie znać w komentarzu, czy wam się taka forma workshop, podcast podoba. Dzięki wielkie panowie.

Dzięki, do zobaczenia.

Dziękuję ci bardzo za wysłuchanie mojego odcinka. Jestem ciekawy, czy pojawiły ci się jakieś pytania. Jeśli tak, to to jest właśnie moment, w którym możesz napisać je w komentarzu. Chciałem cię także zachęcić do odwiedzenia mojej strony internetowej oskarlipiński.pl i zapisania się na newsletter. W każdą niedzielę o 9.00 wysyłam garść merytorycznych informacji o e-commerce i marketingu. Aha, jeszcze jedno, bardzo ważne. Napisz mi, jakie tematy są dla Ciebie interesujące, a może nagram odcinek o tym, co właśnie Cię trapi.