Mentionsy

Tomek jest założycielem Product Academy oraz twórcą newslettera Product Craft, gdzie edukuje product managerów i wspiera ich w profesjonalnym rozwoju kariery.

No to wydawało się to oczywiście sensowne, no po to chcemy stworzyć wersję tego produktu, żeby właśnie zwiększyć sprzedaż i zwiększyć liczbę użytkowników, którzy z tego produktu korzystają.

Trzymaliśmy się bardzo mocno metryk takich, że patrzyliśmy na velocity zespołu, czyli jak szybko pracuje.

Nic się nie zadziało, nic się nie zmieniło.

Rzeczywiście, ta liczba użytkowników bardzo mocno wzrosła i liczba sprzedanych wydań też bardzo mocno wzrosła.

W korporacji się spotkać i mówić o swoich sukcesach.

No i ja oczywiście też zostałem wyznaczony do tego, żeby o tym sukcesie opowiedzieć, że kurczę, tutaj wypuściliśmy właśnie nową wersję tego produktu, prasy 24, wzrosła liczba użytkowników, wzrosła liczba sprzedanych e-wydań.

No przecież to jest sukces nas wszystkich, bo była przecież w tym samym czasie akcja marketingowa, była w tym samym czasie, no, jakieś tam większe zaangażowanie sprzedaży, takiej bezpośredniej, bo to często też instytucjonalne jakieś firmy, organizacje kupują takie wydania, więc sprzedaż taka bardziej bezpośrednia.

Tak naprawdę wzrosła sprzedaż tych e-wydań, wzrosła liczba tych użytkowników, ale ja tak jak już prezentowałem i nawet się podzieliłem właśnie tą refleksją, to ja w sumie nie wiedziałem, czy te moje działania przyniosły jakikolwiek rezultat.

I to trochę była taka moja porażka, bo tak naprawdę postawiliśmy sobie ten cel, niby teoretycznie postawiliśmy sobie ten cel wzrostu liczby użytkowników, wzrostu sprzedaży, ale tak naprawdę na końcu, czy ja się przyczyniłem w jakikolwiek te 3-4 miesiące pracy, czy one się przyczyniły do tego celu?

Bo pytanie, czy jakbyśmy nic kompletnie nie robili, to czy tak naprawdę i tak ta sprzedaż i tak ten wzrost liczby użytkowników by się nie wydarzył?

Skupiłem się teoretycznie na tym, co mielibyśmy zrobić, czyli zwiększyć sprzedaż i zwiększyć liczbę użytkowników.

Dopiero po jakimś czasie będziemy w stanie zobaczyć, czy ta liczba użytkowników wzrosła.

Jakbym wcześniej patrzył na trochę inne metryki, które być może szybciej się zmieniają i lepiej będą pokazywały to, czy my kontrybuujemy właśnie do tej wzrostu sprzedaży, czy do zwiększenia liczby użytkowników,

Ale na przykład dla jakiejś grupy early adopterów, na przykład testując na jakichś, nie wiem, użytkownikach, których rekrutujemy na przykład, tak?

Którzy, ich zdanie pewnie jest ważne w kontekście organizacji, ale w kontekście produktu, no to użytkownicy mają, powinni mieć decydujące zdanie jakby, czy to jest coś, z czego będą korzystać, czy będą częściej korzystać, czy to nie zaburza im jakiegoś flowu, czy sprawia, że szybciej na przykład dochodzą do zakupu.

A druga być może jakiś Early Access, żeby to było tak rolloutowane nie od razu dla wszystkich, tylko pewnie dla jakiejś części na początku, żeby też to w jakiś sposób przetestować.

I w takiej sytuacji, mimo że to były deklaratywne i jakościowe bardziej, to moglibyśmy się też dużo dowiedzieć jakby głębszych jakichś insightów od tych użytkowników.

Czyli na przykład przez zamkniętą betę, gdzie mamy więcej już użytkowników i możemy już ilościowo zobaczyć, jak ci użytkownicy z tego korzystają.

Nie, nie było jakichś wielkich konsekwencji, bo jak to w dużej organizacji bardzo często jest i rośnie sprzedaż, i rośnie liczba użytkowników, czyli takie bardziej próżne wskaźniki, na które sobie możemy po prostu patrzeć i one będą rosły, to nie jest źle to, że ktoś tam trochę podpowiada i marudzi, że w sumie może, kurczę, wcale ta część pracy nie była dobrze wykonana, którą samodzielnie się robiło, to już, no dobra, to więcej trochę splendoru spłynie na nas, a nie

Zespół produktowy w takiej sytuacji, ale nie miało jakichś takich wielkich konsekwencji.

Pytanie, czy w pewnym momencie nie zostało to podjęte tak wyżej na forum, że te pieniądze były wyrzucone, bo de facto być może nic nierobienie przyniosłoby te same efekty, a to oznacza, że ten czas, osoby, które trzeba było w to zaangażować, ich wynagrodzenie, były skonsumowane trochę niepotrzebnie, bo mogły się zajmować innymi priorytetami.

No ja bym chciał, żeby tak było, ale mam takie wrażenie, że bardzo często w takich organizacjach do takich rzeczy nie dochodzi.

Ale na przykład otoczenie rynkowe się zmienia, ale na przykład inne obszary trochę gorzej w takiej sytuacji dowożą, to i tak będzie to problem jakby wszystkich ludzi.

Pewnie to nie będzie problem wszystkich ludzi, tylko chodzi mi o to, że ciężko jest organizacjom wtedy znaleźć, gdzie jest ta przyczyna w takiej sytuacji problemu, bo bardzo często operują głównie właśnie na tych wskaźnikach.

Natomiast przychody, czyli liczba użytkowników, bardzo rzadko takim wskaźnikiem właśnie są.

Była taka platforma do głosowania, gdzie użytkownicy mogli brać w tym udział.

I w ten sposób możemy szukać właśnie takich metryk outcome'owych, szukając właśnie taką metodą trochę drzewkową zmiany zachowania użytkowników, bo tych zmian potencjalnych pewnie będzie wiele, ale tak rozrysowując, możemy wtedy sobie to zobaczyć.

I pewnie w przypadku przepisywania bardzo często to się okazuje, że wcale nie zależy nam na tym, żeby te metryki były lepsze, bo tam na przykład okazało się, tak jak myślę teraz o tym po czasie, to bardzo dużym problemem, dlaczego organizacja chciała to przepisać, no to wynikało po prostu ze starego stacku technologicznego i że po jakimś czasie nie będziemy w stanie tego

Czy mniejsza liczba tych bugów, na przykład w jakimś okresie, w takich obszarach gdzieś bym szukał.

Trochę wyprzedziłeś moje pytanie mówiąc o tym, że jednak w organizacji była ta świadomość, że ta technologiczna strona jest na tyle staroświecka, starodawna i niewydajna, że to jednak musi być przepisanie.

Może nie wydawało, ale to był taki czas, że już i tak wchodziły aplikacje mobilne, wchodziły tablety, więc wydawało się, że takim długoterminowym pewnie kierunkiem będzie bardziej prasa elektroniczna, to chyba można nazwać, że po prostu

Tak, no dla mnie właśnie najważniejsze było takie zrozumienie tej różnicy między tym lagującymi metrykami i leadującymi.

Właśnie chociażby taka różnica między leading, lagging, indicators.

Myślę, że byli tam użytkownicy, bo są oczywiście też inne historie, kiedy wypuszcza się coś na rynek albo jakiś nowy wyciecznik z tego nie korzysta i to było takie fajne.

I cyklicznie mieliśmy spotkania z zespołem Data, ale też ogólnie takie spotkania mocno produktowe, zastanawiając się nad tym, co dalej z produktem robić.

I jednym z takich ważnych, na które patrzyliśmy, to była liczba aktywnych użytkowników.

Przez długi czas właśnie ta liczba aktywnych użytkowników w produkcie tak stabilnie powiedzmy, że rosła.

Mieliśmy po prostu w miarę tą liczbę użytkowników wypośrodkowaną.

Oczywiście to była pierwsza, to była jakaś część dyskusji, ale myślę, że o czym jeszcze dyskutowaliśmy, jak dyskutowaliśmy o tej liczbie aktywnych użytkowników i że ona przestała rosnąć.

I w sumie teoretycznie dobrze zaczęliśmy to wtedy, znaczy zespół zaczął to podwalać, dlatego też takie nie wyłapałem wtedy, bo jak już czułem trochę tą różnicę między leadującymi, lagującymi, to też nie jest tak, że po tej pierwszej historii to ja od razu byłem oświecony oczywiście, że w tą stronę gdzieś tam trzeba iść i z metrykami wiedziałem już wszystko.

Jakby ja już czułem, że tak jest, ale też sam wziąłem udział właśnie bardzo źle w tej dyskusji i podważając ten wskaźnik i zaczynając od razu szukać jakichś potencjalnych rozwiązań tego problemu.

I w sumie z tego spotkania tak naprawdę nic nie wyniknęło.

Taki teoretycznie KPI wydawało się produktował jakichś aktywnych użytkowników, ale w sumie co to dla nas oznacza i jak to pochłonie nasze działania?

Nie wiedzieliśmy jakby zupełnie i do niczego to nie doprowadziło.

I to też tak, no dzisiaj już bym do tego w taki sposób zupełnie nie podszedł i bardzo dużo czasu straconego na robieniu w sumie niczego, co nie miało jakiegokolwiek sensu.

Tak, no to jest właśnie ten moment, kiedy ja bym się zatrzymał i właśnie chciał sobie odpowiedzieć jakby na kilka takich pytań po prostu związanych, jeśli wchodzę do organizacji, kilka wskaźników, już mierzymy ileś, to do każdego bym o te pytania zadał.

Być może to wynika z jakichś przedziałów, być może z czegoś innego, ale jakby na ile to wpływa na nasze działania i powinno wpływać na nasze działania i na jakie działania powinno

I może to powinno wpływać tak, w przypadku tych aktywnych użytkowników, że to wracamy na przykład na poziom jakiś strategiczny, na przykład ja o tym rozmawiałem, bardziej w kontekście strategii.

Być może to powinna być właśnie taka lagująca metryka, którą sobie mierzymy i właśnie bardziej patrzymy na poziomie strategii, czy nasze działania strategiczne na to wpłynęły albo nie wynikają z tego.

Zajmujemy się na przykład onboardingiem, retencją na przykład, czegoś innego i nie mamy jakby stałej strategii produktu w głowie, tak jak na przykład nasz leadership i być może to wtedy powinno tam bardziej być rozważane, bo być może to jest metryka bardziej lagująca i powinna wpływać bardziej na strategiczny wybór, jakimi autokopami mamy się zająć i wcale nikt się nie powinien tym niepokoić.

Drugie to jest przejrzystość, czyli w jaki sposób my to obliczamy i czy to dla wszystkich jest jednoznaczne i co to w ogóle oznacza.

Tak jak na przykład ci aktywni użytkownicy.

Czy my to dobrze liczymy?

Powiedzieć liczbę aktywnych użytkowników i znowu, dopóki to nie wpływa w żaden sposób na nasze działania, to wszyscy o tym zapomną i będą patrzeć, jak to rośnie w górę, jak rośnie w górę, to tym bardziej będą na to patrzeć, a jak zacznie spadać, to wszyscy zaczną się zastanawiać, jakby, a dlaczego spada, co to w ogóle znaczy aktywny użytkownik, nie?

To jest bardzo fajne ćwiczenie.

To albo nie powinniśmy go mierzyć jakby w tym obszarze być może, w którym jesteśmy, albo patrzeć przynajmniej w tym obszarze, w którym gdzieś jesteśmy, może w jakimś innym, na przykład na poziomie strategicznym, bo nie wpływa nasze działanie, to w sumie po co nam to?

Więc praktyczność, moim zdaniem, taka najistotniejsza i w drugiej kolejności taka przejrzystość, przystępność, czyli żeby było widoczne i zrozumiałe dla wszystkich.

To samo jak ze zbieraniem danych o użytkownikach, czy w ogóle danych jakichkolwiek.

Te najważniejsze wskaźniki na pewno powinny być praktyczne i te, na które cyklicznie np.

W sensie musimy wiedzieć, co od nich zależy i jakie decyzje na ich podstawie będziemy podejmować i na jakie decyzje właśnie wpływają.

W tej konkretnej sytuacji tak naprawdę to powinna być metryka bardziej na poziomie takim strategicznym, którą sobie monitorujemy.

I powinniśmy na poziomie strategicznym to rozumieć, a nie na poziomie tam, nie wiem, pracy jakiejś na konkretnym outcome'ie i rozwiązaniem konkretnego problemu użytkownika.

Więc można, można używać moim zdaniem jakichś podejścia evidence-based, czyli jakby, no dobra, fajnie, że jakby mówimy, że może tak powinno wpływać na nasze decyzje, działania, ale pytanie, jakie to mamy, jakie mamy na to dowody, nie?

Tak, mam kilka takich pozycji, które myślę, że bym polecił.

W roku trochę, trochę się tych takich prezentów książkowych zawsze pojawia i poleca je książkowych.

Natomiast jego ostatnia książka, Transformed, ona też jest fajna dla IC, czyli dla kontrybutorów, ale też jest super przede wszystkim właśnie dla dyrektorów, dla organizacji, które nie są produktowe, a chcą zrozumieć produktowe myślenie.

Jakich kompetencji potrzebujemy, na czym w ogóle praca produktowa polega, że tak naprawdę odpowiadamy sobie na pytanie, musimy sobie pytać na pytanie, w jaki sposób budujemy, w jaki sposób rozwiązujemy problemy, dla których budujemy rozwiązania i w jaki sposób w ogóle wybieramy, którymi problemami użytkowników się zająć.

O tym, w jaki sposób definiować sobie właśnie metryki, w jaki sposób wybierać, czym się powinniśmy gdzieś zająć, jaka jest różnica między tym impactem i outcome'em właśnie, to bardzo mocno też można u Itamara znaleźć.

Więc Itamar Giliad, Evidence Guided, jego też można gdzieś tam znaleźć na LinkedIn, ma też workshop z tym związany i dzieli się swoim jakby taką wiedzą zarówno na workshopach, jak i jakichś szkoleniach i tak dalej.

Potwierdzam, jestem sama stałą czytelniczką, więc to jakość zatwierdzona znakiem Obłędnych Historii.

Nie wiem, czy to było błędne, ale trochę słuchałem wcześniejszych, tam było dużo Obłędnych Historii, no i trzymam kciuki, że jak najwięcej takich Obłędnych Historii było i też, no to oczywiście takich, z których możemy wyciągać przede wszystkim wnioski.