Mentionsy

Przykład z dzisiaj, jeden z klientów podniósł jakiś temat, że nie był świadomy, że w produkcie rzecz działa w taki sposób, a nie w inny, bo coś tam jest confusing.

I normalnie, żeby rozwiązać ten problem albo zaproponować jakieś alternatywne rozwiązanie, to podejrzewam, że musiałbym...

Tymczasem wrzuciłem cały opis problemu dla klienta, powiedziałem jakiego produktu to dotyczy, zrobił sobie chat GPT research naszej bazy jak gdyby supportowej, o co w tym chodzi i zaproponował w 90% już skuteczne rozwiązanie tego problemu.

Z okazji jednej z konferencji robiłem sobie taki eksperyment, właśnie chciałem sobie zobaczyć, jak szybko jestem w stanie tworzyć prototyp, działający prototyp aplikacji konferencyjnej właśnie, tak, więc jakby dzień, wieczór, wieczór wcześniej dowiedziałem się, że w sumie będę jechać na tę konferencję, mówię, dobra, spoko.

Przygotowałem rzeczywiście taką realną aplikację i dzięki temu mogłem pójść i zacząć normalnie rozmawiać z użytkownikami, czyli uczestnikami tej konferencji, pokazując im realnie prototyp, oni potem też mogli wysłać jakiś taki dodatkowy filmik.

Cześć, witajcie w podcaście Dodane do backlogu.

To podcast, który wziął się z naszych rozmów o product managemencie.

Dzisiaj porozmawiamy na temat AI, sposobu w jaki go używamy w naszej pracy i naszych refleksjach z tym związanych, ale najpierw się przedstawmy.

Będziemy się skupiać przede wszystkim właśnie na tym, żeby pogadać bardziej, jak wykorzystujemy sztuczną inteligencję w naszej pracy, co w ogóle o tym myślimy, jak to wpłynie na naszą pracę.

I w sumie tak zacząłbym tą rozmowę od tego, żebyśmy pogadali, kiedy w ogóle tak pierwszy raz Panowie spotkaliście się ze sztuczną inteligencją w kontekście właśnie swojej pracy produktowej.

U mnie było podobnie, bo można by sobie zadać pytanie takie definicyjne, jak rozumiemy sztuczną inteligencję.

Dla takiej dużej sieci spożywczej rozpoznawanie produktów, ich ustawienia to jest prawdopodobnie ważne w tym biznesie, więc wtedy pierwszy raz się bawiłem jakimś prostym rozpoznawaniem obrazów.

Ja powiem szczerze też, w sumie moje pierwsze, w ogóle pierwsze zderzenie, to było na studiach jeszcze, ale to było takie, no, mówili o tych sieciach neuronowych, jakieś właśnie prezentacje, jakieś tam mieliśmy pierwsze zabawy, ja myślałem, kurczę, o czym w ogóle tu gadamy, to nie ma żadnego sensu wielkiego.

I wyznaczyłem sobie jakiś taki path, że ja chcę kurczę pracować przy jakimś produkcie, gdzie jest zespół, który nad AI-em w ogóle pracuje w jakikolwiek sposób.

Zacząłem bawić się właśnie, nauczyłem się Pythona w końcu, żeby jakieś podstawy Pythona ogarnąć i zacząłem robić takie pierwsze proste właśnie takie aplikacje AI-owe można powiedzieć własnymi rękami, bo chciałem w ogóle zobaczyć w praktyce jak to wygląda.

I potem pewnie dzięki temu m.in.

też udało mi się właśnie dołączyć do CentiOne, gdzie był duży, jak na polskie warunki bym powiedział, scale-up'owe

I bardzo zaawansowany taki zespół machine learningowców i byłem product ownerem, product managerem jakby przy tym zespole na samym starcie, gdzie zaczęliśmy budować tę platformę.

I Wam powiem tak szczerze, że miałem tak, jakby na studiach to było dla mnie dziwne i że w sumie fajne, ale nie widzę tego nigdzie, bo przecież uczymy się Javy, C-Sharpa i tak dalej.

Tak, to jest jakby ważne i istotne, ale jeszcze nie widziałem tej takiej mocy, w sensie takiego wow, takie niesamowite, bo ja sobie wyobrażałem oczywiście, że też tutaj ligencja, powstaną jakieś agenty, agenci, którzy będziemy mogli właśnie, to było takie moje, że ja będę robić produkty, które będą agentami, to było takie dla mnie ten, ale potem się okazało, że tak rzeczywiście jeszcze nie jestem w 2018.

No, u mnie to był pierwszy aha moment, był związany z tym, że mogliśmy wyskalować rozmowy z użytkownikami i przestać notować, co do nas mówią i po prostu polegać na transkryptach i budowaniu podsumowań w taki skalowalny, ustrukturyzowany sposób.

Teraz rozmowa z klientem czy jakieś user interview to nie jest kwestia trzech godzin, żeby zamknąć temat jednego klienta, tylko czas rozmowy plus 10 minut i jakaś drobna edycja podsumowania, tak żeby sobie to poprawić to, co nam ChartGPT był w stanie wypluwać, a z czasem robił to coraz lepiej, więc...

No teraz to jest taki naturalny proces dla mnie, że właściwie onboarding call z klientem to nie jest już czor taki, że oprócz tego, że fajnie sobie porozmawiać, to potem trzeba to dokumentować.

I Wasze narzędzia po prostu do tego automatycznie robią.

No ja bym, no ja bym chciał trochę, ja bym tak trochę chciał z hijackować swoje pytanie i podzielić się jakąś taką refleksją, bo na początku rzeczywiście miałem taki aha moment związany z tym, że o wow, to teraz mogę speckę szybko napisać, albo rzeczywiście ten news case, o którym Kuba mówi też mi zaoszczędził dużo czasu, bo Kuba mówi o interwiu z klientami, a ja dzięki temu wiele bezsensownych

Całkiem spoko młotek, który można dobrze stosować i używać, ale chyba teraz ten mój hype trochę zanika, że to jest tool, ale

Podniecanie się, ale podniecanie się samym tulem ma ograniczony sens.

I teraz chyba mój najczęstszy sposób używania czata w produktowej pracy to jest taka metaanaliza problemu, czyli mam jakiś problem i bardzo często jak myślisz sobie o rozwiązaniu

W sensie dla mnie w ogóle ja co chwilę odkrywam jakieś takie, mam takie wow momenty i jestem po prostu zszokowany jak bardzo to wpłynęło na pracę moją i w ilu aspektach.

Nie było takiej rzeczy, która wcześniej tak szybko była w stanie tak bardzo zmienić to w jaki sposób różne rzeczy produktowe robię.

To jest coś niesamowitego, że w ciągu roku czy dwóch właśnie w kontekście discovery, od jakiejś tam analizy wywiadów, wypowiedzi, feedbacku od użytkowników, totalnie to mocno zmieniło pracę.

I kurczę widziałeś to, widziałeś to, widziałeś to i zaczęli sobie tak pokazywać.

W sensie w taki sposób trzeba patrzeć na to, że no nie rozwiąże to wszystkich naszych jakby problemów i nie zrobi często jeszcze, przynajmniej na razie, rozwiązania gdzieś tam od A do Z.

Wiesz, też się zastanawiam, Tomek, pewnie znacie te takie statystyki, podam to jako taki rule of thumb, że mówi się, że 80% czy nawet 90% internetu to są konsumenci, a chyba 10% czy nawet mniej niż 10% to są producenci, którzy tworzą tweety, posty, podcasty, whatever.

Obracamy się tutaj, rozmawiamy w specyficznej bańce, tworzymy podcast.

W sensie chyba pytanie ważniejsze jest takie na ile AI pozwala nam być 10 razy lepszym albo szybszym w danym konkretnym use case.

Jeśli pomaga świetnie.

Przykład z dzisiaj, taki apropos aha momentów.

No dobra, coś to nam będzie pomagać, ale generalnie przez długi czas nie będziemy mogli temu ufać, ale teraz jest...

I normalnie, żeby rozwiązać ten problem albo zaproponować jakieś alternatywne rozwiązanie, to podejrzewam, że musiałbym wsiąść do problemu, zastanowić się nad różnymi rozwiązaniami, spędziłbym tam dwie godziny i nie byłoby to perfekcyjne.

Tymczasem wrzuciłem cały opis problemu dla klienta, powiedziałem, jakiego produktu to dotyczy, zrobił sobie ChartGPT research naszej bazy jak gdyby supportowej, o co w tym chodzi i zaproponował

W 90% już skuteczne rozwiązanie tego problemu, biorąc pod uwagę całą zawiłość tych parametrów.

Moją rolą było po prostu być peer reviewem tego i podsumowanie tego w bardziej zwięzły i logiczny sposób tam, gdzie ChartGPT nie dał rady.

Ale porównajmy sobie 15 minut do 3 godzin jeszcze prawdopodobnie niedoskonałego rozwiązania.

No jest to masakra po prostu jak możemy się wyskalować.

To ja myślę, że możemy poprawić tą rozmowę właśnie w taki sposób, żebyśmy zobaczyli, kurczę, w jakich takich konkretnych use case'ach my czujemy, że rzeczywiście nam to te 10x, może 3x, co najmniej 2x pomogło, nie, rozwiązało, a potem możemy pogadać o tym, gdzie właśnie widzimy, że to jeszcze nie jest właśnie to.

Więc zastanawiam się nad tymi właśnie pozytywnymi use case'ami.

Kuba, wspomniałeś o tym jednym.

Na pewno reviewsy moich speków, żeby je zbombardować i taki zrobić pre-testing tego co wymyśliłem, ustrukturyzować to w bardziej logiczny sposób.

To jest jedna rzecz, która już właściwie to jest moja druga natura, żeby to robić i to poprawia jakość speków mam wrażenie dwukrotnie.

Kolejna rzecz to o czym ty Wojtek wspomniałeś.

Tu nie chodzi mi o dyplomatyczne redagowanie wiadomości, ale raczej skracanie tych skomplikowanych myśli i tematów, które są powiązane ze sobą do prostych podsumowanych przekazów, które w logiczny sposób się łączą.

Z takich produktowych ściśle rzeczy to generowanie pomysłów na podstawie inputów, czyli jak gdyby chcę zrobić taką szybkie przeczesanie, taki brainstorm z partnerem na temat jakiegoś

No i bardzo szybko można zobaczyć, w jakie obszary sztuczna inteligencja się posuwa i sobie z tego wyciągać dalej wnioski i sobie wspólnie pracować nad generacją tych pomysłów.

Nie chcę podawać nazwy.

Nie wiem, czy legalnie nie będę ścigany za to, że odkryłem razem z czatem GPT, jak to zrobić, ale generalnie byliśmy w stanie za pomocą utworzenia skryptu do odpytywania stron logowania, które wspominały, jak się nazywa dany workspace na podstawie domeny.

Stworzyłem stronę z podsumowaniem, z analizą i to nas mega popchnęło do przodu, gdzie wszystkie third party narzędzia do enrichmentu danych.

Tak, nie powtarzając to, co Kuba powiedział, bo też wiele z tych używam, myślę, że to, co daje nam sztuczna inteligencja, to czy jesteś technicznym, czy jesteś nietechnicznym PM-em, to wydaje mi się, że daje Ci łatwe wejście do prototypowania i tworzenia kodu.

Teraz przy użyciu Copylota i już takiego bardzo prostego rozumienia podstawowych struktur w Pythonie, Javascriptie, w czym chcesz programować, myślę, że to nie przekracza zdolności intelektualnych nikogo, żeby się po prostu nauczyć pewnej logiki, jak język funkcjonuje, a nie jak pisać w danym języku.

Bo to jest jakaś tam dość techniczna rzecz, ale normalnie to pewnie zajęłoby parę dni, a zajęło to myślę, że pół dnia pracy przetestowanie jakiejś integracji i tego touch and feel, jak to po prostu działa.

Generujemy pewne problemy, pewne pomysły, pewne hipotezy.

I wydaje mi się, że takie właśnie stworzenie szybkiej, prostej aplikacji pokazania, patrz, to tak może działać, stało się dużo prostsze i możliwe.

Uwielbiam ten twój kontekst techniczny, że tu masz zawsze ten temat bardziej prototypowanie poprzez kod.

Przy okazji to mi przypomniało, że ostatnio też prototypowałem poprzez stronę, czyli wziąłem sobie jakiś kod strony i chciałem go zmodyfikować jako taki static HTML czy tam z jakimś javascriptem.

W sumie będę jechać na tą konferencję, mówię dobra spoko, a chciałem przy okazji, mówiłem o sztucznej inteligencji, mówię dobra to przy okazji przetestuję to trochę jakby w praktyce, pokażę w praktyce jak może się przydać PM-owi.

I to właśnie Discover, więc jakby jeden wieczór, to nie było znowu jeden prompt, kilka godzin co najmniej na tym poświęciłem, ale przygotowałem rzeczywiście taką realną aplikację.

Która pozwalała zobaczyć prelegentów, zobaczyć wydarzenia na tej konferencji, móc się wysłać jakiś feedback do tej konferencji, jakieś informacje od organizatorów i dzięki temu mogłem pójść i zacząć normalnie rozmawiać z użytkownikami, czyli uczestnikami tej konferencji, pokazując im realnie prototyp, oni potem też mogli wysłać jakiś taki dodatkowy feedback.

Połączenie z bazą danych faktyczną itd., czy coś innego?

Nie, to było połączone z bazą danych normalnie.

Normalnie baza danych może sobie działać pod spodem i tak rzeczywiście było zrobione.

Sam agent jest w stanie generować odpowiednie wpisy do tego, żeby ta baza danych się odpowiednio zmieniła.

Ale po pierwsze, jeśli nie miałbym technicznego doświadczenia i technicznej podstawowej wiedzy,

Bo jakby ja mając jakieś tam mikro doświadczenie programistyczne wcześniejsze, trochę wydaje mi się, że mam jakiś taki pogląd, nie?

Która bardzo mocno wypływa co jakiś czas w ogóle w internecie, że te aplikacje w ten sposób stworzone są mega proste w ogóle do zhakowania.

Jeśli nikt się tym nie interesuje, to pewnie jest okej, ale jeśli już stworzysz coś, chcesz stworzyć jakby, nie wiem, MVP, którym tylko przetestujesz na kilkunastu użytkownikach, pewnie spoko, nie?

Ale zgadzam się z tym, co Wojtek powiedziałaś, bo jakby do tego się to może przydać, ale też właśnie pozwala te podstawowe umiejętności techniczne nam złapać, bo ja dokładnie pamiętam w CentiOne my robiliśmy produkt taki

I tam czasem regexpy się pojawiały, że użytkownik musiał wstawić jakieś takie podstawowe pseudo-kod do obsługi bardziej zaawansowanych fragmentów.

I wiadomo, jakby ja powiedzmy miałem jakąś tam znajomość regexpów, ale po pierwsze chciałem zaoszczędzić czas i to mi bardzo mocno pomagało, żeby taki kawałeczek kodu jakiegoś, czy właśnie regexpa, ChatGPT wtedy mi napisał.

To dwie refleksje a propos tego, co powiedziałeś.

Wydaje mi się, że podobnie w tym wypadku, jak i w wielu case'ach, często ludzie

Patrząc na jakieś rzeczy, coś tam zwraca na przykład, powiedzmy, że jakieś numery, jakieś cyfry, jakąś wartość w konsekwencji jakiegoś regexa.

Po prostu to działa.

Jakby to co pozwala moim zdaniem, to co AI łatwo nam umożliwia, to zrozumieć jak działają te blackboxy.

Pewnie wiele z nas kojarzy tę stronkę, gdzie można podejrzeć ile zarabia się w Google i Amazonie i w innych big techowych organizacjach.

No i jest dosyć ciekawe, że jakby dzisiaj to jest globalna strona, pewnie większość ludzi w branży ją zna, ale zaczynali od backendu zapiętego na Google Sheet, więc dosyć toporne rozwiązanie.

Ale w pewnym momencie, kiedy urośli, wiadomo, że porzucili go.

100-3000 osób, no to pewnie kwestia bezpieczeństwa ich danych jest ważna, ale zwłaszcza w tych początkowych etapach to raczej będą friends and family tudzież znajomi z kręgów na social media, więc jakby ten poziom bezpieczeństwa i ten poziom jakby kodu, który jest generowany przez AI myślę, że jest całkowicie wystarczający, zwłaszcza jakby do tego prototypowania czy stworzenia jakiegoś prostego MVP

Pytanie, czy Twoja organizacja Ci na to pozwoli?

I dlatego mi się wydaje, że na razie dla PM-ów najbardziej do prototypowania, zrobienia prototypu, żeby pokazać, żeby się tym pobawić.

To wtedy pewnie też jest spoko na razie do tego, żeby zrobić jakieś wewnętrzne rozwiązanie, gdzie też to bezpieczeństwo pewnie jest czymś innym zapewniane, nie?

Z tym prototypowaniem.

Zauważyłem, że w kontekście analizy danych, o którym Kuba wspominał, też testowałem ten use case i jest pewne niebezpieczeństwo, czy zauważyłem pewien problem związany ze skręcaniem AI w stronę bycia miłym i fajnym dla mnie, czyli mojej hipotezy.

Jeśli ja mam jakąś obserwację, hipotezę, nawet test statystyczny, który chciałbym obronić, to AI będzie robił wszystko, żeby udowodnić mój punkt widzenia.

Które właśnie są tożsame z tym, co wcześniej powiedziałem, że fajnie o tym myśleć jako młotek, ale nie jako zbawienie, bo

No właśnie, ale trzeba wiedzieć jak go użyć, trzeba jakby rozumieć testy statystyczne dane, żeby nie popaść w jakieś takie myślenie o dowodzeniu tej swojej hipotezy ponad wszystko.

I no choćby przy tej analizie danych to są tak czasem proste rzeczy już abstrahując od tego, że podąża za twoją hipotezą i jest miły, co jest mega słabe, że nie jest obiektywny by default.

I nie podnosi tego, czy nie challenge'uje naszych hipotez, to popełnia jeszcze tak proste błędy, jak przy forecastowaniu branie pod uwagę albo nawet nie zapytanie, co się dzieje w weekendy, czy je interpretować czy nie z danymi.

Trzeba rozumieć te inputy i outputy doskonale, żeby być dobrym reviewerem i poprawiać te prompty.

Zastanawiam się, czy to nawet jest już nasz asystent, czy po prostu partner taki właśnie w per-programowaniu, to my mamy naszego per-PM teraz, od którego sobie odbijamy różne rzeczy.

Ja z tym analizą danych się zgadzam, zrobiłem tak ostatnio case, analizowałem po prostu feedback użytkowników i próbowałem coś z nich wyłapać i miałem hipotezę,

I próbowałem na miliony sposobów prompty, żeby był bardziej strict w tym, czego szuka i tak dalej.

Bez tej ekspertyzy to jest jakby raz trudno trochę ocenić te efekty i to jest problem i pewnie będzie problem dla juniorów i tych, którzy zaczynają, czy on tutaj nie gada głupot, bo my to wyłapiemy w takich obszarach, a ktoś, kto nie ma w tym doświadczenia, będzie miał duży problem, bo dostanie po prostu gotowiec.

Jeden z topowych researcherów produktowych na świecie, który pokazał, jak deep research w różnych aplikacjach wyrzuca totalne bzdury w niektórych aspektach.

Jak ty masz na tej podstawie definiować swoją strategię czy jakieś kierunki w ogóle,

Do wyłapania jakichś takich problemów spoko.

Do znalezienia tych potencjalnych insightów, żeby potraktować.

Ja to traktuję jako taką hipotezę.

Czy by mi dobry wymyślił pomysł?

No metoda naukowa i analiza badawcza powinna stać, powinna się opierać na pewnej jakby, na pewnej falsyfikacji, więc jakby każda sensowna praca, którą czytasz jakiś white paper, research paper ma

Pod spodem prawdopodobnie jakąś krytykę tego podejścia, słabe strony tej pracy.

Z jednej strony zgadzam się z tym, że to jest taki peer PM, ale w tym kontekście, o którym rozmawiamy, to powinien być jakby peer krytyk, czyli jakby peer persona, która podważa nasz sposób myślenia.

Właśnie, czy wziąłeś pod uwagę weekend?

Wracając jeszcze do tego, Tomek, co ty powiedziałeś do tej twojej przygody z researchem, to zauważyłem, że przynajmniej mentalnie, jak sobie trzeba to poukładać, też ostatnio próbowałem kategoryzować feedback w jakiś zautomatyzowany sposób i to jest straszna mizeria jeszcze.

Jaki task mogę mu dać, żeby sobie z nim poradził?

I takie iterowanie z nim na temat jakiegoś na przykład przeglądania feedbacku dużo pomaga i dużo nadal przyspiesza naszą pracę.

Jest to oczywiście wolniej niż gdyby zrobił to sam, ale czyli zrobić taki level down naszych expectations co on potrafi zrobić i potraktowanie jego jako producenta treści, ale ja będę jego reviewerem i pomaganie mu w byciu lepszym.

Tak, jest sporo takich ciekawych metod i chciałem Was też zapytać właśnie, jakie takie metody pracy z interfejsami konwersacyjnymi, czyli naszymi czatami używacie.

Ja od siebie dodam właśnie to, co powiedziałeś, właśnie takie rzeczywiście poproszenie najpierw, że hej.

Jakieś takie krok po kroku, jak chcemy do tego podejść.

Czyli takie podzielenie bardziej złożonego taska na mniejsze, ale nie, że od razu robimy całość, tylko po prostu na początku spróbujmy sobie w ogóle rozpisać ten plan działania.

Ustalmy sobie najpierw plan działania, rozpiszmy sobie poszczególne kroki i idźmy wtedy krok po kroku.

I mega mi to zaczęło poprawiać właśnie jakość tego, co

Druga sprawa to jest właśnie podejście, bo ja mam takie wrażenie właśnie, że czaty, AI właśnie nam pomagają albo na tym poziomie juniorskim, albo są w stanie trochę być właśnie takim mentorem, tylko w zależności od tego jakie prompty zastosujemy.

Ciężko jest w tym pośrodku wyprodukować coś sensownego od A do Z, ale właśnie można go poprosić o takie krytyczne myślenie, bo to co w sumie Wojtek powiedziałeś, moim zdaniem to jest do osiągnięcia, ale właśnie jeśli go zmusimy do tego, żeby on był naszym takim krytykiem.

Tak wysokopoziomowo.

Czy w ogóle pomyślałeś o tym?

Czy pomyślałeś o tym?

Czy pomyślałeś o tym?

Jeśli poproszę właśnie o review z perspektywy właśnie tam, nie wiem, heada produktu czy CPO, żeby spojrzał na to, to zadaje takie, trochę tak jak idzie się do coacha czy mentora, nie?

Zadaje takie w sumie proste pytania, które teoretycznie powinniśmy o tym pomyśleć, a w sumie nie pomyśleliśmy.

I to jest też fajny temat, który pewnie za chwilę poruszymy, ale może jeszcze jakie tipy wy macie do współpracy właśnie, co wam się sprawdza, co wam się nie sprawdza.

Może macie jeszcze jakieś pomysły przy samej rozmowie właśnie.

Na początku ja sobie stosowałem taką listę kryteriów, w jaki sposób mają mi czaty odpowiadać.

Natomiast zauważam, że coraz mniej muszę je o to prosić, bo po prostu te wszystkie modele się poprawiają.

W sumie zwykle nie stosuję bądź jak CPO, bądź jak head of coś tam.

Raczej staram się to ubrać w takie słowa, że potrzebuję strategicznego review albo potrzebuję właśnie jakiejś specyficznej krytyki, dlaczego ten pomysł może nie wypalić.

Chociaż czasem też, ale z takich taktycznych rzeczy to często bardziej potrzebuję po prostu, żeby ten output był lepiej przygotowany już dla mnie do edycji, czyli w jaki sposób ma pisać te sentencje.

Często czat ma zbytnie przywiązanie do camel case'ów, gdzie wszystkie nagłówki są każde słowo z dużej litery, co się nie nadaje kompletnie potem do

U mnie jest, nie wiem czy już jest to rozwiązane, ale kiedy proszę o podanie cytatu, kiedyś zmyślał te cytaty, teraz po prostu piszę mu wprost don't make things up i jeśli jest ten cytat, to rzeczywiście podaje prawidłowy cytat.

Nie mam takiej potrzeby, że ciągłej kontroli zawsze coś, zawsze stosuję coś w swoich promptach.

Myślę, że coś takiego, co jest jeszcze nieoczywistego, nie każdy tutaj korzysta, to jest to, że czat GBD pozwala dodać te ogólne zasady, ogólne heurystyki, w jaki sposób on będzie odpowiadał.

Takie wzorce na przykład, że jeśli podajesz cytat, to zawsze proszę podaj mi referencję do tego cytatu, jeśli to jest dla nas ważne.

Myślę, że to w czym mi bardzo pomaga to wyobraźmy sobie, że mamy zbudować feature eksport danych do Google Lookera na przykład z naszego toola.

Więc myślę, że ciekawym sposobem jest to, o czym mówiłem na początku, taka jakby metaanaliza problemu, czyli jak Ty rozumiesz ten problem?

Jakie pytania powinienem sobie zadać?

No i wtedy, i teraz zgaduję, czyli powinieneś na przykład pomyśleć i wtedy taka odpowiedź mówi Ci, no powinieneś pomyśleć o formacie danych, powinieneś pomyśleć o być może transformacji danych, powinieneś pomyśleć może o walidacji danych, powinieneś pomyśleć o sprawdzeniu kompletności danych.

I teraz rozumiejąc to, ty masz jakiś twórczy pomysł na to, jakąś ideę kreatywną, możesz iterować wobec tego, natomiast to daje ci to pole gry, ten twój playground, jak w ogóle radzić sobie z tym problemem, jak o nim myśleć, jak projektować to rozwiązanie.

Po prostu czasem wypuszczą mi zupełnie inne odpowiedzi.

I nie jestem w stanie powiedzieć, że ten jest lepszy, ten jest lepszy, ten jest lepszy.

Nawet czasem nie jestem w stanie powiedzieć, że w tym konkretnym obszarze problemowym ten jest lepszy.

Po prostu czasem jeden wyświetli mi lepszy wynik, odda mi lepszy wynik, czasem drugi.

I od kiedy tak zacząłem sobie różnych używać, to bardzo mocno mi to pomogło.

Po prostu widzę, że tutaj jest ten vibe, mam z nim vibe odpowiedni i daje mi odpowiednie rezultaty, to wtedy w tym problemie jakby kontynuujemy tutaj.

A powiedz więcej, myślisz, że to działa na zasadzie, że delta jest tak duża w stosunku do pozostałych wtedy odpowiedzi, że po prostu za nią podążasz i tamte już nie mają szans i je porzucasz jak gdyby i już kontynuujesz z tamtym narzędziem?

Czy bierzesz po trochu z każdego i to jest dobry miks po prostu?

Chciałem podchodzić tym drugim podejściem, ale tak jak sobie myślę o swoich ostatnich doświadczeniach, to raczej było to drugie, że gdzieś widziałem większą deltę i w sumie, mimo że próbowałem potem z dalszymi wykorzystywać input z tego pierwszego do tego, żeby pójść dalej, to okazało się, że może w tej klasie problemów, w tym konkretnym problemie akurat to narzędzie lepiej się sprawdza.

W takim dużym uproszczeniu na przykład Klopp mi bardzo ładnie pisze, w sensie super tworzy treści, jak poprawia jakąś komunikację na przykład, fantastycznie.

Gemini nie jestem w stanie zmusić w żaden sposób do tego, żeby pisał, chociaż w przybliżony sposób, w taki sposób, żeby mi pomagał w tym obszarze.

Podobało się?

Jak nie przedstawisz odpowiedniego kontekstu, to skąd on ma to wiedzieć, że ma coś takiego zrobić, nie?

No nie potrzebujemy aż takiego taktycznego podejścia, nie?

A jak podchodzicie gdzieś tam do weryfikowania tych treści wygenerowanych przez AI?

W sensie sprawdzacie za każdym razem, czy po prostu wierzycie, czy nie ma na to czasu?

Bo tak się zastanawiam, jak do tego podejść.

Jak do tego podchodzicie?

Proszę o źródła, badam to samodzielnie, skąd to wynika, czy czasem źródłem nie jest osoba, której zależy na tym, aby podać właściwe wyniki i tak dalej, i tak dalej.

Myślę że to jest po prostu wyczuwamy o to są te tematy którymi chce się teraz zająć.

Po prostu się nim nie zajmuje.

Jeśli coś jest kwestią pomysłu, to poprosimy o alternatywne pomysły i jesteśmy w stanie z naszą ekspertyzą sobie ocenić, który z nich może działać.

Podobnie by było z juniorami.

Jeśli by przyniósł jeden pomysł i od razu dla nas reviewujemy go i ma sens, to świetnie.

lub spojrzenie na temat z innej strony.

Myślę, że to jest dyskusja trochę jak z priorytyzacją, czyli powinniśmy sobie, przynajmniej ja staram się odpowiedzieć na pytanie, jak ważna albo jak ciężko odwracalna jest dana decyzja.

Jeśli potrzebujemy podjąć jakąś trywialną decyzję szybko, po prostu popchnąć rzeczy do przodu,

Jakby dostajemy jakąś odpowiedź, mamy jakąś heurystykę decyzyjną, brzmi sensownie, jakby zróbmy to.

Lepiej podjąć szybko decyzję niż tej decyzji nie podjąć albo podjąć ją bardzo wolno.

Natomiast w przypadku tych ciężko dowracalnych strategicznych decyzji, myślę, że tutaj backlogu powinniśmy się bardziej skupić, żeby to zweryfikować.

Natomiast tu też sądzę, że pojawia się problem związany z naturą tych modeli.

Natomiast im ta materia jest bardziej związana z tym, co robię, tym właśnie więcej mam takich aha moment polegających na tym... Wziąłeś pod uwagę to w ogóle?

Więc tutaj jest to po prostu aspekt dobrej wiedzy domenowej, bo bez dobrej wiedzy domenowej te treści zawsze będą wydawały się, sprawiały wrażenia mądrych co najmniej.

Jak Wy w ogóle do tego podchodzicie?

I może już teraz nie będzie trzeba użytkownika używać do wymyślania, co powinniśmy zbudować.

W ogóle nie potrzebujemy go do monetyzacji.

Nie musi nawet kupować subskrypcji.

Jaką stronę będzie się nam to rozwijać i gdzie ten użytkownik powinien się tutaj pojawiać?

Myślę, że jeszcze bardziej może się pojawiać.

Po prostu jesteśmy uwolnieni od całej biurokracji, dokumentacji i wielu innych rzeczy i możemy skupić się jeszcze bardziej na użytkowniku, czego oni potrzebują, jak dostarczać im wartość i przyspieszać to po prostu, więc tak bym o tym myślał.

W sensie ta cała nasza rozmowa polegała na tym, że mówiliśmy jak mniej musimy robić.

Więc myślę, że po prostu mamy tego użytkownika cały czas w tle, tylko o nim nie mówimy, bo tak dużo jest tych tematów, które są zanim w ogóle ten użytkownik zobaczy to, co produkujemy.

Wyobraźmy sobie, że nagle jesteśmy w stanie zapewnić robotę dla 100% populacji starszych osób.

Wątpię, bo wiemy, że jest pewna relacja między relacjami społecznymi a długowiecznością, że generalnie ludzie potrzebują relacji z żywymi ludźmi.

Podobnie jest tutaj, tak jak Kuba powiedział, że jakby to outsourcuje jakąś może część taką procesową, ale de facto jakby prowadzenie biznesu

Czy coś, co myślę, że Tomek tutaj masz największy taki touch and feel i czy bycie PM-em w organizacji jest de facto o budowaniu relacji, o też tworzeniu pewnych więzi i to jest niezbędne w każdym systemie społecznym, w każdym systemie biznesowym, więc jakby tego nie zastąpimy AI-em.

To my chcemy mieć jako biznes potencjalnie ewentualnie relacje z tymi ludźmi, jak nam zależało.

Z drugiej strony firmy coraz bardziej jakby wychodzą do tego człowieka od dłuższego czasu, że jakby poza tym, że stała hype na Discovery i rzeczywiście całkiem słusznie, no my powinniśmy rozmawiać z użytkownikami, coraz więcej się o nich dowiadywać, to w ogóle firmy stawiają na to, żeby nie wiem, budować społeczności.

Kiedyś to było nie do pomyślenia, że budują swoje społeczności, bo nie było na to narzędzi i przestrzeni, żeby mieć do nich kontakt.

Teraz coraz bardziej chcemy, żeby ten human touch jednak z tym użytkownikiem, mimo produktu cyfrowego, w jakiś tam sposób był.

No nie jest ten moment, jestem przerażony właśnie jak wiecie, pojawiam się gdzieś na jakiś wydarzeniach czy z kimś rozmawiam i ktoś mówi, że nie wiem, strategię produktową na przykład sobie wygeneruje z czatem GPT na przykład, nie?

Albo jakiś tam kierunek firmy totalnie jakby po prostu na podstawie tylko tego co sobie wygeneruje tutaj.

No spoko, pewnie dokument można wygenerować, tylko pytanie skąd te insighty do tego dokumentu się biorą.

To jest takie ciekawe, a może się mylę i w sumie takie mam w głowie, że kurczę może jest czas, żeby zrobić taki eksperyment i jak będę miał trochę czasu, to może coś takiego zrobię, że wezmę sobie czata GPT i poproszę go, żeby od A do Z, żebyśmy zrobili, a ja będę jego rękami do wykonania tego, co będzie potrzeba, a on totalnie wymyśli strategię tego produktu, jak chce wprowadzić go na rynek.

Jak chcę to zrobić, ja będę rękami tymi białkowymi, które będą pewnie do niektórych obszarów potrzebne i zobaczę, jak ten produkt wypali w takiej sytuacji.

No ale głęboko wierzę, że to jest tą drugą stronę, to co Ty, Kuba, powiedziałeś, że jakby te narzędzia powinnam raczej umożliwić to, że mniej będzie tej

Pracy organizacyjno-operacyjnej, analitycznej, w sensie analitycznej w kontekście takiej, że dużo czasu zajmuje ta analiza, a więcej czasu będziemy mieli właśnie na to, żeby jednak myśleć o tych potrzebach i rozmawiać o tych potrzebach użytkowników.

Myślę, że tak po prostu bez inputów z całej organizacji.

Myślę, że przy MVP być może jest to prostsze, no bo to jest na zasadzie generujemy pomysł, to jak go walidujemy w pierwszej literacji.

Jeden chciałem jeszcze poruszyć.

Na role trochę powiedzieliśmy, co nam się wydaje, że może będziemy mieli mniej pracy, ale jak się zastanawiamy na rynek w ogóle, product managerski, product managerów, na to czy będziemy potrzebni w ogóle za chwilę albo ilu będzie tych product managerów potrzebnych.

Wiem, że to jest szklana kula, ale mamy jakieś tam intuicje i doświadczenia i tak się zastanawiam, w którą stronę widzicie, że to może podążyć.

Po pierwsze myślę, że dobrym sposobem jest zawsze zapisywanie tego gdzieś i potem sprawdzanie jak bardzo trafne albo nietrafne były nasze prognozy.

To co pamiętacie albo już nie, Marty mówił w naszym podcaście, że jeśli komunikacja to jest jedyne co dostarczasz organizacji, to chyba coś nie pykło, chyba coś robisz źle.

Więc to, co wydaje mi się, że AI może nam pomóc, to ja wierzę w to, że ta nasza rola będzie trochę ewoluowała też w stronę takiego prototype managera czy takiego gościa, który będzie po prostu szybciej, efektywniej testował produkty, tworzył innowacje dla firm, dla startupów.

To teoretycznie nic się nie powinno zmienić pod kątem ilości zatrudnionych, bo możesz skalować swój biznes szybciej.

Jeśli w którymś etapie tego całego procesu budowania produktu ktoś się staje bottleneckiem albo ratio powiedzmy inżynierów do produkt managerów i tak dalej jest dysproporcjonalne, no to pewnie jeden product manager może jak gdyby

Ale jeśli ci inżynierowie też mogą przyspieszyć, to nagle okazuje się, że o to właściwie to fajnie by było mieć i dziesięciu inżynierów i dwóch PM-ów, którzy będą po prostu pracować trzy, cztery, pięć razy szybciej jako grupa, więc ciężko tu jest ocenić.

Wydaje mi się, że to może pójść w dwóch kierunkach lub różnie po prostu w różnych organizacjach.

Jeden to bym powiedział to co mówicie, że pewnie nasza rola będzie się zmieniać.

Ta perspektywa prototyp menadżera, czy jakby kogoś kto potrafi też lepiej prototypować i szybciej weryfikować pomysły jest bardzo kusząca.

Może też nie pójść w tą stronę, może to bardziej deweloperzy będą w stanie takie rzeczy robić bardziej produktowe w takiej sytuacji, ale ogólnie wydaje mi się, że trend będzie taki, że po pierwsze mniej będzie potrzebnych typowych backlog managerów, czyli zarządzających po prostu typowo backlogiem.

Druga rzecz to taki trend, który mi się wydaje, że będzie się działo, bo się dzieje tak nawet od zawsze, że po prostu właśnie to co mówicie przyspieszamy.

Ta sama grupa ludzi będzie w stanie tworzyć po prostu więcej i lepiej, tak jak to było 10 lat temu, nie wiem, 15 nie mieliśmy frameworków, to budowaliśmy dłużej różnego rodzaju aplikacje i rozwiązania i teraz będziemy w stanie to robić szybciej, mniejszą grupą ludzi albo...

Czy nasza podaż nie będzie zbyt duża w kontekście produktów cyfrowych?

Bo jeśli nie, to się okaże, że rynek jest nasycony w dużym stopniu i nie będzie potrzeba więcej product managerów, bo mniej product managerów i zespołu będzie w stanie dostarczać to, co i tak już nasyca rynek w taki sposób.

Więc to jest, moim zdaniem, taka ciekawa treść, bo to się widać w jakichś takich platformach contentowych typowych, np.

Jak nikt nie będzie w stanie tego w ogóle w żaden sposób oglądać i wybiją tylko te, które będą najlepsze jakby, nie?

I wcale nie będzie potrzeba więcej content creatorów, tylko będzie potrzebna, będą wygrywać ci, którzy robią to najlepiej, nie?

I zastanawiam się, czy u nas też tak to nie wyjdzie i wtedy trochę widzę gorsze perspektywy na nasz rynek, bo, znaczy gorsze, no gorsze dla średniej jakości PM-ów, PO-ów, a dobre pewnie dla tych, którzy będą widzieli tą rolę w budowaniu realnych produktów, tylko pewnie i będzie ich potrzeba mniej, nie?

Jako top voice PM w Polsce ja bym się tam jak na Twoim miejscu nie obawiał.

A ja tylko jestem hochsztaplerem, spokojnie.

Poza trendami to jeszcze wiadomo to się szybko zmienia.

I tak się zastanawiam, czy korzystacie z jakichś źródeł, w jaki sposób sprawiacie, że jednak trochę tego AI macie w pracy i jednak się rozwijacie i wiecie, co warto byłoby wykorzystać.

Bo nie można tu pewnie tak po prostu sobie odciąć i dobra, to tego nie ma.

Więc zaraz włączę jakąś moją, wiesz, randomową... Dawaj, co odpowiadasz?

Co odpowiadasz na rozmowie i co jest prawdą?

Już dostałeś tą pracę, możesz opowiedzieć szczerze.

I teraz na przykład czytam AI Engineering, O'Reilly, to jest to topowe techniczne wydawnictwo.

Polecam, bo wydaje mi się, że to też jakby uczy skupienia i myślenia, w sensie, o które dzisiaj czasami trudno w zalewie storiesów i krótkich postów, to czytanie jakichś dłuższych treści, wydaje mi się, poza wiedzą per se, jest po prostu też dobrym ćwiczeniem głowy, rozumieniem jakichś dłuższych złożonych treści.

No, ja mam cały czas z tyłu głowy, żeby zainteresować się w jakiś ustrukturyzowany sposób agentami.

Ostatnio interesowało mnie mega pozycjonowanie i messaging, więc sobie czytałem książeczkę, która ma tytuł Make it punchy.

O tym, jak tworzyć content, który rezonuje z użytkownikami na takim wysokim poziomie.

Tak, mi się wydaje, że tutaj ciężko coś tak wstrzost poleci, bo to się tak szybko zmienia, że nie ma, nie wiem, szkolenia, kursów, książki typowe.

Ciekawe, czy trzeba poczekać, aż to zwolni, czy już będzie tylko przyspieszać.

Ja mam takie doświadczenie, że w sensie fajnie mieć pewnie jakieś jedno, pewnie niezależnie, takie źródło informacji może o jakichś takich mikronowościach, żeby raz na tydzień, raz na miesiąc się dowiadywać po prostu, co nowego się pojawia.

Bo tego hype'u jest bardzo dużo, ale właśnie takie jakieś krótkie podsumowanie, że wiem, że okej, no dobra, no to w Deep Research na przykład wyszedł, nie?

A żeby się uczyć, to niestety tutaj wydaje mi się, że trzeba po prostu zacząć używać, nie?

Czy to z czatem GPT, czy z jakimiś narzędziami do prototypowania.

Nawet jeśli pójdziemy na jakieś kursy, szkolenie, to i tak de facto będziemy się uczyć sami prawdopodobnie po prostu przez praktykę.

Chociaż no wiadomo, warto pewnie posłuchać niektórych osób, które ileś tam te kilkadziesiąt godzin czy kilkaset poświęcili w takiej sytuacji.

Ale to ja bym postawił po prostu, żeby się pobawić tym, bawić się po prostu w swoich case'ach i wziąć tego czata.

Mam wygenerować PRDK, zastanowić się w jaki sposób, mam przygotować PRDK, w jaki sposób może mi to pomóc.

I do takiego poziomu...

Jest spora różnica między wiedzieć a rozumieć, więc jest taki term jak iluzja wiedzy.

Więc to co Ty Tomek powiedziałeś trzy razy tak, że jakby robić, bo to jest jedyny sposób, żeby odczarować te black boxy, żeby zrozumieć jak coś działa.

Zobaczymy za rok, za dwa, czy cokolwiek z tego, co powiedzieliśmy jeszcze ma sens i jest aktualne i czy nasze predykcje miały sens, ale myślę, że jakiś jeszcze odcineczek pewnie u AI będzie ciekawy, bardziej już może o produktach AI, jak je budować, to może być interesujące, może jakiś gość

Was zapraszamy do słuchania naszego podcastu.

Zostawcie subika, bo wiemy, że nie wszyscy subskrybujecie, więc subskrybujcie nasz podcast, będziecie wtedy dzięki temu wiedzieli, że wyszedł nowy odcinek.

Dzięki, pozdrow.