Platform/Infrastructure Product Manager – o umiejętnościach i wyzwaniach w świecie AI

Jak wy to rozumiecie i kiedy pierwszy raz spotkaliście się w ogóle z takim pojęciem w waszej historii? Ja to rozumiem w ten sposób, że jeśli chodzi o platformę versus infrastrukturę, to może o tej drugiej łatwiej zacząć. Wydaje mi się, że Jako startup, duża organizacja chcemy dostarczać szybko. Czy wybierzemy sobie jakieś feature związane z AI czy inne, to chcemy mieć szybki time to market. Dla mnie infrastruktura to jest wszystko to, co związane z naszym Continuous Integration, Continuous Delivery i tym, jak te procesy mogą być szybsze, bardziej efektywne i też jakby komunikacja w jakiejś tam drabince stakeholderów, czyli nasz jakby bread and butter.

Ja bym chciał teraz przejść trochę właśnie w tym kierunku, o którym Ty Tomek wspomniałeś, tych tak zwanych MCP, czyli może trochę poruszyć ten temat AI. Bo nie wiem, jak Wy macie do tego podejście, ale wydaje mi się, że w zasadzie ten cały AI native world, w którym teraz żyjemy i się otaczamy, no gdzieś to jest tak naprawdę infrastruktura. Więc jakby umiejętność zrozumienia tego, jak trochę działają te wszystkie algorytmy AI, trochę od strony tej statystycznej, trochę bardziej zrozumienia, gdzie i kiedy warto zastosować AI w odróżnieniu od takich standardowych algorytmów oraz to, o czym często też mówi się właśnie Jak w przyszłości rola tego PM-a może się zmienić, chociażby poprzez wpisanie EVALS, czyli gdzieś tam jakichś takich specjalnych systemów do ewaluacji skuteczności tych algorytmów, które też gdzieś w obecnym świecie wymagają pewnych skill technicznych, mimo że mamy do czynienia tutaj z takim językiem programowania stricte po angielsku albo po polsku, czyli gdzieś tam

Dosyć prostym i przejrzystym, ale wymaga to jednak zrozumienia tej infrastruktury. Jak waszym zdaniem właśnie ta rola tych PM-ów się będzie w tym kierunku ewoluować? No to jest w ogóle mega ciekawe pytanie i ciekawy temat. Mnie teraz od dłuższego czasu mocno dotyka. Zacznę po kolei. W sensie, w stu procentach się zgadzam, że w ogóle ten temat AI, wcześniej machine learningu, jakkolwiek to nie nazwiemy, Jeszcze ma większy wpływ na konieczność rozumienia infrastruktury, jeśli się tego wykorzystuje. I ja to widziałem zarówno w Senti One, gdzie bardziej maszyn learningowe, takie klasyczne modele stosowaliśmy.

Teraz, gdy bardziej LLM-owe, no to ma gigantyczne znaczenie, ile maszyn de facto użyjesz, szczególnie jeśli masz rozwiązania on-premise'owe na przykład i budujesz coś wewnątrz. No to koszt może być x albo 1000 razy x. Bardzo duże znaczenie. Tak samo teraz w LLOM-owym świecie, no jakby czy wszystko zrobisz LLM-em? No można i będzie pewnie idealnie w wielu miejscach, żeby zrobić LLM, ale ci się to opłaca. Teraz robimy Conversational AI, kilkaset tysięcy rozmów w miesiącu. I no fajnie byłoby to zrobić wszystko LLM-em, ale koszt będzie gigantyczny, nie? Więc niektóre części tych rozmowy może lepiej zrobić tak zwanym, my to nazywamy tam jakimś tam strictem, że są trochę prowadzone jakby mniejszymi modelami, które tylko generują sensowniejszy jakby, nie wiem, dostosowują delikatnie tekst, ale jakby nie generują całej rozmowy, nie ma takiego reasoningu jakby, nie?

Bo to byłby gigantyczny koszt. No i jakby będąc PM-em muszę być tego a świadomy, a b podejmować świadome decyzje razem z zespołem jakby w tym kontekście. Więc to będzie miało w przypadku produkt managerów zajmujących się AI-em, to będzie miało bardzo, ma i będzie miało bardzo duże moim zdaniem znaczenie. No i to się mocno wiąże jakby z tym platform PM-em, bo w sumie te rzeczy machine learningowe, AI-owe są pewną platformą jakby z której gdzieś korzystasz, nie? I to myślę, że będzie w tą stronę... Tak to trochę wygląda. W którą stronę to będzie szło? Wyjmujemy oczywiście jakąś tam szklaną kulę, ale ja osobiście uważam, że będzie chyba coraz mniej przestrzeni w najbliższych latach na takich generycznych

P.M.ów, a już P.O.ów to już w ogóle jakby, którzy zajmują się bardziej zarządzaniem backlogu, nie mają jakiejś takiej specjalizacji, a większe będzie wtedy, kiedy masz jakąś tą specjalizację. I specjalizacją może być pewnie przez jakiś czas teraz jeszcze wykorzystanie AI, bo mało kto to robi w ogóle, jakiekolwiek produkt. Ja ostatnio zapytałem o tę Ewalę na przykład na LinkedInie. Ile osób mi... Zwykle jak pytam o coś związanego z product managementem, cała masa osób mi odpisuje, nie? Spytałem o Ewale, no to zaczęły mi się pojawiać oczywiście wpisy, ale bardziej takie hobbystyczne, że ktoś stworzył jakiś produkt, jakby, nie? Kto robi realnie Ewale, AI? Okazuje się, że tych ludzi wcale nie ma dużo, nie? Więc to jest na pewno jakaś część, czym można się wyróżnić, bo jak firma zatrudnia do produktu AI-owego, no to będzie szukać kogoś, kto w tym ma specjalizację albo jakąś specjalizację dziedzinową, jakby, nie?

Więc wydaje mi, że w tą stronę będzie trochę zmierzać. Trochę takiej strony specjalizacji i platforma lub AI będzie, znaczy AI pewnie docelowo wszyscy będą musieli trochę z tego umieść, natomiast na pewno będzie też taka specjalizacja jeszcze lepszego wykorzystania właśnie modeli, tak jak teraz jest platformy. W sensie taki platform PM, tylko tutaj będzie dodatkowo, być może platformy PM-owie to przejmą, że jeszcze jakby ten klocek związany z AI, jak to lepiej jakby wykorzystać, żeby Wewnątrz organizacji lepiej to wykorzystywać, żeby, nie wiem, robić to takie developer experience, czy to u nas wewnątrz organizacji związane z AI, czy gdzieś na zewnątrz, jeśli tworzymy platformę zewnętrzną. Mega ciekawe to, co mówisz, bo dokładnie mieliśmy podobny właśnie use case teraz ostatnio, w którym ewaluujemy właśnie, czy warto wykorzystywać AI do tego, co chcemy, czy nie. No i te dyskusje na temat kosztów potencjalnych versus korzyści, to jest po prostu coś niesamowitego.

Naprawdę jakby nowa taka świeżość w tej roli produktowej, gdzie musisz podejmować tak, Widzisz, że z tym AI jest w stanie tobie dokonać pewnych fajniejszych rezultatów i ten ten ten experience użytkownika może być nie wiem szybszy, łatwiejszy i tak dalej, ale koszty z jednej strony z drugiej strony nie do końca zawsze uzasadniają jednak ten wybór, no więc. Dochodzi do takich fajnych dyskusji i właśnie jak zoptymalizować to, żeby ten przesłuch danych może był troszeczkę, ten kontekst window był mniejszy, żeby te, tak jak ostatnio mieliśmy taką dyskusję z naszymi inżynierami, w której gdzieś tam doszliśmy do wniosku, okej, no to zamiast jednego LLM tworzymy trzy LLM, które będą ze sobą funkcjonować, bo ten kontekst window trzeba tak skondensować, aby Za każdym razem RLN działał troszkę na mniejszym formacie danych, ale przesył tych danych był tak dopracowany, ażeby te koszty były zoptymalizowane.

Tak, a tu wykorzystasz mniejszy model na przykład, który ma dużo mniejsze jakby potrzeby albo, nie wiem, jakiegoś tam chińskiego Quena czy cokolwiek innego, co jakby do tego jest bardziej dostosowane i do tego jest lepsze, a tu wykorzystasz ten, nie? A tu będziesz szedł zwykłym ifami, które będą mu dawać jakąś czuć tą inteligencję. No i to... To rzeczywiście jak się nie rozumie tych modeli, jakby nie ma się jakichś podstaw z tego, no to nie jesteś w stanie podejmować tych decyzji. A co za tym jeszcze idzie ten krok następny, że w ogóle mega ciężko oszacować te korzyści jakby z tego używane, a z drugiej strony... Jak nie jesteś w stanie, znaczy czy jesteś, czy nie jesteś w stanie postawić tego case'a i jakby, jeśli twoja organizacja bardzo mocno naciska na tego case'a, to pewnie będzie hamować bardzo mocno wykorzystanie tego AI, bo nie będzie widać opłacalności, nie? Ale jeśli ty nie będziesz tego robić, to będziesz coraz dalej w ogóle w uczeniu się, jak tego AI wykorzystywać wewnątrz organizacji, nie?

No dobra, ale słuchajcie, zbliżamy się trochę do końca. Mamy taką ciekawą dyskusję na temat właśnie przyszłości. Trochę zajrzeliśmy w strukturę AI, w platformę i w infrastrukturę. Wydaje mi się, że też dużo z tej wiedzy, którą czerpiamy, wynajdujemy właśnie z własnych doświadczeń, ale zastanawiam się, jaką moglibyśmy dać jeszcze taką radę albo wskazówkę, jak się uczyć. Jak wejść do tej roli albo skąd czerpać wiedzę, szczególnie właśnie jeśli chodzi o takie tematy związane z przyszłością infrastruktury. Gdzie wy czerpiecie wiedzę? Znaczy, ja powiem tak, po pierwsze, jeśli ktoś chce iść w stronę Platform Product Managera, to trochę musi czuć jakby, że to jest gdzieś tam jego kierunek i lubi takie trochę bardziej techniczne tematy.

A jeśli chodzi o to, skąd jakąś taką typową wiedzę, ja przez jakiś czas bardzo długo czytałem Byte by Go, chyba taki newsletter. On przedstawiał takie fajne przedstawienie ogólne różnych koncepcji infrastrukturalnych, technicznych, jak coś działa. Całkiem też spoko. Teraz dużo więcej wykorzystuję po prostu czata GPT czy po prostu AI, że proszę, żeby mi coś wytłumaczył. I mimo, jak nie rozumiem, no to zawsze mogę super dopytać. I myślę, że wielu osobom brakuje jakby trochę tego jakby cierpliwości, żeby z tym pogadać dłużej, a bardzo można tutaj rozkminić. Ja na przykład, jak masz LLM-y ostatnio chciałem się, jak transformery działają czy coś tam, zacząłem po prostu gadać, zgłębiać to prosić o wytłumaczenie każdej kolejnej koncepcji i naprawdę bardzo wiele był w stanie mi wytłumaczyć.