Kto się podpisze pod kodem od AI? - SDLC, koszty i harness

Cześć, słuchajcie Patoarchitektów. Prowadzą Łukasz Kałużny i Szymon Warda. No to Łukaszu, co dzisiaj mamy na agendzie? Dzisiaj AI w SDLC z dwóch perspektyw, o których się kłócimy, czyli jedna, która was dotyka pod tytułem albo jesteście tą osobą, która się zastanawia, czyli perspektywa menadżerska, decyzyjna i perspektywa Tego, kto wykorzystuje tego AI w SDLC faktycznie. SDLC, czyli Software Delivery Life Cycle. Tak, czyli wytwarzanie, albo po polsku, żeby było ładnie, wytwarzanie oprogramowania i zakładanie homonto agentowi. Wyjdzie chyba, że nie tylko agentowi, dobrze. I tak żeby to dopracować, bo to jest niecały software, bo w tym też się zbiera obszar typu zbieranie wymagań i wypuszczanie tego na produkcję, to jest wszystko.

Pierwsze to jest duże pytanie, czy robić review w ogóle? To jest takie pierwsze pytanie, które się pojawia. Drugie, że mamy teraz jednostki, które możemy nazwać midproxy. Czyli są mięsnym proksiakiem pomiędzy LLM-em a procesem firmowym. Byli zawsze, tylko wcześniej byli mniej widoczni, że są tym proksiakiem tak naprawdę. Dobra. I teraz jak popatrzysz, to Szymon. Idąc naszą perspektywą na początek, w tym akurat pirat drzwi się zgadzamy mniej czy bardziej. Wszystko zależy od tego, jak coś bardzo jest krytyczne. Ja bym od czegoś innego zaczął. Bo tak mówimy, że o, review, review. Czy robiliśmy review lat temu, trzy? Nie, nie robiliśmy, tylko wszyscy okłamywali się, że robią review. Porządnie klikali na zasadzie, tak, tak, tak, może iść.

To jest element, że ten kod jest średni, ale większość systemów, jak sobie przypomnę, ja pamiętam jak ty na przykład, bo Szymon, może nie wiecie, Szymon odpowiadał za architekturę, tam prawie setka, chyba w piku ponad setka osób. Już tyle razy mówiłeś, że już chyba wszyscy wiedzą. Tak, ale ile czasu spędzaliście na tym, żeby upilnować ludzi? Dużo, bo to jest inna metoda mentalna na patrzenie przy tej ilości, no nie? Ale to jest taki podział właśnie, kto wybrał wartość biznesową, kto wybrał te rzeczy techniczne generalnie, no nie? I to trzeba po prostu zdublować. Podobnie, tam nie ma nic nowego z agentami w tym momencie pracy. Tak, a kod jest inaczej. Dla dużej ilości systemów jest good enough, jeżeli mieliśmy wyższe standardy tej jakości tego kodu.

Byłbym w niektórych przypadkach... Dobrze, że to jest agent, bo byłbym oskarżony o mobbing. Widziałeś, co ty tu wpiszesz. Dobrze, to teraz idziemy kawałek dalej. Na ile AI zmienia nam cały proces wytwórczy? Czy to zmienia proces, czy to jest tylko dodatek dla dewelopera? Bo dla mnie to wywraca... Raczej moje pytanie, czy proces... I teraz Szymon, poczekaj. Proces czy pryncypia? Bo jeżeli popatrzymy na pryncypie, czym jest SDLC, jeżeli popatrzysz, on polega na tym, że w pewnych miejscach możemy dowozić... Bo problem kodu, może zróbmy coś takiego, bo mamy dwa scenariusze, które chciałbym od razu poruszyć, potem przy Kasie do tego jeszcze przejdziemy sobie, ale dwa grube scenariusze, które są,

W przeglądach, bo agenci, ten zysk na małych systemach będzie ogromny, ale im system większy, tym zysk będzie wolniejszy. I to, jak mieliśmy mniej 5 ludzi nad wielki system, to będziemy potrzebowali teraz dużo, dużo więcej tokenów. Tak, więc idąc takie, wiesz, dodatek do dewelopera, po pierwsze proces dla mnie w korporacjach, to jest bardzo ważne, ja mam taką definicję, że procesy służą do rozpraszania odpowiedzialności i ryzyka. Zależy mówić w procesach ludzkich, czy takich technicznych, takich twardych rzeczach? Nie, mówię widzisz, bo proces w SDLC jest procesem miękkim, jest ludzkim. Jeżeli popatrzysz, ma pryncypia na każdym stage'u, jak to powinieneś robić, ale nadal to jest ludzki. Szymon, ile razy Na zasadzie było, olewamy testowanie, olewamy regresję. Wiesz, ile w życiu miałeś takich release'ów?

To co Szymon mówisz, powiedziałeś harness, czyli że nasza binarka, która jest proces, który mamy od agenta, ma rzeczy założone w teorii deterministycznie. Czyli to nie LLM wywołuje testy, nie LLM wywołuje formatery, tylko że mamy zdefiniowany zestaw huków, które tworzy te ho-monto, czyli agent dostaje pętlę feedbacku. Czy to nie przypomina nam pętli z devopsa magicznej sprzed 10 lat feedbacku dla dewelopera? Oczywiście, że tak. Agenci dali to, że Pokazują, że to wszystko, o czym mówiliśmy, że powinniśmy mieć, nagle zyskuje ogromną wartość. Tak samo, Łukasz, tak samo. Dobrze, wiesz, że tak. Jak mamy duże repo, to jak dopuszczymy na to wielu agentów, to nie będzie szybciej. Będzie więcej, ale nie będzie szybciej. Rozumiesz, żeby były szybkie buildy?

Mieliśmy już wcześniej proksiaki, czyli jeżeli zobacz Szymon, jak została wypatrzona idea produkt ownerów Scrum Masterów, zobacz, że masz produkt ownera, który jest w departamencie IT. W sensie tak, a stateholder biznesowy, ekspert biznesowy ma całą ścianę spotkań i jest dla ciebie niedostępny. Teraz mieliśmy inny przykład u nas w firmie, że ile czasu trzeba było czekać na feedback od biznesu, że coś jest okej, nie okej i zobaczyć wymagania. I teraz czemu o tym mówię? Bo to jest rzecz, która jest wieszczona jako wspomagacz pisania wymagań. Okej, efekt jest taki generalnie, że jak ktoś jest ambitny bardziej, to pogada sobie z czatem, żeby mu napisał opis tiketa i go wklei do JIR.

To jest super. Dobra i teraz popatrzmy sobie to, co robimy też z klientami, bo to jest ważny kontekst. Mamy dwa odcienie. Jeden wam wrzucę taki Gdzieś, gdzie mamy w internalowych rzeczach, w researchach stosujemy. I zobaczycie, to jest spec-driven development, który składa się z jednego pliku pod tytułem plan, bo więcej do internalowych researchy i małych rzeczy nie potrzeba. Jest unormowany. Przy większych rzeczach, no to podchodzimy tak, że mamy zestaw skilli onboardowany w repo. I w przeciwieństwie do spec-kita, który jest kobyłą. Jak wejdziesz... Jest ogromny i jest nieutrzymywalny. Tak. To co Szymon, to co u nas podeszliśmy, to mamy zrób mi research, co ja chcę zmienić tak naprawdę. I to jest pierwsza rzecz, którą musisz zreviewować.

Nie piękna, nie użyteczna. On będzie rozdmuchany, itd., itd. To jest cała wiedza organizacyjna, jak go upilnować, jak to powinno wyglądać, itd. Kiedyś liczyliśmy na to, że ludzie wiedzą, bo patrzą na to, jak to wygląda i się zastosowują. Tu to musi być wszystko określone. To jest naprawdę sporo roboty i ten spec tutaj ma sens. W tej, kto w jakiej roli, jakie omogliwiania, itd., itd. To musi być. Usuwamy wiedzę plemienną i ta wiedza plemienna musi być w formie pliku tekstowego. I teraz to, co pewnie powtarzaliśmy już nie raz. Witamy się z powrotem ze statyczną analizą kodu, z SonarCube'em, rzeczami bardzo mocno deterministycznymi. Mi czego brakuje i to jest też podpowiedź, może ktoś z was zresearchował, więc dajcie w komentarzach i traficie. Szymon, deterministycznie do harnessu, czyli do hooków, znaleźć na przykład, że nie może edytować plików,

Jako element kod... Wiem, że patrz... Wiem, wiem... Szymon, słuchajcie, po tej minie widzicie PTSD i skrzywdzenie. Nie, dla mnie po prostu są... Jaki jest wartość tego? Zwrot z inwestycji. Nie wydaje mi się, żebyśmy, jako organizacja, jako w ogóle, jako środowisko, mieli jasno ogarnięte testy architektoniczne. Więc nagle dawanie tych testów agentom, To nie wygrzało się. Jednostkowe tak, integracyjne tak, deploymenty tak, ograniczenia i uprawnienia tak, to mamy wygrzane. SonarCube'y mamy wygrzane, takie testy. Testy elektryczne? Nie mamy tego wygrzanego. A druga rzecz, tutaj ja bym z tym Mam takie kurde, uważam, że... Znaczy dlatego podałem Java i .NET, tam jednak... Korpuj miały pewną dojrzałość.

Czego nikt nie robi praktycznie. To niektórych nie to, to wydrażamy w kontekście FinOpsa i to fajne są oszczędności. Tak, ale jaki jest płacz. Jest płacz i w ogóle mental nagle staje się poważny. Tak samo. AI będzie opłacalny, będziesz szybszy, jeżeli będziesz projektował na zadania 24 na 7. Wiesz co, i teraz tak... Dobra Szymon, i teraz popatrzmy, co w ogóle... Mój bet jest taki, że w IT poleci taka fala wypaleń, tych high performerów. To jest temat na odcinek, który będziemy nagrywali później, to znaczy ten cały SDLC AI-owy z punktu widzenia osoby. Tak, ale mój zakład jest taki, że poleci, raczej nie, high performerzy w ogóle będą wypaleni. Ale słuchaj, tam z kimś gadałem, pokazywał jak tam wygląda top of the tops, użycia u nich akurat github co-pilota i kredytów.

Właśnie może nie, dobra, nie token maxingu, unlimited tokens, naruszenie na unlimited tokens. I teraz jak popatrzymy na koszta, to co można powiedzieć, Szymon, to są, zróbmy sobie kilka perspektyw na to. Po pierwsze, to trzeba zobaczyć na wartość jaką ten ktoś dowozi, kto tego używa, bo to jest bardzo, moim zdaniem trzeba znaleźć jakiś, nie mamy magicznych liczb w tym momencie, nie ma magicznych tych. Gdzieś powiedzmy, że tak, ludzie u nas na przykład dla DevOpsa, czy widzę teraz tam, patrzę po tokenach, jeżeli mówimy na przykład o planach jakichś tam subskrypcyjnych, które są dostępne dla mniejszych, To są śmieszne pieniądze, bo niektórzy mieszczą się spokojnie pomiędzy planami subskrypcyjnymi na 20-40 dolarów.

Ale Szymon, tak jest. W tym planie dowodzisz największą wartość. Dla adminów czy innych. A jeżeli siądę, teraz poczekaj, wezmę sobie adminów, którzy muszą być na planie enterprise, bo mam teraz taki zespół administratorsko-dewopsowy u klienta. W tym momencie idę kliknąć w Azure, bo mają tokeny kupowane przez Azure ze względu na compliance. Idziemy, idziemy, sprawdzamy. Słuchajcie. Dostawałem alerty. Jestem ciekaw, ile to będzie na czteroosobowy zespół, który aktywnie korzysta, bo ma teraz dużą pracę do wykonania. Czyli to jest bardzo fajny, realny przypadek. Dobra, mamy.

Dobra, i teraz rzecz, którą powiem o kasie, która jest. Bo mamy miesiące miodowe z subskrypcjami. Totalnie. Coopilot poleciał w diabły już w tym miejscu. OpenAI i Anthropic walczą przed IPO. Stąd się pojawiły te resety, wszystkie kombinacje, dźganie się. A w planach Enterprise? Zwiększenie limitów? Tak, a w planach Enterprise jest... I zobaczcie, pojawiły się już pierwsze głosy odnośnie większej transparentności. Co to znaczy token? Jak to uliczycie? To też się rusza. Gdzieś tam tak, ale to znamy, to bardziej definicje jak reasoning i inne rzeczy będą kosztować. I teraz rzecz, na którą popatrzymy Szymon, zwróciłbym tak bardzo, bardzo mocno uwagę w tym miejscu, że czarodzieje od self-hostingu niech się zamkną.

W tym momencie self-hosting to jest mit finansowy. Jak zaczniesz to kalkulować, jest to mit. Czy te modele open-weight gdzieś dojeżdżają? To nie jest tak. Postęp, który jest w tym roku, na przykład polecam zerknąć, Unslot, Unshot, nie pamiętam tej nazwy, jest taki Open Mythos na bazie Quena 3.6 na przykład. Ale to ma nam inaczej. Na tym komputerze, który tu widzicie, ja specjalnie, Szymon, specjalnie wziąłem, wziąłem tego M5 Maxa, 128 giga RAM-ów. Teraz przy tych nowych modelach to jest po, teraz na tych super wow MLX-ach to jest nadal trzydzieści parę tokenów na sekundę. DGX Spark, w tym, DGX Spark, dobra, tam jest troszkę więcej, bo możesz zrównoleglać.

I teraz przy tym multiagentowości nadal muszę patrzeć. Zrobiłem sobie w trakcie tych, w trakcie, na urlopie tutaj wrzucę wam mema, to zobaczycie o co chodzi. Konieczne jest, zrozumiecie kontekst. Zrobiłem sobie, Szymon, Phone Driven Development, który jest tak promowany. I chciałem przetestować jedną koncepcję, zrobiłem sobie harness, zrobiłem sobie stado tych agentów, podzielałem procesy na dedykowanej wirtualce. I teraz jedna rzecz. Tak jak bias i skręty, ten kontekst, taki poisonik i skręty w te dziwne miejsca, Zupełnie jest inaczej, kiedy nadzorujesz niestety. Cały czas jesteśmy w momencie, kiedy trzeba to nadzorować.

I to nie był ten moment. W 2013 chmurą. I to też nie był ten moment. Tak, ale to są momenty, w sensie, to idzie w tym kierunku. Jesteśmy na początku tej fali i ona jest pytanie teraz, patrząc się po skok tych modeli, to nie są tygodnie, ani miesiące. To trzeba sobie powiedzieć. Ale to są pojedyncze lata. Pojedyncze lata, tak. Poniżej dekady to, co się zmieni. Oj, wydaje mi się, że będzie poniżej piątki. Raczej mówię, że poniżej dekady na pewno na początku przyszłej dekady to będzie normą. Okej, tak. Pewne rodzaje będą, pewnie będą rodzaje normą. I teraz patrząc się na to wszystko, nie uważam, że ręczne kodowanie Bo teraz powiem ci jedną rzecz, o której myślałem, Szymon. Zostawiłem to sobie i tego ci nie powiedziałem w rozmowach. Jedno takie przemyślenie, które mnie wzięło przez weekend.