Mentionsy

W ostatnim odcinku pod sam koniec Pilo powiedział o tym, żebyśmy się nie zatracili i nie delegowali myślenia do LLM-ów czy do AI-a, a Łukasz na to powiedział, a ja mam tutaj takie bardzo ciekawe przemyślenie, więc Łukasz teraz słuchamy tego przemyślenia, bo się już kameruje się.

Wydaje mi się, że to jest częściowo nieuniknione, że my będziemy delegowali coraz większą część tych naszych rozkmin właśnie do LLM.

Faktycznie jest tak, że ja na przykład bardzo dużo researchu oddaję już w tej chwili LLM-owi.

Ja na przykład w tej chwili głównie myślę po to, żeby jeszcze kontrolować to, co mi wypluwa LLM.

Czyli jeżeli robię z LLM research, jak trzeba zrobić dane rozwiązanie, no to okej, sam pomyślę, czy to, co zrobił ma sens i robię to nie tylko odtwórczo, bo gdybym robił to tylko odtwórczo, na zasadzie sprawdzania, co on tam wrzucił,

To może pominę coś innego, no bo LLM mi mówi, nie wiem, na przykład częścią jakby outputu z fazy takiego researchu czy analizy w tym LLM z którym ja pracuję, są tak zwane punkty przecięcia, gdzie on pokazuje jak będzie się wstrzykiwał w istniejący kod, dosłownie w tej metodzie, w takich linijkach i tak dalej.

Tak, ale ja pytam bardziej w kontekście takim, że zobacz, w tej chwili ja weryfikuję to, co mi LLM wypluwa, uważam, że w ogóle weryfikacja tych różnych faz działania LLM-u to jest coś, co różni programowanie przy pomocy LLM-a od vibe codingu, kiedy po prostu robisz next, next, next i tylko dajesz mu, tak, edytuj kolejny plik.

Natomiast chodzi mi o to, że jakby zaczęliśmy trochę od tego, żeby nie delegować za dużo myślenia do LLM-ów.

I teraz, czy jeżeli ja weryfikuję rozwiązanie LLM-a, ale robię to na zasadzie takiej, czy coś co LLM zaproponował jest OK, to nie jest to samo, co samodzielne wymyślenie rozwiązania.

I pytanie, czy to jest tak, że ja zaciągam LLM-a tylko do tej ciężkiej pracy, żeby mi powyciągał te rzeczy, czy też żeby wyciągał wnioski na podstawie tego, a ja co najwyżej przyklepię decyzję.

I teraz zobaczcie, że trochę tak jak mówiliśmy kiedyś i rozmawialiśmy, że bardzo dużo ludzi z IT w tej chwili myśli o LLM z perspektywy pisania kodu.

Ja tak naprawdę jakbym miał wybrać, jaki element procesu chcę oddać LLM-owi, jakbym mógł wybrać tylko jeden, to bym wybrał tak naprawdę analizę i projektowanie, a nie pisanie kodu, dlatego że to tam jest największy impakt.

Ma jakby bardzo słabą jakość, więc jeżeli mógłbym użyć LLM-a w jakiejś fazie, to użyłbym tej, która jest najbardziej dźwigniowa, bo wszystko, co się dzieje później, jest tak naprawdę pochodną tego, jak dobrze zrobiłeś analizę.

Ja mówię ogólnie, że dziwi mnie, że ludzie generalnie, tak jak sobie czytam community i różnego rodzaju rzeczy, że skupiają się na tym, żeby używać LLM w tworzeniu kodu, co generalnie z reguły są opinie takie, że LLM jest do dupy, jeszcze nam długo nie zabierze pracy itd.

A niekoniecznie wspierają się w nim w tej fazie, gdzie LLM jest w stanie najwięcej zrobić.

Ja najchętniej teraz oddaję research LLM-owi.

Kiedyś nie byłem w stanie takiego researchu robić, teraz mam ileś różnych tych LLM-ów, każdego pytam o to samo, patrzę co one mi tam zwracają, jakie dane mi zbierają.

Ja mam wrażenie, że w wielu miejscach oddaje myślenie i po prostu opiniuje to co przygotował LLM.

Najpierw sam robię sobie jakąś rozkminę, a później ewentualnie patrzę, co ten LLM też wymyślił w jakimś tam danym kontekście.

Mówiło o ludziach, którzy mają doświadczenie jeszcze w pracy z, że tak powiem... W erze sprzed LLM-ów.

To Łukasz jakby nie chce, żeby to LLM-u sugerował te decyzje, tylko żeby dał mu wszystkie punkty wejściowe i Łukasz na bazie tych punktów wejściowych zamyka sobie LLM-a i samodzielnie kmini o tym, jak ten moduł podzielić, jak to zrobić, jakiego algorytmu użyć i tak dalej, tam archetypu.

Ja na przykład ten kawałek myślenia oddaję LLM-owi i bardziej weryfikuję to co LLM wypluwa.

Czyli traktuję LLM-a jak takiego senior dewelopera.

Ja mówię o ja bym zrobił to, a czasem mówię nie, zrobimy zupełnie inaczej, bo wiem, że są inne opcje, ale jakby LLM cały czas prowadzi ten proces projektowania, a nie ja go prowadzę.

Ja bardziej jestem tą osobą, która jakby pilnuje LLM-a, bo LLM mnie pyta.

Czasem jak mnie nie pyta i czytam potem jakiś tam output kolejnej fazy, to mówię nie stary to w ogóle nie ma sensu, ale jakby sam proces projektowania ja deleguje w 100% do LLM-a i jestem tylko opiniodawcą do tego.