Adam Vibe Koduje

I żeby zobaczyć, czy faktycznie może pomóc, no to jest odgórne zalecenie, żeby używać AI wszędzie, gdzie się da. Zobaczyć, gdzie się uda go używać, gdzie się nie uda, spróbować, czy może innym sposobem da się użyć itd. W związku z tym dostaliśmy też dostęp do wielu nowych narzędzi AI-owych, innych niż tych, które do tej pory używałem, czyli jak do tej pory używałem np. Copilota w VS Code. Tak teraz na przykład zacząłem używać też Cloud Coda. No i dla tych, którzy nie wiedzą, co to jest Cloud Code, to jest takie całe narzędzie, które dostarcza Wam AI i najczęściej używa się go bezpośrednio w konsoli, czyli przez wpisywanie poleceń bezpośrednio w tym czarnym, magicznym okienku, które jak informatycy otwierają, to wszyscy uuu, jakaś magia idzie.

Mhm. Ciekawe. A powiedz, używasz tylko cloud koda i jeżeli jest to jakieś zadanie czy pytanie stricte nie kodowe, to też tam dyskutujesz, omawiasz te kwestie? Czy na przykład przenosisz się do innego agenta albo używasz na przykład konsoli, nie konsoli tylko przeglądarki, żeby... I wiesz, podyskutować o architekturze na przykład, bo nie wszystko musi być w Cloud Codzie w terminalu. Wszystko jest w Cloud Codzie w terminalu, jest mi po prostu wygodniej nie wychodzić z terminala. Mam porobione konektory do różnych systemów wewnętrznych klienta, do miejsc, gdzie zwiedza i tak dalej. Mam konektory do świata zewnętrznego, tak, czyli wyszukiwanie w sieci i tak dalej, ale wszystko robię bezpośrednio przez Cloud Cod.

Czyli ja sobie otwieram czarne okienko, a tak naprawdę kilka takich czarnych okienek, bo w zależności, które części projektu muszę spiąć, to każdy ma swoje oddzielne czarne okienko i po prostu pisze, zrób mi teraz coś takiego, zrób mi coś takiego. I wszystko robi za mnie AI. Czy Cloud Code także wystawia na przykład ci ticketa, bo o tym mówiłeś, tak? Więc jest integracja przez jakieś API do systemu ticketowego, w którym pracujesz. Dokładnie. Myślę, że tutaj nie naruszę żadnego NDIA mówiąc, że jest to JIRA, więc dla tych, którzy wiedzą, co to jest JIRA, to mogą sobie łatwiej to wyobrazić. Więc tak, potrzebuję wystawić ticket na przykład, bo zidentyfikowałem, że do poprawy jest, nie wiem, pięć klas.

I przy takich błędach rzeczywiście AI wymiata? Dużo też potrafi znaleźć takich rzeczy duperelek, które człowiek przeoczy, typu jakieś literówkę, jakieś nieprawidłowe użycie, którego nie widać wprost, takie czeskie błędy, których też ciężko nieraz zauważyć, więc jest to na pewno pod tym względem dobre. W końcu jest to mimo wszystko automat i ma pewne przewagi nad nami. A powiedz, czy Cloud zaskoczył Cię może jakimiś rozwiązaniami i zaproponował coś, o czym Ty nawet nie pomyślałeś, że można byłoby to rozwiązać w ten sposób, a jakby koniec końców podobało Ci się to rozwiązanie lepiej nawet niż jakieś Twoje, o którym myślałeś?

I jedynym rozwiązaniem tego jest po prostu taki dynamiczny require w kodzie. I on nie potrafił sobie tego rozwiązać. Stwierdził, że on weźmie starszą bibliotekę, użyje, która jeszcze nie miała tej refaktoryzacji i to będzie dobre. No ja mu piszę, to słuchaj, no użyj tego dynamicznego require'a. O tak, tak, faktycznie, rzeczywiście można tak zrobić. No dobra, to przejdźmy jednak do tych zagrożeń. Jedno już zaadresowałeś bardzo tak klarownie, czyli trochę to wpływa na twoją pracę i masz odczucie odmurzenia. Czy jest to coś, co myślisz może minąć, to jest tymczasowe, albo jakie widziałbyś panaceum na to, jakie lekarstwo mógłbyś znaleźć, żeby nie czuć się w ten sposób, czy jest to coś takiego, co myślisz jest takim realnym na dłużej zagrożeniem?

Z tego, co kojarzę, to w Cloudzie chyba tam jest ponad 1000 agentów, którzy programują, że tak naprawdę Cloud się prawie sam programuje. ale w pewnym momencie ja na przykład nie ufam na tyle AI-owi, że on dostarczy mi rozwiązanie, które będzie dobre i bezpieczne i ile czasu ja będę miał na to, żeby to wszystko przeanalizować, czy to, co on wypluł, to jest faktycznie okej. Czyli nie dochodzimy już, nie oczekujemy już za dużo teraz. To jeszcze wracając do tych korzyści z AI. Mam wrażenie, że ta systematyka, czyli mówiłeś, że teraz masz wszystko tak zaprojektowane, że AI jest całkiem samodzielne. Czy to wcześniej było po prostu w Twojej głowie i teraz jak dołączała nowa osoba do zespołu, trzeba było ją uczyć tego podejścia, jak pracujesz, a teraz niejako praca z AI narzuca Ci pewien framework i łatwiej jest być może wdrożyć nową osobę?

w tego slota wrzucić inne zadania, czyli tak naprawdę coś, co uczono nas od lat. Mokry sen wszystkich menedżerów. Tak, uciekali od tego, bo nie jest to wydajne. Teraz sam niejako wpadamy w tę pułapkę. Ciekawe, jak się ta nasza praca zmieni. W kontekście zagrożeń, czy jeszcze widzisz coś, co teraz już się pali czerwona lampka po tych dwóch tygodniach? Tak, zbyt duże zaufanie. W Cloud Code definiujesz, jakie polecenia są bezpieczne i on może sobie wykonywać oraz jakie polecenia są niebezpieczne i ma zakaz ich wykonywania albo o jakich musicie popytać. I tak na przykład, nie wiem dlaczego, z uporem maniaka Claude lubi sobie skomitować do głównego branża, czyli tam do mastera czy do maina.

No to czy to jest tyle, że mógłbyś zaufać? Raczej nie. W związku z tym siedzisz i klikasz. To pozwalam, to nie pozwalam. Tu popraw. Pozwalam, pozwalam, pozwalam, pozwalam. W pewnym momencie czujesz się trochę jak taka maszynka do klikania jest, jest, jest, jest, jest. I kolejne zagrożenie, a jak przegapię któreś jest i zrobi coś głupiego? Ja na przykład mam dosyć wysoki poziom uprawnień i teraz Cloud Code pracuje z takimi uprawnieniami, jakie ja mam, tak? Na moich tokenach i tak dalej. Okej, mam te kolejne niektóre, które mu dałem na przykład do GitHub'a, ograniczone tylko do niektórych pozycji, ale dalej i tak te uprawnienia są relatywnie wysokie, bo są potrzebne do wykonania pracy.

W ciągu kilkudziesięciu godzin został wygenerowany rachunek na 6 tysięcy dolarów, bo były zdjęte jakieś limity budżetowe, plus nie działał mechanizm cashu i jakby nawet drobne zmiany w kodzie sprawiały, że ten cały codebase był wczytywany ponownie do kontekstu i jakby cała żeby to działało po prostu jeszcze raz, wszystko musiało być przerabiane, nie było tam żadnego cashu i jakby rozwiązaniem było, żeby robić te operacje o dziwo częściej, tak żeby ten 30-minutowy cash na przykład jeszcze się złapał. Czy widzisz, czy jesteś ostrożny, czy masz jakieś porady w kwestii właśnie ilości zużytych tokenów i budżetowania? No więc tak, tutaj mam tą bardzo komfortową sytuację, że klient powiedział macie się nie martwić o ilości zużytych tokenów.

Jeśli się skończy pieniążek, to będziemy dosypywać pieniążek. Ważne, żebyśmy teraz nauczyli się tego używać. Jak będziemy umieli używać, zobaczymy jaki jest uzysk z tego, to będziemy się martwili o koszta. Więc na razie jestem w bardzo komfortowej sytuacji i tak dla przykładu. Trzy... Trzy albo cztery aktywne dni pracy to były takie początkowe, gdzie, to może jeszcze w woli wyjaśnienia, jak już podjąłem decyzję, że będę vibe-codował ten całe najnowsze zadanie, to też całego cloud-coda konfigurowałem vibe kodowaniem, czyli nic sam nie zmieniałem w configach, tylko powiedziałem mu, czego oczekuję, dodaj sobie do ustawień, stwórz sobie skilla, zrób sobie to, trzymaj to w repozytorium, tak żebym mógł sobie później łatwo prześledzić, co się zmieniało i tak dalej, żebym mógł wrócić w razie czego do poprzedniej wersji czy coś, więc wszystko też było nazwijmy to vibe konfigurowałem go.

No i 3 albo 4 dni właśnie na zmianę dokonfigurowania i kodowania, czyli tego przekształcania tego projektu na nowszą wersję, zużyłem ponad 2 miliony tokenów. Żeby mieć wyobrażenie, 2 miliony tokenów to dużo? To może tak, klient ma bardzo dobre stawki i to jest w okolicach 100 dolarów. Czyli to jest dużo, czy to jest mało? Czyli 100 dolarów za samo konfigurowanie, mówiłeś. Konfigurowanie i pierwsze tam przekształcenia. Tak naprawdę te pierwsze dwa dni to było uzupełnianie unit testów na tym starym, brzydko napisanym systemie, bo wyszedłem z założenia, że najpierw chcemy mieć dobre pokrycie w kodzie, chcemy wiedzieć, że ten kod działa dobrze.

dlaczego uważasz, że to nie jest pokryte, albo coś w tym deseć. Więc pod tym względem jest fajnie. Przyprost chciałbym jeszcze później przetestować ten vibe coding na czymś takim typu zielona karta, gdzie zaczynamy od nowa jakiś projekt i zobaczyć, jak sobie wtedy poradzi. Natomiast na dosyć starym kodzie, który trzeba było zrefaktoryzować, wydaje mi się, że super sobie poradził i że to jest naprawdę fajne, bo lubię grzebać w starym kodzie, lubię go odświeżać, natomiast nie byłbym w stanie zrobić tego na tyle szybko, jak byłem w stanie to zrobić z AI. Mhm. Czy masz tutaj jakieś spostrzeżenia dotyczące twojego poziomu, czyli twojego seniority level?

Sprawdź, zobacz, co się dzieje, jak to się dzieje, dlaczego tak się dzieje, zrozum to dokładnie i dopiero użyj. Czyli dla Ciebie Cloud Code był takim deweloperem pod Twoją superwizją, a dla kogoś z mniejszym doświadczeniem mógłby być nauczycielem, ale takim, którego i tak trzeba sprawdzać, weryfikować, sięgać po dokumentację itd. Czyli ktoś, kto Cię może poprowadzić do... ale też nie do końca ufaj. Tak jak nie do końca ufasz Cloudowi jako swojemu deweloperowi. Ale wydaje mi się, że ta relacja, gdzie ja nie ufam deweloperowi jest zdrowsza niż ta relacja, kiedy ja nie mogę zaufać nauczycielowi. No bo teraz, jeżeli nie ufasz nauczycielowi, no to tak naprawdę czy ta wiedza, którą do tej pory zebrałeś od tego nauczyciela, jeżeli nie jesteś w stanie mu zaufać, jest okej?

prawie nie występuje, bo jemu w kontekście się mieści na dobrą sprawę cały projekt, moje ustawienia i jeszcze mu trochę zostaje. To jest ciekawa obserwacja, jak różne modele się zachowują. Jak rozmawialiśmy w zeszłym odcinku o tych scraperach, które zacząłem pisać, to na przykład Cloud z tym modelem, nie powiem już nazwy, ale z tym nowszym modelem i ustawionym na takie bardziej skomplikowane zadania radził sobie lepiej. Natomiast Codex z takim podejściem może tanim pisał te scrapery z dużą ilością błędów. Więc nawet tak to się objawia. Przepraszam. No niestety. Mi się wydaje, że to jest problem właśnie wielkości kontekstu.

Dzisiaj sobie jeszcze tak przed naszą rozmową sprawdziłem na cennik Cloud Coda, taki jakby chciał po prostu ktoś z ulicy wziąć sobie, to widzę, że kontekst maksymalny, jaki można tam przekazać, to jest maksymalnie 250 tysięcy tokenów. Więc to mamy cztery razy mniej niż to, co ja mam do dyspozycji teraz. Podejrzewam, że to może być dużym problemem i to, że może np. niedokonfigurowane są te wszystkie ustawienia, czy skilli, czy w ogóle ustawienia samego Claude'a, które tam trzeba po prostu opisać, kim on jest, jak ma pracować, na co ma zwracać uwagę, o czym ma pamiętać itd.

To powiedz jeszcze Adam, takie smaczki bardzo mięsiste, co to są te skille i na czym polega konfiguracja takiego asystenta, dewelopera, czy może sztucznej, a dewelopera będącego sztuczną inteligencją? Dobra, to skille tak naprawdę, tu Cloud ma troszeczkę inne nazownictwo niż reszta, bo w Cloudzie skille to są nic innego jak agenci w innych programach. Czyli agent, czyli taka wyspecjalizowana, nazwijmy to, osóbka, która potrafi coś robić. Czyli może być to na przykład senior developer, może być to marketingowiec, może być to, nie wiem, code reviewer zawodowy, który... Nic innego nie robi, tylko trzaska code review za code review i potrafi znaleźć najdrobniejszą literówkę i najdziwniejszy przypadek i tak dalej.