Mentionsy Mentionsy
Data Zen AI Podcast (PL)
Data Zen AI Podcast (PL)

Nie Ufaj Kodowi Tworzonemu przez AI: Jak Go Sprawdzać Przed Produkcją

17.12.2025 ·14 min 34 s

AI potrafi generować kod bardzo szybko, ale nie zawsze poprawnie.W tym odcinku wyjaśniamy, dlaczego nie należy bezkrytycznie ufać kodowi AI, jak go testować i kiedy można go bezpiecznie używać w produkcji.👉 Artykuł: https://datazen.top/podcast-ai-12#AI #Programowanie #JakośćKodu #Testowanie #DataZenAI

W porządku, to rozpakujmy ten temat. Mamy tu naprawdę pokaźny zbiór materiałów. Są badania naukowe z archiw e.org, analizy rynkowe od Clutch i ByRezDev, no i oczywiście gorące dyskusje z Reddita. Wszystko kręci się wokół jednego pytania, które spędza sen z powiek programistom. Na ile tak naprawdę możemy ufać kodowi, który generuje nam AI? Dokładnie. Bo narzędzia jak Copilot czy ChatGPT obiecują totalną rewolucję, niesamowitą produktywność. Ale nasza misja dzisiaj jest trochę inna. Chcemy sprawdzić, jaka jest cena tej nowej, zawrotnej prędkości. I to jest kluczowa sprawa, bo te narzędzia są, no, są trochę zwodnicze. Kod, który one wypluwają, na pierwszy rzut oka wygląda naprawdę świetnie.

Kompiluje się bez problemu, przechodzi te podstawowe testy, wydaje się robić dokładnie to, o co prosiłyśmy. No tak, tworzy taką iluzję bezpieczeństwa. Właśnie, a pod powierzchnią mogą się czaić naprawdę poważne problemy. To nie jest pytanie, czy AI robi błędy, tylko jakiego rodzaju są to błędy i jak trudno je potem znaleźć. A liczby, które mamy w tych źródłach są, powiem ci, alarmujące. Z jednej strony badanie Clutch mówi, że prawie 60% programistów przyznaje, że używa kodu AI, którego tak do końca nie rozumie. Co już samo w sobie jest czerwoną flagą. Totalnie, ale z drugiej strony analiza od Bayer's Dev pokazuje, że tylko 9% developerów ufa na tyle, żeby wdrożyć taki kod na produkcję bez żadnego ludzkiego nadzoru.

Mamy więc, wiesz, gigantyczną przepaść. No tak, między tym jak używamy, a tym jak ufamy. I to jest właśnie ta, jak to nazwano w materiałach, pułapka zaufania. Pułapka zaufania. Wpadamy w nią, bo czujemy ten natychmiastowy zastrzyk produktywności. Dane od Google czy Microsoftu mówią o ponad 30% nowego kodu pisanego przez AI. To po prostu uzależnia. Tylko problem jest w tym, że AI nie myśli jak inżynier. To jest zaawansowany statystycznie model, który przewiduje jaki będzie następny fragment kodu. Brakuje mu tego kluczowego elementu, czyli zrozumienia kontekstu biznesowego. Czyli nie wie, dlaczego coś jest zrobione tak, a nie inaczej.

Dokładnie. Nie ma tej wiedzy instytucjonalnej. I to idealnie pasuje do tej metafory, która ciągle wracała na reddicie. Że AI jest jak taki niesamowicie szybki, ale bardzo, bardzo niedoświadcony młodszy programista. Tak, to jest świetne porównanie. Można mu dać proste, powtarzalne zadanie typu napisz mi boilerplate. Zrobi to w sekundę. Jasne. Ale nikt przy zdrowych zmysłach nie poprosiłby go, żeby samodzielnie zaprojektował serce systemu transakcyjnego. Zasada ufaj, ale sprawdzaj wchodzi tu na zupełnie nowy poziom. I to jest jedyne słuszne podejście. Bo jeśli tego nie zrobimy, to ten brak kontekstu otwiera drzwi do całej masy ukrytych ryzyk. A niektóre z nich są, wiesz, znacznie poważniejsze niż zwykły bug w kodzie. No właśnie, to przejdźmy do tego.

Jak myślimy o błędach, to pierwsze, co przychodzi do głowy, to niska jakość kodu. I faktycznie źródła mówią o spaghetti code. Tak, kod, który działa, ale jest koszmarem w utrzymaniu. Ale to powiedzmy sobie szczerze, to jest najmniejszy problem. Taki dług techniczny na sterydach. Okej, czyli to jest tylko wierzchołek góry lodowej? Zdecydowanie. Prawdziwe niebezpieczeństwo zaczyna się, gdy wchodzimy w bezpieczeństwo. Modele są trenowane na publicznych repozytoriach, a te, jak wiemy, są pełne podatności i złych praktyk. Czyli AI uki się na tych złych przykładach. No właśnie. I bezkrytycznie je potem powiela. To trochę jakby uczyć dziecko dobrych manier, puszczając mu losowe filmiki z internetu. Nauczy się i dobrych, i fatalnych rzeczy.

Okej, czyli mówimy o takich konkretnych, podręcznikowych lukach. Daj jakiś przykład. No jasne. Klasyk. SQL Injection. AI, ucząc się na jakichś starych tutorialach, może wygenerować zapytanie do bazy przez proste sklejanie stringów. Serio? Myślałam, że to już dawno za nami. A jednak, to błąd, z którym walczymy od 20 lat. Albo inny, który wydawałoby się, że już wypleniliśmy. Zaszywanie sekretów na stałe w kodzie. Zaraz, klucze API, hasła w kodzie? AI naprawdę nas cofa do tych mrocznych wieków programowania. Niestety, bo jego dane treningowe zawierają kod właśnie z tych mrocznych wieków. Do tego dochodzi błędna logika uwierzytelniania, gdzie logowanie wygląda OK, ale ma ukrytą dziurę.

Albo, co jest bardzo częste, sugerowanie przestarzałych bibliotek. Aha. W źródłach pojawił się konkretny przykład podatności w bibliotece PU2T. AI mogło polecić tę wersję, nie mając zielonego pojęcia, że jest w niej krytyczna luka. I jest na to twardy dowód? To badanie z Arisk.org było dla mnie szokiem. Mówi, że około 40% programów wygenerowanych przez GitHub Copilot zawierało podatności. Czterdzieści procent. Czterdzieści procent. To nie jest jakieś tam teoretyczne ryzyko, to jest jak gra w rosyjską ruletkę z co drugą komorą nabitą. To doskonale pokazuje skalę. Ale jest jeszcze inny, bardziej podstępny rodzaj błędu. Coś, co źródła nazywają dryfem logicznym. Logic drift. Ok, to brzmi ciekawie.

Dryf logiczny, czyli że kod działa, jest bezpieczny, ale w jakiś taki subtelny sposób robi nie to, co powinien. Dokładnie. AI nie rozumie tych niewidzialnych zasad biznesowych, tych niuansów, które wynikają z lat rozwoju produktu i żyją tylko w starych komentarzach albo w głowach zespołu. Dam Ci przykład, który to świetnie obrazuje. Wyobraź sobie, że AI dostaje zadanie. Zoptymalizuj skomplikowany system zniżek w sklepie internetowym i generuje piękny, czysty, wydajny kod. Super. No brzmi jak marzenie każdego menedżera. Więc gdzie jest haczyk? Haczyk jest w tym, że ten stary, zagmatwany kod zawierał jedną, niepisaną, ale kluczową zasadę.

Zniżki lojalnościowe nigdy nie łączą się z jednorazowymi kodami promocyjnymi. Aha. AI, dążąc do optymalizacji, nie widzi tej zasady. Widzi tylko nieefektywny kod. No to co robi? Usuwa tę logikę. I co się dzieje? Efekt jest taki, że firma przez tygodnie po cichu traci kasę, zanim ktokolwiek się zorientuje, że coś jest nie tak. Bo przecież system działa. To jest przerażające, bo tego nie wyłapie żaden automatyczny test, jeśli nie został specjalnie napisany pod tę jedną, zapomnianą regułę. To jest błąd, który ukrywa się na widoku. I to jest właśnie sedno dryfologicznego. Inny przykład. AI optymalizuje zapytanie SQL, robi się szybsze, ale przy okazji inaczej interpretuje wartości 0 i nagle komieszęczny raport finansowy, który na tym polegał, zaczyna pokazywać bzdury.

Więc całe zaufanie do analityki leży. Dokładnie. A na koniec tej listy mamy jeszcze całe pole minowe, o którym mało kto myśli. Ryzyka prawne i licencyjne. No tak, prawa autorskie do kodu AI to jest totalna szara strefa. AI może odtworzyć kawałki kodu, które widziało w danych treningowych, a te mogą pochodzić z projektów z bardzo restrykcyjnymi licencjami, jak GPL. I nieświadome użycie takiego fragmentu może narazić całą firmę na poważne problemy. A do tego dochodzą jeszcze branże regulowane, finanse, medycyna. Tam każdy kawałek kodu musi mieć ścieżkę audytu. No tak, jak udowodnić audytorowi, że kod wygenerowany przez maszynę został sprawdzony z należytą starannością?

No właśnie, to jest ogromne wyzwanie. Dobrze, to obraz jest dosyć ponuly. Mamy ryzyko niskiej jakości, dziury w bezpieczeństwie, ten podstępny drift logiczny i jeszcze problemy prawne. Więc co my jako programistki i programiści mamy z tym zrobić? No bo nie wyrzucimy tych narzędzi. Absolutnie nie. Kluczem jest zmiana mentalności. Musimy traktować kod od AI Ale zaraz, czy to nie niwecze całej idei oszczędności czasu? Jeśli muszę poświęcić tyle samo, a może nawet więcej czasu na przegląd niż na napisanie tego od zera, to gdzie tu jest zysk?

I to jest świetne pytanie. Nie chodzi o to, żeby przegląd był dłuższy, ale żeby był mądrzejszy. Wiesz, bardzo skuteczną praktyką jest programowanie w parach, kiedy intensywnie korzystamy z AI. Aha, czyli jedna osoba generuje, a druga od razu patrzy krytycznym okiem? Dokładnie. Inną dobrą praktyką wspomnianą w materiałach jest oznaczanie pól requestów specjalnym tagiem, na przykład AI generated. To jest od razu sygnał dla reszty zespołu. Uwaga, ten fragment wymaga szczególnej ostrożności. To jest praktyczna porada. A co z automatyzacją? Przecież mam potężny pipeline CI-CD z testami jednostkowymi i integracyjnymi. Czy to nie powinno wyłapać większości problemów? Powinno i jest absolutnie niezbędne, ale to nie wystarczy.

Standardowe testy często sprawdzają tylko tzw. happy path, czyli ten idealny scenariusz, a błędy AI często czają się w przypadkach brzegowych. Czyli trzeba pisać lepsze testy. Dokładnie. Trzeba świadomie dodawać asercje, które sprawdzają niezmienniki biznesowe. Na przykład, że wysokość zniżki nigdy nie jest większa niż wartość zamówienia. W źródłach pojawiła się też fascynująca koncepcja vibe testing. Vibe testing. Brzmi trochę nieinżyniersko. O co w tym chodzi? Chodzi o takie bardziej eksploracyjne podejście. Zamiast pytać tylko, czy kod przechodzi testy, zadajemy pytanie, czy to rozwiązanie w duchu odpowiada pierwotnej intencji? Czy czuć, że to działa tak, jak powinno?

Nigdy nie pozwalamy na luźne zakresy wersji, zwłaszcza dla pakietów, które podsunęło nam AI. No i zostaje jeszcze wydajność. Kod może być poprawny i bezpieczny, ale jednocześnie dramatycznie wolny. Dlatego testy wydajnościowe to ostatni, ale równie ważny filar. Regularne testy obciążeniowe, benchmarking i profilery do szukania wąskich gardeł. I co kluczowe, testowanie w środowisku jak najbardziej zbliżonym do produkcyjnego. Po tym wszystkim można się trochę zniechęcić. Ale jednak, jak mówiłyśmy, giganci technologiczni masowo wdrażają te narzędzia. Gdzie w takim razie leży ten złoty środek, gdzie AI jest naprawdę użyteczne i bezpieczne? Bo trzeba pamiętać, że AI to jest fenomenalny asystent, a nie autonomiczny inżynier.

Jego prawdziwa siła leży w kilku obszarach. Po pierwsze prototypowanie i tworzenie MVP. Czyli tam, gdzie liczy się szybkość i trzeba po prostu zweryfikować pomysł. Dokładnie. To jest idealne pole do tego vibe coding, gdzie celem jest stworzenie czegoś, co oddaje ogólną ideę, a nie dopracowany produkt. Ok, czyli tam, gdzie konsekwencje błędu są niskie. Co jeszcze? Drugi obszar to generowanie powtarzalnego kodu, czyli tak zwanego boilerplate'u. Gettery, settery, proste endpoint, rest, pliki konfiguracyjne. To są nużące zadania, które AI robi błyskawicznie i w zasadzie bezbłędnie. To prawda, to ogromna uszczędność czasu. A po trzecie, AI jest świetnym narzędziem do nauki i inspiracji.

Można je poprosić, żeby pokazało pięć różnych sposobów na rozwiązanie problemu albo żeby zasugerowało pomysły na refaktoryzację. A co z pisaniem testów? Wielu programistów liczy, że AI zdejmie z nich ten obowiązek. Może pomóc, ale nie zastąpi. AI jest dobre we wstępnym generowaniu szkieletu testów. Potrafi napisać te podstawowe przypadki dla happy path, ale to jest zawsze tylko punkt wyjścia. Czyli człowiek musi potem ten szkielet przejrzeć, zweryfikować i dodać te wszystkie skomplikowane przypadki brzegowe? Dokładnie. Te, o których AI nie miało pojęcia. Więc przesłanie jest chyba rasne. Rola programisty ewoluuje. Zamiast być tylko autorem kodu, stajemy się coraz bardziej jego kuratorem, recenzentem i managerem.

Tak, odpowiadamy za jakość, bezpieczeństwo i sensowność tego, co produkuje maszyna. Ludzki nadzór to nie jest jakaś opcja. To jest po prostu rdzeń całej strategii. o ryzyko erozji umiejętności deweloperskich. Tak, zwłaszcza wśród młodszych programistów. Jeśli od początku kariery będą polegać na AI, to mogą nigdy nie zbudować tych solidnych, fundamentalnych umiejętności rozwiązywania problemów od podstaw. To jest trochę tak jak z ciągłym używaniem nawigacji GPS i stopniowym zapominaniem jak czytać mapę. Wszystko działa świetnie, dopóki technologia nie zawiedzie albo nie zaprowadzi nas w slepe zaułek. I to jest chyba idealna myśl na koniec. Gdy ta nawigacja oparta na AI poprowadzi cały projekt prosto w przepaść, to kto wtedy będzie umiał znaleźć drogę powrotną używając tylko mapy i kompasu?

Pokazano wszystkie 17 dopasowań. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.