Gdy algorytmy szukają błędów. Search-Based Software Testing spotyka LLM

Bernard wyróżnia się pragmatycznym podejściem do inżynierii oprogramowania i automatyzacji procesów programistycznych. Jako pasjonat eksperymentowania z nowoczesnymi narzędziami AI oraz technologiami LLM aktywnie bada granice autonomii agentów programistycznych oraz możliwości łączenia algorytmów ewolucyjnych z modelami generatywnymi w celu podnoszenia niezawodności tworzonego oprogramowania. Słowniczek sztucznej inteligencji. Definiujemy, przypominamy, tłumaczymy.

Aby w pełni zrozumieć tematykę dzisiejszego odcinka, wyjaśnię kluczowe pojęcia z zakresu automatycznego testowania oprogramowania oraz modeli językowych. Search-Based Software Testing testowanie oprogramowania oparte na przeszukiwaniu. Metoda inżynierii oprogramowania, której korzenie sięgają lat 70. XX wieku. Przekształca ona proces tworzenia testów w matematyczny problem optymalizacyjny. Zamiast ręcznie pisać przypadki testowe, algorytmy ewolucyjne i genetyczne automatycznie przeszukują ogromną przestrzeń możliwych danych wejściowych, dążąc do wykrycia sytuacji awaryjnych lub maksymalizacji pokrycia struktury kodu. Synergia SBST plus LLM.

Klasyczne algorytmy SBST miały trudność z przechodzeniem przez głęboko zagnieżdżone, skomplikowane warunki biznesowe w kodzie. Z kolei duże modele językowe posiadają głębokie zrozumienie semantyki kodu, lecz generują testy w sposób przewidywalny i podatny na wtórność oraz halucynacje. Połączenie SBST z LLM umożliwia wykorzystanie modelu językowego jako inteligentnego przewodnika, który generuje semantycznie poprawne testy, podczas gdy algorytm SBST steruje poszukiwaniem najmniej oczywistych przypadków brzegowych. Problem wyroczni testowej. Test Oracle Problem. Tradycyjne wyzwanie w automatyzacji testów, polegające na trudności w automatycznym i jednoznacznym określeniu, czy odpowiedź lub wynik zwracany przez system, zwłaszcza nieterminowy lub niedeterministyczny system oparty na AI, jest poprawny czy stanowi błąd.

To jest rzecz, na którą badania już się zaczynały w latach 70., kiedy jeszcze nikt nie myślał o LLM-ach. Te testy są generowane losowo, tworzą bardzo dużo czasami absurdalnych przypadków, o których programista mógł nie pomyśleć. I dzisiaj, w czasach, gdy ludzie generują testy przez AI, ta losowość nas trochę ratuje przed tym, że AI o czymś zapomni albo poleci sobie banana w jakąś dziwną stronę. Bo dzięki temu, że tych testów generuje tyle, tak jakby wszystkie możliwe rzeczy mamy pokryte na bazie kodu, więc to się lepiej nadaje do testów regresyjnych. Zgadza się, że nie wszyscy słuchacze są techniczni, no to testy regresyjne to są takie, które z reguły tworzymy już po wytworzeniu kodu, po to, żeby zabezpieczyć go przed jakimiś przyszłymi zmianami, że jak ktoś kiedyś będzie poprowadzał jakieś zmiany w kodzie,

Też dziękuję. AI pod CTRL-ą. A teraz wzorem naszych poprzednich odcinków przechodzimy do stałego punktu programu. Czas na syntezujące podsumowanie, przegląd prasy i internetu. Oddajemy głos naszej sztucznej inteligencji, która przeanalizowała najnowsze światowe publikacje naukowe i literaturę przedmiotu w tematyce Search-Based Software Testing spotyka LLM. Przedstawiam przegląd prasy i najnowszych doniesień naukowych. Publicacja Large Language Models for Software Testing.

A Research Roadmap. Wrzesień 2025 roku. Międzynarodowy Zespół Badaczy z Uniwersytetów Oviedo oraz Instytutów CNR we Włoszech opublikował kompleksową roadmapę badawczą dotyczącą integracji LLM w testowaniu oprogramowania. Zeskanowano ponad 160 milionów stron publikacji, klasyfikując prace na grupy. Generowanie testów jednostkowych, generowanie wyroczni testowych oraz ulepszanie zestawów testowych . Badanie wykazuje, że o ile wykorzystanie LLM skraca czas pisania testów i obniża koszty budżetowe zjadające od 15% do nawet 80% budżetu projektów programistycznych, o tyle kluczowym wyzwaniem pozostaje halucynowanie asercji oraz tzw. odwrócenie wysiłku.

Effort Inversion, gdzie czas zaoszczędzony na pisaniu kodu zostaje skonsumowany przez proces inspekcji i prompt engineeringu. Jako ostateczny cel wskazuje się tzw. Efficacy Maximized Test Engineering. Autonomiczne ekosystemy agentowe zarządzające testowaniem w oparciu o rygorystyczne wskaźniki jakościowe. Ramowy system Stellar. Styczeń 2026 roku. Zespół badawczy z BMW Group oraz Politechniki Monachijskiej zaprezentował przełomowy system STELAR . Praca rozwiązuje problem testowania aplikacji opartych na LLM, takich jak konwersacyjni asystenci pokładowi w pojazdach czy systemy bezpieczeństwa SafeQA, traktując testowanie jako problem optymalizacji ewolucyjnej w oparciu o OpenSBT.

Badacze zmapowali przestrzeń wejściową na wymiary stylistyki, treści oraz perturbacji. Wyniki empiryczne wykazały, że przeszukiwanie ewolucyjne wykrywa średnio 2,5 razy więcej błędów i awarii w aplikacjach LLM, a w niektórych konfiguracjach nawet 4 razy więcej, w porównaniu do tradycyjnych metod losowych czy kombinatorycznych. Przełom w dywersyfikacji błędów, Stellar D, wrzesień 2026 roku. W najnowszej pracy opublikowanej w czasopiśmie Empirical Software Engineering ci sami autorzy rozwinęli framework do wersji Stellar D, wprowadzając różnorodność błędów jako bezwzględny cel optymalizacyjny. Testując systemy sterowania funkcjami pojazdu CarQA oraz nawigacji NaviQA na najnowszych modelach, w tym GPT-5, DeepSquid 4 Pro i Kimi K2 Thinking, wykazano, że tradycyjny przeszukujący test skupia się jedynie na wąskim obszarze awarii.