Jak Pisać Efektywne Prompty: Sekretne Techniki Oszczędzania Tokenów

Doobraźmy sobie codzienne wsiadanie do taksówki. Zwykle licznik bije po prostu za przejechane kilometry, prawda? Czasem dochodzi jakaś tam niewielka opłata za czas spędzony w korku. Mhm, no tak. To taki dość przewidywalny system. Wsiadamy, jedziemy i wiemy za co płacimy. Dokładnie, ale pomyślmy przez chwilę, co by było, gdyby ten licznik w taksówce bił za każdą wypowiedzianą przez pasażera sylabę. O rany, to by było straszne. Prawda? Wsiadamy i mówimy coś w stylu, dzień dobry, czy mógłby pan zawieźć mnie na stację kolejową, jeśli to oczywiście nie będzie problem, bo się spieszę i nagle nasz rachunek rośnie trzykrotnie, zanim samochód w ogóle ruszy.

W takim świecie nikt nie używałby uprzejmości. Ludzie rzucaliby po prostu suche... Stacja. Szybko. Jasne. Zero lania złdy. I wiesz, to jest idealna ilustracja tego, jak dzisiaj tysiące zespołów programistycznych po prostu nieświadomie przepala potężne budżety na sztuczną inteligencję. Witam wszystkich. To jest program Data Zen AI, tworzony przez społeczność Data Zen Community. Cześć. Dzisiejsza analiza materiałów sprowadza się do jednego, bardzo konkretnego pytania. Zastanówmy się, co by było, gdyby można było obniżyć koszty użycia AI o równe 50%, po prostu zmieniając sposób pisania promptów. No brzmi to trochę jak taki tani chwyt marketingowy, muszę przyznać.

Też tak na początku myślałam. Ale opieramy się dziś na twardych danych. Mamy raporty od Mavic Labs, z Ratlidisa, analizy z 10 Clouds, AI Planet i nawet z Green Places. Sprawdzimy dziś, jak przejść od takiego drogiego gadania do taniej inżynierii. A to jest mega ważny kontekst, bo inżynieria promptów to już nie jest tylko kwestia uzyskania, wiesz, lepszej odpowiedzi od czata, to jest bezpośredni wpływ na budżet firmy, na szybkość działania całej aplikacji i przepustowość infrastruktury. Rozłóżmy to w takim razie na czynniki pierwsze. Zacznijmy od absolutnych fundamentów. Każdy, kto korzysta z modeli LLM, wie, że płaci się za jednostki zwane tokenami. Dlaczego ten system tokenów potrafi być aż tak zdradliwy?

Model musi dzielić nasze polskie słowa na mniejsze, nienaturalne kawałki. No dobrze, ale to jest tylko wstęp do kosztów. Z naszych materiałów wynika, że prawdziwa pułapka finansowa to różnica między tym, co wysyłamy do modelu, a tym, co on nam zwraca. Tak, to jest tak zwana asymetria cenowa. Faza wejściowa, czyli nasz prompt i cały ten wklejony kontekst jest nazywana fazą pre-fill. I z tego, co czytałam, to jest ta tańsza część rachunku. Z czego to technicznie wynika? Wynika to bezpośrednio z kart graficznych w serworowniach. Faza wyjściowa może być przetwarzana równolegle. Procesor widzi cały twój tekst od razu i mieli go w jednym momencie. Jasne. Ale faza wyjściowa, czyli dekodowanie, działa sekwencyjnie.

Model musi wygenerować pierwsze słowo, żeby zgadnąć drugie. Potem dodaje drugie, żeby zgadnąć trzecie. A, czyli nie może tego zrobić na raz. Absolutnie nie. To dramatycznie obciąża pamięć i zajmuje czas. A ten czas to jest latencja, czyli to opóźnienie, które użytkownik widzi na ekranie. Różnice w cennikach są wręcz szokujące. Raport od LLM Gateway podaje stawki dla takich flagowych modeli klasy GPT-5. Wyobraźcie sobie, że za milion tokenów wejściowych płacze się powiedzmy dolara i 25 centów, ale tokeny wejściowe to jest równe 10 dolarów za ten sam milion. To jest prawie ośmiokrotne przebicie. Mam tu w notatkach taki super przykład. Jeśli zapytamy, co mam dziś w kalendarzu, to zużywamy 8 tokenów.

Tak. Ale jeśli będziemy grzeczni i napiszemy, czy mógłbyś mi dostarczyć kompleksowy przegląd moich zaplanowanych spotkań na dziś, to już jest 18 tokenów. Wynik ten sam, a koszt rośnie dwukrotnie. I tu ktoś mógłby powiedzieć, no, zaraz. No właśnie. Czy my tu nie liczymy jakieś groszy? To są ułamki centów. Zastanawiałam się, czy naprawdę warto marnować czas programistów na obcinanie sylab. Wiesz, jeśli spojrzymy na to z szerszej perspektywy, to te ułamki centów tworzą gigantyczne problemy w skali. Redis przeanalizował bota e-commerce, który obsługuje milion konwersacji w miesiącu. Milion to już sporo. Dokładnie. Kiedy ten bot działał na długich, przegadanych promptach, rachunek wynosił 3250 dolarów.

O rany. A po kompresji zapytań i zmianach, ten sam milion rozmów kosztował niespełna 200 dolarów. Ponad 3000 dolarów miesięcznie w kieszeni, tylko dzięki zmianie tekstu. Niesamowite! Ale jest jeszcze jeden wątek, o którym myślałam czytając raport Green Places. Wątek ekologiczny. No tak, to jest temat, o którym mało kto mówi. Przetworzenie miliona tokenów, czyli około jednego dolara kosztu na serwerach, emituje tyle dwutlenku węgla, co przejechanie samochodem spalinowym 32 km. Każdy bezsensowny prompt to dosłownie spaliny. Zgadza się. To są kilowatty prądu i woda do chłodzenia serwerów. Więc skoro wiemy, że to takie drogie i szkodliwe, to musimy sprawdzić, gdzie te tokeny nam uciekają w codziennej pracy.

Ten taki ludzki dotyk modelu. Robimy z niego zwykły parser. To jest powszechna obawa, ale w systemach produkcyjnych formatowanie JSON wręcz zwiększa jakość. Serio? W jaki sposób? Bo eliminuje halucynacje. Jeśli każesz modelowi wypełnić tylko trzy konkretne pola – imię, nazwisko, stanowisko – to on nie ma miejsca na dygresję i zmyślanie. Jest zmuszony do konkretu. Aha, czyli paradoksalnie mniej wolności daje nam lepsze wyniki biznesowe. Co jeszcze możemy zrobić? Coś o cachowaniu czytałam. Tak, to jest potężna broń. Semantic Caching. Na przykład z użyciem Redisa. Tradycyjny cache działa tak, że zapamiętuje idealnie takie samo zapytanie, prawda?

Żeby dostawca zauważył, że ten początek już widział i policzył go taniej. W punkt. To rodzi jednak ważne pytanie o skalę całych projektów. Jak to wszystko działa na poziomie architektury? W materiałach od Mavic Labs i LLM Gateway znalazłam świetne pojęcie – Budget Aware Routing, czyli taki inteligentny routing zapytań. O, to jest fascynująca strategia. Okazuje się, że firmy nie wysyłają już wszystkiego do najdroższego modelu. 70% prostych zapytań od klientów trafia do tanich, małych modeli w stylu Gemini Flashlight. Bo do sortowania wiadomości nie potrzebujesz najdroższego inżyniera z tytułem doktora. Dokładnie tak. Potem 20% idzie do średnich modeli, a tylko ten najtrudniejszy 10% do drogich gigantów.