RAG vs Cache: Jak Wybrać Odpowiednią Architekturę AI

I wiesz, to co jest tutaj fascynujące, to fakt, że RAG osiągnął 51% wskaźnika adopcji w przedsiębiorstwach. O rany, czyli to się stało absolutnym standardem. Tak, de facto standardem branżowym. Wszędzie tam, gdzie mamy wewnętrzne bazy wiedzy, przeszukiwanie dokumentacji technicznej czy korporacyjnych asystentów danych. To jest trochę jak taki egzamin z otwartą książką dla sztucznej inteligencji. Ale, no właśnie, zastanawia mnie jedno. Czy takie ciągłe wertowanie tej książki przy każdym, nawet jakimś najprostszym pytaniu, nie staje się przypadkiem wąskim gardłem tego całego systemu? I to jest strzał w dziesiątkę. To ciągłe wertowanie to potężne obciążenie. Dlatego na przełomie 2024 i 2025 roku zobaczyliśmy nową zmianę paradygmatu.

72% to jest, no, katastrofa. A jak to wygląda kosztowo? Z tego, co pamiętam z materiałów, utrzymanie bazy wektorowej to nie są grosze. Zdecydowanie nie. To może kosztować od 50 do ponad 5000 dolarów miesięcznie, zależnie od skali. A co robi CAC? Dostawcy LLM wprowadzili potężne zniżki na zapytania, które korzystają z Cache'u. Aha, czyli jeśli zbuforujemy u nich dane, to płacimy mniej za tokeny? O jakich rzędach wielkości mówimy? Nawet 90% zniżki u takich gigantów jak Antropic i Google to są potężne oszczędności. I tutaj robi się naprawdę ciekawie, bo wychodzimy z, wiesz, laboratoriów badawczych i przechodzimy do prawdziwych produktów.

On zapomina to, co było w środku tekstu. Tak zwany problem lost in the middle, prawda? Zgadza się. No dobrze, a wady Raga? Wiemy, że jest skomplikowany, ale co jeszcze może pójść nie tak? Niewłaściwe wyszukiwanie. To jest największa bolączka. RAG to rurociąg. Jeśli algorytm na początku źle podzieli tekst albo baza wektorowa zwróci Ci zupełnie nieistotne fragmenty, to ten nasz genialny LLM na samym końcu dostanie śmieci. Dokładnie. Śmieci na wejściu, śmieci na wyjściu. Generator złoży pięknie brzmiącą odpowiedź z całkowicie bezwartościowych informacji. Optymalizacja tych rurociągów jest naprawdę trudna. To rodzi ważne pytanie o to, jak w ogóle projektujemy dzisiejsze aplikacje oparte na AI.

W materiałach do dzisiejszego odcinka zidentyfikowaliśmy trzy takie prowokacyjne pytania, z którymi każdy inżynier powinien się zmierzyć, prawda? Tak. Pierwsze to, czy przypadkowo nie przekombinowujesz, budując RAG do analizy zaledwie 50-stronicowego dokumentu? No właśnie, mnóstwo ludzi stawia wielką infrastrukturę, instaluje bazy, a mogli po prostu wrzucić ten jeden PDF w prompt jako cache. Dokładnie tak. Drugie pytanie. Czy buforowanie może uratować budżet AI w Twojej firmie? Pamiętam ten przypadek z danych źródłowych. Mieli tam około 1500 zapytań dziennie. Zgadza się. I przy tej skali Cache obniżył im koszty o 85%. Koszty spadły z 22,5$ do ledwie 3,45$ dziennie.