DevTalk #130 – O RAG do Eksploracji Kodu z Łukaszem Szydło

odpyta jakąś bazę danych, w której będziemy trzymać te wszystkie informacje w odpowiedni sposób, odpyta i wrzuci do tego kontekstu naszego LLM-a tylko tę część wiedzy, tylko tę część informacji, tylko tę część opisów, która jest istotna w kontekście tego pytania. Czyli i to jest właśnie ten rack. Retrieval, czyli właśnie pobieramy Augmented Generation, czyli jesteśmy w stanie odpowiedzieć na pytanie, czyli LM Generation, czyli LM jest w stanie nam wygenerować tę odpowiedź na podstawie danych, które wyciągnie sobie na podstawie takiego prompta. Z założeniem, że ten kompletny zbiór danych, tak jak mówiliśmy wcześniej, jest zbyt wielki, więc trzeba używać podzbioru za pomocą jakichś tam... technik. No i z tego co mówisz, to jest bardziej praktyczne i bardziej wydajne niż fine tuning modelu, już nie mówiąc nawet o trenowaniu całkowicie własnych.