🥣 Dlaczego AI słabo gotuje?

Wyobraź sobie, że uczysz się gotować. Po kilku nieudanych próbach, pamiętasz, ostatnio zupa była zasłona, no to teraz dam mniej. Proste i logiczne, prawda? Okazuje się, że dla modeli AI to wcale nie jest takie oczywiste. Mają dwa główne sposoby na uczenie się z doświadczeń i oba z nich mają poważne wady. Pierwszy to dostrajanie modelu, czyli fine tuning. To takie dopasowywanie mózgu modelu. Problem? Jest dość drogie obliczeniowo i powoduje coś, co naukowcy nazywają katastrofalnym zapominaniem. Model uczy się nowych rzeczy, ale w zamian zapomina stare. Drugi? To rag, czyli wyszukiwanie podobnych przypadków w jakimś zewnętrznym źródle wiedzy, które nastąpiły w przeszłości. Trochę jak takie Google dla wspomnień. Gdzie jest problem? Rag szuka tylko tego, co jest podobne.

a niekoniecznie tego, co jest użyteczne. Jeżeli masz 10 podobnych wspomnień, a tylko jedno z nich zadziałało, dla Raga nie ma różnicy. Badacze z Shanghai Jiao Tong University zaproponowali rozwiązanie nazwane MEMRL od Memory Reinforced Learning. Inspiracja to oczywiście ludzki mózg, który oddziela stabilne rozumowanie, kora mózgowa, od plastycznej pamięci epizodycznej w hipokampie. A jak to działa? Model AI pozostaje zamrożony. Nie ma żadnych zmian w wagach. Zamiast tego system buduje zewnętrzną pamięć, gdzie każde wspomnienie ma trzy elementy. Intencje, co chciałem zrobić, doświadczenie, jak to zrobiłem i tu jest klucz. użyteczność, czyli czy to zadziałało. Gdy agent napotyka nowy problem, działa dwuetapowo.