Mentionsy

To znaczy, po co w ogóle łączyć jakieś LLM-y z narzędziami?

Możemy powiedzieć na przykład do takiego LLM-a, słuchaj, jeżeli będziesz chciał dodać zadanie do kalendarza, to krzyknij słowo kalendarz, a potem powiedz, co chcesz dodać.

Mamy wywoływanie funkcji, mamy MCP właśnie przez te konektory, mamy LLM-y.

Że mamy wywoływanie funkcji, mamy MCP, mamy LLM-y.

W sensie jest to cecha API, czyli to jest warstwa, która leży gdzieś pomiędzy LLM-em, a pomiędzy tym klientem.

Czyli LLM działają trochę sobie jak taki man in the middle, dodając elastyczność obsługi interfejsu białkowego, ale zabierając determinizm takiego standardowego wywołania funkcji.

To LLM decyduje, a LLM jest niedeterministyczne.

My nie wiemy, kiedy on wywoła funkcję, my nie wiemy, czy on wywoła funkcję, nie wiemy z jakimi parametrami, bo to zależy trochę od LLM-a, ale jeśli ta funkcja zostanie delegowana, to wiemy, jak się zakończy, bo to jest funkcja napisana przez nas, w sensie raczej tam nie będzie jakichś magicznych sytuacji, że coś nie pójdzie zgodnie z planem, więc bardziej sterujemy, jak te funkcje wywoływać, naprowadzamy tego LLM-a tak, żeby trafił w to, co chcemy, używał wtedy, kiedy chcemy,

sytuacji, gdy potrzebujemy tej pewności, to tam nie ma miejsca na LLM.

Ewentualnie jest miejsce na LLM właśnie z tym elementem human in the loop, czyli jakimś rodzajem deterministycznego interfejsu, czyli np.

Czyli po prostu LLM nie są lekiem na całe zło.

Jeśli tool odlistowania dostępnych tooli ma działać na zasadzie dostarczania LLM-owi opisów tooli w celu wyboru toola, to czemu od razu nie wrzucać opisów do kontekstu?

Dodatkowo, jeżeli albo jak ktoś myśli o łączeniu LLM z zewnętrznymi narzędziami, zwykle myśli o mapowaniu API.

Pierwsza rzecz, to warto zadać sobie pytanie, czy tu jest w ogóle miejsce na LLM-a?

Ale chodzi o to po prostu, że pomijamy tę warstwę LLM-a całkowicie.

Jeżeli już wchodzimy w tego LLM-a, to też pytanie brzmi, jeżeli dajemy mu te narzędzia, to jak one wysokopoziomowe są?

poznają wszystkie aspekty LLM-ów, z kolei osoby, które już do nas wracają, przez budowanie wzmocnią swoje istniejące umiejętności i przeniosą je na poziom produkcyjny.

Które modele LLM według waszego doświadczenia najlepiej radzą sobie z używaniem funkcji?

Tak, to w ogóle, jeżeli czytaliście ostatni, chociaż nie, chyba będzie jeszcze newsletter na ten temat, jest taki paper, rozwiązywanie problemu miliona kroków z pomocą LLM-ów bez popełnienia jakiegokolwiek błędu.

Ja tłumaczę na przykład, nie ludziom, a LLM-owi, że jeśli ktoś wspomni o czymś, to użyj tego narzędzia, bo to jest synonim na tej zasadzie.

Albo drag and dropem wrzuca jakiś tam plik i ten plik jest tam parsowany, pisze się fragment kodu Pythona, no to LLM napisze ten fragment kodu Pythona, a potem go wykona w sandboxie, nie?

Okazuje się, że ten LLM to jest trochę bieda i my musimy dopisać sobie brakujące rzeczy, ale plus jest taki, że na przykład na IELTS nas tego nauczono.

To nie jest tak, że rezygnujemy z programowania klasycznego i idziemy w programowanie na zasadzie delegujemy to do jakichś LLM-ów, tylko łączymy te dwa światy.