The technology that guides us: Gen AI in practice and the future

But usually when we need something, we go in a conversational mode, yeah? Like a chatbot powered by an LLM, yeah, things like this. And we ask a question or, yeah, we prompt. So in the moment in which, when we do that, To jest moment, w którym mówimy NLMowi, że teraz musisz to zrobić. Dlatego nie wie, kiedy to zrobić. W większości przypadków nie wie, co zrobić, bo po prostu go zapyta. Nie wiem, np. podsumuj mi ten dokument. Search on internet for this and that. Generate a chart, generate a piece of code. I'm looking for this information or help me out brainstorming. And I think an important part is the way how we prompt or actually the way how we ask.

Jest to temat na temat antropomorfizacji AI. To jest coś połączonego z tym, jak my interakcjujemy z innymi ludźmi, jak nasi koleżanki na zespołach, nasza rodzina na jakichś komentarzach, whatsappach, messengerach i innych rzeczach. To jest platforma do porozmawiania lub interakcji na forumach. Mamy odpowiedni komentarz i odpowiedź. I kiedy mamy chatbot, mimo że wiemy dokładnie, że jest pośrednictwem LLM, więc jest pośrednictwem maszyny, która prediktuje nasz token albo coś takiego, wciąż używamy wysokich Jak się masz? Dzięki. To był świetny kod. Dokładnie. I to jest bardzo ważne, ponieważ nawet kiedy budujemy aplikację dla naszego klienta, to jest ważne, żeby to pamiętać.

And usually when the context window finish, that's all the information that an LLM can take. I to jest tam, gdzie techniki, na przykład RAG, retrieval, augmented generation, albo używanie agencji, albo używanie window sliding context, pojawiają się. I dlatego, na przykład, pamiętam, kiedy zaczęliśmy budować od ostatniego roku niektóre narzędzia dla naszych klientów, w pewnym momencie zauważyliśmy, że, myślę, że oprócz technicznego budowania, i, wiesz, mając ładną UI, mając dobry model za sobą, i wtedy, wiesz, pracując w RAG, pracując z agencjami i innymi rzeczami, jedna ważna część była robienie warsztatów dla klientów,

Właściwie o tym, jak używać tego narzędzia Gen AI. Którego również zakończyło się, oczywiście, warsztatem na promocję. Wielu rzeczy trzeba było zrozumieć, a nie tylko, jak wyprostować, jak trzeba oczyścić wyprostowanie, czy wyprostować, i tak dalej, i tak dalej, ale też dać im tyle informacji, żeby ludzie mogli zrozumieć, jak interakcjonować z chatbordem. I jedna z rzeczy była właśnie ta okazja kontekstu. Spróbować wyjaśnić, że można mieć bardzo długą rozmowę, ale w pewnym momencie Dla tego, że istnieje zmiana w liczbie tokenów i informacji, które można włączyć w LLM, te pierwsze informacje, twoje pierwsze pytania, zaczęły się zapomnieć. Nie są już częścią tej rozmowy.

Używamy różnych technik, jak je zdobyć, jak ekstraktować tą informację na database, aż znajdziemy ważną. Ta ważna jest taka, że jest kontekst w naszej rozmowie, a model, wiedząc o tym kontekście, daje nam odpowiedź. Now, the importance of RAG is that usually when we have an LLM has been trained on certain amount of data, it does not know everything. So it can be something that out of the knowledge of the LLM and thanks to this information that has been retrieved, we can get an answer which is way less hallucinating. Yeah, the problem of hallucination of the LLM because it's specific to a context that has been given to the LLM.

To jest naprawdę mocne. W rzeczywistości, kiedy Meta rozwijał system RUG, to nie było dla LLM. To było dla treningu modelu, modelu AI, modelu deep learning, w zasadzie zaangażowaniem się w retywizację przez trening i oni odkryli, że to zmniejszyło funkcję tego modelu. I wtedy ta sama technika została zaangażowana do LLM w ten sposób. Kolejne są agenty. Wszyscy słyszeli od Capgemini ostatnie 2 lata raport o System agentyczny, system multiagentyczny i takie rzeczy. I przykład, który zawsze używam, gdy opisuję agentów, jest taki, że agenty są jak entytety, tak, małe entytety, które są częścią aplikacji rozmowy, którą budujemy.

Ale to jest tylko bug w moim kodzie DNA. Ale punkt jest, żartując, że to samo się dzieje z agencjami. Więc wszystkie te małe entity robią bardzo konkretne rzeczy, mogą robić bardzo konkretne zadania. Na przykład szukanie internetu. Running a piece of code. Choose which is the proper database to then do RAG. Jakieś matematyczne kalkulacje. Matematyczne kalkulacje, dokładnie. Np. nazwanie API, wiedząc, jaki jest schemat i wszystko, nazwanie API. Wiele innych interakcji, które mogą być przedstawione. Co się dzieje, jest to, że wywołujemy pytania, główny orkiestrator LLM decyduje, czy jest sensowo zaangażować jednego z tych agentów, a potem uruchamia agentów, otrzymuje wypowiedź

Więc jeśli masz mniejszych agentów do bardziej konkretnych elementów, to będzie lepiej dla rozwiązania, tak? Dokładnie, dokładnie. Zazwyczaj, w ostatnich latach, używaliśmy dużo pomysłów. Więc jak LLM i rozmowy, dzięki agentom, a w tym przypadku nie musi być tylko jeden, mogą być wiele, mogą spadnąć, na przykład, pomysł. Jeśli pomyślimy o tym, co musimy robić wewnątrz w organizacji, to musimy wybrać różne rodzaje danych i, na przykład, włożyć je w dashboard, tworzyć wizualizacje, tworzyć raporty, zwłaszcza kiedy dany danych jest bardzo duży i wymaga dużo informacji i procesu danych.

Chodzi o zmianę całego systemu bazowanego na najpierw system agentowy, a potem na RUG. Co to oznacza? To znaczy, że lepiej dla LLM jest najpierw mieć agenta, który może zrozumieć, gdzie znaleźć informacje. Powiedzmy, że ten wektor database ma dostęp do waszych danych internowych, a ten inny ma dostęp do innych danych internowych. Więc najpierw wybieracie databasę, agencje, a potem używacie RUG, by wytrzymać informacje. Myślę, że to ma wiele propozycji w porównaniu do systemu purely RUG, czyli używania agencji, które decydują, jak używać RUG, w sensie, że na systemie RUG, gdziekolwiek będziecie promocjonować, główny orkiestrator LLM zawsze musi dotrzeć do czegoś.

To może być następny agent, który zrozumie, że daje odpowiedź, a potem może zaangażować coś innego. Kiedy dodajemy razem RUG, różne agencje, prompcję inżynierii i lupę odpowiedzi, którą wspomniałeś, nie tylko łapka w górę, łapka w dół, ale Written feedback, all of this one, they actually help a lot to steer the main, the foundation, also called foundation, LLM of the application. If you think about it, there was always a risk a bit of homologation. So if you think that there is, imagine that everyone will always interact

Z tym samym LLM. Oczywiście, zawsze jest jakaś różnica. Twój LLM zawsze może wrzucać trochę inny odpowiedź. Ale wyobraź sobie, że każdy z milionów ludzi na świecie będzie zaczął używać dokładnie tego samego LLM. Nie ma żadnych nieprzyjemności, nie ma żadnych agentów, którzy mogą robić różne rzeczy, nie ma żadnego RUG, który daje konkretne informacje, które on nie wie. I nawet jeszcze więcej, nawet jeśli chodzi o engineeringę, drogę i agencje, myślę, że jest ważne, aby organizacja pomyślała o użyciu różnych modelów języków, a nie tylko jednej. Można to robić z różnymi powodami.

Można to robić z powodu białości, z powodu homologacji, żeby nie mieć wszystkich na jednym modelu, które powodują jedną rzecz, z powodu efektywności. Kiedy mówię, że każdy z agencji jest istotą, to każdy z agencji nie musi tylko wrzucać kod, nie musi robić API, nie musi robić tylko... Agencje mogą również wykorzystać kolejny mały LLM, aby zrobić inne zadania. Rozumiem. Rozumieć Twoją odpowiedź, na przykład, może ci dać odpowiedź, jeśli lubię, albo nie, Twoja odpowiedź, coś takiego, prawda? To jest tylko fajny przykład, ale może to być coś innego. Specially when we have agents with other LLM. We probably would like to have maybe small LLM.

Tak, dokładnie. Może to być... I we had like the very big LLM that we have now. They can do many things. But let's say that I need a small agent that only has to return SQL or a piece of Python code. Do you care if it can answer the meaning of life? Probably no. You only care that it can answer a very good Python code, a very good SQL query, right? So very, very, very, very specialized and probably also very small, because it doesn't have to be able to do thousands of things. It only needs to be able to do one single thing and it will be really good. Aby dodać więcej na ten temat, jak stwierdziłem, jak się wyrażam, napisałem post na Linkedin. W zasadzie stworzyłem AI rozmowy z dwoma samymi modelami, modelami A i modelami B, które były dokładnie tym samym modelem fundacji.

Co się stało? Dostałem do nich początkowe tematy, które potwierdziły oba, a potem oba rozmawiali się z sobą, interakcjonowali z sobą. Point is that it didn't even matter what topic I was giving at the beginning. It didn't even matter if I even changed a bit the prompt behind the two models. At the end, they will always agree on something. Zawsze, zawsze, zawsze zgadzam się na coś. Po niektórych iteracjach, kiedy rozmawialiśmy ze sobą, powiedzieli, że tak, jestem na LLM, mogę odpowiedzieć na te pytania, to jest to, co myślę, a inne nie, to jest to, co myślę. Ale mówię, że może jesteś w porządku, i w końcu zgadzają się na te same rzeczy. I mogłem dać im jakieś inne tematy, o których rozmawiać, I oni zawsze się zgadzali. Więc kiedy myślimy o jakimś specyficznym filmie z przeszłości, jak Robot czy Terminator, zazwyczaj AI się zgadza.

Zazwyczaj zgadzam się. Nie sądzę, że do tego poziomu dojdziemy, przynajmniej nie z LLM, prawda? Ale nauczanie się z symulacji pomiędzy dwoma albo więcej agentami, w mojej opinii, jest czymś, co musimy robić, jak nowa funkcja. To jest coś, co zmieniło grę. Wielkie kroki na kolejny poziom, ponieważ teraz czytamy wiele dokumentów z internetu i z komunikacji itd., więc dużo tego wiedzy zostało odnalezionego. Ale żeby dostać kolejne kroki, coś takiego jak AlphaGo, kiedy próbujemy nauczyć agenta jakiegoś meczu, będzie się to nauczyło przez rozmowę pomiędzy agencjami.

Kiedy zapytasz o coś bardzo konkretnego, to LLM zawsze powtarza bardzo złożoną, odpowiedź. Nie mogę ci dać odpowiedzi na ten temat, albo nie powinniśmy. Bardzo dobre pytanie. To coś z konferencji. Bardzo dobre pytanie, dokładnie. Myślę, że temat biasu To chyba troszkę na temat tego tematu. Myślę, że biało jest zawsze widziane jako negatywny term. Wątpliwość, że model jest biały. Wątpliwość, że biało jest naszym rezultatem. Chociaż jeśli pomyślisz o białości, to wszyscy jesteśmy białymi. Z powodu tego, jak się urodzimy, z powodu informacji, które widzimy na telewizji, z informacji, które widzimy na internetu, informacje, które czytamy, które czytamy,

I dlatego jest coś, co nazywa się filtracją kontentów, aby uniknąć pewnego tematu. Chociaż w niektórych przypadkach bias może być coś pozytywnym, Sometimes being biased also means respecting of different culture. Imagine that we want to use maybe not a text LLM or can be also a text LLM. We want to make a campaign, a marketing campaign. We employ a model with image generation and even like a text generation. We want to make a campaign for a certain group, for a certain target group, for a specific community or a local community, a specific country that maybe they are a minority. If a model wouldn't be biased toward that specific group, there is a very risk that the image that is being generated and the text that is being generated, it might not respect the value and the culture of this minority.

So to answer it all is like a content filter is more used to avoid problem, but sometimes we might need certain bias, we might need certain topic and if We should probably try to explore, otherwise by just hiding and hiding. I would just keep afloat whatever LLM is going to give us and we are not able to dig deep enough. Yeah, I think in my opinion one of the best way to prepare what we should to get to the specific part of this knowledge. So maybe not necessary to share. Names mentioned in practice and the future.

Wielu firm skupia się na wyjaśnieniu wyjaśnienia AI. I think we are moving very forward even with deep learning and explaining deep learning, although deep learning is still considered as a black box. We went very much forward and things are pretty good even to explain some of the deep learning architecture. Of course, machine learning is still very explainable, some model more than others. When it comes to LLM, I remember a couple of years ago, and this has happened especially with the closed source model, where we don't have the control of the randomness and something.