The technology that guides us: Gen AI in practice and the future

Posłuchaj rozmów naszych ekspertek i ekspertów, odkryj projekty realizowane w Polsce i zobacz, jak innowacje, które współtworzymy, kształtują naszą przyszłość. Przekonajmy się, że praca w sektorze IT może być naprawdę pasjonująca. Gotowi? Zaczynamy! Hey, good morning. Today we will speak with Pierluigi Costanzo, one of the experts from the Capgemini and we will talk about the Gen AI, preparing some prompts and all funny topic connected with this tool, with this algorithm. Usually at work you will try to prepare best solution with use the AI for our company. What can be very difficult in current time, but we try to do it.

Więc próbujemy coś ulepszyć i zazwyczaj próbujemy to zrobić z jakimiś, na przykład, narzędziami Gen AI. Kiedy przygotowujemy tę rozmowę z naszymi asystentami, bo zazwyczaj jest to coś takiego jak asystent, próbujemy przygotować prompcję. Jak to wygląda, kiedy zaczynasz prompcję? Zazwyczaj, kiedy byłem na konferencjach i przedstawiałem coś o Gen AI, zawsze mówię coś takiego jak Gen AI wie, co robić, ale nie wie, kiedy to zrobić. And this is the reason why we prompt, right? So Gen AI is not like if we build an application that is like, you know, sentient and it can, you know, kind of like take over or just do whatever it want.

But usually when we need something, we go in a conversational mode, yeah? Like a chatbot powered by an LLM, yeah, things like this. And we ask a question or, yeah, we prompt. So in the moment in which, when we do that, To jest moment, w którym mówimy NLMowi, że teraz musisz to zrobić. Dlatego nie wie, kiedy to zrobić. W większości przypadków nie wie, co zrobić, bo po prostu go zapyta. Nie wiem, np. podsumuj mi ten dokument. Search on internet for this and that. Generate a chart, generate a piece of code. I'm looking for this information or help me out brainstorming. And I think an important part is the way how we prompt or actually the way how we ask.

Jeśli pomyślisz o tym, jak ten model językowy został trenowany, wyciągają wiele danych, Names mentioned in practice and the future. Names mentioned in practice and the future. Names mentioned in practice and the future. Names mentioned in practice and the future. Tak czy inaczej. Ale jeśli zapytam serdecznie i powiem, cześć Szymon, jak ty dzisiaj? A potem zapytam, proszę, pomóż mi z tym pomóc. Czy możesz spojrzeć na ten filtr, o którym rozmawialiśmy później?

Tak, oczywiście, możemy się spotkać. I to samo jest z wskazaniem. Jeśli model był trenowany z tym rodzajem danych, jeśli zapytasz ładnie, cześć, proszę, dostaniesz więcej informacji. W innych słowach jest to czasami bardziej wyraźne. Chociaż Miuma może być nie tak głupi, ale bardziej prosty i powiedzieć, daj mi to. Albo daj mi tą informację. Albo napisz ten kod. Czy będzie to działać? Może nie tak dobrze, jeśli zapytasz po prostu. So the prompting is a way how we can get something from some Gen AI model. So we learn this model with all data which we have, but we still should remember it's a language model.

So it's prepared for the documents and sometimes for another part, but it's still connected with these documents. It's not thinking model. In something like that people No about the thinking, yeah? It's try predict something, help us, but it's another way to prepare the resolution like people prepare. When we try prepare a good prompting, so we try to get the way for the bot to the best resolution for us, My try to prepare this prompt in some steps, sometimes all in one message. When you thinking about the how ask the Gen AI about something, about the language, how works with this model, do you have some tips how is the best way to start this prompting?

Yeah, I'm more a big fan like based on experience of the project that we built of Mniej więcej, mode divide and conquer, nawet podczas prompcji. Oczywiście, są ludzie, którzy lubią pisać wszystko w jednym prompcie i mam nadzieję, że dostaniesz odpowiedź. Mam nadzieję, że zapytasz o bardzo duży prompcję, szukasz tego, tego i tego, z wieloma instrukcjami, rozbierasz go przez to i to i inne rzeczy. Chociaż przez ostatnie dwa lata, w których budowaliśmy konwersacyjną AI, modeli oczywiście się ulepszają, i początek był oczywiście bardzo dobry, początek 2023, Nie tak dobrze jak ostatni model tego roku, ale kiedy jesteś bardziej w modele porozmawiającym, nie musisz naprawdę myśleć o napisach jakichkolwiek ogromnych wskazów.

Właściwie porozmawiasz, zapytasz o więcej rzeczy, otrzymujesz odpowiedź, a potem możesz dać odpowiedź, że to nie jest odpowiedź, którą szukałem, a potem może się to wyłączyć w ten sposób, a potem zapytasz o coś innego, które jest połączone z twoim poprzednim. I powodem, dlaczego ten film daje dużo lepsze rezultaty, jest to, że kiedy robimy to, dodajemy kontekst, dużo kontekstu w naszej rozmowie. Która część pochodzi od Ciebie, a jaka część pochodzi z modelu. I dodając więcej kontekstu, staje się bardziej jasne, czego szukamy. If we will start with a very large prompt at the beginning or we are 100% sure what do we want, how do we want it and which is usually a big problem for people to know exactly 100%

Names mentioned in practice and the future. Names mentioned in practice and the future. Do it for everything. If something it can be easy to apply by them, do this and return something what sometimes will be something different like our needs. So we try to help them to prepare some resolution.

When we prepare the prompts, we should remember about the context and usually and right now the context and how long context Gen AI remembers. Names mentioned in practice and the future. Names mentioned in practice and the future. Names mentioned in practice and the future. Names mentioned in practice and the future. Names mentioned in practice and the future. To będzie lepiej, ale zapomniałem o pierwszych krokach, ale kiedy mamy dłuższy kontekst, możemy używać więcej wiadomości do tego narzędzia Gen AI.

Jest to część przygotowania rozmowy i część elementów działania Gen AI. This is an important part. The context that we add around of course it helps with the prompt and there is something called context window. So this is kind of like a limitation of any large language model if you think about. So they can only take in one time certain amount of information. In other words, More to use Gen AI jargon. Or they can only take X amount of token. Some model has more, some model has less. This relevant is still the context window that this is. What does it mean is that when you add your question, your initial prompt, your output, and then another prompt, and then the output, that's all fill an entire context window.

And usually when the context window finish, that's all the information that an LLM can take. I to jest tam, gdzie techniki, na przykład RAG, retrieval, augmented generation, albo używanie agencji, albo używanie window sliding context, pojawiają się. I dlatego, na przykład, pamiętam, kiedy zaczęliśmy budować od ostatniego roku niektóre narzędzia dla naszych klientów, w pewnym momencie zauważyliśmy, że, myślę, że oprócz technicznego budowania, i, wiesz, mając ładną UI, mając dobry model za sobą, i wtedy, wiesz, pracując w RAG, pracując z agencjami i innymi rzeczami, jedna ważna część była robienie warsztatów dla klientów,

Właściwie o tym, jak używać tego narzędzia Gen AI. Którego również zakończyło się, oczywiście, warsztatem na promocję. Wielu rzeczy trzeba było zrozumieć, a nie tylko, jak wyprostować, jak trzeba oczyścić wyprostowanie, czy wyprostować, i tak dalej, i tak dalej, ale też dać im tyle informacji, żeby ludzie mogli zrozumieć, jak interakcjonować z chatbordem. I jedna z rzeczy była właśnie ta okazja kontekstu. Spróbować wyjaśnić, że można mieć bardzo długą rozmowę, ale w pewnym momencie Dla tego, że istnieje zmiana w liczbie tokenów i informacji, które można włączyć w LLM, te pierwsze informacje, twoje pierwsze pytania, zaczęły się zapomnieć. Nie są już częścią tej rozmowy.

Trzeba być bardzo ostrożnym na to, jak długo ta rozmowa trwa i jak długo można ją utrzymać. Trzeba pamiętać o tym, że jeśli wtedy piszesz coś, co zostało napisane na początku tej rozmowy, model nie wie już o tym. Oczywiście, teraz mamy techniki, by próbować zapamiętać jakąś część tej rozmowy. Zazwyczaj podsumowujesz wszystkie początkowe rozmowy, aby je utrzymać w pamięci, więc możesz zawsze piszczeć, nawet jeśli jest bardzo, bardzo źle. Ale to są wszystkie techniki, Ok. Myślę, że następnym elementem, o którym musimy przynieść trochę wiedzy, będzie agent rackowy. Co jest nowe i co może się w tym zmniejszyć?

Używamy różnych technik, jak je zdobyć, jak ekstraktować tą informację na database, aż znajdziemy ważną. Ta ważna jest taka, że jest kontekst w naszej rozmowie, a model, wiedząc o tym kontekście, daje nam odpowiedź. Now, the importance of RAG is that usually when we have an LLM has been trained on certain amount of data, it does not know everything. So it can be something that out of the knowledge of the LLM and thanks to this information that has been retrieved, we can get an answer which is way less hallucinating. Yeah, the problem of hallucination of the LLM because it's specific to a context that has been given to the LLM.

Ale to jest tylko bug w moim kodzie DNA. Ale punkt jest, żartując, że to samo się dzieje z agencjami. Więc wszystkie te małe entity robią bardzo konkretne rzeczy, mogą robić bardzo konkretne zadania. Na przykład szukanie internetu. Running a piece of code. Choose which is the proper database to then do RAG. Jakieś matematyczne kalkulacje. Matematyczne kalkulacje, dokładnie. Np. nazwanie API, wiedząc, jaki jest schemat i wszystko, nazwanie API. Wiele innych interakcji, które mogą być przedstawione. Co się dzieje, jest to, że wywołujemy pytania, główny orkiestrator LLM decyduje, czy jest sensowo zaangażować jednego z tych agentów, a potem uruchamia agentów, otrzymuje wypowiedź

Kind of like a hard job for data engineering, especially when there is a lot of data, you need to process a lot of information, you need to write a lot of queries, you need to build a data pipeline and then if you need to even add some AI model to do maybe prediction, classification and this adds up even in your data pipeline and then all this data already at the end, clean it up and everything goes to data visualization expert to build a dashboard or you build a report, you use a business analyst to understand this data. W tej chwili każdy z nich może być po prostu zmieniony przez agenta. Możesz mieć agenta, który interakcjonuje ze specjalną bazą danych, napisać składniki SQL, w zależności od tego, czego zapytasz, po prostu poprowadzając. W języku angielskim, polskim, italiackim, w jakimkolwiek języku model może zrozumieć.

I transform that, knowing that you are looking for certain information, that they are in a certain database, transform this information into SQL query, retrieve this information from the database, like run the SQL query for you, and then give you the answer. And you can do even more, right? You can then pass maybe the data, Names mentioned in practice and the future.

A lot of the work of future data engineering, especially in AI, it will come around vector database, right? Vector database is not only you just can pull any amount of data there, create your embedding and something, but it requires specific techniques on how you index the data, how many vector database you create if you need different one, not everything in one, there is not one size fits all. And the point is that although we can replace a lot of things, Names mentioned in practice and the future. Names mentioned in practice and the future.

Ale czasami możemy zapytać tylko, cześć, jak się masz? I nie ma nic do zdobycia w tym kontekście, prawda? Tak. Więc kiedy to robisz, agent zrozumie, że nie musisz zdobywać nic. I tylko kiedy zapytasz o bardzo konkretną kwestię, to zrozumie. Zrozumie, czy używamy słowa zrozumienie. Zrozumie, co zdobyć, co robić i kiedy to zrobić. Tak, więc myślę, że to będzie pomocne w tym porównaniu. Zazwyczaj, kiedy przygotowujemy jakąś żartę o Gen AI, rak będzie pomagał, ponieważ jedna z części z tej żarty, połączona z odpowiedzią na zwrot, zawsze będzie lepszą odpowiedź na tę pytania. Nie mamy odpowiedzi na kolejne pytania, nie nasze, tak? I część z tych agentów możemy specyfikować w

Do we have specialized persons that can work on Word, Microsoft Word. Or like everyone more or less knows the basics of that. Tak, więc mamy taką samą opinię na ten temat, więc myślę, że podstawowe wiedza o tym, jak to działa, co możemy dostać i jak możemy go używać, będzie potrzebna dla wszystkich, ponieważ wszystkie firmy muszą używać tego narzędzia AI, ponieważ marki dają tę informację. Musimy otrzymać odpowiedź szybciej, lepiej itd. Tak, dokładnie. Zazwyczaj próbujemy to poprawić. I możemy zrobić to łatwiej z jakimiś AI.

Dokładnie. To nie oznacza, że prąd inżynierii nie jest ważną rolą. Zazwyczaj, jeżeli jesteśmy na bardzo, bardzo niskim poziomie, a jeśli chodzi o techniczne rzeczy, to trening modelu i rozwijanie go wymaga kogoś, kto jest naprawdę dobry w prąd inżynierii. Prompt engineering can be also coaches, right? We have lots of people that they need to still adapt. We need coaches, basically engineering, prompt coaching, basically, that can help in the organization to understand how to use this tool, especially if we are going to employ much, much, much more for productivity, right? Like in the past, we always had people that can help us on some other productivity tool, how to use a Word, how to use a property, a PowerPoint, how to use a property in Excel, right?

To są osoby, które kształtują się tym rodzajem nauczania, co powoduje, że oni będą prowadzić kształt edycji, kształt kształtowania. Oczywiście, kiedy przychodzimy do bardzo specyficznego systemu, który wymaga, może nazwijmy to negatywnie, ale to nie jest negatywne w ogóle, tj. zamkniętego kształtu, który pomoże całym systemowi, systemowi Gen AI, działać dla usługi, Sometimes we have prompt that we don't see. And those are very, very advancedly crafted prompt that would require prompt engineering to work with it, right? So when I think about the prompt engineer, usually I see some guy with knowledge, maybe not big, but the basic knowledge about how this model works.

Try to give some more knowledge, because we can use some pre-learn model and try to implement this small learning in some project, but something we do tell it can be To będzie bardziej użyteczne, ponieważ kiedy myślimy o wiedzy dzielnej o przygotowaniu promtu, to zazwyczaj ludzie powinni wiedzieć o tym Gen AI, więc ta część, w mojej opinii, będzie wykonana, ale wiedza dzielna w naszej firmie, ponieważ w naszej firmie mamy wiele treningów, więc możemy myśleć o przygotowaniu promtu, to będzie następna część, ponieważ mamy wiele treningów połączonych z AI i jakimiś narzędziami Gen AI. When we talk about how we talk to the Gen AI, so some specific thank you, etc., sometimes we give feedback.

To może być następny agent, który zrozumie, że daje odpowiedź, a potem może zaangażować coś innego. Kiedy dodajemy razem RUG, różne agencje, prompcję inżynierii i lupę odpowiedzi, którą wspomniałeś, nie tylko łapka w górę, łapka w dół, ale Written feedback, all of this one, they actually help a lot to steer the main, the foundation, also called foundation, LLM of the application. If you think about it, there was always a risk a bit of homologation. So if you think that there is, imagine that everyone will always interact