The technology that guides us: Gen AI in practice and the future

Wydaje mi się, że przyszłość to coś, co możemy nazwać proaktywną AI, albo w przypadku AI będzie to bardziej hyper-proaktywna AI, w sensie, że będziemy mieć wszystkie te agencje i systemy, które będą ciągle analizować dane, Główną informacją, uruchamianiem kwerów z danym danym danym danym danym danym danym danym danym danym danym danym Słuchasz trzeciego sezonu podcastu TechChatter, audycji Capgemini Polska, w której zanurzymy się w świecie technologii.

Posłuchaj rozmów naszych ekspertek i ekspertów, odkryj projekty realizowane w Polsce i zobacz, jak innowacje, które współtworzymy, kształtują naszą przyszłość. Przekonajmy się, że praca w sektorze IT może być naprawdę pasjonująca. Gotowi? Zaczynamy! Hey, good morning. Today we will speak with Pierluigi Costanzo, one of the experts from the Capgemini and we will talk about the Gen AI, preparing some prompts and all funny topic connected with this tool, with this algorithm. Usually at work you will try to prepare best solution with use the AI for our company. What can be very difficult in current time, but we try to do it.

So maybe today we will speak a little bit about preparing some AI tool. Maybe on the start. What is the Gen AI for you? Cześć Szymon. So Gen AI for me, that's actually a really good question. I'll take it as a tool. Nie, nawet nie nazwę to modelem Gen AI. Model poza nim jest tylko modelem AI. Wchodzi w to jako narzędzie. Użyjemy Gen AI w budowaniu aplikacji, które służą dla użytkowników, ulepszają produktywność, ulepszają pracę. Mam nadzieję, że lepiej. Ok, więc używamy tego narzędzia. Każdy musi używać jakiegoś narzędzia AI, każda część firmy potrzebuje tych słów i tego narzędzia w jakiejkolwiek rozwiązaniach, ponieważ to może być mądre, bardzo użyteczne dla użytkowników i firmy.

Więc próbujemy coś ulepszyć i zazwyczaj próbujemy to zrobić z jakimiś, na przykład, narzędziami Gen AI. Kiedy przygotowujemy tę rozmowę z naszymi asystentami, bo zazwyczaj jest to coś takiego jak asystent, próbujemy przygotować prompcję. Jak to wygląda, kiedy zaczynasz prompcję? Zazwyczaj, kiedy byłem na konferencjach i przedstawiałem coś o Gen AI, zawsze mówię coś takiego jak Gen AI wie, co robić, ale nie wie, kiedy to zrobić. And this is the reason why we prompt, right? So Gen AI is not like if we build an application that is like, you know, sentient and it can, you know, kind of like take over or just do whatever it want.

Jest to temat na temat antropomorfizacji AI. To jest coś połączonego z tym, jak my interakcjujemy z innymi ludźmi, jak nasi koleżanki na zespołach, nasza rodzina na jakichś komentarzach, whatsappach, messengerach i innych rzeczach. To jest platforma do porozmawiania lub interakcji na forumach. Mamy odpowiedni komentarz i odpowiedź. I kiedy mamy chatbot, mimo że wiemy dokładnie, że jest pośrednictwem LLM, więc jest pośrednictwem maszyny, która prediktuje nasz token albo coś takiego, wciąż używamy wysokich Jak się masz? Dzięki. To był świetny kod. Dokładnie. I to jest bardzo ważne, ponieważ nawet kiedy budujemy aplikację dla naszego klienta, to jest ważne, żeby to pamiętać.

Tak, oczywiście, możemy się spotkać. I to samo jest z wskazaniem. Jeśli model był trenowany z tym rodzajem danych, jeśli zapytasz ładnie, cześć, proszę, dostaniesz więcej informacji. W innych słowach jest to czasami bardziej wyraźne. Chociaż Miuma może być nie tak głupi, ale bardziej prosty i powiedzieć, daj mi to. Albo daj mi tą informację. Albo napisz ten kod. Czy będzie to działać? Może nie tak dobrze, jeśli zapytasz po prostu. So the prompting is a way how we can get something from some Gen AI model. So we learn this model with all data which we have, but we still should remember it's a language model.

So it's prepared for the documents and sometimes for another part, but it's still connected with these documents. It's not thinking model. In something like that people No about the thinking, yeah? It's try predict something, help us, but it's another way to prepare the resolution like people prepare. When we try prepare a good prompting, so we try to get the way for the bot to the best resolution for us, My try to prepare this prompt in some steps, sometimes all in one message. When you thinking about the how ask the Gen AI about something, about the language, how works with this model, do you have some tips how is the best way to start this prompting?

Yeah, I'm more a big fan like based on experience of the project that we built of Mniej więcej, mode divide and conquer, nawet podczas prompcji. Oczywiście, są ludzie, którzy lubią pisać wszystko w jednym prompcie i mam nadzieję, że dostaniesz odpowiedź. Mam nadzieję, że zapytasz o bardzo duży prompcję, szukasz tego, tego i tego, z wieloma instrukcjami, rozbierasz go przez to i to i inne rzeczy. Chociaż przez ostatnie dwa lata, w których budowaliśmy konwersacyjną AI, modeli oczywiście się ulepszają, i początek był oczywiście bardzo dobry, początek 2023, Nie tak dobrze jak ostatni model tego roku, ale kiedy jesteś bardziej w modele porozmawiającym, nie musisz naprawdę myśleć o napisach jakichkolwiek ogromnych wskazów.

When we prepare the prompts, we should remember about the context and usually and right now the context and how long context Gen AI remembers. Names mentioned in practice and the future. Names mentioned in practice and the future. Names mentioned in practice and the future. Names mentioned in practice and the future. Names mentioned in practice and the future. To będzie lepiej, ale zapomniałem o pierwszych krokach, ale kiedy mamy dłuższy kontekst, możemy używać więcej wiadomości do tego narzędzia Gen AI.

Jest to część przygotowania rozmowy i część elementów działania Gen AI. This is an important part. The context that we add around of course it helps with the prompt and there is something called context window. So this is kind of like a limitation of any large language model if you think about. So they can only take in one time certain amount of information. In other words, More to use Gen AI jargon. Or they can only take X amount of token. Some model has more, some model has less. This relevant is still the context window that this is. What does it mean is that when you add your question, your initial prompt, your output, and then another prompt, and then the output, that's all fill an entire context window.

Właściwie o tym, jak używać tego narzędzia Gen AI. Którego również zakończyło się, oczywiście, warsztatem na promocję. Wielu rzeczy trzeba było zrozumieć, a nie tylko, jak wyprostować, jak trzeba oczyścić wyprostowanie, czy wyprostować, i tak dalej, i tak dalej, ale też dać im tyle informacji, żeby ludzie mogli zrozumieć, jak interakcjonować z chatbordem. I jedna z rzeczy była właśnie ta okazja kontekstu. Spróbować wyjaśnić, że można mieć bardzo długą rozmowę, ale w pewnym momencie Dla tego, że istnieje zmiana w liczbie tokenów i informacji, które można włączyć w LLM, te pierwsze informacje, twoje pierwsze pytania, zaczęły się zapomnieć. Nie są już częścią tej rozmowy.

To jest naprawdę mocne. W rzeczywistości, kiedy Meta rozwijał system RUG, to nie było dla LLM. To było dla treningu modelu, modelu AI, modelu deep learning, w zasadzie zaangażowaniem się w retywizację przez trening i oni odkryli, że to zmniejszyło funkcję tego modelu. I wtedy ta sama technika została zaangażowana do LLM w ten sposób. Kolejne są agenty. Wszyscy słyszeli od Capgemini ostatnie 2 lata raport o System agentyczny, system multiagentyczny i takie rzeczy. I przykład, który zawsze używam, gdy opisuję agentów, jest taki, że agenty są jak entytety, tak, małe entytety, które są częścią aplikacji rozmowy, którą budujemy.

Użyjmy tego znowu w kontekście i dajmy odpowiedź. Zazwyczaj, kiedy myślimy o Gen AI, myślimy o ludziach, ludziach, z którymi możemy rozmawiać, mówić. Możemy dać jakieś pomysły, jakieś pytania i chcielibyśmy otrzymać odpowiedź, więc chcielibyśmy komunikować. Zazwyczaj ludzie, z którymi możemy rozmawiać, czasami piszą. I nasza narzędzia Gen AI powinna mieć jakiegoś małego agenta, aby mieć tę szansę. Bo kiedy chcielibyśmy mówić, potrzebujemy innego modelu, aby dostać tę rozmowę do tekstu. Kiedy chcielibyśmy poszukać czegoś, kiedy chcielibyśmy dodawać jakieś liczby, kiedy zapytamy zazwyczaj jakiegoś narzędzia Gen AI i 2 plus 2, otrzymamy inną odpowiedź.

Kind of like a hard job for data engineering, especially when there is a lot of data, you need to process a lot of information, you need to write a lot of queries, you need to build a data pipeline and then if you need to even add some AI model to do maybe prediction, classification and this adds up even in your data pipeline and then all this data already at the end, clean it up and everything goes to data visualization expert to build a dashboard or you build a report, you use a business analyst to understand this data. W tej chwili każdy z nich może być po prostu zmieniony przez agenta. Możesz mieć agenta, który interakcjonuje ze specjalną bazą danych, napisać składniki SQL, w zależności od tego, czego zapytasz, po prostu poprowadzając. W języku angielskim, polskim, italiackim, w jakimkolwiek języku model może zrozumieć.

A lot of the work of future data engineering, especially in AI, it will come around vector database, right? Vector database is not only you just can pull any amount of data there, create your embedding and something, but it requires specific techniques on how you index the data, how many vector database you create if you need different one, not everything in one, there is not one size fits all. And the point is that although we can replace a lot of things, Names mentioned in practice and the future. Names mentioned in practice and the future.

Ale czasami możemy zapytać tylko, cześć, jak się masz? I nie ma nic do zdobycia w tym kontekście, prawda? Tak. Więc kiedy to robisz, agent zrozumie, że nie musisz zdobywać nic. I tylko kiedy zapytasz o bardzo konkretną kwestię, to zrozumie. Zrozumie, czy używamy słowa zrozumienie. Zrozumie, co zdobyć, co robić i kiedy to zrobić. Tak, więc myślę, że to będzie pomocne w tym porównaniu. Zazwyczaj, kiedy przygotowujemy jakąś żartę o Gen AI, rak będzie pomagał, ponieważ jedna z części z tej żarty, połączona z odpowiedzią na zwrot, zawsze będzie lepszą odpowiedź na tę pytania. Nie mamy odpowiedzi na kolejne pytania, nie nasze, tak? I część z tych agentów możemy specyfikować w

Niezwykle dobrze, że robiliśmy pewne reguły i po tym złączyliśmy się razem i otrzymaliśmy kompleksowy model, aby otrzymać wszystkie te konkretne rzeczy połączone z naszymi potrzebami. Kiedy rozmawiasz o tym, mam jakieś pytania. Prawie cztery lub pięć razy. Co myślisz o Prompcie Inżynierii i jego dyspozycji? Będzie to coś, co będzie się rozwijać, czy każdy powinien wiedzieć wszystko o Gen AI i próbować otrzymać tę wiedzę? Powinienem zapytać Cię o odwrotną kwestię. Myślisz, że w organizacji mamy dzisiaj, w 2024, a prawie w 2025,

Do we have specialized persons that can work on Word, Microsoft Word. Or like everyone more or less knows the basics of that. Tak, więc mamy taką samą opinię na ten temat, więc myślę, że podstawowe wiedza o tym, jak to działa, co możemy dostać i jak możemy go używać, będzie potrzebna dla wszystkich, ponieważ wszystkie firmy muszą używać tego narzędzia AI, ponieważ marki dają tę informację. Musimy otrzymać odpowiedź szybciej, lepiej itd. Tak, dokładnie. Zazwyczaj próbujemy to poprawić. I możemy zrobić to łatwiej z jakimiś AI.

To są osoby, które kształtują się tym rodzajem nauczania, co powoduje, że oni będą prowadzić kształt edycji, kształt kształtowania. Oczywiście, kiedy przychodzimy do bardzo specyficznego systemu, który wymaga, może nazwijmy to negatywnie, ale to nie jest negatywne w ogóle, tj. zamkniętego kształtu, który pomoże całym systemowi, systemowi Gen AI, działać dla usługi, Sometimes we have prompt that we don't see. And those are very, very advancedly crafted prompt that would require prompt engineering to work with it, right? So when I think about the prompt engineer, usually I see some guy with knowledge, maybe not big, but the basic knowledge about how this model works.

Try to give some more knowledge, because we can use some pre-learn model and try to implement this small learning in some project, but something we do tell it can be To będzie bardziej użyteczne, ponieważ kiedy myślimy o wiedzy dzielnej o przygotowaniu promtu, to zazwyczaj ludzie powinni wiedzieć o tym Gen AI, więc ta część, w mojej opinii, będzie wykonana, ale wiedza dzielna w naszej firmie, ponieważ w naszej firmie mamy wiele treningów, więc możemy myśleć o przygotowaniu promtu, to będzie następna część, ponieważ mamy wiele treningów połączonych z AI i jakimiś narzędziami Gen AI. When we talk about how we talk to the Gen AI, so some specific thank you, etc., sometimes we give feedback.

Tak, dokładnie. Może to być... I we had like the very big LLM that we have now. They can do many things. But let's say that I need a small agent that only has to return SQL or a piece of Python code. Do you care if it can answer the meaning of life? Probably no. You only care that it can answer a very good Python code, a very good SQL query, right? So very, very, very, very specialized and probably also very small, because it doesn't have to be able to do thousands of things. It only needs to be able to do one single thing and it will be really good. Aby dodać więcej na ten temat, jak stwierdziłem, jak się wyrażam, napisałem post na Linkedin. W zasadzie stworzyłem AI rozmowy z dwoma samymi modelami, modelami A i modelami B, które były dokładnie tym samym modelem fundacji.

Co się stało? Dostałem do nich początkowe tematy, które potwierdziły oba, a potem oba rozmawiali się z sobą, interakcjonowali z sobą. Point is that it didn't even matter what topic I was giving at the beginning. It didn't even matter if I even changed a bit the prompt behind the two models. At the end, they will always agree on something. Zawsze, zawsze, zawsze zgadzam się na coś. Po niektórych iteracjach, kiedy rozmawialiśmy ze sobą, powiedzieli, że tak, jestem na LLM, mogę odpowiedzieć na te pytania, to jest to, co myślę, a inne nie, to jest to, co myślę. Ale mówię, że może jesteś w porządku, i w końcu zgadzają się na te same rzeczy. I mogłem dać im jakieś inne tematy, o których rozmawiać, I oni zawsze się zgadzali. Więc kiedy myślimy o jakimś specyficznym filmie z przeszłości, jak Robot czy Terminator, zazwyczaj AI się zgadza.

Names mentioned in practice and the future. Names mentioned in practice and the future. Albo coś takiego. Tak, więc jakiś temat powinien być w innym ruchu, w innej części tego wiedzy i próbujemy przygotować coś, co daje tę ścianę dla tego AI. Więc coś, co próbujemy robić, zawsze działa. Mówisz o tym filtrowaniu kontentu?

Names mentioned in practice Próbujemy dać trochę wskazówek na nasze narzędzia i otrzymać wiele pytań, jak możemy przygotować grę z 3D-printerem. Pewnie w tych ludziach znaleźliśmy kogoś, kto zapytał Może nie jest to najlepsza kwestia dla naszego narzędzia, tak? I po tym przygotować tę rozwiązanie. To jest żart, ale musimy o tym myśleć, ponieważ wierze w Gen AI przygotowuje wiedzę o tym narzędziu. Jest to bardzo konkretne, tak? Bo kiedy rozmawiamy generalnie, zwykle jakiś koncept jest jasny, ale kiedy idziesz w dół i spróbujesz

How it will be work when we change some parameters? It can be very, very difficult because this model is very, very large and some part of them is non-exable. So we have to prepare some Names mentioned in practice. Names mentioned in practice. The elements for some of our agents, we have to think about some trust to this Gen AI.