The technology that guides us: Gen AI in practice and the future

Posłuchaj rozmów naszych ekspertek i ekspertów, odkryj projekty realizowane w Polsce i zobacz, jak innowacje, które współtworzymy, kształtują naszą przyszłość. Przekonajmy się, że praca w sektorze IT może być naprawdę pasjonująca. Gotowi? Zaczynamy! Hey, good morning. Today we will speak with Pierluigi Costanzo, one of the experts from the Capgemini and we will talk about the Gen AI, preparing some prompts and all funny topic connected with this tool, with this algorithm. Usually at work you will try to prepare best solution with use the AI for our company. What can be very difficult in current time, but we try to do it.

So maybe today we will speak a little bit about preparing some AI tool. Maybe on the start. What is the Gen AI for you? Cześć Szymon. So Gen AI for me, that's actually a really good question. I'll take it as a tool. Nie, nawet nie nazwę to modelem Gen AI. Model poza nim jest tylko modelem AI. Wchodzi w to jako narzędzie. Użyjemy Gen AI w budowaniu aplikacji, które służą dla użytkowników, ulepszają produktywność, ulepszają pracę. Mam nadzieję, że lepiej. Ok, więc używamy tego narzędzia. Każdy musi używać jakiegoś narzędzia AI, każda część firmy potrzebuje tych słów i tego narzędzia w jakiejkolwiek rozwiązaniach, ponieważ to może być mądre, bardzo użyteczne dla użytkowników i firmy.

Więc próbujemy coś ulepszyć i zazwyczaj próbujemy to zrobić z jakimiś, na przykład, narzędziami Gen AI. Kiedy przygotowujemy tę rozmowę z naszymi asystentami, bo zazwyczaj jest to coś takiego jak asystent, próbujemy przygotować prompcję. Jak to wygląda, kiedy zaczynasz prompcję? Zazwyczaj, kiedy byłem na konferencjach i przedstawiałem coś o Gen AI, zawsze mówię coś takiego jak Gen AI wie, co robić, ale nie wie, kiedy to zrobić. And this is the reason why we prompt, right? So Gen AI is not like if we build an application that is like, you know, sentient and it can, you know, kind of like take over or just do whatever it want.

But usually when we need something, we go in a conversational mode, yeah? Like a chatbot powered by an LLM, yeah, things like this. And we ask a question or, yeah, we prompt. So in the moment in which, when we do that, To jest moment, w którym mówimy NLMowi, że teraz musisz to zrobić. Dlatego nie wie, kiedy to zrobić. W większości przypadków nie wie, co zrobić, bo po prostu go zapyta. Nie wiem, np. podsumuj mi ten dokument. Search on internet for this and that. Generate a chart, generate a piece of code. I'm looking for this information or help me out brainstorming. And I think an important part is the way how we prompt or actually the way how we ask.

Tak, oczywiście, możemy się spotkać. I to samo jest z wskazaniem. Jeśli model był trenowany z tym rodzajem danych, jeśli zapytasz ładnie, cześć, proszę, dostaniesz więcej informacji. W innych słowach jest to czasami bardziej wyraźne. Chociaż Miuma może być nie tak głupi, ale bardziej prosty i powiedzieć, daj mi to. Albo daj mi tą informację. Albo napisz ten kod. Czy będzie to działać? Może nie tak dobrze, jeśli zapytasz po prostu. So the prompting is a way how we can get something from some Gen AI model. So we learn this model with all data which we have, but we still should remember it's a language model.

Names mentioned in practice and the future. Names mentioned in practice and the future. Do it for everything. If something it can be easy to apply by them, do this and return something what sometimes will be something different like our needs. So we try to help them to prepare some resolution.

Jest to część przygotowania rozmowy i część elementów działania Gen AI. This is an important part. The context that we add around of course it helps with the prompt and there is something called context window. So this is kind of like a limitation of any large language model if you think about. So they can only take in one time certain amount of information. In other words, More to use Gen AI jargon. Or they can only take X amount of token. Some model has more, some model has less. This relevant is still the context window that this is. What does it mean is that when you add your question, your initial prompt, your output, and then another prompt, and then the output, that's all fill an entire context window.

And usually when the context window finish, that's all the information that an LLM can take. I to jest tam, gdzie techniki, na przykład RAG, retrieval, augmented generation, albo używanie agencji, albo używanie window sliding context, pojawiają się. I dlatego, na przykład, pamiętam, kiedy zaczęliśmy budować od ostatniego roku niektóre narzędzia dla naszych klientów, w pewnym momencie zauważyliśmy, że, myślę, że oprócz technicznego budowania, i, wiesz, mając ładną UI, mając dobry model za sobą, i wtedy, wiesz, pracując w RAG, pracując z agencjami i innymi rzeczami, jedna ważna część była robienie warsztatów dla klientów,

Używamy różnych technik, jak je zdobyć, jak ekstraktować tą informację na database, aż znajdziemy ważną. Ta ważna jest taka, że jest kontekst w naszej rozmowie, a model, wiedząc o tym kontekście, daje nam odpowiedź. Now, the importance of RAG is that usually when we have an LLM has been trained on certain amount of data, it does not know everything. So it can be something that out of the knowledge of the LLM and thanks to this information that has been retrieved, we can get an answer which is way less hallucinating. Yeah, the problem of hallucination of the LLM because it's specific to a context that has been given to the LLM.

I transform that, knowing that you are looking for certain information, that they are in a certain database, transform this information into SQL query, retrieve this information from the database, like run the SQL query for you, and then give you the answer. And you can do even more, right? You can then pass maybe the data, Names mentioned in practice and the future.

A lot of the work of future data engineering, especially in AI, it will come around vector database, right? Vector database is not only you just can pull any amount of data there, create your embedding and something, but it requires specific techniques on how you index the data, how many vector database you create if you need different one, not everything in one, there is not one size fits all. And the point is that although we can replace a lot of things, Names mentioned in practice and the future. Names mentioned in practice and the future.

Do we have specialized persons that can work on Word, Microsoft Word. Or like everyone more or less knows the basics of that. Tak, więc mamy taką samą opinię na ten temat, więc myślę, że podstawowe wiedza o tym, jak to działa, co możemy dostać i jak możemy go używać, będzie potrzebna dla wszystkich, ponieważ wszystkie firmy muszą używać tego narzędzia AI, ponieważ marki dają tę informację. Musimy otrzymać odpowiedź szybciej, lepiej itd. Tak, dokładnie. Zazwyczaj próbujemy to poprawić. I możemy zrobić to łatwiej z jakimiś AI.

Dokładnie. To nie oznacza, że prąd inżynierii nie jest ważną rolą. Zazwyczaj, jeżeli jesteśmy na bardzo, bardzo niskim poziomie, a jeśli chodzi o techniczne rzeczy, to trening modelu i rozwijanie go wymaga kogoś, kto jest naprawdę dobry w prąd inżynierii. Prompt engineering can be also coaches, right? We have lots of people that they need to still adapt. We need coaches, basically engineering, prompt coaching, basically, that can help in the organization to understand how to use this tool, especially if we are going to employ much, much, much more for productivity, right? Like in the past, we always had people that can help us on some other productivity tool, how to use a Word, how to use a property, a PowerPoint, how to use a property in Excel, right?

Try to give some more knowledge, because we can use some pre-learn model and try to implement this small learning in some project, but something we do tell it can be To będzie bardziej użyteczne, ponieważ kiedy myślimy o wiedzy dzielnej o przygotowaniu promtu, to zazwyczaj ludzie powinni wiedzieć o tym Gen AI, więc ta część, w mojej opinii, będzie wykonana, ale wiedza dzielna w naszej firmie, ponieważ w naszej firmie mamy wiele treningów, więc możemy myśleć o przygotowaniu promtu, to będzie następna część, ponieważ mamy wiele treningów połączonych z AI i jakimiś narzędziami Gen AI. When we talk about how we talk to the Gen AI, so some specific thank you, etc., sometimes we give feedback.

It was the great cause. So I think about something, what we can give feedback to the model to learn from our answer, because we have some system to give the Names mentioned on screen. Names mentioned on screen. Names mentioned in practice. Names mentioned in practice.

To może być następny agent, który zrozumie, że daje odpowiedź, a potem może zaangażować coś innego. Kiedy dodajemy razem RUG, różne agencje, prompcję inżynierii i lupę odpowiedzi, którą wspomniałeś, nie tylko łapka w górę, łapka w dół, ale Written feedback, all of this one, they actually help a lot to steer the main, the foundation, also called foundation, LLM of the application. If you think about it, there was always a risk a bit of homologation. So if you think that there is, imagine that everyone will always interact

Tak, dokładnie. Może to być... I we had like the very big LLM that we have now. They can do many things. But let's say that I need a small agent that only has to return SQL or a piece of Python code. Do you care if it can answer the meaning of life? Probably no. You only care that it can answer a very good Python code, a very good SQL query, right? So very, very, very, very specialized and probably also very small, because it doesn't have to be able to do thousands of things. It only needs to be able to do one single thing and it will be really good. Aby dodać więcej na ten temat, jak stwierdziłem, jak się wyrażam, napisałem post na Linkedin. W zasadzie stworzyłem AI rozmowy z dwoma samymi modelami, modelami A i modelami B, które były dokładnie tym samym modelem fundacji.

Zwrócimy coś nowego, For example, proposal to the models for the programming or some specific steps to do or divide some elements for different classes, etc. Because we can learn from our knowledge, but this knowledge is something more like people produce, because it was something prepared by the computer. Few moments ago you talked about the something to prepare and Wszelkie prawa zastrzeżone.

I dlatego jest coś, co nazywa się filtracją kontentów, aby uniknąć pewnego tematu. Chociaż w niektórych przypadkach bias może być coś pozytywnym, Sometimes being biased also means respecting of different culture. Imagine that we want to use maybe not a text LLM or can be also a text LLM. We want to make a campaign, a marketing campaign. We employ a model with image generation and even like a text generation. We want to make a campaign for a certain group, for a certain target group, for a specific community or a local community, a specific country that maybe they are a minority. If a model wouldn't be biased toward that specific group, there is a very risk that the image that is being generated and the text that is being generated, it might not respect the value and the culture of this minority.

How it will be work when we change some parameters? It can be very, very difficult because this model is very, very large and some part of them is non-exable. So we have to prepare some Names mentioned in practice. Names mentioned in practice. The elements for some of our agents, we have to think about some trust to this Gen AI.

So usually in some specific implementation we have to think about the explainable, about some elements, because it's necessary, for example, for the bank or another party, because it's not easy to do. I talk about the explainable for the artificial intelligence. It's right now one of the top topic, because we would like to tell a little bit about how we can prepare this solution to get a result In a specific context, because when we go to the shop, it will be different when we go to the bank. Because the level of the security and the knowledge of the steps, elements, attributes necessary to

I remember that when we built one of the first conversational AI, then we lend it to a user and the user was working on it, so they started to prompt. And then they texted the IPR and started to use this app, but it's actually not working. Właściwie wziąłem ten sam prompter, poszedłem do tej samej aplikacji i prompter mi dał odpowiedź. Wtedy wróciłem i pomyślałem, że próbuję tutaj, próbuję w tej samej aplikacji, może coś nie będzie działało. W porządku, musi działać. W porządku, w porządku, prawda? Teraz działa w produkcji. I potem po kilku razy ten kolega próbował jeszcze raz i jeszcze raz nie działał. I to było bardzo trudne, żeby mieć tę potencjalność potencjalności, ponieważ każdego dłuższego dłuższego dłuższego dłuższego dłuższego dłuższego dłuższego dłuższego dłuższego dłuższego

Referencing is really important when you write a report. So in that case it's probably not the right place, at least not probably in the moment. In the future probably yes, thanks to this traceability and other things, although it will require also lots of privacy and copywriting because the model can still... But it can be a very big problem in the company, because when you have the Jeden model GPT lub co-pilot. Dwa lub więcej osób z tego samego zespołu przygotowało to samo dashboard, report, itd. I wszystkie te osoby otrzymali różne odpowiedzi. Która będzie lepsza? I co wybrałeś? I co wybrałeś? I co wybrałeś?

Some conversation is a specific object of this class and all this object can give different answer. Names mentioned in practice and the future. Names mentioned in practice and the future. Names mentioned in practice and the future. Maybe a little, but a different answer. It's the same situation when I ask about something more than one. So sometimes it can be problematic. Sometimes we have two different answers, so we can paste this text to two different messages. So it can be useful, but we have to remember about it. Jeszcze jedno, co powiedziałeś o modelach używanych w pracy.

Teraz mamy wiele agentów, plagi, elementów, które mogą być Names mentioned in the video. Names mentioned in the video. Evaluable elements by the plugin, for the web browser, for some programming elements, so we can communicate in different ways. Sometimes it's some code, debugging, plugin, web browser page, so we can get some text, some movie, some picture.