The technology that guides us: Gen AI in practice and the future

Więc próbujemy coś ulepszyć i zazwyczaj próbujemy to zrobić z jakimiś, na przykład, narzędziami Gen AI. Kiedy przygotowujemy tę rozmowę z naszymi asystentami, bo zazwyczaj jest to coś takiego jak asystent, próbujemy przygotować prompcję. Jak to wygląda, kiedy zaczynasz prompcję? Zazwyczaj, kiedy byłem na konferencjach i przedstawiałem coś o Gen AI, zawsze mówię coś takiego jak Gen AI wie, co robić, ale nie wie, kiedy to zrobić. And this is the reason why we prompt, right? So Gen AI is not like if we build an application that is like, you know, sentient and it can, you know, kind of like take over or just do whatever it want.

But usually when we need something, we go in a conversational mode, yeah? Like a chatbot powered by an LLM, yeah, things like this. And we ask a question or, yeah, we prompt. So in the moment in which, when we do that, To jest moment, w którym mówimy NLMowi, że teraz musisz to zrobić. Dlatego nie wie, kiedy to zrobić. W większości przypadków nie wie, co zrobić, bo po prostu go zapyta. Nie wiem, np. podsumuj mi ten dokument. Search on internet for this and that. Generate a chart, generate a piece of code. I'm looking for this information or help me out brainstorming. And I think an important part is the way how we prompt or actually the way how we ask.

So it's prepared for the documents and sometimes for another part, but it's still connected with these documents. It's not thinking model. In something like that people No about the thinking, yeah? It's try predict something, help us, but it's another way to prepare the resolution like people prepare. When we try prepare a good prompting, so we try to get the way for the bot to the best resolution for us, My try to prepare this prompt in some steps, sometimes all in one message. When you thinking about the how ask the Gen AI about something, about the language, how works with this model, do you have some tips how is the best way to start this prompting?

Yeah, I'm more a big fan like based on experience of the project that we built of Mniej więcej, mode divide and conquer, nawet podczas prompcji. Oczywiście, są ludzie, którzy lubią pisać wszystko w jednym prompcie i mam nadzieję, że dostaniesz odpowiedź. Mam nadzieję, że zapytasz o bardzo duży prompcję, szukasz tego, tego i tego, z wieloma instrukcjami, rozbierasz go przez to i to i inne rzeczy. Chociaż przez ostatnie dwa lata, w których budowaliśmy konwersacyjną AI, modeli oczywiście się ulepszają, i początek był oczywiście bardzo dobry, początek 2023, Nie tak dobrze jak ostatni model tego roku, ale kiedy jesteś bardziej w modele porozmawiającym, nie musisz naprawdę myśleć o napisach jakichkolwiek ogromnych wskazów.

Właściwie porozmawiasz, zapytasz o więcej rzeczy, otrzymujesz odpowiedź, a potem możesz dać odpowiedź, że to nie jest odpowiedź, którą szukałem, a potem może się to wyłączyć w ten sposób, a potem zapytasz o coś innego, które jest połączone z twoim poprzednim. I powodem, dlaczego ten film daje dużo lepsze rezultaty, jest to, że kiedy robimy to, dodajemy kontekst, dużo kontekstu w naszej rozmowie. Która część pochodzi od Ciebie, a jaka część pochodzi z modelu. I dodając więcej kontekstu, staje się bardziej jasne, czego szukamy. If we will start with a very large prompt at the beginning or we are 100% sure what do we want, how do we want it and which is usually a big problem for people to know exactly 100%

Jest to część przygotowania rozmowy i część elementów działania Gen AI. This is an important part. The context that we add around of course it helps with the prompt and there is something called context window. So this is kind of like a limitation of any large language model if you think about. So they can only take in one time certain amount of information. In other words, More to use Gen AI jargon. Or they can only take X amount of token. Some model has more, some model has less. This relevant is still the context window that this is. What does it mean is that when you add your question, your initial prompt, your output, and then another prompt, and then the output, that's all fill an entire context window.

Niezwykle dobrze, że robiliśmy pewne reguły i po tym złączyliśmy się razem i otrzymaliśmy kompleksowy model, aby otrzymać wszystkie te konkretne rzeczy połączone z naszymi potrzebami. Kiedy rozmawiasz o tym, mam jakieś pytania. Prawie cztery lub pięć razy. Co myślisz o Prompcie Inżynierii i jego dyspozycji? Będzie to coś, co będzie się rozwijać, czy każdy powinien wiedzieć wszystko o Gen AI i próbować otrzymać tę wiedzę? Powinienem zapytać Cię o odwrotną kwestię. Myślisz, że w organizacji mamy dzisiaj, w 2024, a prawie w 2025,

Dokładnie. To nie oznacza, że prąd inżynierii nie jest ważną rolą. Zazwyczaj, jeżeli jesteśmy na bardzo, bardzo niskim poziomie, a jeśli chodzi o techniczne rzeczy, to trening modelu i rozwijanie go wymaga kogoś, kto jest naprawdę dobry w prąd inżynierii. Prompt engineering can be also coaches, right? We have lots of people that they need to still adapt. We need coaches, basically engineering, prompt coaching, basically, that can help in the organization to understand how to use this tool, especially if we are going to employ much, much, much more for productivity, right? Like in the past, we always had people that can help us on some other productivity tool, how to use a Word, how to use a property, a PowerPoint, how to use a property in Excel, right?

To są osoby, które kształtują się tym rodzajem nauczania, co powoduje, że oni będą prowadzić kształt edycji, kształt kształtowania. Oczywiście, kiedy przychodzimy do bardzo specyficznego systemu, który wymaga, może nazwijmy to negatywnie, ale to nie jest negatywne w ogóle, tj. zamkniętego kształtu, który pomoże całym systemowi, systemowi Gen AI, działać dla usługi, Sometimes we have prompt that we don't see. And those are very, very advancedly crafted prompt that would require prompt engineering to work with it, right? So when I think about the prompt engineer, usually I see some guy with knowledge, maybe not big, but the basic knowledge about how this model works.

To może być następny agent, który zrozumie, że daje odpowiedź, a potem może zaangażować coś innego. Kiedy dodajemy razem RUG, różne agencje, prompcję inżynierii i lupę odpowiedzi, którą wspomniałeś, nie tylko łapka w górę, łapka w dół, ale Written feedback, all of this one, they actually help a lot to steer the main, the foundation, also called foundation, LLM of the application. If you think about it, there was always a risk a bit of homologation. So if you think that there is, imagine that everyone will always interact

Co się stało? Dostałem do nich początkowe tematy, które potwierdziły oba, a potem oba rozmawiali się z sobą, interakcjonowali z sobą. Point is that it didn't even matter what topic I was giving at the beginning. It didn't even matter if I even changed a bit the prompt behind the two models. At the end, they will always agree on something. Zawsze, zawsze, zawsze zgadzam się na coś. Po niektórych iteracjach, kiedy rozmawialiśmy ze sobą, powiedzieli, że tak, jestem na LLM, mogę odpowiedzieć na te pytania, to jest to, co myślę, a inne nie, to jest to, co myślę. Ale mówię, że może jesteś w porządku, i w końcu zgadzają się na te same rzeczy. I mogłem dać im jakieś inne tematy, o których rozmawiać, I oni zawsze się zgadzali. Więc kiedy myślimy o jakimś specyficznym filmie z przeszłości, jak Robot czy Terminator, zazwyczaj AI się zgadza.

I remember that when we built one of the first conversational AI, then we lend it to a user and the user was working on it, so they started to prompt. And then they texted the IPR and started to use this app, but it's actually not working. Właściwie wziąłem ten sam prompter, poszedłem do tej samej aplikacji i prompter mi dał odpowiedź. Wtedy wróciłem i pomyślałem, że próbuję tutaj, próbuję w tej samej aplikacji, może coś nie będzie działało. W porządku, musi działać. W porządku, w porządku, prawda? Teraz działa w produkcji. I potem po kilku razy ten kolega próbował jeszcze raz i jeszcze raz nie działał. I to było bardzo trudne, żeby mieć tę potencjalność potencjalności, ponieważ każdego dłuższego dłuższego dłuższego dłuższego dłuższego dłuższego dłuższego dłuższego dłuższego dłuższego

Nawet jeśli będziemy budować z drużyną... Mówiłem wcześniej o osobie, która napisała mi ten sam prompt, a nie dała mi odpowiedzi, a potem włożyłam i ona mi dała odpowiedź. Jak to wyjaśnić? Jak to wyjaśnić? Myślę, że robiąc workshop i wyjaśniając kilka podstawowych rzeczy i pokazując, jak można go używać w przypadku używania, You adjust your prompt, you adjust your technique, you adjust your hidden prompt, you adjust your agents. You'll probably have to adjust also a lot the rug. That definitely helps on building a really good Gen AI application that is not only technically, maybe not perfect, but almost perfect and really good technically, but it's actually also usable.

Names mentioned in practice and the future. There was GPT-2, so it was like a painful process to work with. Definitely not as powerful as today. There's a different parameter to adjust and the results were quite very scarce, but with some hard work and others. And the example that I shared before about the funny stuff of changing the prompt and doing the workshop, they all come from this project. One have been employed also in many other projects. And this uses, obviously, drag.

Yeah, you can try to predict how many users, how much they are gonna prompt, and for how long they are gonna prompt per day. Ale nigdy nie jesteś 100% pewien, więc możesz zaznaczyć potencjalny koszt miesięczny, ale to łatwo wyjdzie z ręki. Solution provide when we use, we pay. So if all people from our company use all time, the billing will be high. So it's something natural what we have to remember. But the most tool provide the limits. Because when you apply this solution, add some cards, you can add some Names mentioned in practice and the future.

I my don't have to prompt all the time. We might even get bored at some point to prompt all the time. They will be prompting us and say, OK, what do I do now? What action I need to take next? What decision do you have for me now that I just told you what's happening? This information from the data and from the Pytanie do Ciebie będzie więc, czy jesteś w stanie być zaproszony przez AI? W następnym dniu, kiedy dostaniesz napis, że robię Twoje zadanie z Twojej ściany, możesz się odpocząć i zjeść trochę kawień. To będzie dla nas prywatna praca. Moim zdaniem, to dwie części przyszłości. Pierwsza to coś, co bardzo łączy się z tym, o czym mówiłeś. Kiedy próbujemy robić bardziej automatyczne akcje, robimy to w procesie.

To jest coś innego. The second point is connected with the learning. It's something what I told earlier. It's connected with the learning some new elements with the simulation. When some agent speak with another one and give something new, some new type of the Best practice in the programming, etc. It's something that we can improve because we have a lot of knowledge and we can add this knowledge to the agent and try to do something new from it. From my perspective it's two great things to do. Ok, więc dzisiaj porozmawiamy trochę o prompcie Gen AI i przygotowaniu najlepszej rozwiązania z jakąś postawą.

Więc mamy jakiś przyszły i prawdopodobnie to będzie coś nowego. Więc idziemy do następnych kilku kroków, jak możemy iść z projektem, z AI od początku do końca i zdobyć coś dla nas. Zbudowanie solucjonalnej inżynierii jest trudne pod względem wielu aspektów, o których opowiedzieliśmy dzisiaj. Złożenie biznesowych i technicznych użytkowników będzie bardziej człowiekowym wyzwaniem, ale to bardzo pomoże. Możemy zbudować coś, co jest bardzo dobre technicznie, z naukowcami, inżynierami, rozwojowcami softwarem i bardziej wysokiej precyzji. Będziemy eksperymentować więcej z agencjami, dodając więcej agencji.

Names mentioned in practice and the future Efficiently and effectively generative AI solution for the different use case. For the future, I think that when we will be ready, everyone in actually prompting, probably thanks to proactive or hyper-proactive AI, we will also then be ready to be prompt by Gen AI application. Dziękuję bardzo, Piotr, za twój czas, opinię i wiedzę, więc musimy wiedzieć, jak możemy zacząć z Gen AI.