evoilutioncast 45: How to build a solid foundation for AI on VCF?

Wiesz co, o czym chcę rozmawiać z tobą jest oczywiście AI, bo nikt nie mówi o czymkolwiek innym, ale... Zacznijmy od tego, wiesz, mniej lub mniej szaleństwa czasami, wiesz, historii o tym, jak to zmieni nasz świat, wiesz, bla, bla, bla. Nie. The thing is, you know, because we know each other so many years, you know, we are more, let's say, we are not people who talk about theory, right? We are more practical guys. And I think that that's the way how we should talk about technology right now, especially AI, because if you see this magical stuff that it can do, basically, you stop to thinking about real use cases, because it's so fancy with the super easy access, you know, all these pictures with Gibi, you know.

Wydaje mi się, że to jest tylko fasadka, żeby te technologie nie były straszne dla normalnych ludzi. Ale poza tym, są rzeczywiste. Dlaczego przyjechałem tutaj i zapytałem, byś się z nami przyłączył. Mamy VMware AI i NVIDIA, prawda? Czy możesz opowiedzieć trochę o tym dla polskich ludzi? Bo to może być wszystko. To nie jest dokładnie to, co może być.

That's the concept. However, when we started to develop this platform, so it's built on top of the VCF platform, we started to think, okay, if we look at the AI ecosystem, the broad landscape, it's very wide, it's also very deep, and it's changing Names mentioned, Names mentioned, Names mentioned,

My, jak i inni ludzie, mówimy to tak samo. Nie próbujcie rozwiązać wszystko. Zrozumiecie konkretny zakres użycia, który chcecie rozwiązać i zaczynajcie tam. Nie idźcie na dół i próbujcie malować wszystko AI. Nie będziecie w stanie tego zrobić. Szczerze mówiąc, jeśli patrzymy na energię, na komputerową moc i na zasoby, które potrzebujecie, There is not enough power and AI resources for every customer in this world to do it at scale. That's simply not there, right? And if you start to understand that, then it's interesting like, okay, let's design our strategy to solve some of these things and then basically move on slowly.

To nie jest coś takiego jak... Names mentioned, Maciej Lelusz, I poza tym masz platformę AI, prawda? Tak, ale po raz pierwszy przeszliśmy do VMware, czy przeszliśmy do container runtime, ponieważ powiedzieliśmy, że powinniśmy być nieco opiniowani, aby dać łatwy metodę, aby zacząć z jakichkolwiek swoich usług AI.

Więc zamiast mówić, o, tutaj jest platforma, Now you basically have to find out everything yourself. We said no. We're going to help you along the way. We're not going to build everything because we have a very strong ecosystem with a lot of partners, but we will give you enough functionality to make your first steps. In essence, what we do with Private AI Foundation is we focus on Names mentioned, Maciej Lelusz, Frank Denneman, VMware, Broadcom

Wszystkie informacje znajdziecie w opisie filmu. Names mentioned in English. Wtedy, jeśli nauczysz się i rozumiesz, dla czego potrzebujesz AI, a nie tylko dla stworzenia zdjęć Studio GiBi, ale jakichś realistycznych scenariuszów, wtedy możesz odpocząć od tamtej strony, prawda?

That's a Jupyter notebook or a VS Code or whatever, right? But what we do with... At the end of the build your own spectrum, the DLVM and the AI Kubernetes clusters is we give you enough resources that's aligned with the technology stack. So to go a little bit more into detail, if you build a virtual machine or a Kubernetes environment with a container runtime, Musisz być świadomy o kierowcy, kierowcy GPU, ponieważ jest wiele bibliotek, które są polegające na pewnej wersji tego kierowcy. I dodatkowe biblioteki i dodatkowe elementy, takie jak Python lub inna biblioteka, muszą być polegane na pewnej wersji CUDA, wersji setu NVIDIA.

Ludzie bardziej często wybierają, powiedzmy, TensorFlow czy coś takiego. Widzimy, że to coraz bardziej popularne. Wybrałeś to, żeby zbudować platformę dla inżynierów, dla deweloperów, prawda? Tak. Co ta platforma robi? Myślę, że to jest dobre. Przechodzimy do tego zakresu użycia, ponieważ powiedziałeś, że jest to bezpieczne miejsce. Teraz weźmy zakres użycia tego DLVM, czy AI Cage Cluster. Zazwyczaj, co się dzieje, jeśli spojrzymy na Names mentioned, Maciej Lelusz, Frank Denneman, VMware, Broadcom, NVIDIA.

When you want to run such a model, you specify the local repository. The spin-up time for a model, getting it from storage into GPU memory, is much shorter. That can help with scaling and we can go into that as well. Jeśli zaczniemy od tego, jeśli wtedy powiedzmy, że mamy model, sprawiamy, że jest bezpieczny, bezpieczny, jest oświetlony. Teraz następną rzeczą, którą chcemy zrobić, jest to, że chcemy go uruchomić. Możesz zrobić dwie rzeczy. Możesz wywołać ten kluster AI-Kage i w zasadzie instalować wszystkie frameworky służące i wszystko to, co mamy w Fundacji Privat AI. Mamy model runtime. Więc przy użyciu CLI lub UI, naukowca albo deweloper mówi, OK, daj mi moduł do końca modelu.

You don't do that for production. Tell me one thing here, because I see this pipeline, you know, that is going in, you know, there, there, another, this person can use it, this, how we can collaborate on that stuff, you know, that's, that's pretty amazing. But, you know, usually those infrastructures are extremely expensive, because of the equipment, GPUs, generally speaking, it's not the, it's not the cheapest hobby, let's say. And... Nope. Do we have any option in VCF plus private AI with NVIDIA? Have some kind of tracking of spending, you know, billing, something that it's allow organizations to basically tell to their users, hey, maybe, you know, five models in the same time when you don't use them, cost you too much, you know, just...

The reality is that instead of thinking about how can I expose my AI platform to my own customers, now I'm going to give it to my own personnel. To pozwala im reagować w sposób bardziej ludzki, szybciej, w sposób bardziej skuteczny. Wtedy możesz iść dalej i powiedzieć, ok, czekaj, czekaj, czekaj, czekaj, czekaj, czekaj, czekaj, czekaj, czekaj, czekaj, czekaj, czekaj, czekaj, czekaj, czekaj, czekaj, czekaj, czekaj, czekaj, czekaj, czekaj. Names mentioned, Names mentioned, Names mentioned,

W zasadzie, myślę, że ludzie mogą wyjąć z tej rozmowy to, że jeśli masz proces, bez względu na to, w jakiej części organizacji jesteś, powinieneś spojrzeć na rzeczy, które są wyjątkowymi dla ludzi, które w zasadzie nie sprawiają, że ich praca jest bardziej interesująca, oznaczająca coś. Maybe not meaningful, but kind of things that is a toil for people. And to try to automate them, because some of them, like filling up the blanks, right, or looking into the connections between the events, can be at least summarized by AI, right?

It's not about making decision and put AI on entire process, but just the argument. Wielu specjalistów jest w stanie zainteresować się tym, co jest ważne, tak jak lekarz. Musi ubezpieczać życie ludzi, a nie po prostu wypełniać papiery. I myślę, że wiele specjalistów jest tak. Pamiętam, że zespoły inżynierii, które prowadziłem w tamtych czasach, nienawidzili tego, tych cykletów, tego papieru. They will give everything that AI will fill the tickets after that with the standard reply or whatever, you know, or I'll tell them like, hey, this is the pattern, the guy is doing it every three weeks, you know, just click and that, that, you know, and it will solve the problem because it's the last five years, the same situation.

How to streamline that? Because it doesn't sound that easy in the first place. I think you have a solution for that as well. Yeah, with AI nothing is really easy, but you can make it easier, right? And so one of the things that we do, so when we're looking at the retrieval augmented generation pipelines, there are actually two. So there's the ingestion pipeline, getting data into the system to be retrieved, and the retrieval pipeline is the other pipeline. To get it to the customer. Yeah, exactly, right? So basically to figure out, okay, what knowledge does my system have? Now, You can identify certain steps in the ingestion pipeline. Your data source, your ingestion framework, what's called an embedding model.

To pipeline jest coś, co można budować z tego, co nazywa się systemem data, indeksyzacji i utrzymania systemu VMI Pivot AI Foundation. Nazywamy to wewnętrznie RAC, co pozwala na budowę tego pipeline. Kolejną rzeczą, którą dajemy, jest to, co nazywa się agent-builder. The primary use case of the agent builder is to build that pipeline. These are my data sources, this is my vector database, this is my embedded model, this is my completion model. Go build it. And so tie it all together because you need to have a lot of glue. Those are the elements what we currently offer within private AI foundation with NVIDIA.

Są organizacjami, które pracują z AI od początku. Może budują ich modeli, bo są świadomi, że nie są tak wielkie, ale używają czegoś, co jest tam i używają to w bardzo profesjonalny sposób. Mogą zwiększyć możliwość prywatnej AI z NVIDIA, z Broadcom. Names mentioned, Names mentioned, Names mentioned,

Wiele razy z naszymi klienciami słyszymy, że zbudujmy model i mówią, że kochani, kochani, kochani, kochani, kochani, kochani, kochani, kochani, kochani, kochani, kochani, kochani, kochani, kochani, kochani, Nie zapomnijcie zasubskrybować kanał i zafollowować mnie na Facebooku! You are focusing VMware in Broadcom on the infrastructure for AI. Because if you will start to be focused on the use cases, you know, like the specific things, you stop to be infrastructure company and you start to be some crazy startups, ecosystem solving everybody's problem, right?

And I don't believe that it's a... Good place to be. It's more like you enable the platform and maybe in the future some marketplace to buy fast kind of solution on AI. It means this model GUI and stuff like that to run on private AI with NVIDIA from Broadcom plus Tanzu platform, right? Because basically this is it. They deliver that in VMs or containers and they use packed models with some tuning, right? Nie jest to nawet bardzo dużo, szczerze mówiąc. Dla wielu usług, po prostu weźcie swoje dane, nie jest ich tak dużo zmienione. Chodźcie, jeśli jesteście lofem, ile razy otworzyliście nowe usługi. Może trzy razy, cztery razy. Nie jest to trzy tysiące razy.

Jeśli jesteście, to zapytajcie mnie. Na pewno znajdę rozwiązanie, nie martwcie się. Ale jednak, chodzi o to, że zazwyczaj mamy mniejsze potrzeby niż oczekiwaliśmy od początku. Nie musisz stworzyć czegoś nowego. Wybierz najlepszą warstwę. Użyj jej dla swoich danych. Check the process, where is the toil for the people. And then if you introduce the AI solution on top of that, this is really something that it will change their life. Because if you just give them a tool to generate lovely images, you know, it's going to be fun for five minutes. Everybody will talk about it and link it in YouTube and blah, blah, blah, but nobody really cares. W końcu, myślę, że rozumiem proces, rozumiem wartość, niektóre przypadki używania.

Yeah, so there are private AI services like the model runtime, the model gallery, data analytics and retrieval, and the agent builder. And now for us, I believe it's the next step of providing more integral integration or lateral integration, more additional and easier ways of consuming this, right? And of course, we're going to figure out to improve infrastructure consumption. We're going to improve monitoring and observability and security, of course, right? I think, sorry? Tak, tak, bo jak powiedziałem na początku, w tym świecie nie mamy wystarczająco wystarczających energii i zasobów, aby stworzyć AI na poziomie każdej firmy.

Więc musimy zrozumieć sposób, który daje nam najlepszą możliwość konsumowania tych zasobów, które mamy. Jak możemy zrobić to w najbardziej efektywnym sposób i jak możemy sprawić, że nasza organizacja będzie sukcesowa? Good to hear that Frank. I really appreciate what you're doing there because you're bringing the AI construct in general to the data center when for many companies it belongs from the very beginning. Because like you said, not always sending your data somewhere that it's not entirely under your control make you feel very comfortable. Bardzo mi się to podoba. Jak zwykle, miło Cię tutaj poznać.