evoilutioncast 45: How to build a solid foundation for AI on VCF?

Wydaje mi się, że to jest tylko fasadka, żeby te technologie nie były straszne dla normalnych ludzi. Ale poza tym, są rzeczywiste. Dlaczego przyjechałem tutaj i zapytałem, byś się z nami przyłączył. Mamy VMware AI i NVIDIA, prawda? Czy możesz opowiedzieć trochę o tym dla polskich ludzi? Bo to może być wszystko. To nie jest dokładnie to, co może być.

So we build, before we basically go into the use cases, we build a platform that looks at what do you need. Names mentioned in English. Names mentioned, Maciej Lelusz, Frank Denneman, VMware, Broadcom, NVIDIA. Names mentioned, Maciej Lelusz, Frank Denneman, VMware, Broadcom, NVIDIA.

That's a Jupyter notebook or a VS Code or whatever, right? But what we do with... At the end of the build your own spectrum, the DLVM and the AI Kubernetes clusters is we give you enough resources that's aligned with the technology stack. So to go a little bit more into detail, if you build a virtual machine or a Kubernetes environment with a container runtime, Musisz być świadomy o kierowcy, kierowcy GPU, ponieważ jest wiele bibliotek, które są polegające na pewnej wersji tego kierowcy. I dodatkowe biblioteki i dodatkowe elementy, takie jak Python lub inna biblioteka, muszą być polegane na pewnej wersji CUDA, wersji setu NVIDIA.

Ludzie bardziej często wybierają, powiedzmy, TensorFlow czy coś takiego. Widzimy, że to coraz bardziej popularne. Wybrałeś to, żeby zbudować platformę dla inżynierów, dla deweloperów, prawda? Tak. Co ta platforma robi? Myślę, że to jest dobre. Przechodzimy do tego zakresu użycia, ponieważ powiedziałeś, że jest to bezpieczne miejsce. Teraz weźmy zakres użycia tego DLVM, czy AI Cage Cluster. Zazwyczaj, co się dzieje, jeśli spojrzymy na Names mentioned, Maciej Lelusz, Frank Denneman, VMware, Broadcom, NVIDIA.

Names mentioned, Maciej Lelusz, Frank Denneman, VMware, Broadcom, NVIDIA. You can download LAMA, the one from Meta, the foundation model from Meta. That means that you have a large language model that's already pre-trained with a lot of knowledge, with a lot of data. Or you can use Mistrals or Mixtrals, one of the European models. Or you can go to China and you can take a look at DeepSeq or whatever. The interesting thing is...

You don't do that for production. Tell me one thing here, because I see this pipeline, you know, that is going in, you know, there, there, another, this person can use it, this, how we can collaborate on that stuff, you know, that's, that's pretty amazing. But, you know, usually those infrastructures are extremely expensive, because of the equipment, GPUs, generally speaking, it's not the, it's not the cheapest hobby, let's say. And... Nope. Do we have any option in VCF plus private AI with NVIDIA? Have some kind of tracking of spending, you know, billing, something that it's allow organizations to basically tell to their users, hey, maybe, you know, five models in the same time when you don't use them, cost you too much, you know, just...

I need to make sure that that's the case, but we are thinking about, okay, can we somehow... Names mentioned, Maciej Lelusz, Frank Denneman, VMware, Broadcom, NVIDIA. Names mentioned, Maciej Lelusz, Frank Denneman, VMware, Broadcom, NVIDIA. Names mentioned, Maciej Lelusz, Frank Denneman, VMware, Broadcom, NVIDIA

So it's a faster way, it's an efficient way of doing your job. Names mentioned, Names mentioned, Names mentioned, Names mentioned, Maciej Lelusz, Frank Denneman, VMware, Broadcom, NVIDIA. Names mentioned, Maciej Lelusz, Frank Denneman, VMware, Broadcom, NVIDIA.

To pipeline jest coś, co można budować z tego, co nazywa się systemem data, indeksyzacji i utrzymania systemu VMI Pivot AI Foundation. Nazywamy to wewnętrznie RAC, co pozwala na budowę tego pipeline. Kolejną rzeczą, którą dajemy, jest to, co nazywa się agent-builder. The primary use case of the agent builder is to build that pipeline. These are my data sources, this is my vector database, this is my embedded model, this is my completion model. Go build it. And so tie it all together because you need to have a lot of glue. Those are the elements what we currently offer within private AI foundation with NVIDIA.

Są organizacjami, które pracują z AI od początku. Może budują ich modeli, bo są świadomi, że nie są tak wielkie, ale używają czegoś, co jest tam i używają to w bardzo profesjonalny sposób. Mogą zwiększyć możliwość prywatnej AI z NVIDIA, z Broadcom. Names mentioned, Names mentioned, Names mentioned,

And I don't believe that it's a... Good place to be. It's more like you enable the platform and maybe in the future some marketplace to buy fast kind of solution on AI. It means this model GUI and stuff like that to run on private AI with NVIDIA from Broadcom plus Tanzu platform, right? Because basically this is it. They deliver that in VMs or containers and they use packed models with some tuning, right? Nie jest to nawet bardzo dużo, szczerze mówiąc. Dla wielu usług, po prostu weźcie swoje dane, nie jest ich tak dużo zmienione. Chodźcie, jeśli jesteście lofem, ile razy otworzyliście nowe usługi. Może trzy razy, cztery razy. Nie jest to trzy tysiące razy.