Dockerowe nowości — Offload, A2A, MCP i Compose z turbo 🐳🚀

Dzień dobry. Dzień dobry. Wakacyjny odcinek numer jeden. Dokładnie. Czyli numer szesnaście w ogóle, których miało nie być. Ale w związku z tym, że się pokazało trochę nowości ze świata dockerowego, a jako docker captain potrzebuję mieć punkty, więc nagrywamy ten odcinek. Ale przynajmniej szczerze, nie? Tak, ale nie. Moim zdaniem na przykład, myśmy już tak rozmawiali troszeczkę wstępnie, że tam są pewne rzeczy, które nie do końca części z nas się podobają z pewnego powodu, o którym powiemy za chwilę i jest to Słuszne stwierdzenie, aczkolwiek dlatego w całości to nie jest takie naprawdę... Brakuje tego rodzynka, czy tam wisienki, czy niższej truskawki.

Natomiast ciasto jest całkiem przyzwoite i chcielibyśmy Wam dzisiaj pokazać takie krótkie demo czegoś, co Docker ogłosił dwa dni temu, trzy dni temu, coś takiego. Kilka rzeczy tak naprawdę się pojawiło. Wszystkie związane, albo inaczej, dwie związane z AI, oczywiście, jedna pośrednio związana z AI. Zacznę od tej pośrednio związanej z AI. Docker umożliwia dzisiaj, ja to nazywam pracuj w chmurze tak jak pracowałeś lokalnie. Coś co się nazywa Docker Offload. To pozwala na offload naszego work loadu całego do chmury.

A dalej pracujemy dokładnie tak samo jak pracowaliśmy. Dokładnie tak samo. Nawet wręcz z tym, że jeżeli mamy jakiś port To, żeby sobie na niego wejść, wchodzimy jako local host. Więc to jest naprawdę bardzo fajne. I co to daje? To daje większy power i przede wszystkim GPU, które Docker udostępnia. Nie jest to oczywiście darmowe. Darmowo mamy 300 minut, przynajmniej na dzień dzisiejszy. Później już trzeba sobie za to troszeczkę płacić. Zalinkujemy artykuł, który wysmażyłem na ten temat na Medium. Tam jest ten link. Wadą tego rozwiązania, tak jak powiedziałeś, Rafał, jest to, że to jest jednak tylko i wyłącznie Docker Cloud.

Więc nie wyjdziemy sobie gdzieś indziej. No tak, tu przyznaję wada jednak, mimo wszystko. Aczkolwiek podejrzewam, że dużo więcej pracy i dużo więcej zachodu i dużo więcej kombinowania wymagałoby na przykład to, jakbyśmy sobie chcieli to zrobić ten offload, nie wiem, do GCP albo do jakiegokolwiek innego clouda, bo to jednak Docker w swoim tym Obrębie, może sobie to w jakiś tam sposób ładnie zrobić. Więc to jest jedna rzecz. To zaraz pokażemy, jak to działa. Albo, wiesz co, pokażmy od razu, bo tą drugą część to sobie będziemy musieli pokazać troszeczkę inaczej. Jak widzicie, tutaj mój ekran jest już widoczny, prawdopodobnie.

Literki są odpowiednie. Czy stary, ślepawy Rafał widzi? No i ten... To ja nie widzę. Dobra, więc tak. Po pierwsze, musimy mieć najnowsze wersje Docker Desktop. To jest, powiedziałbym, kolejny minus. Aczkolwiek to jest część tego pakietu Docker desktopowego. Jeżeli mamy sobie zainstalowanego tego najnowszego Dockera, to mamy dostępną komendę docker offload. I żeby sobie sprawdzić jak wyglądamy, zrobimy sobie status. W tym momencie, jak widzicie, ten Docker Offload jest zatrzymany, więc ten HotelError jest znanym błędem już w Dockerze dla Windowsów, na Linuxach i na Macach się nie pojawia.

Kilku z kapitanów już o tym HotelErrorze im pisało, będą nad tym dziubać. Więc teraz, żeby zobaczyć, co możemy zrobić, ja sobie otworzę tylko Gdzieś tutaj drugiego terminala, przesunę sobie go na bok, bo nie pamiętam co gdzie mam. O tak, to jest to. Uruchomimy sobie takiego Dockera. Taki kontener, NVIDIA cuda. I uruchomimy komendę NVIDIA-SMI. Chcemy sprawdzić, jakie GPU mam tutaj u siebie. Oczywiście mamy tutaj jeszcze GPU z All, więc po prostu wszystkie GPU, jakie tutaj mam, będą wzięte.

W starszych kartach to jeszcze tak fajnie nie działało. Dokładnie. I to się tyczy również Kubernetesu, to się tyczy konteneru, to się tyczy rozdzielania zasobów karty, ale to taki malusieńki względ. Dokładnie tak, dokładnie masz rację. To wyjaśniłeś, można powiedzieć, dlaczego tu jest voltage tak naprawdę, że chcę wykorzystać wszystkie te, które tutaj są. Dobra, no to wracamy do Docker Offload. Offload start. Wystartujemy sobie to dzielostwo. Przepraszam, tą fajną rzecz. Pierwsze co, wybieramy sobie konto, na którym chcemy to uruchomić. Czy chcemy Support GPU? No tak, chcemy. I to się nam uruchamia. I teraz taka ciekawostka też jest, że w tym momencie Docker Desktop się przełączył troszeczkę.

Przede wszystkim jest inny kolor tła. Jak wyłączę tego Docker Offloada, to zobaczycie, to pokażę to jeszcze raz. No i pokazuje się też ta część tutaj, więc sobie możemy pooglądać różne statystyki itd., itd. I zróbmy to samo. Ten sam kontener. To chwilę zajmie. Co też zwróciłem uwagę kolegom z Dockera, że tak, no teoretycznie, faktycznie jest to ściągane lokalnie. Ale dla mnie, tu przed moim komputerem, to nie jest lokalnie. Więc przez pierwszą chwilę miałem tak, czekaj, gdzie to się ściąga? Przecież lokalnie ja już to miałem przed chwilą, co widzieliśmy też. To się musi ściągnąć, to chwileczkę trwa. W tym momencie Docker oferuje, powiedzmy, taki, nie nazwałbym tego persistent sesję.

To się pojawi. Czyli jak wyłączamy Docker Offload, to do pięciu minut, o ile dobrze pamiętam, ta sesja jest zamrożona. Więc możemy wrócić do tych kontenerów później. O, zaczęło się uruchamiać. No i teraz mamy tutaj NVIDIA L4. I tak naprawdę, z punktu widzenia, jak ja sobie zrobię Mam tylko ten kontener, bo to jest wszystko niby lokalnie, ale tak naprawdę w tym cloudzie. Jak wyłączę offload, On mi się zapyta, czy chce zabić wszystkie sesje. No tak, chce zabić. I zobaczcie, teraz jak sobie zrobię Docker Images, to mam faktycznie swoje lokalne obrazy.

Ponieważ w Compose dzisiaj możemy w bardzo ładny sposób na tym najwyższym poziomie tak naprawdę definiować właśnie agenty, definiować MCP Gateway itd. To już nie wchodzimy poniżej, tylko mamy ten poziom, ten tutaj jeden tak naprawdę poziom, tak jak Tak definiujemy sobie poszczególne kontenery de facto. A, jeszcze do offloadu. Wszystko, co jest związane z komendami dockerowymi, robimy w Cloudzie. Wszystko, co nie jest związane z komendami dockerowymi, np. właśnie Compose itd., edytowanie plików, robimy lokalnie.

To też daje tą możliwość właśnie manewrowania troszeczkę i tak naprawdę kolega to fajnie napisał, że ten offload prawdopodobnie pomoże mu jeszcze, że tak powiem, wskrzesić jego starego MacBooka. No tak. Pytanie, jak mocno to będzie chciało obsługiwać, bo jeżeli bardzo mocno i bardzo długo, to być może jednak lepiej kupić tego Macbooka. Dobra, wracamy do naszego okienka i teraz przełączymy sobie tutaj na offload. Włączył nam się ładnie tutaj ten cały offload. Jak sobie zobaczymy status, To zobaczymy, że to tutaj mamy.

Dobra, ale zanim, to ja chciałem wam jeszcze tutaj pokazać Composa, który się nazywa DMR YAML. To jest Compose, który... Zaraz opowiem o tym repo, bo to repo jest dostępne. To jest Compose, który używa Docker Model Runner. Tutaj można też użyć OpenAI, ale ja chcę zamknąć wszystko w obrębie No właśnie, mamy tego Composa tutaj i budujemy sobie aplikację. Ta aplikacja działa w ten sposób, że przejdę sobie tutaj do ładnego okienka, które gdzieś tutaj sobie przygotowałem.

Tego bodajże tak. Ta aplikacja działa w ten sposób. To jest piękny rysunek, gdzieś narysowany. Trochę niżej. Użytkownik zadaje pytanie. To idzie przez audytora, który odpytuje coś, co się nazywa Critic Agent, które używa MCP Gateway właśnie do połączenia z DuckDuckGo, wyszukania odpowiedzi na pytanie. Później, jak dostaje tą odpowiedź, przechodzi przez Revisera, Który używając Docker Model Runera jakby konkluduje tą odpowiedź i zwraca do pytającego.

Można było definiować te modele na poziomie tak, jak mieliśmy zdefiniowane MCP Gateway, ale to też od jakiegoś czasu, to nie od dłuższego czasu, od jakiegoś miesiąca, dwóch może, coś tego typu. No dobra, mamy mamy tego I teraz tak, ten Compose on się odpali na moim PC, ale nie przejdzie. Pomimo tego, że jest stosunkowo mały model. Natomiast my sobie tutaj odpalimy coś większego. Tutaj gdzieś powinno być. Tak, odpalimy sobie to. Czyli odpalam Compose'a z tym DMR-em, którego Wam pokazałem i Compose'em Offload.

Może jeszcze pokażmy tego Offload. Compose Offload. Jest bardzo króciutki. Tak naprawdę tutaj zwiększamy tylko to okno. Możemy zwiększyć to okno tak naprawdę do dużo większej. Tutaj jest tak naprawdę to też najmniejsze, ale nawet to najmniejsze u mnie nie działało. Więc tak, mamy to, odpalamy to chwileczkę. Będzie szło, więc tutaj muszę zagadać troszeczkę. Musimy w sumie zagadać. To na podstawie tego, że ma w nazwie Offload, rozpoznajesz, ma offloadować zasoby? Nie, nie, nie. To musisz włączyć ręcznie. To chodzi o to, że w tym repozytorium tutaj masz tak naprawdę dostępny Compose zwykły.

Masz Compose DMR, a Offload tutaj jest jakby nadpisaniem niektórych parametrów, tylko i wyłącznie. Bo teraz tak, w DMR-ze, zobaczmy to tutaj, w DMR-ze masz 4BQ4.0, taki model. A w Offloadzie masz większy. No dobra, ale skąd on wie? To jest bardzo dobre pytanie. W tym momencie nie ma opcji, jest albo to, albo to. Albo masz offload włączony, albo masz go wyłączonego.

Więc jeżeli masz włączony, a uruchomiłeś sobie wcześniej jakieś kontenery lokalnie, zapomnij o nich. Wszystko się dzieje po tamtej stronie. Dobra, czyli proszę Cię tak naprawdę uruchomić takiego screena, powiedzmy w naszej nomenklaturze screena albo sesję zsh, otwiera Ci shella, wrzuca Ci tty na Twojego kompa, no i tak naprawdę pasujesz na jakiejś maszynie wirtualnej na Cloudzie Dockera, który jest widoczny we wszystkich tych kompozach, we wszystkich komponentach i tak naprawdę jest wknięty do Clouda, więc na poziomie interfejsów, no jest to w miarę wygodne. Jest to w miarę wygodne, tak. Do takiego lokalnego faktycznie edytowania, do takiej lokalnej pracy, sprawdzania pewnych rzeczy, to jest bardzo fajny temat.

Do sprawdzania dosyć szybko, bo o ile dobrze pamiętam, 0,01 kosztuje Offload czy Cloud bez GPU, a 0,015, oczywiście w dolarach, kosztuje GPU. Za minutę. To już trochę jest. Prawdopodobnie lepiej wziąć jakąś maszynkę GPU gdzieś indziej w Cloudzie i zrobić to bez offloadu. Pomysł fajny. Generalnie samo rozwiązanie offloadu daje super możliwości lokalnej edukacji, tworzenia sobie czegoś lokalnie.

Na Enterprise tego nie skorzystają, bo utrzymywanie czegoś takiego na poziomie pod kątem security, no i aż mi te reakcje CSO... Oj daj tak, o tak, o tak, o tak. Dlaczego? Co to się dzieje? Jak to się łączy? No sam już zadał takie pytanie. Tak, tak, dokładnie. I niby masz model, masz wszystko ściągnięte lokalnie, ale to nie jest lokalnie. Tak, dokładnie, więc... To rozwiązanie nie jest fajne, ale na przestrzeni wszystkiego, co ostatnio robi Docker, czyli mamy Ascordona, Compose Bridge'a, który jest przerzuceniem na interfejse Kubernetes Foundry itd., miejsce konfiguracji Compose'a.

Mamy MCP Catalog, tego modula runnera. Ciekaw jestem, jak to rozwijało, bo już o tym rozmawialiśmy. Więc to jest fajne. Tam są opcje przerzucenia całego ekosystemu Dockera w coś większego. I widać, że to się rozwija. Tylko brakuje mi takich opcji, które są super, hyper, enterprise, trendy. Gdzieś właśnie czegoś takiego, o czym rozmawialiśmy w jednym z pierwszych naszych odcinków, że brakuje tego kolejnego kroku wyżej, takiego production ready, nazwijmy to, takiego właśnie enterprise'owego. Pomimo tego, że to jest niejako celowane w enterprise, no bo to inaczej.

Może nie tyle celowane w enterprise, ale gdzieś tam w zamyśle przynajmniej w jakiś sposób jest, no bo to jest część Docker desktopu. Czyli już rozwiązania od pewnego momentu płatnego. Tak, i to jest jedna z tych rzeczy, którą moim zdaniem, przynajmniej jak ja bym to budował od zera, to bym zrobił jednak tego doktora za darmo, albo na przykład bym zrobił jakiś poziom abonamentowy i wówczas w ramach tego abonamentu mam na przykład tego floata w jakichś tam pakietach itd. By the way, AWS w imieniu FreeTR, nie wiem czy słyszałeś. O, nie słyszałem nawet o tym. No to jutro będą posty.

To sobie poczytam. Do czego też Was zachęcamy. Dokładnie, zachęcamy. I teraz zobacz, masz implement docker desktopie, tak jak masz kursory. Masz implement kursorowy, masz dostęp do modeli w jakiejś tam puli. Teraz wyobraź sobie, że masz w tym docker desktopie, w kontenerze, z kursora odpalić jakąś sesję. O to chodzi, że masz je w kontenerze, który ma twój własny ecosystem, odpalić własny kod. Jeszcze do tego podkręcione elema. W tej chwili w żadnym kursorze, w żadnym PS4 to nie działa, a ty masz to zrobić za pomocą Dockera, wyjść na zewnątrz do jakiegoś API kursora. Czyli ty robisz coś, czego nikt nie potrafi. Docker idealnie mógłby się w to wpasować, tylko musiałby niestety włożyć w niego mrowisko.

Z mojej perspektywy, patrząc na to, w jakiej sytuacji jest Docker, oni nie mają wyjścia. Muszą pałować to mrowisko tym kijem. Także te mrowy będą latać po całym lasie. Także mają opcję. To idzie w fajnym kierunku. Brakuje tylko takiego, wiesz, tej wisienki na torcie, tej kropki na dnie. Zobaczcie, teraz tak, ja cały czas mam offload, wpisuję sobie localhost i mam tą aplikację postawioną. I teraz zrobimy sobie tak, zadamy jakieś pytanie, nie wiem, o co możemy zapytać. What is the age of universe? Na przykład. Tu się coś dzieje.

Czyli Critic wziął, poszło do Revizora i prawdopodobnie jest tak, że ten model lokalny poprzez DMR-a, on się zakręcał całkiem sporo czasu. Ja to mogę spróbować jeszcze poanalizować, zobaczyć co tam jest z tym. Możemy też zaprosić kogoś związanego z tym projektem z Dockera, żeby nam opowiedział troszeczkę więcej. Dajcie nam znać w komentarzach. Wreszcie, dajcie nam znać w komentarzach. Nie, nie narzekam. Dajcie nam znać w komentarzach, czy chcecie taki odcinek. No i co? Tak to wygląda de facto. Wiadomo, to ma problemy wieku dziedzinnego.

Wiadomo. To dopiero co powstało. Myśmy to testowali jako kapitanowie 2-3 dni przed oficjalnym release'em. Więc tak naprawdę to jest, można powiedzieć, świeżynka. Ale teraz jak wezmiemy sobie, zrobimy tak, muszę zatrzymać, więc zatrzymam sobie te kontenery. Tutaj je będę miał. Fajnie widać, że mamy jakiś agent, mamy MCP Gateway, gdzie to wszystko nam się gdzieś tutaj potworzyło. Jak zrobimy docker offload stop?