Mentionsy
didaskalia
didaskalia
18.01.2026 18:00

Polski Bielik obnaża ograniczenia ChatGPT || Remigiusz Kinas - didaskalia#170

- Jakie są przewagi Bielika w stosunku do innych modeli językowych? - Czym jest suwerenność technologiczna w kontekście AI? - Jak trenuje się duże modele językowe? - Czy AI jest „czarną skrzynką”? Na te i więcej pytań odpowie Remigiusz Kinas, ekspert w dziedzinie uczenia maszynowego, jeden z twórców polskiego modelu językowego (LLM) o nazwie Bielik. Zapraszamy do oglądania kolejnego odcinka programu „didaskalia” Patrycjusza Wyżgi. Najlepszy fragment Po co nam Bielik? Początki polskiego modelu Suwerenność LLM-ów Wartość danych Podejście Yanna LeCuna Język polski w AI Ewolucja karty graficznej Kwestia komputerów kwantowych Jak wygląda trenowanie modelu? Czy model to czarna skrzynka? Debata wokół świadomości modelu Tokenizacja AI Biotechnologia napędzana AI Rozwój AI w 2026

GPU AGI CPU AI Marii Konopnickiej Microsoft RL Yann LeCun LLM MLP AGH NVIDII Hopper Kuby Klawitera Kaglu

Szukaj w treści odcinka

Wyczyść
Znaleziono 3 wyniki dla "MLP"

I teraz jak ja mówię, że LLM to jest 80% mnożenia macierzy, czyli mnożenie macierzy mamy na warstwach projekcyjnych, czyli tam są takie warstwy projekcyjne, później warstwy atencyjne, później mamy takie warstwy, które są warstwami jeszcze MLP, czyli FFM, czyli to są takie warstwy, które dodatkowo jeszcze

Żeby jak najmniej zepsuć ten model wyjściowy, czyli z 11b zrobiliśmy model 7b, usuwając pewne warstwy właśnie transformera i prunując model wszerz, czyli niektóre elementy w elementach MLP, czyli to są takie, nad atencją są dodatkowe takie elementy MLP,

I tam można też zmniejszyć rozmiary, bo myślę, że około 60% w ogóle tego, czy nawet 70% zajętości modelu jest w tych modułach MLP i można tam troszeczkę je zmniejszyć i odzyskać wielkość modelu.

Ostatnie odcinki