Mentionsy

🎙️ Witaj w 120 odcinku podcastu "Biznes Myśli"! Dzisiaj zagłębiamy się w temat wytrenowania własnych modeli LLM, czyli dużych modeli językowych, pod własnym dachem. Gościem odcinka jest Marek Kozłowski, ekspert od NLP (Natural Language Processing) i machine learning, pracujący w AI Labie w OPI (Ośrodku Przetwarzania i Informacji, Państwowy Instytut Badawczy).

W tym odcinku rozmawiamy o:
Dlaczego trenowanie własnych modeli LLM jest tak ważne dla rozwoju Polski? Marek wyjaśnia, dlaczego własne modele LLM mogą być kluczem do rozwoju nowoczesnej gospodarki, innowacyjności i kompetencji.Jak wygląda proces trenowania modeli LLM? Marek krok po kroku omawia poszczególne etapy uczenia, od pre-trainingu, przez fine-tuning, aż do procesu ewaluacji i walidacji. - Jakie są konkretne wyzwania i możliwości związane z budową ekosystemu modeli LLM w Polsce? Marek omawia inicjatywy takie jak konsorcjum PLLuM i stowarzyszenie Speaklish, a także dzieli się swoimi przemyśleniami na temat potencjału rozwoju modeli LLM w naszym kraju.Kluczowe punkty odcinka:
LLM to coś w rodzaju nowoczesnej waluty: posiadanie własnego modelu LLM może dać przewagę konkurencyjną i wpłynąć na rozwój gospodarki i innowacyjności.Dane to klucz: jakość i ilość danych są kluczowymi elementami determinującymi jakość modeli LLM.Ekosystem jest ważniejszy niż pojedynczy model: budowanie ekosystemu modeli LLM, z odpowiednim zestawem danych, narzędzi i kompetencji, jest niezbędne do osiągnięcia sukcesu.Dodatkowo:
Marek opowiada o doświadczeniach i projektach realizowanych w AI Labie w OPI, w tym o systemie antyplagiatowym JSA i modelach Qra i MMLW.Podnosi kwestię otwartości modeli LLM i podkreśla, że kluczowe jest tworzenie modeli dostępnych dla wszystkich.Zapraszam do wysłuchania tego inspirującego odcinka!


Spis treści:
▶00:00:00 - Wprowadzenie
▶00:01:35 - Kim jest Marek Kozłowski?
▶00:03:35 - OPI i AI Lab - co to jest i czym się zajmuje?
▶00:10:40 - Historia deep learningu i NLP w Polsce
▶00:12:40 - Jakie książki Marek ostatnio czytał?
▶00:16:10 - OPI - software house I laboratoria
▶00:20:00 - Projekty zrealizowane przez AI Lab w OPI
▶00:25:00 - Dane i ich znaczenie dla budowy modeli LLM
▶00:30:10 - Definicja modeli LLM
▶00:33:00 - Reprezentacyjne i generatywne modele LLM 
▶00:37:00 - OpenAI i Google - historia sukcesu i porażki
 ▶00:40:00 - Dane jako klucz do sukcesu
▶00:41:35 - Etapy uczenia modeli LLM 
▶00:53:00 - Dlaczego warto budować modele LLM pod własnym dachem?
▶00:56:00 - Konsorcjum PLLuM 
▶01:06:00 - Ekosystem usług oparty o AI
▶01:14:00 - Racją stanu
▶01:16:00 - Przyszłość AI w Polsce
▶01:17:00 - Otwartość modeli LLM 
▶01:17:40 - Podsumowanie i zaproszenie do kolejnych odcinków




Pamiętaj o:
Subskrybowaniu kanału!Komentarzach i ocenie odcinka.Udostępnieniu podcastu innym!Do zobaczenia w kolejnym odcinku Biznes Myśli!

LinkedIn:
Marek Kozłowski: https://www.linkedin.com/in/marek-kozłowski-phd-97a20945/Vladimir Alekseichenko: https://www.linkedin.com/in/vladimiralekseichenko/Link: https://biznesmysli.pl/sztuczna-inteligencja-pod-wlasnym-dachem
Newsletter: https://biznesmysli.pl/newsletter

Modele:
https://huggingface.co/core42/jais-13bhttps://huggingface.co/OPI-PG/Qra-13b https://huggingface.co/speakleash/Bielik-7B-v0.1Benchmarks:
KLEJ: https://klejbenchmark.com/leaderboard/MTEB: https://huggingface.co/spaces/mteb/leaderboard