BM127: Lokalne modele AI: Twoje dane, Twoje zasady
Odkryj potęgę lokalnych modeli AI! Uruchom je na swoim laptopie lub serwerze.Czytaj: https://biznesmysli.pl/lokalne-modele-ai-twoje-dane-twoje-zasady❗Obserwuj mnie na LinkedIn https://www.linkedin.com/in/vladimiralekseichenko✔ Subskrybuj kanał: / @DataWorkshop 👍 Zostaw like! 📢 Poleć ten podcast znajomym zainteresowanym praktycznym wykorzystaniem AI w biznesie!🔑 Dowiesz się:- Jakie są zalety i wady korzystania z ChatGPT przez stronę internetową vs. API OpenAI lub chmury Azure.- Czym są modele lokalne, self-hosted, open source i offline oraz jakie dają możliwości.- Jakie narzędzia ułatwiają uruchamianie i dostosowywanie lokalnych modeli, np. Ollama, LM Studio, Jan.ai, llama.cpp, OpenWebUI.- Jak lokalne modele językowe wpływają na bezpieczeństwo i prywatność danych.- Jak wykorzystać lokalne modele do transkrypcji audio, analizy obrazu i innych zadań biznesowych.- Jakie są wyzwania i ograniczenia związane z korzystaniem z lokalnych modeli.🔗 Wspomniane narzędzia- Ollama: https://ollama.com- LM Studio: https://lmstudio.ai- Jan.ai: https://jan.ai- OpenWebUI: https://openwebui.com- llama.cpp: https://github.com/ggerganov/llama.cpp- whisper.cpp: https://github.com/ggerganov/whisper.cpp💬 Podziel się w komentarzach swoimi doświadczeniami z lokalnymi modelami AI. Jakie widzisz zastosowania w swoim biznesie?Słuchaj/czytaj na innych platformach:📌 Spotify: https://open.spotify.com/show/3ZUaHommHHZU6b4WJiyV2I📌 Google Podcasts https://music.youtube.com/playlist?list=PLWOCRT27Z94XZzwcRI9-ExMyUXeBrF3W_📌 Apple Podcasts https://podcasts.apple.com/us/podcast/biznes-myśli/id1215290277📌 Spreker: https://www.spreaker.com/podcast/biznes-mysli--2214604#llm #ai #machinelearning #llama #datascience #genai 🎙️ W tym odcinku:0:32 - Wprowadzenie do świata LLM i ich biznesowego potencjału5:48 - Publiczny ChatGPT vs bezpieczeństwo danych firmowych11:46 - Rewolucja open source: modele Llama dorównują komercyjnym rozwiązaniom17:15 - Ollama i LM Studio: narzędzia do lokalnego uruchamiania AI24:51 - Jan.ai i trend małych modeli językowych29:32 - Korzyści z lokalnych modeli AI: zgodność z GDPR i EU AI Act35:35 - Whisper CPP: lokalna transkrypcja audio bez kompromisów44:44 - Kontrola nad modelami AI: klucz do sukcesu w biznesie49:08 - Phi 3.5 od Microsoft: mały model, wielkie możliwości
To jakie masz opcje, aby taki model wykorzystać? Czyli utylizować. Model jest wytrenowany i chcesz z tym modelem w ten czy inny sposób porozmawiać albo w jakiś inny sposób wykorzystać. Jakie są opcje? Otóż zaczniemy od mega początku. Najprostszy i najbardziej znany przypadek to jest czat GPT w takim sensie, że wchodzisz na stronę internetową, wpisujesz ten adres i możesz już rozmawiać. Właściwie jak pojawiły się 3,5 czaty GPT, to wtedy pełne rewolucje się pojawiły na świecie, no i też pewne rzeczy zaczęły się troszkę z nich kształcać. Z jednej strony fajne, że te tematy poszły w masę, ale z drugiej strony też ten przekaz często był niepoprawny, ale na razie zostawmy to na boku. Czyli to, co wtedy masz, to wchodzisz sobie na stronę, wpisujesz pełną wiadomość i dostajesz odpowiedź. W tym przypadku w ogóle się nie przyjmujesz niczym, jeżeli chodzi o infrastrukturę, na której to jest uruchomione, jaki tam serwer, jakie tam jest karty GPU.
Tam są takie różne ciekawostki, jakieś cache, można to współdzielić na różne sposoby, różne narzędzia, które to też umożliwiają. To jest jedna historia. Druga historia też, lepiej się uczymy charakteru, jak to wykorzystujemy narzędzia, na przykład jak wykorzystujemy w dni robocze, to wtedy to działa, w innych dniach po prostu to działa. ciekawostka, co to znaczy w praktyce, bo jeżeli to jest nasza karta GPU, to ona po prostu jest wtedy, kiedy jest, a kiedy my potrzebujemy dwa razy więcej kart, to jakby nie mamy, bo jak działamy fizycznie, czyli to jest komputer, który stoi u nas na przykład w budynku, czy tam gdzieś. Druga sprawa, jak mamy chmury, to faktycznie z chmurami jest to komfortowe, bo można sobie jakoś tam zrezerwować te karty, włączać, wyłączać. Tam są pewne niuanse, ale tam jest to bardziej elastyczne, tylko tam jest pewne wyzwanie pod warunkiem, znowu a propos danych, bo te dane gdzieś tam wysyłamy.
Tu trzeba uważać. To być może nie jest równoznaczne z tym, co mówiłem, jeżeli chodzi o wysyłanie wprost przez czaty GPT, ale nadal te dane wysyłamy. Zresztą na przykład to są takie Serwisy, które ja osobiście uwielbiam, jeżeli chodzi o takie szybkie uruchomienia GPU, na przykład takie RunPod lub podobne, to tam faktycznie, oni zrobili to na tyle teraz wygodnie, kiedy ty potrzebujesz to szybko, nawet na poziomie Pythona, możesz podnieść maszynę, nawet na takie duże modele, jak na przykład Lama, ta trójka 400 parametrów, 400 miliardów, ponad 400 miliardów parametrów, szybko uruchamiasz, przez moment, kiedy wykorzystujesz, to wykorzystujesz, później ją składasz i to generuje ci minimalny koszt, ale pamiętaj, to zawsze jest tak, że jak jest wygodne, to jest też ryzyka, to zawsze to weźmiesz obok siebie, czyli jak coś się staje bardziej wygodniejsze, jeżeli chodzi o stworzenie pewnych rzeczy, to gdzieś tam może się być ryzyko. W tym przypadku ryzyko polega na tym, że skąd możemy gwarantować, że dane, które tam wysyłamy, gdzieś tam właśnie nam nie wyciekną.
Pokazano wszystkie 3 dopasowania. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.
Podcast powstaje przy wsparciu firmy Data Workshop.
Rozdziały i streszczenia generowane automatycznie. Pełna transkrypcja nie jest publikowana — wyszukaj frazę, aby zobaczyć dopasowane fragmenty.
„Podcast powstaje przy wsparciu firmy Data Workshop."
Kliknij, aby znaleźć fragmenty, w których pada.
Czytaj: https://biznesmysli.pl/lokalne-modele-ai-twoje-dane-twoje-zasady
❗Obserwuj mnie na LinkedIn https://www.linkedin.com/in/vladimiralekseichenko
✔ Subskrybuj kanał: / @DataWorkshop
👍 Zostaw like!
📢 Poleć ten podcast znajomym zainteresowanym praktycznym wykorzystaniem AI w biznesie!
🔑 Dowiesz się:
- Jakie są zalety i wady korzystania z ChatGPT przez stronę internetową vs. API OpenAI lub chmury Azure.
- Czym są modele lokalne, self-hosted, open source i offline oraz jakie dają możliwości.
- Jakie narzędzia ułatwiają uruchamianie i dostosowywanie lokalnych modeli, np. Ollama, LM Studio, Jan.ai, llama.cpp, OpenWebUI.
- Jak lokalne modele językowe wpływają na bezpieczeństwo i prywatność danych.
- Jak wykorzystać lokalne modele do transkrypcji audio, analizy obrazu i innych zadań biznesowych.
- Jakie są wyzwania i ograniczenia związane z korzystaniem z lokalnych modeli.
🔗 Wspomniane narzędzia
- Ollama: https://ollama.com
- LM Studio: https://lmstudio.ai
- Jan.ai: https://jan.ai
- OpenWebUI: https://openwebui.com
- llama.cpp: https://github.com/ggerganov/llama.cpp
- whisper.cpp: https://github.com/ggerganov/whisper.cpp
💬 Podziel się w komentarzach swoimi doświadczeniami z lokalnymi modelami AI. Jakie widzisz zastosowania w swoim biznesie?
Słuchaj/czytaj na innych platformach:
📌 Spotify: https://open.spotify.com/show/3ZUaHommHHZU6b4WJiyV2I
📌 Google Podcasts https://music.youtube.com/playlist?list=PLWOCRT27Z94XZzwcRI9-ExMyUXeBrF3W_
📌 Apple Podcasts https://podcasts.apple.com/us/podcast/biznes-myśli/id1215290277
📌 Spreker: https://www.spreaker.com/podcast/biznes-mysli--2214604
#llm #ai #machinelearning #llama #datascience #genai
🎙️ W tym odcinku:
- Wprowadzenie do świata LLM i ich biznesowego potencjału
- Publiczny ChatGPT vs bezpieczeństwo danych firmowych
- Rewolucja open source: modele Llama dorównują komercyjnym rozwiązaniom
- Ollama i LM Studio: narzędzia do lokalnego uruchamiania AI
- Jan.ai i trend małych modeli językowych
- Korzyści z lokalnych modeli AI: zgodność z GDPR i EU AI Act
- Whisper CPP: lokalna transkrypcja audio bez kompromisów
- Kontrola nad modelami AI: klucz do sukcesu w biznesie
- Phi 3.5 od Microsoft: mały model, wielkie możliwości