Mentionsy

Ja u siebie w firmie chciałbym postawić lokalnego LLM-a i moja spółka nie jest duża, raptem 8 osób.

LLM potrzebny mi jest do analizowania dokumentacji, uzupełniania tabel XLS i takie tam.

Potem ja mu odpowiedziałem, zaraz powiem co i on się pyta czy ilość RAM-u determinuje szybkość działania LLM i czy jeśli będę mieć zbyt mało RAM to LLM nie będzie w ogóle działał.

Żeby LLM sprawnie działał, on musi, on powinien siedzieć w VRAM-ie.

To jest plus dla LLM-ów, bo w przypadku PC-tów na przykład, to zależy plus, plus.

Dane trzeba transferować, czyli jeżeli mamy kartę graficzną dedykowaną w takim PC-cie, na przykład taki 5090 czy coś, to tam ładowany jest, do tej pamięci jest ładowany LLM.

Do VRAMu jest ładowany LLM i on siedzi całkowicie w pamięci.

Teraz tak, LLM-y są w różnych rozmiarach.

I tutaj było pytanie o prędkość działania LLM-a, czy ono zależy od ilości RAM-u.

To chodzi o to... Ty masz jakieś tam potrzeby, których... Ja nie wiem, jakie LLM... Jest wiele różnych LLM-ów.

Więc te LLM-y są robione... I powolne.

Są specjalizowane LLM-y.

Zazwyczaj mniejsze LLM-y są szybsze, ale mniejsze LLM-y też są prostsze, więc mogą dawać gorsze wyniki.

A jak jest zbyt trudne zadanie dla prostego LLM-a, to to też może wydłużać jego czas pracy.

Mimo wszystko, bo jak chcesz załadować sobie takiego LLMA, który ma 70 miliardów parametrów na przykład, to ja nie wiem ile RAM-u potrzeba do tego, chyba minimum 128 giga, czy nie, na 70 miliardów potrzeba chyba więcej, prawda?

Jest rozpisane, jakie LLM-y mieszczą się w jakiej ilości RAM-u.

Pamiętajcie też, że poza LLM-em potrzebne jest jeszcze miejsce na system operacyjny.

LLMRAM.

Recommended Hardware for running LLMs locally.

Sprawdzić jakiego LLMA chcecie używać i na tej bazie pewnie wyjdzie tak jak z pamięcią z miejscem na SSD.

Więc warto poszukać i potestować sobie, bo może Wam wyjdzie taniej korzystać przez API z jakiegoś Cloda czy jakiś inny LLM z jakiegoś Mistrala, z jakiegoś Gemini, obojętnie.

Mówię tutaj o LLMach i CarPlayu oczywiście i Apple Carkey.