DevRel, Open-Source AI i bazy wektorowe - Kacper Łukawski

Z czatem GPT, na przykład z GPT-4, to już jest ciężko tak systematycznie sprawić, że ten model będzie halucynował. W przypadku Fi2 to jest banalnie proste. Wystarczy zadać dowolne pytanie, a on zmyśli odpowiedź. Ale jest bardzo przydatny dlatego, że po pierwsze jest bardzo mały. Jestem w stanie go uruchomić na własnym laptopie. Bez jakiejś karty graficznej. Właściwie mam procesor AMD, więc jakaś tam karta graficzna chyba jest. Działa to całkiem OK, wystarczająco na własne potrzeby. Plus jest otwarty i całkiem nieźle działa, jeśli chodzi o te zdolności językowe. To znaczy w przypadku budowania RAGA sprawdza się idealnie. I to jest dla mnie absolutnie wystarczające, bo ja nigdy tego nie traktowałem jako silnika wyszukiwania. Ale też cała masa innych modeli. Jeśli chodzi o embeddingi, to ja staram się najczęściej korzystać z biblioteki Sentence Transformers czy też lubię to, co produkuje Cohere.

Ale Cohere jest organizacją podobną do OpenAI trochę. Oni jakby są trochę bardziej otwarci. Dużo rzeczy rzeczywiście publikują na zasadzie Open Source również, ale ich model biznesowy to jest po prostu sprzedaż tych usług przez jakieś API. Ale generalnie to są te narzędzia, z których ja najczęściej korzystam. Wszystko, co znajdziecie na Hugging Face i jesteście w stanie przefiltrować na podstawie licencji, że akurat pasuje do waszego zastosowania, Plus te biblioteki, o których wspomniałem. Plus jeszcze jedna rzecz, jeszcze mogę wspomnieć o Lama. Jeżeli uruchamiacie modele na własnym laptopie czy na własnej maszynie, na serwerze, to Lama pozwala Wam to zrobić po prostu jak dotkniecie magicznej różdżki. Zajmuje to dosłownie kilka minut i możecie uruchamiać te modele w swojej infrastrukturze bez płacenia za każdy token, który wyślecie do chmury.