DevRel, Open-Source AI i bazy wektorowe - Kacper Łukawski

Także może zacznijmy od tego. Powiedz nam, co właściwie robisz jako DevRel. Jasne. Moją specjalizacją są wydarzenia. Akurat u nas w firmie jest tak, że to się dość naturalnie w pewnym momencie podzieliło, ale zdarza mi się też pisać różne treści, które docelowo mają w jakiś sposób edukować użytkowników Quadranta, ale samo pojęcie DevRel jest bardzo szerokie. Są ludzie, którzy zajmują się na przykład budowaniem społeczności, wsparciem na Discordzie, w przypadku akurat naszej firmy tam wspieramy użytkowników naszej wersji Open Source, ale też wiele, wiele innych. Generalnie wszystko, co podpada pod swego rodzaju edukację, ale także zbieranie feedbacku od użytkowników i przekazywanie go do zespołu programistów, który w naszym przypadku rozwija bazę danych, jest też gdzieś w zakresie naszych obowiązków.

Czyli w zasadzie DevRel ma rację bytu w firmach, w których wytwarza się coś, z czego mogą korzystać deweloperzy. Czyli raczej nie mamy do czynienia z takimi DevRelations w momencie, gdy robimy taki typowy soft. B2B czy jakąś taką aplikację typowo kliencką, to raczej chyba nie. Absolutnie nie, jakby to jest typowe dla firm, które właśnie robią coś w Open Source albo robią też nawet zamknięte oprogramowanie, które w jakiś sposób może być wykorzystywane przez deweloperów. W tym momencie chodzi właśnie o to, żeby edukować i żeby zbierać ten feedback, o którym wspomniałem. W przypadku aplikacji klienckiej nie do końca wyobrażam sobie właściwie, nie ma się tam interakcji z deweloperami,

Tych modeli jest bardzo dużo i to jest też część naszej pracy. My staramy się edukować i pokazywać, jak na przykład rozwiązać to za pomocą danego modelu, jak zbudować system chociażby właśnie wyszukiwania dla e-commerce'u takiego wizualnego. Ale pokazujemy to na jakichś otwartych modelach. Jest cała masa modeli open-source, które możemy wykorzystać. Jest też bardzo dużo modeli zamkniętych, które możemy wykorzystywać jako API. Ale cała integracja tego i przerzucenie danych przez model i następnie do Qdranta jest już po stronie developer'a. Owszem, możemy to ułatwić, pokazując pewne rozwiązania. I może pokrótce, dlaczego się zdecydowaliśmy na takie podejście, bo oczywiście znajdziecie alternatywy, w których te modele na przykład są zintegrowane z bazą danych.

I owszem, w pewnych przypadkach to działa, ale samo tworzenie modeli sztucznej inteligencji, jakichś sieci neuronowych, które chociażby przeprowadzały klasyfikację, to nie jest nowy problem. Jakby firmy, które potencjalnie mogą z tego korzystać, Prawdopodobnie już wdrożyły w swojej historii jakieś modele. Wiedzą, że na przykład taki gotowy model wzięty prosto z półki, open-source'owy model, nie będzie działał dla ich konkretnej dziedziny, bo został przetrenowany na przykład na Wikipedii i bardzo dobrze działa w takim ogólnym zastosowaniu, ale jeżeli pracujemy w specyficznej dziedzinie, to będziemy mieli własną terminologię, Być może chcielibyśmy obsługiwać więcej języków tym samym modelem, żebyśmy mogli znajdować angielskie dokumenty, a wyszukiwać językiem polskim.

Kacper Łukawski, Qdrant. I właśnie zastanawiam się, jak to wyglądało w waszym przypadku wcześniej, czy po prostu zawsze jesteście używani w większości przez takie zapotrzebowania dla AI? Absolutnie nie mam gotowych statystyk, dlatego że Qdrant jest narzędziem typu Open Source I nie śledzimy tego, w jaki sposób nasi użytkownicy wykorzystują ten system. Biorąc jednak pod uwagę to, jak wiele pytań dotyczy właśnie wykorzystania wektorów w połączeniu z LLM-ami, wydaje się, że 90% zastosowań to są właśnie tego rodzaju systemy.

Dotknąłeś trochę teraz tematu Open Source, w zasadzie tego, że OpenAI jest open w zasadzie na ten moment głównie z nazwy. I chciałem się zapytać właśnie, jak widzisz przyszłość technologii Open Source w kontekście AI? Z jednej strony właśnie mamy wielkich graczy, którzy nie są zbyt otwarci, nie są zbyt w ruchu tej ideologii Open Source, ale z drugiej strony mamy takiego wielkiego gracza jak Meta i ich model Lama, który jest Open Source. Mamy różnego rodzaju modele, chyba jak Mistral. I parę jeszcze innych.

I chciałem się Cię zapytać, co sądzisz o tych inicjatywach open-source i czy one długofalowo mają możliwość wygrania z takimi wielkimi korporacjami, które po prostu mają dostęp do potężnych zasobów, jeżeli chodzi o dane, do zasobów, jeżeli chodzi o serwery. Możliwość trenowania, dostęp do talentu. Jak myślisz, czy Open Source dalej będzie w stanie rywalizować? Tak, zdecydowanie. Wydaje mi się, że jakby ponownie zderzymy się z takim podzieleniem się rynku. To samo się wydarzyło z innymi rzeczami. Ja przez długi czas pracowałem z Big Data i tam rzeczywiście są organizacje,

Które preferują narzędzia otwarte, chociażby Kafka i wszystkie te narzędzia dookoła, takie jak Spark, Hadoop czy Hadoop ktoś jeszcze używa, HBase i tak dalej. Ale istnieją też komercyjne rozwiązania, które są zamknięte i one są preferowane przez te duże organizacje. Open Source ma dużo zalet. Po pierwsze, możemy go uruchomić gdziekolwiek, co samo w sobie jest już zaletą dla tych firm, które nie mogą na przykład podzielić się swoimi danymi publicznie, nie mogą je wysyłać do jakiejś chmury, tylko są zmuszone, żeby je trzymać u siebie. Poza tym też ja bardzo wierzę w taki ruch, mówimy o dużych modelach językowych, ale istnieją też tzw. małe modele językowe. One są dużo mniejsze, możemy je uruchomić chociażby na laptopie i do wielu zastosowań są wystarczające. Więc jakby dużo też potencjału widzę w tego rodzaju narzędziach.

De facto większości z nas nie będzie stać na to, żeby używać najlepszego dostępnego modelu i żeby płacić za każdą interakcję, każde zapytanie, które wysyłamy. A tym bardziej, że jesteśmy w stanie to osiągnąć za pomocą open source'a. Co więcej, open source de facto napędza cały ten rynek, jeśli chodzi o machine learning. Wszystkie te najważniejsze biblioteki, takie jak PyTorch, Kacper Łukawski, Kacper Łukawski, Kacper Łukawski. Całość oprogramowania, które budujemy, będzie oprogramowaniem zamkniętym. Wspomnieliście, że dosyć ciekawy temat, jeśli chodzi o licencję. Właśnie larma odmety, tutaj cały czas się toczy dyskusja, czy to jest rzeczywiście otwarty model.

Na cele, powiedzmy, badawcze jakby nie kryzie się z etyką. Co więcej, jeżeli są to treści, które są chociażby dostępne w Google, wynikają wyszukiwania, no to ciężko mówić, że one są w jakiś sposób prywatne. Ale bardziej chodzi mi o sam fakt, że jednocześnie zbieramy cudze informacje i nie dzielimy się zyskami z nich, a następnie zabraniamy innym wykorzystywania pewnych pochodnych instrumentów od tego. Ja na pewno polecam, jeśli chodzi o modele językowe. Ostatnio bawiłem się modelem Phi 2 od Microsoftu bodajże i on jest chyba upubliczony na licencji Apache 2.0, czyli jest open-sourcem Jakby w pełnym tego słowa znaczeniu. To jest mały model językowy, który generalnie dość mocno bredzi. Jeżeli zadamy mu jakiekolwiek pytanie, to właściwie najczęściej skłamie.

Ale Cohere jest organizacją podobną do OpenAI trochę. Oni jakby są trochę bardziej otwarci. Dużo rzeczy rzeczywiście publikują na zasadzie Open Source również, ale ich model biznesowy to jest po prostu sprzedaż tych usług przez jakieś API. Ale generalnie to są te narzędzia, z których ja najczęściej korzystam. Wszystko, co znajdziecie na Hugging Face i jesteście w stanie przefiltrować na podstawie licencji, że akurat pasuje do waszego zastosowania, Plus te biblioteki, o których wspomniałem. Plus jeszcze jedna rzecz, jeszcze mogę wspomnieć o Lama. Jeżeli uruchamiacie modele na własnym laptopie czy na własnej maszynie, na serwerze, to Lama pozwala Wam to zrobić po prostu jak dotkniecie magicznej różdżki. Zajmuje to dosłownie kilka minut i możecie uruchamiać te modele w swojej infrastrukturze bez płacenia za każdy token, który wyślecie do chmury.