DevRel, Open-Source AI i bazy wektorowe - Kacper Łukawski

Witam wszystkich bardzo serdecznie w podcaście FullStak. Ja nazywam się Artur Chmaro, a moim dzisiejszym gościem jest Kacper Łukawski z firmy Qdrant. Cześć Kacper. Cześć, wielkie dzięki za zaproszenie. Będziemy dzisiaj rozmawiać o bazach wektorowych, O firmie Qdrant oraz o pracy jako DevRel. Muszę się przyznać, że rozmawiałem ostatnio z paroma osobami na temat pracy jako DevRel, jako Dev Advocate, Developer Advocate i dużo osób myślę z branży IT, takiej ze strony programistów, deweloperów Nie do końca wie w ogóle czym jest DevRel, czym się zajmują DevRelowie, czym się zajmują Dev Advocaci.

I podobnie wyszukiwanie oparte o słowa kluczowe jest ograniczone do tekstu, czyli dokumenty są tekstem, zapytania są tekstem i tylko w taki sposób możemy wyszukiwać. A w przypadku wyszukiwania wektorowego istnieją modele, które na przykład są w stanie konwertować obrazy do wektorów, tekst do wektorów, a niektóre z nich są w stanie konwertować i obrazy, i tekst jednocześnie do tej samej przestrzeni wektorowej. Dzięki czemu możemy odpytywać Kacper Łukawski, Kacper Łukawski, Qdrant.

Kacper Łukawski, Qdrant. I właśnie zastanawiam się, jak to wyglądało w waszym przypadku wcześniej, czy po prostu zawsze jesteście używani w większości przez takie zapotrzebowania dla AI? Absolutnie nie mam gotowych statystyk, dlatego że Qdrant jest narzędziem typu Open Source I nie śledzimy tego, w jaki sposób nasi użytkownicy wykorzystują ten system. Biorąc jednak pod uwagę to, jak wiele pytań dotyczy właśnie wykorzystania wektorów w połączeniu z LLM-ami, wydaje się, że 90% zastosowań to są właśnie tego rodzaju systemy.

De facto większości z nas nie będzie stać na to, żeby używać najlepszego dostępnego modelu i żeby płacić za każdą interakcję, każde zapytanie, które wysyłamy. A tym bardziej, że jesteśmy w stanie to osiągnąć za pomocą open source'a. Co więcej, open source de facto napędza cały ten rynek, jeśli chodzi o machine learning. Wszystkie te najważniejsze biblioteki, takie jak PyTorch, Kacper Łukawski, Kacper Łukawski, Kacper Łukawski. Całość oprogramowania, które budujemy, będzie oprogramowaniem zamkniętym. Wspomnieliście, że dosyć ciekawy temat, jeśli chodzi o licencję. Właśnie larma odmety, tutaj cały czas się toczy dyskusja, czy to jest rzeczywiście otwarty model.

Chciałbym Cię jeszcze zapytać, praca jako DevRel kojarzy mi się z taką pracą trochę kompletnie inną niż praca dewelopera, gdzie masz konkretne taski, konkretne feature'y do dowiezienia, które ktoś może przetestować, przeklikać i powiedzieć na końcu, że dobra robota, zadanie zostało ukończone. W przypadku DevRel'a to myślę, że dużo jest takich zadań, które ciężko jest jasno powiedzieć, że twoja praca została zakończona, prawda? No bo cały czas musisz przekonywać, budować relacje, zwiększać Kacper Łukawski, Qdrant.

Kacper Łukawski, Qdrant. Kacper Łukawski, Qdrant. Przez to, że nie jesteście w stanie zaplanować, to też bardzo dużo rzeczy po prostu gdzieś schodzi w trakcie dnia i ciężko jest wyrobić się ze wszystkim, co chcieliście. Dodatkowo też dużą częścią naszej pracy jest komunikacja, którą bardzo sobie cenię oczywiście i zachęcam do wysyłania do mnie wiadomości, jeżeli ktokolwiek ma jakiekolwiek pytania, czy chciałby porozmawiać o jakimkolwiek temacie, który chociaż luźno będzie powiązany ze sztuczną inteligencją czy wyszukiwaniem semantycznym.

To być może taką aplikację rzeczywiście może napisać sztuczna inteligencja w tej chwili, ale jednocześnie jeżeli piszemy duże systemy, w których ta złożoność, jakby poziom wejścia do projektu jest liczony w miesiącach, w sensie jakby sensowny onboarding i wymaga naprawdę wielu, wielu godzin spędzonych niekoniecznie nad kodem, ale też nad jakąś dokumentacją, Kacper Łukawski. Tworzenie bardzo prostych jakichś obliczeń, być może, nie wiem, wyciąganie danych z bazy, pisanie zapytanie SQL dla ustrukturyzowanych tabeli.

Tutaj zastanawiam się w zasadzie, na ile to może działać długofalowo, prawda? No bo już się mówi, że Stack Overflow ma dużo mniej wejść, dużo mniej odwiedzających przez to, że właśnie ludzie korzystają z czata GPT albo z co-pilota. I myślę, że to może doprowadzić do czegoś takiego, że coraz mniej ludzi będzie korzystało ze Stack Overflow, coraz mniej osób będzie tam wrzucało nowe rzeczy. No i pytanie, skąd te algorytmy w pewnym momencie Kacper Łukawski, Qdrant.

Kacper Łukawski, Kacper Łukawski, Qdrant. No i teraz pytanie, czy ty znalazłeś jakiś tutaj złoty środek, coś co u ciebie działa, żeby właśnie, tak jak sam wspomniałeś, masz też fundację związaną z AI, na pewno ten temat dużo wcześniej cię interesował, gdzieś tam poświęcałeś swój wolny czas, żeby te wszystkie tematy ogarnąć i myślę, że w jakiś sposób musisz sobie z tym radzić.

A jednak sztuczna inteligencja to jest coś, do czego możemy mieć dostęp naprawdę tanim kosztem i zrobić coś ciekawego. Oczywiście podlinkowane macie także fundację Kacpra, także będzie wszystko dostępne w opisie do tego nagrania, tam Was bardzo serdecznie zapraszam, znajdziecie tam wszystkie rzeczy, o których dzisiaj Kacper, bardzo dziękuję za przyjęcie zaproszenia do podcastu FullStak i życzę dużo, dużo satysfakcji z wykonywanej pracy na rzecz Qdranta, ale też fundacji i użycia sztucznej inteligencji w różnych ciekawych projektach. Wielkie dzięki za zaproszenie i mam nadzieję do zobaczenia jeszcze nie raz.