Za dużo AI-owego LSD? - DHH, Decision API i inne linki

Połączony z Vector Searchem, embeddingami, czyli własny Hybrid Search na tym. To fajnie pokazuje jedną rzecz. Ja jestem wielkim fanem tych baz nowo-SQLowych, czy też mało kto ich tak nazywa. Baza SQLowa jest na tyle uniwersalna, że to będzie po prostu działało. Bawienie się w inne bazy niż relacyjne, szczególnie teraz, mały sens, bardzo wąskie przypadki użycia. Czyli w sensie modelowanie danych i tutaj odpowiednie ułożenie metadanych, chunków i innych rzeczy, pozwala od razu mieć w jednym miejscu, w jednym requeście zwrócić wszystko, co potrzebujesz. Ale to dokładnie tak dotknąłeś. Modelowanie danych dalej ma sens i dalej trzeba umieć myśleć w różnych modelach baz, Ale hostowanie i trzymanie tych danych realnie wyląduje... Dobra, i teraz ten, pozdrowienia dla Pongo od Oscara, bo on ma nakładkę, żeby Postgresa zmusić, żeby zachowywał się jak Mongo z TypeScripta.

Oczywiście, że ma. Jurysdykcja i sądy i tak dalej. Czekam, aż będzie taki backdoor w tych modelach zrobiony. O to ci chodzi. Wydaje mi się, że oni będą podchodzić do tego dużo ostrożniej. Prawie nic jednak mają, tą ostrożność pisaną i tak dalej. Tak jak Big Four. Ale to też fajnie pokazuje też, że Jason ładnie rządzi rynkiem pod tytułem, nie miejmy dużych tylko firm, tylko niech każdy ze swoich oczy trenuje. Proszę wiesz, pytanie kupować, pytanie za ile jest dostawa. To jest dobre. Dobra, jak jesteśmy przy trąpadłach biznesowych, ciekawostka. Powiązana pewnie też trochę z SIP-ą Anthropica, no to Meta i Microsoft znowu zaczęli zabierać limity, subskrypcje na tokeny na użycie w Anthropiku Microsoft i Meta.

To jest ciekawostka, jest kolejna fala zmniejszania usage'u. I teraz Szymon, najciekawsza rzecz, jest sobie pozycja wrzucenia, nie pamiętam czy w OpenAI czy w Anthropiq, była pozycja pod tytułem Mega Account dla Facebooka, dla mety. Tak, bo Facebook raz próbował wycofać i przerzucić na swój własny model, to deweloperzy powiedzieli nie. I był ogólny bunt i wrócili do Anthropica właśnie jako narzędzie do kodowania. Tak, było ten w Microsoftzie, kazali się tym. Tak, jest Mega Account Executive dla mety i to było w Anthropiku, znalazłem tą ofertę, gdzie zarobki były też jak na ten, na account dla jednej firmy, zarobki od 380 do 450 tysięcy dolarów rocznie.

Konkretne, ładne. Dobrze, Łukaszu, co jeszcze mamy? Choice as a Service, czyli mieliśmy Shitstorm pod tytułem od Typesape'a Jeff, czyli nie LLM, tylko Decision API, Decision Model. I oczywiście wysyp alternatyw u tych dostawców. Tak. I słuchajcie, o co chodzi? Założenie jest takie, że definiujecie sobie składnią, wysyłacie nie już tekst, tylko jakiegoś ułożonego Jasona z ładnym układem pytania i instrukcji. I oczekujecie zwrotu i możecie zadać pytania sobie w trzy typy pytań.

Choice, wybor jednej z opcji z listy. Score, ocena na skali. Czyli wybór z zakresu? Tak i null, czyli binarne tak, nie. Tak, ogólnie rzecz biorąc to jest to ważne, że możemy właśnie wybierać z jakiegoś zestawu, a nie wyszukiwać jasona, który będzie w odpowiedzi bazodługiej. To się nazywa cały Decision API. Tak, jest taki. Jeff był teraz typesafe pierwszy, pojawiła się masa klonów od razu. Odpowiedzi, ale też trochę alternatyw. Z ciekawszych, to jest Open Weight od Cloudflare'a, CLEF i CLEF Flash. To jest rzecz, którą warto sobie zerknąć i ma zgodne API z

Od razu wprowadzili je na Worker AI, Fine Tuning z Reinforcement Learningiem, więc jest ciekawy. Druga rzecz, która mnie bardziej ciekawi, jak wyjdzie z Preview, z Alfy i będzie do niej dostęp, to jest Decision API na bazie GPT-6 Luny, zrobiona od ręki przez OpenAI. I teraz, co jest najciekawszego w tym wszystkim? Cennik. Cennik jest mega tanie, ale też szybkość odpowiedzi. Jak mega tanie to mówimy o 10 centów za milion wyjściowych i brak opłaty za wyjściowe. Bardzo ważne. Ja sobie sprawdziłem w tym, na przykład Jeff to było poniżej 100 milisekund czas odpowiedzi, więc to jest w ogóle w tym wow.

I teraz jak sobie zobaczycie... Jeszcze Perplexity żyje i też wydało. Tam jest 2 centy za milion wyjściowych. Tak, ale wiesz co, dobra, ja tak, mam już dostęp do tego, dostałem tam od razu dostęp do tego java. Zacząłem sobie testować, bo pod co są... Są trzy schematy, jak popatrzymy użycia. Pierwsze to jest wszystkiego interakcja ludzka, żeby mieć szybką odpowiedź do home automation. Ludzie zaczęli to zaciągać do home automation. I to jest pierwszy taki wybór w ogóle, nazwijmy to, projektów, które się pojawiają. A ja patrzę na projekty od strony wykorzystania tego w aplikacjach. I pierwsze co... Wszystkie korporacyjne. Tak. I pierwsze co, to są kategoryzacje, które chcieliśmy robić LLM-em kategoryzacji pewnych rzeczy, wybór scenariuszy. I zaczynamy bardzo zawężać drogę przez ten strict model odpowiedzi, czyli wszystkie scenariusze routingu.

Tą regułę spełniasz, idź tą drogą z tekstu strukturyzowanego. Druga rzecz to jest do ragów, to jest budowa grafów i kategoryzacji, czy na przykład wyciągnięcie wstępnie sentymentu. Nie szukujmy się, większość zasobów korporacyjnych do takich LM-ów to są kategoryzacje w różnej formie. To są systemy, gdzie mamy wejście, jest mail albo wiadomość tekstowa ludzka i tam kategoryzujemy, chociażby taka prosta, czy przetwarzamy to dalej, czy to idzie do człowieka. Sentyment jak najbardziej, co mamy dalej zrobić, albo do którego modelu to będziemy korzystać. Dla mnie tu jest ta fajna wartość, bo to jest szybkie, więc możemy postawić to lokalnie. Lokalne, lekkie modele, które potem mówią, do którego modelu powinno iść zapytanie. Tu jest, ja na to czekam. To w ogóle się pojawiło też dla Claude'a, ktoś zrobił plugin, żeby wybierać, do którego modelu kierować,

Albo czy, jakich tooli powinien użyć model, czy właściwych. Ale wiesz, z tych biznesowych zastosowań Michał Sadowski, prezes Brand24, wrzucił dwa tygodnie, jak to będzie się słychać, to cztery tygodnie temu, wrzucił porównanie Java z ich własnym przez lata budowanym klasyfikatorem do sentymentów. I szacunkowa trafność wynosi 92% dla ich modelu sentymentów B20, który mają zbudowany. Jeff miał 88% jako generyczny. Przy czym teraz ciekawostka i to jest tam z perspektywy model Branda kosztuje, jest 7,7 razy tańszy od Jeffa, bo jest dedykowany, zbudowany przez lata przez nich, ale teraz tak, ta jakość wyjściowa, która pokazuje,