Mentionsy

I teraz to, co chciałbym poruszyć, to jeżeli teraz opieramy swoje produkty czy też procesy w dużej mierze o LLM-y, to jak nie dać sobie zrobić takiego, wiecie, taki vendor lock 2.0, gdzie jesteśmy tak uzależnieni od jednego

Jakby ja mówię z perspektywy firmy, gdzie jakby ludzie nie piszą ani jednej linijki kodu, tylko wszystko powstaje poprzez LLM-a i nie udało nam się tego osiągnąć z żadnym innym modelem, a testowaliśmy wiele.

Z LLM, bo on na tyle długo myśli, że jakby praca nad jednym projektem jest nieefektywna.

Ale moim zdaniem to w ogóle nie jest taki wybór, bo to jest wybór między tym, czy ja będę korzystał z Cloud Coda, czy będę korzystał z Codexa od OpenAI, czy ja będę korzystał z Jiminy CLI, czy ja będę korzystał z OpenCoda i będę się podłączał pod API jakiegoś tam konkretnego LLM-a, z którym będę chciał pracować.

Jeżeli masz tak naprawdę system, który jest oparty o LLM, to czy na przykład...

I wydaje mi się, że teraz jest moment, w którym trzeba tak naprawdę dość mocno się zastanowić, w jaki sposób powinny działać fasady i decoupling tak naprawdę w przypadku używania LLM-ów jako element runtime'u produkcyjnego, bo to co mówiliśmy teraz, mówiliśmy o devtime.

Teraz jakby z LLM-ami jest podobnie.

Ciężko się na przykład testuje LLM-y integracyjnie, bo czasem dostajesz odpowiedzi, które są od czapy.

My kiedyś mieliśmy taką funkcję w LLM-ie, która robiła podsumowanie jakiejś osoby na podstawie skilli, który ta osoba ma.

Bo dla mnie to wygląda tak, że jeżeli rzeczywiście ja mam bardzo takie ogólne i proste prompty, które dają mi potencjał jakby bardzo różnorodnych odpowiedzi, to się zgadzam, że te odpowiedzi w zależności od tego, na którym LLM-ie będziemy puszczać, to będą drastycznie różne.

To to jest dobra praktyka, nawet używanie jakby gateway'a LLM-owego, który będzie rozrzucał ruch w zależności od tego, który model w danym momencie radzi sobie lepiej, który radzi sobie gorzej.