Mentionsy

Wspomnieliśmy o AI-agentach, teraz jest świetny tweet, że zamieniłem w całym swoim systemie napis loading na thinking i opisuję to jako AI-agent.

Teraz już mogę, więc mój startup już jest AI-agentowy.

Tak naprawdę indywidualnie gdzieś tam staramy się testować te funkcjonalności AI i w naszym przypadku w większości są to tacy użytkownicy bądź duże firmy wręcz, które są świadomi tego, że uczestniczą w programie Early Adopters.

którego celem jest zweryfikowanie, czy technologia AI może wspomóc tą funkcjonalność, aby jeszcze lepiej dostarczyć wartość końcową.

Wyobraźmy sobie, że właśnie pracuję nad pierwszym większym AI-owym featurem.

Dzisiaj będziemy rozmawiać o deploymencie AI feature'ów, jak robić to dobrze, jak robić to efektywnie, czy są jakieś specyficzne reguły, których powinniśmy się trzymać, aplikować, gdy

Gdy budujemy rzeczy związane z AI.

Chciałem dzisiaj zacząć ten temat od tego czy w naszej pracy mamy styczność z wypuszczaniem AI feature'ów.

U mnie ostatnio pojawiają się te tematy i jest to bardzo ciekawe, w jaki sposób możemy bezpiecznie to robić, zwłaszcza jeśli chodzi o wypuszczanie tego do istniejących użytkowników, gdzie AI jest często niedeterministyczne i te funkcjonalności mają szerokie spektrum tego, czy są akuratne czy nie.

Chciałem zacząć od tego, że może podzielę się tym, że ostatnio w MixMaxie wypuszczamy kilka takich funkcjonalności związanych z AI.

Ale zanim zaczniemy, jestem ciekaw Marcin, czy ty masz jakieś spojrzenie też na wypuszczenie AI feature'ów, gdzie macie tam jakieś doświadczenia w tym rejonie w Ceylonisie?

My w Ceylonisie zaczęliśmy interesować się AI też już myślę, że dobry ponad rok czasu.

Siłą rzeczy nasi klienci też zaczęli się tym interesować, zaczęli coraz bardziej zastanawiać się jak przerzucić swoje budżety inwestycyjne ze standardowych budżetów na technologię, która wspomaga w duże procesy i wykorzystywać te AI właśnie aby

Zaczęliśmy testować te funkcjonalności AI i myślę, że tak samo jak u ciebie, czyli gdzieś dla firmy mniejszych, mamy tutaj do czynienia z takim dużym poziomem jeszcze halucynacji na początku i ze strony biznesowej, ze strony akceptacji tak naprawdę tej technologii.

I dlatego też testowanie tych funkcjonalności AI jakby trochę odzwierciedla te...

Myślę, że też w nawiązaniu do poprzedniego odcinka Tomek powiedział fajną rzecz, czy możemy sobie pozwolić na nieuczenie się jak robić AI feature, bo za rok, dwa będziemy bardzo z tyłu, więc myślę, że to jest właśnie ten moment, w którym wszyscy trochę brudzimy rączki i popełniamy błędy po drodze.

Wszyscy robią AI note takery w tej chwili, więc wiadomo, że też konkurencja jest gigantyczna, żeby to w ogóle miało sens, żeby zbudować dedykowane narzędzie.

Dokładność tego, co wypuszcza AI?

Czyli coś w tym naszym algorytmie albo w kryteriach, które podaliśmy nie jest logicznie spójne, więc wypuszczamy bzdurę i na przykład uznajemy, że ten e-mail jest ważny, chociaż powinien być uznany jako nieważny.

Wypuszczanie AI feature ów jak testować,

Wyzwaniami też przy budowaniu feature'ów AI.

Bo chyba taką pierwszą w ogóle u nas zagwozdką jest tak naprawdę gdzie to AI powinniśmy wdrażać.

Koordynacja tej pracy, jak wiemy w dzisiejszych czasach, szczególnie w klientach korporacyjnych, jest bardzo czasochłonna i często tu właśnie widzimy bardzo duży potencjał, żeby wykorzystywać technologię AI, aby usprawniać tak naprawdę tą koordynację pracy.

Gdzie AI powinno dodać wartość dodaną do feature'a, nasi klienci będą się zastanawiać, gdzie koszt użycia tego AI będzie uzasadniał value, które będziemy dla tego biznesu dostarczać.

Ja myślę, że jak ja patrzę na to, gdzie w ogóle powinniśmy priorytetyzować te featurey AI, to myślę sobie o takich czterech ważnych rzeczach, które taki system dla klientów korporacyjnych i produkt powinien uwzględniać.

Jak już sobie teraz zrozumiemy tę całą przestrzeń, to teraz dochodzimy do tego sedna, jak i gdzie chcemy wdrożyć te featurey AI, aby któryś z tych czterech gwoździ, które wbiliśmy działał jeszcze lepiej.

Bo jak zaczęliśmy testować sobie jakieś tam wdrażanie AI, no to oczywiście pierwszym takim intuicyjnym rozwiązaniem było może taki zwykły chat interface, który pozwoli na szybciej wyszukiwać informacje dla działu sprzedażowego albo dla działu innego, będzie rozwiązaniem.

Czyli tak naprawdę będziemy w stanie zredukować swoje pewne działy albo część zadań, które oni wykonywali będzie mogło podjąć AI albo będzie mogło zasugerować troszeczkę.

Czy wykorzystując technologię AI, my faktycznie procesy, które mamy w organizacji

Manager ma pewne zadania, które są wykonywane w sposób zautomatyzowany dzięki wykorzystaniu technologii AI, która ma ze sobą powiązane tak naprawdę czy to dostęp do innych tooli, dostęp do innych agentów, więc tworzymy taki kompletnie zupełnie inny system.

To jak mam napisać jakieś testy, powiedzmy, czy tam iwal, czy jak inaczej teraz wiemy, no to wiemy, że ten agent na przykład albo jakiś feature AI powinien być wyspecjalizowany konkretnie do tego, żeby wykonywać na przykład konkretne zdanie.

Wypuszczanie AI feature ów jak testować, walidować i nie spalić użytkowników.

Wypuszczanie AI feature ów jak testować, walidować i nie spalić użytkowników.

OpenAI tak naprawdę realizując ten agent builder.

Natomiast jest to taki ten zimny prysznic związany z wypuszczeniem feature'ów AI-owych.

Wiem, że to AI i że to może być drogie itd.

Natomiast w tym przypadku, w przypadku tych AI-owych feature'ów, może to jest też ciekawy temat, jak zbierać ten feedback.

Tak naprawdę indywidualnie gdzieś tam staramy się testować te funkcjonalności AI i w naszym przypadku w większości są to tacy użytkownicy bądź duże firmy wręcz, które są świadomi tego, że uczestniczą w programie Early Adopters, którego celem jest zweryfikowanie czy technologia AI może wspomóc tą funkcjonalność, aby jeszcze lepiej dostarczać wartość końcową.

Ostatnio prowadziliśmy taki early adopters program, to tak naprawdę trwało 3 miesiące od momentu, w którym mieliśmy pierwszy taki touch point z klientem, w którym wprowadzono do tego, jak te funkcjonalności AI mają pomóc.

Stworzyć powiedzmy taki... U nas AI w zasadzie samo w sobie w tych feature'ach, które mamy w platformie jest zazwyczaj takim opcją, ale niekoniecznością.

I w tym momencie sprawdzamy, czy AI może zrobić to lepiej bądź szybciej i użytkownik końcowy wciąż może dokonać pewnej edycji.

I dopiero w momencie, w którym mamy gdzieś tam potwierdzoną wartość, bądź musimy iterować na tym, bo widzimy, że to AI przynosi jakąś tam wartość, ale zdarzało się tak, że widzieliśmy, że tak naprawdę nie rozwiązuje to core'owego problemu.

Czyli zdaliśmy sobie sprawę, że OK, dało to wartość, ale w momencie skorzystania z AI użytkownik nam powiedział,

To byłoby dużo bardziej lepsze, gdyby AI mogło jeszcze na przykład mieć dostęp do tych danych z konkretnego działu.

Funkcjonalności AI-owe są najbardziej chyba takie powerful, kiedy mają dostęp do wielu źródeł danych i tego kontekstu domenowego, że im lepszy kontekst domenowy, tym większa wartość.

My mamy taki slogan w firmie, there is no AI without PI.

I tak naprawdę ja widzę, że w klientach naszych korporacyjnych jest to... Na początku ci użytkownicy, z którymi rozmawiamy, oni często są schajpowani trochę AI.

Ja chciałem może pociągnąć ten temat, bo wyobrażam sobie sytuację, że ktoś kto nas słucha jest w firmie, jest w organizacji, która deployuje pierwsze jakieś poważne, większe feature AI-owe.

Wyobraźmy sobie, że właśnie pracuję nad pierwszym większym AI-owym featurem.

Zaimplementowało.

Natomiast to, co wydaje mi się, że w praktyce sprawdza się troszeczkę lepiej, jest tak naprawdę takie hybrydowe podejście, w którym mamy gdzieś jakiś interfejs użytkownika czy jakąś kanwę, w której standardowy deterministyczny feature się pojawia i obok tego, czy to chat interface, czy companion, który powoduje, że użyj AI, żeby lepiej jeszcze skonfigurować swój standardowy interfejs.

No to jak możemy dodać AI, aby jeszcze lepiej to było wykorzystywane.

I tak nie widziałem twojego feature'a do notatek, o którym wspomniałeś, Kuba, ale podejrzewam, że wygląda to w sposób podobny, że gdzieś jest Canva do robienia notatek, w którym masz AI feature, który gdzieś tam jeszcze lepiej ci potrafi albo zredagować ten tekst, albo sformatować i tak dalej.

Czyli przykładowo, jeśli miałeś spotkanie z klientem, tuż po nim, w ciągu kilku sekund, nie tak jak w przypadku notatek z Google'a, że tam do godziny dostaniesz transkrypt, dostajesz w przeciągu kilkunastu sekund czy do minuty od razu maila.

Badali wewnątrz banku, czy wykorzystywanie tego typu podsumowań, notatek z rozmów ma zastosowanie i chcieli wykorzystać nasz tool do tego, czyli chcieli wykorzystać analitykę produktową do tego, żeby zweryfikować, czy podsumowanie takiego spotkania w formie, jakie AI generuje, jest wykorzystywane faktycznie.

A jeśli nie, to jakiego typu modyfikacje ludzie robią w tym outpucie od AI?

Czy wykorzystują to w mailu, czy wykorzystują to na Slacku, czy gdzieś?

Teraz odnośnie pricingu w stronę klienta, no to już teraz właściwie testujemy płatne add-ony, które są tylko związane z AI-em, no i badamy na ile one są adoptowane, no i widzimy pierwsze fajne efekty, ale jeszcze jest długa droga znowu do tego, żeby ten po pierwsze, żeby cały łańcuch zakupowy był spójny, czyli po pierwsze masz szybkie dotarcie do aha momentu,

flexible pricing, gdzie płacisz tak, jak dużo używasz tokenów albo dużo wygenerujesz artefaktów AI-owych, ale wydaje nam się, że jest to jeszcze za trudne do zrozumienia i dla przewidywalności klientów to jest jeszcze magia, co tam się w ogóle dzieje.

Nie wiedzą, czym jest output z takiego AI, jak to liczyć i czy to jest OK, czy nie.

No i też staramy się dawać te featurey AI na razie za darmo.

W sensie niech użytkownicy testują, czy w pewnych planach wykorzystywania tych featureów AI daje wartość dodaną.

I wtedy widzimy i mamy sygnał taki od klienta, że OK, te feature przynoszą wartość, więc on jest zainteresowany wejściem na wyższy plan.

Natomiast my już mamy takie sytuacje, w których przychodzi do nas klient i mówi OK, ale ja już płacę za OpenAI albo inny model, Antropica albo inny model.

Zastanawiam się, Wojtek, wiemy, wcześniej rozmawialiśmy przed rozmową, że masz mniej doświadczenia w tych AI-owych rolloutach w obecnym momencie, ale jestem ciekawy, jakie take-away bierzesz z tej rozmowy naszej dzisiejszej.