Mentionsy

Bo nagle tak jak w moich przypadkach okazuje się, że w trakcie poca dowiadujemy się, że API jest, ale tej części danych nigdy nikt nie chciał z API, więc nie wystawiamy z systemu.

PoC agentowe.

Jak przygotować się do POC, POV agentowych rozwiązań?

Projektujemy scope i granice PoC.

Tak naprawdę, co w PoCach albo w Proof of Value jest najbardziej krytyczne?

Bo pamiętamy, że jest to PoC, czyli udowadniamy, że technologia hipoteczna może działać.

Tak, więc trzeba sobie określić granice automatyzacji przed rozpoczęciem.

I trzeba sobie powiedzieć z tym, jeżeli POC zadziała, to trzeba powiedzieć sobie o dokładności.

To jednak jest przejście przez to, jak ten POC działał i czy odpowiedź albo akcje, które on wykonał uznajemy za poprawne, uznajemy za akceptowalne, czyli czy jeżeli by coś takiego zrobił człowiek, to byśmy stwierdzili, że jest okej.

Tak, i teraz jest taka rzecz, że pamiętajmy, że w PoCu nie obsłużymy wszystkiego i tam też mogą być lesson learned na pilota produkcję, czyli możemy już teraz zastanowić się, jaki mógłby być pomysł na fallback, failure modes, czyli jak już zaprojektować sobie na przyszłość, co można byłoby zrobić, żeby poprawić, ale sorry, nie testujemy tego, nie implementujemy w większości przypadków.

To są wnioski z PoCa, a nie implementacja, bo mamy takie... To, czego nienawidzę u nas w naszej branży, to to, że PoC ma nagle stawać się... Wszyscy piszą PoCe i robią PoCe tak, że zaraz staje się produkcją.

To co, budujemy PoCa.

Wrzucamy tam przy POCu logów nigdy nie za dużo, żeby można było łatwo.

Tak, ja dam wam przykład z jednego z dwóch ostatnich POCów takich właśnie wykonywanych dla klientów, czy jak to wygląda, to udostępnialiśmy, w jednym udostępnialiśmy Excela z przypadkami, czyli tam było dosłownie Excel, jaką agent podjął decyzję, co zaproponował, jaki był reasoning i dlaczego, plus tam linki do źródeł i innych takich rzeczy, czyli był dosłownie Excel do oceny.

Tak powinno się robić na PoCach i pamiętać, że nie wprowadzamy, bo mi się też zdarza zrobić w tym, w pewnym momencie prompty agentów dojechały do wersji V20 i zostałem zapędzony w tak, że trzeba było to przepisać, bo nie miało to sensu.

To są takie rzeczy, o których trzeba pamiętać i widzieć, na przykład teraz mimo wniosków z PoC nadal walczę w jednym miejscu teraz produkcyjnym z halucynacjami, bo nadal się gdzieś pojawiają, a ponoć nie powinny.

Czyli nam się tak naprawdę poza POC-em tworzą ograniczenia, ale też możliwości rozwojowe dalsze nie po stronie systemu agentowego, tylko systemów docelowych, a czasem źródłowych.

Pierwsza, której wszyscy nienawidzą, czyli zabijamy PoCa.

I to jest też sukces PoCa.

Biznesowo to jest porażka, a de facto po to robimy PoC, żeby nie wtopić dalej.

Potem jest opcja najgorsza, czyli robimy kolejną iterację PoCa.

To jest ten cały problem, który jest razem z Kill, czyli zazwyczaj zaczynamy iterować PoC z tego powodu, że w teorii zainwestowaliśmy już za dużo, żeby się wycofać.

Bo nagle się okazuje, że zaczynamy już testy nie POC, tylko testy tego, co ma zostać wdrożone.

I teraz zbieram feedback po tym, zbieram, mam gdzieś pisane wymagania, mam feedback po tym, po POC-u, ale to nie tak miało działać.

Ja mówię o osobach, które są w projekcie, które uczestniczyły w tym od początku.

Łukasz, a czy możemy z tego, to jest teraz dosłowny tekst, który miałem gdzieś na początku grudnia.

I uświadomić, że to jest w porządku, bo dalej część tych projektów pochodzi do tego, że po to wydarzamy AI, żeby człowieka w ogóle nie było.