DevTalk #124 – O Nauce z Pomocą LLM-ów z Tomaszem Ducinem

To, znowu, stuprocentowej pewności ci to nie daje, że to będzie tylko i wyłącznie to, ale już jesteś przy dowolnych deep researchach w stanie, nie wiem, zredukować, że albo wszystkie materiały, albo zdecydowana większość będzie pochodziła tylko i wyłącznie z tego źródła. Przy czym po prostu, wiesz, klikasz sobie. Pierwsza rzecz, którą robię na przykład, jak chcę się nauczyć czegoś, co do czego nie jestem pewien, to po otrzymaniu odpowiedzi wchodzę w sources, w źródła i patrzę, czy faktycznie to jest to nazwisko, to jest to źródło. Bo jak to już jest czyjaś parafraza, no to e, to już mi się za bardzo nie podoba. Natomiast jeżeli chodzi o same prompty, w LLM-ach jest tak zwany mechanizm uwagi, attention. Są bardzo proste mechanizmy, czy tam bardzo proste nawet zwroty, wyrażenia. w których tak jak człowiekowi mówilibyśmy, bardzo ważne jest dla mnie, żeby albo musisz X, albo nie możesz X i tak dalej.

Czy kodu, nie? To nigdy nie było tak tanie. Więc nie chodzi o to, żeby dostać ścianę szajsu, a już w szczególności na przykład na przykład chyba W lutym 2025 OpenAI w czacie GPT wypuścił, nie pamiętam jak to się nazywa, ten deep research, który potrafił robić raporty na 200 stron. Tu nie chodzi o to, żeby LLM wygenerował Ci potężną ścianę tekstu, który będzie, nie wiem, lepszej czy gorszej jakości, nawet załóżmy, że dobrej jakości, ale co Ci po tym, jeżeli Ty tego nie przetworzysz, nie przeanalizujesz, nie? Ja ucząc się z LLM-ów wychodzę z takiego punktu, że Tekst jest dla mnie bezużyteczny, póki ja go w jakiś sposób nie zinternalizuję, nie zakwestionuję, nie pójdę krok dalej, nie będę zastanawiał się na ile tu jest w ogóle sens w tym tekście, gdzie tu jest problem, nie spróbuję go skonfrontować z tym, co ja już wiem albo rozumiem w danym temacie.

O Jezu, to jest temat rzeka, z tego może być. Jak robisz na przykład, ogólnie, LLM-y działają tak, że, znaczy może właśnie, LLM to jest jedno, agent to jest drugie, czyli narzędzie, którego używamy, to nie jest LLM, albo przynajmniej nie jest bezpośrednio LLM, tylko na początku mamy, powiedzmy, takie man in the middle, takie proxy, czyli właśnie agenta, czyli aplikację, która będzie rozbijała nasz problem na mniejsze, planowała potencjalnie, w jaki sposób się tego... jak zje słonia po kawałku. Takie coś będzie w dużym uproszczeniu robił agent i będzie wielokrokowo odpytywał LLM-a. Co jest ciekawe, jak podejrzysz sobie na przykład, jak robi Deep Research Gemini, na przykład też prompty, które ja bardzo, bardzo lubię stosować, to jest sparafrazować moje własne rozumienie problemu, na czym ten problem polega, podając dużo szczegółów i mówię mu, weź mi brutalnie to skrytykuj.

Jak będę to robił efektywnie? No jeżeli dostanę mięso, jeżeli ta odpowiedź będzie skondensowana. LLM-y są robione tak, żeby na pierwszy rzut robiły dobre wrażenie, więc one są strasznie verbose, tak wodolejstwo trochę robią. Więc kolejna rzecz, którą stosuję przy praktycznie każdym deep researchu, to jest po prostu... odpowiadaj krótko, najlepiej punktami, w każdym punkcie jedno zdanie, pomiń tam wstępy i tak dalej. To można zrobić w jakimś tam system promptie czy innych rzeczach w zależności od narzędzia. To nie do końca jest system prompt, aczkolwiek niektóre narzędzia tak to nazywają, ale że ta odpowiedź ma być zwięzła, ma być cholernie zwięzła. Czasami też stosuję takie coś, że w pierwszym zdaniu... zarysuj mi problem jednozdaniowo.