Sezon V #7 - Sztuczna inteligencja w Allegro

Ja trochę się czuję jak startupowiec wewnątrz dużej organizacji. Moim zdaniem nie możemy mówić o hajpie, bo to już zbyt długo trwa. Generatywna sztuczna inteligencja zmieniła Allegro, być może nawet zmieniła bardziej niż jakąkolwiek inną firmę w Polsce. Umiejętność rozmowy ze sztuczną inteligencją to będzie taka trochę nowa znajomość pakietu Office. Ja mam w ogóle takie poczucie, że włączenie sztucznej inteligencji w organizacji to jest chwila, to jest pięć minut. Witajcie w kolejnym odcinku Allegro Tech Podcast. Dzisiaj razem z moim prawdziwym gościem przyjrzymy się sztucznej inteligencji i dowiemy się, jak korzystamy z tej zdobyczy technologii w Allegro. I od kiedy. A to może być dla wielu słuchaczy zaskakujące. A moim gościem jest Cezary Kujik, AI Product Manager.

To jest Allegro Tech Podcast. Rozmawiamy o dobrych praktykach, inspirujących pomysłach i ciekawych rozwiązaniach stosowanych w Allegro. Nazywam się Mateusz Naparty i zapraszam do słuchania. Cześć Czarek. Cześć Mateusz. Jak długo jesteś w Allegro, Czarek? To wcale nie jest takie łatwe pytanie, bo w Allegro jestem tak naprawdę około pięciu lat, ale jestem w Allegro drugi raz w swojej karierze, bo miałem małą przerwę. Po dwóch i pół roku odszedłem na pół roku, po czym wróciłem, zrozumiałem czego mi brakowało. No i już tak jak wróciłem, tak jestem i trwam i mam nadzieję, że to potrwa jak najdłużej. A jaka jest twoja historia? Dlaczego to jest ta rola AI Product Managera?

Ja tak naprawdę do tej roli dorastałem w Allegro, bo faktycznie z szeroko rozumianą sztuczną inteligencją, tudzież automatyzacją, to pracuję od prawie 10 lat. Do Allegro zresztą przyszedłem z uwagi na swoje doświadczenie startupowe, ponieważ kilka lat przed Allegro miałem startupy, które zajmowały się tworzeniem chatbotów. Co ciekawe, nawet jeden z nich obsługiwał Allegro. No i Allegro wtedy, pięć lat temu, zaczynało rozwijać swoje pierwsze aplikacje, chatboty, które miały pomagać klientom i sprzedawcom na formularzu kontaktowym. Więc jako ktoś, kto się po prostu na tym zna, zostałem do tego zatrudniony. No i ta przygoda trwała trochę czasu. Tyle, że Allegro w tamtym czasie robiło... Wtedy, jak na tamte czasy, bardzo ciekawą, innowacyjną rzecz. I do chatbotów, które były tak naprawdę wtedy takimi bardzo prostymi aplikacjami na zasadzie jeśli klikniesz to, to wydarzy się to, to Allegro próbowało trenować modele uczenia maszynowego, które pozwalały tym chatbotom dużo naturalniej rozumieć nasz język.

Czyli nie chodziło tylko o to, żeby na przykład wciskać przyciski sztywne w rozmowie, tylko że klienci mogli zacząć pisać sprzedawcy tak samo w naturalnym języku i chatbot lepiej lub gorzej, ale to rozumiał. Ale to nie były miliony ifów z łańcuchami znaków. Nie, nie, nie. Absolutnie, absolutnie nie. I to tak naprawdę, że dzisiaj jestem AI Product Managerem, zawdzięczam trochę przypadkowi. Mianowicie mój bardzo serdeczny kolega, którego pozdrawiam, już dzisiaj ex-Alegrowicz Piotr Rybak. On wtedy pracował w Machine Learning Researchu, w którym ja pracuję dzisiaj. Pewnego dnia po prostu na Slacku się zgadaliśmy i zacząłem go podpytywać, bo zawsze byłem taki bardzo ciekawski, jak te modele działają i tak dalej. No i jak to działa, czy mógłby mi to pokazać od środka. On nie tylko zdecydował mi się to pokazać od środka, ale pozwolił mi...

Pierwsze modele trenować samodzielnie? Tak, to się zaczęło, wiesz, od takich małych, prostych projekcików do coraz większych. Był nawet taki moment, że w pewnym momencie sam od początku do zera wytrenowałem samodzielnie pierwszy model uczenia maszynowego, który dzisiaj pomaga klientom i sprzedawcom znaleźć najszybszą drogę do doradcy, który najszybciej i najlepiej rozwiąże ich problem. No i co? W pewnym momencie wybuchła cała ta rewolucja związana ze sztuczną inteligencją, która już trwa od ponad dwóch lat. No i w Allegro pojawiła się potrzeba, żeby znaleźć osoby, które z jednej strony mają trochę ubrudzone ręce w tej technologii, z drugiej strony mają doświadczenie w tym, jak identyfikować potrzeby użytkowników, problemy biznesowe, no i na koniec dnia potrafią przeprowadzić skuteczną diagnozę, która skończy się implementacją tej technologii w sensowny sposób, która te potrzeby zaspokaja i problemy rozwiązuje.

I to To tak, w bardzo, bardzo dużym skrócie. To mniej więcej na takim dosyć wysokim poziomie opisałeś, na czym polega twoja rola, ale gdybyś mógł wejść w szczegóły i opowiedzieć nam, czym się w swojej codziennej pracy zajmujesz? To jest bardzo ciekawe pytanie, bo każdy trochę inaczej w Allegro, moim zdaniem, definiuje product managera. To nie jest taka rola bardzo szablonowa i każdy trochę sam ma swoją interpretację tego, jak pracuje product manager. Moja na przykład jest taka, bazując na tym, jak ja codziennie pracuję, Ja trochę się czuję jak startupowiec wewnątrz dużej organizacji. No bo fakt faktem, ja jestem wydaje mi się dość nietypowym product managerem, bo nie mam takiego jednego produktu na stałe, nad którym pracuję cały czas, tylko bardziej moim zadaniem jest poszukiwanie problemów i potrzeb w całej organizacji i próba odpowiedzenia na pytanie, w jakich procesach...

produktach w Allegro, w całym Allegro ta sztuczna inteligencja może pomóc. Jeżeli uda mi się takie miejsca znaleźć, no to wtedy oczywiście już jak prawdziwy startupowiec tworzę produkt, staram się go sprzedać, no i sprawić, żeby po prostu zaczął żyć i pomagać innym. Startup w dużej organizacji to brzmi jak marzenie każdego produktowca trochę. Tak naprawdę jest, ale to naprawdę jest bardzo, bardzo dynamiczna praca, ale wydaje mi się, że też po prostu pasująca do mojego charakteru. Ja nigdy nie lubiłem być w jednym miejscu cały czas. Zresztą, jak wspomniałem, ja tak naprawdę zacząłem swoją pracę w startupie, nie w korporacji. A tutaj tak naprawdę czuję, że w tej roli AI Product Managera mogę de facto, wydawałoby się, połączyć niemożliwe do połączenia ze sobą rzeczy.

Rzeczy z obu światów. Tak, dokładnie tak. Rozmawiamy o sztucznej inteligencji i kilkukrotnie wspomniałeś już o uczeniu maszynowym, więc w tym miejscu może zatrzymajmy się na chwilę i opowiedzmy sobie o tym, co właściwie nazywamy sztuczną inteligencją i z jakiej sztucznej inteligencji Allegro korzysta. Postaram się przeprowadzić wszystkich przez ten wątek uważnie i z rozsądkiem, bo faktycznie to jak... Wiele różnych rzeczy ludzie rozumieją pod pojęciem sztuczna inteligencja, jest po prostu fascynujące. Ja nawet pamiętam, kilka miesięcy temu na naszym wewnętrznym Slacku ktoś zadał pytanie, dlaczego Allegro nie tworzy sztucznej inteligencji? No ja oczywiście jako AI Product Manager... Oburzony, że człowieku, o czym ty w ogóle gadasz? Przecież Allegro ma taki zespół jak Allegro Machine Learning Research, który od prawie 10 lat tworzy modele, które stoją czy to za wyszukiwarką, czy to za rekomendacjami, czy za reklamami, jakby wszystkim, co dzisiaj nawet użytkownik nie wie, że za tym stoi, w cudzysłowie, ta sztuczna inteligencja, ale oczywiście jak ochłonąłem...

I one są zazwyczaj wyspecjalizowane w bardzo konkretnym zadaniu. Mamy na przykład jeden model w Allegro, się nazywa Semantic Search i on ma jedno zadanie. Na podstawie tego, co użytkownik wpisze do wyszukiwarki, na podstawie dwóch, trzech słów, spróbować zrozumieć trochę większy kontekst tego, co on właściwie potrzebuje, tak? Żeby mu podać lepsze produkty. I nie umie nic więcej. On się nauczył tylko tego jednego zadania, ale robi je w sposób... Doskonały. Tak jak wspomniałeś, wielu ludzi kojarzy sztuczną inteligencję z modelami językowymi. Tak. Czy ta fala fascynacji sztuczną inteligencją, którą zapoczątkowała szeroka dostępność czata GPT, zmieniła coś bardzo w Allegro? Oj tak, ja to nawet bym trochę rozwinął twoje pytanie, jeśli pozwolisz.

Bardzo proszę. Może nie tyle pytanie, ale zawsze mam wrażenie, że jak rozmawiamy na temat sztucznej inteligencji, to wydaje mi się, że wśród słuchaczy, obserwatorów są trzy rodzaje osób. Tak jak powiedziałeś, są osoby, które są zafascynowane, są osoby, które są strasznie już tym zmęczone. bo tego jest po prostu za dużo. I na końcu są te osoby, które są gdzieś po środku, bo one po prostu widzą fakty, widzą, że wszyscy o tym mówią, że ten temat nie schodzi już od długiego czasu. To już moim zdaniem nie możemy mówić o hajpie, bo to już zbyt długo trwa. I mimo tego, że tak wszyscy dużo o tym mówią, to oni cały czas nie rozumieją, czemu właściwie to jest taki temat... Wow. Dla mnie osobiście w kontekście w ogóle pracy w Allegro i też twojego pytania, czy generatywna sztuczna inteligencja zmieniła Allegro, ja uważam, że nie tylko zmieniła, być może nawet zmieniła bardziej niż jakąkolwiek inną firmę w Polsce.

I tutaj... Pozwolę sobie przytoczyć to, gdzie ja teraz pracuję, bo teraz pracuję w takim zespole, który się nazywa Machine Learning Research. I tak jak wcześniej wspomniałem, my od prawie 10 lat zajmowaliśmy się, cały czas zajmujemy się, trenowaniem własnych modeli sztucznej inteligencji. I wydaje mi się, że przez to, że my już w tym świecie jesteśmy od wielu, wielu lat, to dużo łatwiej nam było zrozumieć, dlaczego... Chat, GPT, AK, oczywiście te wszystkie rozwiązania, czyli modele generatywne, tak bardzo ułatwiają w ogóle prowadzenie tego biznesu. I dam tobie, dam państwu takie proste porównanie, jak to było przed i po. Ludzie raczej nie mają świadomości, jak wygląda trenowanie sztucznej inteligencji, trenowanie modelu. Ale ten proces co do zasady można opisać bardzo prosto.

On się składa z takich trzech kroków. Pierwsze, to zawsze potrzeba było bardzo wielu danych, które pokażą sztucznej inteligencji, jak ma wykonywać jakieś zadanie. Przykładowo, mamy w Allegro taki bardzo duży, fajny model do tłumaczeń. Zanim model nauczył się dobrze tłumaczyć to wszystko, no to trzeba było zebrać dużo przykładów przetłumaczonych zdań. Trzeba było je sprawdzić, oznaczyć, wiele innych zadań, które są po prostu mrówczą pracą. I tego też ludzie nie są świadomi. Często ta praca z danymi, po prostu przygotowanie danych do treningu zajmowało około 80% całego projektu. Następnie jest drugi etap, gdzie jak już masz te dane, to możesz na tych danych ten model wytrenować. I to też wcale nie jest taki łatwy etap, bo inżynierowie uczenia maszynowego nie są w stanie w 100% stwierdzić, kiedy skończą, bo czasami jest tak, że pierwszy model będzie tym dobrym, a czasami dopiero ta jego 20. wersja.

No bo nagle się okazało w Allegro, że my nie musimy robić jednego, dwóch, trzech, czterech projektów w skali roku, tylko nagle możemy zrobić tych projektów w skali roku nawet kilkadziesiąt. które nie trwają całymi miesiącami. Możemy nawet zrobić taki projekt w tydzień przy bardzo niskich kosztach i otworzyć się tak naprawdę na okazje biznesowe, których kiedyś byśmy nie podjęli, bo się najzwyczajniej w świecie nie opłacały. Krótko mówiąc, modele generatywne sprawiły, że sztuczna inteligencja stała się dostępna jak nigdy dotąd. Ja nawet lubię mówić, że modele generatywne dla sztucznej inteligencji i IT są tym, czym Lidl i Biedronka dla... Wiesz, po prostu wszystko stało się masowo dostępne i bardzo, bardzo tanie. Zdefiniowaliśmy sobie, czym może być AI.

Wspomnieliśmy też o tym, co bardzo dużo ludzi rozumie jako AI. Pytałem cię wcześniej, czy w Allegro korzystamy ze sztucznej inteligencji i opowiadałeś o tym, że na przestrzeni lat budowaliśmy wiele modeli, kilka w skali roku. A teraz zapytam bardziej konkretnie, czyli w stronę generatywnej sztucznej inteligencji. Jak wykorzystujemy w Allegro generatywną sztuczną inteligencję w codziennej pracy, w projektach? Jasne. Tak naprawdę generatywną sztuczną inteligencję i jej wykorzystanie w Allegro to można, myślę, omówić z perspektywy tego, jak wykorzystujemy tę technologię, żeby pomagać klientom i sprzedawcom oraz tego, jak wykorzystujemy tę technologię, żeby pomagać sobie jako organizacji po prostu w codziennej pracy każdego z nas. Z taką jedną gwiazdką, myślę ciekawą, że wbrew pozorom, jak sobie prześledzimy wdrożenie Allegro z zeszłego roku, to nie ma zbyt wielu wdrożeń na platformie, gdzie my wykorzystujemy generatywną sztuczną inteligencję.

Jeden z moich ulubionych projektów, który też moim zdaniem jest trochę takim benchmarkiem, jak mądrze implementować generatywną sztuczną inteligencję w procesach biznesowych, To jest projekt inteligentnych podsumowań opinii, które stworzył mój zespół Minotaur oraz zespół Rivi, których serdecznie tutaj pozdrawiam. Bardzo prosta rzecz. Jeśli korzystałeś kiedyś z Allegro... Oczywiście puszczam oczko, ale każdy, kto korzystał z Allegro, no to jest duża szansa, że decydując się o tym, czy zakupi jakiś produkt, to wszedł w co w opinie produktowe. No i zazwyczaj tych opinii produktowych trochę jest. Trzeba się trochę przez te opinie przekopać, żeby znaleźć te, które zawierają jakąś informację, która ciebie interesuje, która pomoże tobie podjąć decyzję zakupową.

I bardzo często o tym case'ie opowiadam, bo bardzo zawsze rekomenduję innym produktowcom, czy to w Allegro, czy w innych firmach. Nie traktujmy sztucznej inteligencji, zwłaszcza tej generatywnej, jako produkt sam w sobie, rozwiązanie na wszystkie problemy, tylko zadajmy sobie pytanie. Mamy w firmach wiele procesów, wiele produktów. Gdybyś mógł zatrudnić kogoś? jednego człowieka więcej, który potrafi czytać i pisać i możesz go w tym procesie umieścić, żeby zajął się jedną rzeczą, to co by to było? Jeżeli jesteś w stanie takie miejsce zidentyfikować, to znalazłeś super miejsce, żeby zaimplementować model generatywny i prawdopodobnie ten model będzie w stanie ci bardzo dobrze ten proces zoptymalizować, przyspieszyć, cokolwiek tak naprawdę tutaj będzie twoim kryterium sukcesu. Myślę, że to jest najsensowniejsza porada, gdzie wykorzystywać modele sztucznej inteligencji, jaką dotychczas usłyszałem, bo rzeczywiście spotykamy się z takim trendem, że okej, teraz mamy modę na sztuczną inteligencję, więc korzystajmy z niej wszędzie, bez większej refleksji, czy to ma sens, czy to nie ma sensu.

I najlepsze zostawiłem na koniec, bo to jest dla ludzi najbardziej zagadkowe, czyli tak zwana persona. To jest dla ludzi najmniej intuicyjne, ale chodzi dosłownie o to, żeby model sztucznej inteligencji wcielić w jakąś personę, pisząc, jesteś na przykład product managerem. Twoje zadanie to i tamto. I dla ludzi to jest bardzo nieintuicyjne, a powiem szczerze, że to jest ten element prompta, którego ja najczęściej używam w swojej codziennej pracy. Ja bardzo często, zanim udam się na spotkanie z jakimś dyrektorem albo czasami nawet z zarządem, to robię tak zwaną symulację. Na przykład jesteś prezesem Allegro. Twoje zadanie to ocena mojego pomysłu na produkt i zadanie mi pięciu bardzo trudnych, brutalnych pytań, które spróbują odkryć, czy mój pomysł ma sens biznesowy i tak dalej, i tak dalej.

Pamiętam, że rok temu miałem swoją najważniejszą agnotą w karierze w Allegro prezentację przed naszym zarządem, gdzie musiałem ich przekonać do swojego pomysłu. Kilka dni przed spotkaniem poprosiłem asystenta AI, wcieliłem go w rolę naszego prezesa i poprosiłem, aby mi właśnie zadał kilka trudnych pytań. I daję słowo, że trzy pierwsze pytania, które zadała mi sztuczna inteligencja, to były trzy pytania, które dostałem na tej rozmowie z zarządem. I daję słowo, myślę, że gdybym nie miał tego doświadczenia, tej symulacji, to moja pierwsza reakcja na tym spotkaniu byłaby na zasadzie... i bym coś kleił na gorące. Niesamowite to jest. Bardzo zawsze to polecam. Moja koleżanka spoza Allegro, która pracuje w agencji reklamowej, powiedziała mi na przykład, że bardzo często przygotowuje się do rozmów ze swoimi klientami.

Ty chcesz poruszyć kwestię tego, jak ważne jest rozumienie, ile czasami ważą pojedyncze słowa. Tak, dokładnie, że ta semantyka jest ważna, nie? Tak jak wiesz, że rozmawiasz z kimś, kto ma powiedzmy lekkie podejście do języka i... obrusza się, że go poprawiasz z formą czy coś takiego, bo to nie ma znaczenia i tak rozumiesz, o co mi chodzi. Dopóki nie dojdzie do sytuacji, w której drobna literówka zmienia cały kontekst wypowiedzi. A w przypadku modelu sztucznej inteligencji to jest jeszcze ważniejsze, bo mimo wszystko, tak jak mówiłeś, my mamy te naturalne konteksty. My wiemy, czym jest drzewo, w jakim mieście jesteśmy. I tak dalej, a model tego nie wie i ta drobna różnica może go absolutnie wyprowadzić w pole, jak rozumiem. Ja kiedyś taki błąd na produkcji, błąd tak właśnie rozumiany z tym, że zbyt lekko podeszliśmy do definicji, to nie było w Allegro, to było w innej firmie, to było w startupie, w grancie badawczym, który to robiłem.

I rozumiesz, tak? Dla nas to jest oczywiste to, co powiedziałeś. Mamy te naturalne konteksty, że w handlu, w sprzedaży mówimy... pewien rodzaj prawdy, ale tam musieliśmy dopisać, że mów prawdę i tylko prawdę, ale jednocześnie nie zniechęcaj klienta do oferty. I to jest oczywiście trochę śmieszne, ale to bardzo dobrze moim zdaniem pokazuje, na czym będzie faktycznie polegała ta taka poważna praca, żeby właśnie bardzo mocno ważyć, jak może rozumieć słowo czy zdanie sztuczna inteligencja, I jak to na koniec dnia wpłynie na to, jak wykonuje ona zadanie biznesowe. Bo w Allegro też mieliśmy taki przykład. Też jeden z naszych pierwszych prototypów. Bardzo prosty. Chcieliśmy pomóc naszym sprzedawcom i opcjonalnie daliśmy im możliwość skorzystania ze wsparcia sztucznej inteligencji do generowania opisów.

produktowych, które byłyby zgodne z jakimiś takimi naszymi zasadami dobrego pisania opisów produktowych. Napisaliśmy prompta. On był testowany wiele tygodni, nawet nie wiem, czy nie miesięcy, ale nie byliśmy w stanie osiągnąć, wyznaczyliśmy sobie pewien taki wskaźnik jakości po prostu, właśnie związany z halucynacjami. I bardzo, ten prompt był pisany wielokrotnie, on miał kilkanaście wersji. I wiesz, co pomogło? Jak dodaliśmy jedno zdanie. Jesteś sprzedawcą na Allegro. Bo to jedno zdanie sprawiło, że sztuczna inteligencja przestała myśleć o pisaniu ofert jako o pisaniu wszystkiego, co może być ofertą w internecie, tylko dostała prosty, naturalny kontekst. A jednocześnie jaki ogromny kontekst.

Dokładnie tak, że chodzi o oferty, które byłyby wyświetlone na Allegro. I to nagle sprawiło, że model zaczął generować bardzo dobrej jakości opisy, które są zgodne z naszymi zasadami i które mogą faktycznie pomóc sprzedawcom szybciej wystawiać się na naszej platformie. Fajnie, że zahaczyłeś z powrotem o Allegro, ponieważ prompty promptami, a codzienna praca codzienną pracą. W jaki sposób pracownicy Allegro pomagają sobie w codziennej pracy przy użyciu AI? To jest bardzo ciekawe pytanie. Ja poza rolą produktowca w Allegro i tworzeniu rozwiązań AI-owych, Ja jestem też odpowiedzialny za taki program razem z moim szefem Robertem Mroczkowskim pod tytułem Productivity AI. Tylko paradoksalnie nie chodzi w nim o technologię, bo mam taką trochę refleksję, że bardzo dużo mówi się teraz w biznesie i na rynku w kontekście sztucznej inteligencji o tym, jak sztuczna inteligencja będzie automatyzować naszą pracę.

gdzie u nas w Allegro ta filozofia w ogóle tego nie dotyka. My bardziej mówimy o takim pojęciu jak augumentation, czyli jak sztuczna inteligencja rozszerzy nasze zdolności do pracy. Więc ja przez to rozumiem. No bo na swoim takim przykładzie, bo on jest moim zdaniem taki najbardziej autentyczny. Ja jako product manager na co dzień pracuję z wieloma różnymi rolami. Na przykład mając jakiś produkt, mam w swoim zespole analityka, mam w swoim zespole inżyniera, mam w swoim zespole UX designera, który dba na przykład o szatę graficzną produktu. I teraz każdy z nas... w tym świecie przed AI-owym miał jakieś zadania. Analityk na przykład musiał analizować dane i mógł to robić, bo potrafił używać języka SQL.

UX designer ma wyczucie estetyki i potrafi korzystać z Figma, więc może przenieść na ten wirtualny papier makietę aplikacji, którą chce stworzyć i tak dalej, i tak dalej. I teraz ja, korzystając z rozwiązań sztucznej inteligencji, które mamy w Allegro, mogę pożyczyć sobie na chwilę część ich kompetencji. Dla przykładu, ja teraz nie latam z każdym prostym pytaniem do analityka. Tylko sam proszę sztuczną inteligencję, żeby wygenerowała mi kod SQL, za pomocą którego pozyskuję odpowiedź na swoje pytanie z odpowiednich źródeł danych. I to nie jest tak, że tutaj ta sztuczna inteligencja kompletnie mi zajmuje tego analityka, bo nie jest ona w stanie sobie poradzić z całą tą złożonością. Ale dzięki temu, że ja mogę sobie pożyczyć...

tę umiejętność pisania kodu SQL i prostej analizy danych, no to ja zostawiam dużo więcej przestrzeni swojemu analitykowi na to, aby on faktycznie mógł się skupić na takiej dużo bardziej zaawansowanej analizie, która pchnie nasz produkt do przodu. I bardzo teraz się w ogóle dużo mówi o tak zwanych generalistach, czyli... Te wszystkie nasze role zaczynają się wypłaszczać, czyli już nie będziemy tak bardzo wyspecjalizowani w jakiejś konkretnej dziedzinie, tylko wszyscy będziemy mogli dzięki sztucznej inteligencji robić podobne rzeczy. Oczywiście zobaczymy jeszcze jak to się potoczy, ale patrząc na to jak dzisiaj w Allegro jest wykorzystywana sztuczna inteligencja, to ja mam poczucie, że ludzie przede wszystkim robią... Wykorzystują ją po to, żeby pożyczać sobie kompetencje, do których wcześniej nie mieli dostępu.