Co słychać Alexa? Część druga

Dzień dobry, witam bardzo serdecznie. Ja nazywam się Artur Kurasiński, a to jest podcast Technofobia, w którym opowiadam o tym, jak technologia wpływa na nas i nasze życie. A jest dzisiaj ze mną gościa, właściwie gościni specjalna, Ewa Kolczyk. Dzień dobry. Dzień dobry, dzień dobry Arturze, dzień dobry wszystkim. Menadżerka i inżynierka z Amazon Development Center w Gdańsku, której bliska jest technologia generatywnej sztucznej inteligencji. I to się bardzo dobrze składa, ponieważ chciałbym właśnie o tym z Tobą dzisiaj porozmawiać. Bardzo się cieszę i bardzo dziękuję za zaproszenie. Mamy formalności za sobą, także Ewo, powiedz mi, to kiedy poznałaś Aleksę? Aleksę, tak, to może najpierw powiem prywatnie. Oczywiście usłyszałam o Aleksie już w 2014 roku, kiedy ona weszła na rynek, ale tak już osobiście poznałam Aleksę w 2016 roku, czyli...

nawet 7 lat temu, kiedy kupiliśmy nasze pierwsze urządzenie Echo do domu. Mieszkaliśmy wtedy w Stanach Zjednoczonych i obydwoje z mężem zaczynaliśmy pracę w Amazonie i chcieliśmy wypróbować tę technologię we własnym domu. Myślę, że warto pamiętać, że wtedy to była taka podstawowa wersja. Aleksy w tym 2014 roku, kiedy ona została wypuszczona na rynek, miała tylko 13 tak zwanych skilli, czyli tych umiejętności, była dostępna na jednym rodzaju urządzenia, w jednym języku. No i myślę, że wszyscy, którzy tam przez te lata pracowali nad Aleksą są dumni z tego, gdzie ona teraz jest, bo teraz tych skilli, tych umiejętności są setki tysięcy, jest dostępna w prawie 20 językach i

Z tego, co ostatnio się dowiedzieliśmy, to jest miliard urządzeń podłączonych do Aleksy. Tutaj liczymy zarówno urządzenia Echo, jak i te urządzenia Smart Home. W każdej godzinie w Aleksie obsługujemy ponad 10 milionów interakcji. Więc tego jest naprawdę dużo, to się dzieje na całym świecie. No ale oczywiście moje pierwsze doświadczenia były proste. To było słuchanie muzyki, pytanie o pogodę, podstawowe fakty. Co ciekawe, oczywiście moje dzieci, które były wtedy na etapie edukacji natychmiast tutaj zobaczyły okazję i... Pytały Aleksę, żeby im coś policzyła, żeby im powiedziała, jak się coś pisze. Także od razu było to wykorzystane w domu.

No a tak zawodowo, czyli od środka, Aleksę poznałam w 2019 roku. Wtedy przeniosłam się z AWS-a do zespołu Aleksa Text to Speech, czyli tego zespołu syntezy mowy. No i tam... Wrzucono mnie na głęboką wodę, ale uważam, że to było moje szczęście, bo dostałam taki projekt, który wymagał zmian w Aleksie, jak to się mówi, end-to-end, czyli praktycznie w każdym module, przez który przechodzi ta nasza interakcja z Aleksą i miałam szansę poznać już ten moduł, który jest na urządzeniu. potem przez to, co się dzieje dalej, ten moduł, który wykrywa, jak budzimy tą Aleksę tym jej imieniem, potem jak ona rozpoznaje naszą mowę, jak przetwarza nasz naturalny język, jak wybiera, co tutaj, jak tu odpowiedzieć.

No i w końcu ten zespół, w którym jestem, czyli zespół... zajmujące się syntezą mowy. Także to wtedy myślę, że w tym 2019 roku naprawdę poznałam Aleksę od środka. Super, a powiedz mi to z twojej perspektywy jako osoby, która śledzi trendy, patrzy na to, co się dzieje na rynku. Jakiego typu drogę przebyła do tego momentu Aleksa? To jest raczej żłobek w przedszkole, czy to jest tak, że jesteśmy już na progu jej wejścia na studia? Fajna metafora. Tak, myślę, że jesteśmy na tym progu wejścia na studia. Już myślę, że naprawdę dobrze nam idzie to bycie takim wirtualnym asystentem, asystentką.

Aleksa jest bardzo pomocna w domu. Ale ciągle tam jeszcze jest trochę do nauczenia się, jeszcze jest trochę drogi do przebycia. Ale myślę, że te przykłady od tego jednego języka do prawie 20, od 13 skilli do setek tysięcy też pokazuje, Jaki to był dynamiczny rozwój. Dużo tu się wydarzyło w międzyczasie, a ilość urządzeń, nawet nie wiem ile, ale jest ich naprawdę ogrom. A jak wygląda kwestia języka polskiego? Bo myślę, że tutaj dużo słuchaczy i słuchaczek będzie też miało to pytanie z tyłu głowy. kiedy doczekamy się, że Aleksa będzie słyszała, rozumiała też i mówiła do nas w języku polskim. No ja niestety nie mam żadnych informacji na ten temat.

Tak, to zawsze, to pytanie zawsze pada, ale nie mam tych danych, nie wiem, kiedy to będzie. Natomiast nasz zespół syntezy mowy oczywiście opracował język polski i ten język polski jest dostępny w naszym serwisie chmurowym AWS-owym, czyli ten serwis... i to właśnie ten zespół, który ja prowadzę, zajmuje się tym serwisem AWS-owym, to jest zespół Amazon Poli i na tym serwisie, także dla wszystkich biznesowych klientów AWS-owych dostępnym serwisie są polskie głosy. Rok temu na przykład wypuściliśmy fantastyczny głos Ola, bardzo naturalny, bardzo żywy. Jest on dostępny dla rozwiązań biznesowych, jeszcze nie na Aleksie. Doczekamy się kiedyś, ja jestem dobrej myśli.

Co to oznacza, że Alexa nowej generacji, przedstawiona we wrześniu tego roku, czyli 2023, jest bardziej konwersacyjna? Jak mogłabyś to opisać? Tak, to jest dobre pytanie, no bo tak naprawdę już od wielu lat ta Alexa jest naszym dobrym kompanem, asystentem, asystentką. Ale jednak do tej pory ta rozmowa z Aleksą, ta interakcja była trochę bardziej zadaniowa, niż byśmy chcieli. To oczywiście wynikało z ograniczeń technicznych. Ta wizja produktowa Aleksy zawsze była i jest w pełni naturalna i konwersacyjna. No ale teraz...

Kiedy do Aleksy przychodzą te duże zmiany, które widzimy na rynku technicznym, czy umożliwione przez... duże, bardziej ogólne modele z bilionami parametrów, czyli Large Language Models, LLM-y, tak naprawdę możemy przyspieszyć, możemy się stać jeszcze bardziej konwersacyjni i zaraz powiem na czym to polega. Będę też chciała opowiedzieć o tym, co jest szczególne dla Aleksy, bo myślę, że słuchacze tutaj... wiedzą już wiele o dużych modelach językowych, o LLM-ach. Ten cały hype wokół czata GPT trwa już rok, więc myślę, że tutaj jest ta wiedza. Chciałabym powiedzieć o tym, co jeszcze dodatkowo jest w Aleksie, jakie są nasze dodatkowe wyzwania.

Po pierwsze chcemy, żeby ta głosowa konwersacja z Aleksą była naturalna, tak jakbyśmy rozmawiali z drugim człowiekiem. No i żeby tak było, Aleksa musi rozumieć i dostosowywać swoją odpowiedź nie tylko do samej tej transkrypcji tekstu zapytania, ale też do mowy ciała, do tego kto do niej mówi. No i w tym celu wykorzystujemy inne sensory, nie tylko mikrofon, ale też na przykład kamerkę, która jest obecna w urządzeniach show. Po drugie, w głosowej konwersacji nie może być opóźnień, żeby ona była naturalna. Dlatego sporym wyzwaniem dla nas i dla naszego wykorzystania LLM-ów jest tak zwane latency, czyli to opóźnienie.

U nas ono musi być minimalne. Po trzecie, i to jest super ważne, Aleksa nie tylko odpowiada tekstem czy głosem, ale też robi mnóstwo rzeczy. Steruje urządzeniami smart home, wysyła maile, kupuje rzeczy. I my nie możemy sobie pozwolić na halucynacje obecne w innych modelach. Po polsku mówi się, że papier wszystko przyjmie. LLM, który odpalamy w przeglądarce, może nam dać dowolną odpowiedź. Ale kiedy prosimy Aleksę o konkretne akcje na podstawie konwersacji z naszym LLM, to nie może się ona pomylić. I jeszcze nie dość, że nie może się pomylić, to jeszcze musi wywołać szereg akcji, szereg interakcji przez wiele API z innymi urządzeniami.

I tu też trzeba wiedzieć, że tu nie można być takim prawie poprawnym. bo albo nam się te światła włączą, albo się ta brama otworzy, albo nie. Nie da się tego zrobić tak troszkę. Po czwarte, no to już jest taki wiadomo, Amazon zawsze skupia się na kliencie, po czwarte chcemy działać w sposób taki spersonalizowany, skoro ta Alexa, to urządzenie jest w naszym domu, jest... U nas chcemy, żeby te odpowiedzi dostosowywała do użytkownika w zależności od jego ustawień, ale też poparciła poprzednie interakcje. I chcemy, żeby sama też miała jakąś osobowość, miała opinię, poczucie humoru. No i po piąte, i to jest dla nas zawsze najważniejsze, użytkownicy muszą mieć pełne zaufanie do Aleksy, zaufanie, że ich prywatność w żaden sposób nie będzie naruszona.

Chciałam pokazać, że to nie jest takie proste, że to nie jest tylko wzięcie tego samego LLM-a, który mamy w przeglądarce i po prostu odpalenie. Tylko trzeba zadbać o te wszystkie pozostałe aspekty, czasami tunując ten model, a czasami dodając dodatkowe warstwy. No i jakby udało się nam, ciągle się jeszcze mierzymy, ale udało się nam zmierzyć już z wieloma z tych wyzwań i w ten sposób ta konwersacyjna sztuczna inteligencja jest, a będzie jeszcze bardziej dostępna na Aleksie i czym to się objawia. No na przykład kiedy rozmawiamy teraz z Aleksą nie będziemy musieli za każdym razem wywoływać jej imienia. Wystarczy, że na przykład przy urządzeniach typu show zwrócimy się do niej, popatrzymy w jej kierunku, tak jak rozmawiamy z człowiekiem, wtedy ten człowiek, tutaj ta Aleksa, będzie wiedzieć, że to do niej mówimy.

Oczywiście sama rozmowa będzie bardziej naturalna na dowolny temat, odpowiedzi są naturalne, urozmaicone. No i oczywiście tak jak zawsze. Nie tylko możemy rozmawiać, ale możemy też prosić Aleksę o wykonanie wielu zadań i one się fizycznie wydarzą dla nas. To brzmi bardzo interesująco i tak dosyć nietypowo, bo do tej pory faktycznie Aleksa była raczej kojarzona z takimi bardzo prostymi zadaniami. Przynajmniej ja miałem takie wrażenie, korzystając z tego rozwiązania. Teraz widzę, że w powrześniowym update'cie... To właściwie już jest bardzo dojrzała technologia. Dobra, a jakbyśmy mogli się skupić na kwestiach osób niepełnosprawnych.

W jaki sposób to nowe podejście do konwersacji, które uwzględnia niewerbalne wskazówki, tak jak mowa ciała. Czy kontakt wzrokowy może pomóc, czy pomaga osobom niepełnosprawnym? Macie jakieś takie dane? Prowadzicie jakieś tego typu eksperymenty? To jest w ogóle dla nas bardzo ważny obszar i zawsze się staramy, żeby ten nasz produkt i jego funkcjonalności były najbardziej inkluzywne i pomagał wszystkim grupom klientów. No i tak oczywiście z racji natury tego interfejsu głosowego osoby niewidzące i niedowidzące są tutaj tą główną grupą, której pomagamy i one dzięki Aleksie mają ten interfejs głosowy i to oznacza oczywiście dostęp do informacji i okno na świat.

Podobnie też osoby z niepełnosprawnościami ruchowymi, które może nie mogą ręcznie obsługiwać urządzeń. Dzięki tej integracji Alexa z urządzeniami smart home mogą być niezależne nawet we własnym domu. To też jest ważne. Alexa ma też umiejętności dedykowane specjalnie dla osób z niepełnosprawnościami. Na przykład mamy taką funkcjonalność Show & Tell, gdzie osoby niewidzące mogą zidentyfikować różne podstawowe produkty spożywcze, takie, których nie da się zidentyfikować dotykiem. puszki albo jakieś pudełka z produktami spożywczymi. Wystarczy, że je pokażą Aleksie, ale nawet nie muszą jej dokładniej pokazać, tylko tak mniej więcej.

Wtedy Aleksa głosowo naprowadzi, jak mają przesunąć ten przedmiot, żeby kamera dobrze go widziała, a pod tym zidentyfikują, co Aleksa zidentyfikuje, co jest w tej puszce czy tym opakowaniu. I to już To już działa. A teraz jeszcze będziemy dodawać zupełnie nowe funkcjonalności. Jedną z nich jest coś, co nazywamy Eye Gaze, czyli kontakt wzrokowy po polsku, gdzie osoby... takim dużym stopniem niepełnosprawności, będą mogły korzystać z niektórych funkcji tylko za pomocą kontaktu wzrokowego, za pomocą ruchu gałek ocznych bez dotyku, ale też nawet bez głosu. Więc to też jest duży...

krok w kierunku osób z takimi no szerokimi niepełnosprawnościami. Mamy też, wprowadzamy też asystenta do nagłych wypadków, dzięki któremu też głosowo w razie wypadku takie osoby będą mogły wezwać pierwszą pomoc. I tutaj w ogóle chciałam powiedzieć, że cały obszar syntezy mowy, czy to właśnie przez Aleksę, czy w inny sposób niweluje wiele barier dla osób niepełnosprawnych. W samych tylko Stanach Zjednoczonych, czyli naszym głównym rynku jest kilkanaście milionów osób niewidzących i niedowidzących, dla których możliwość usłyszenia artykułu, książki, wiadomości pozwala zapomnieć o wielu ograniczeniach. I tutaj jeszcze raz właśnie mogę powiedzieć, że dzięki naszej pracy tutaj w zespole w Gdańsku udostępniamy tą syntezę mowy nie tylko poprzez Aleksę, ale właśnie poprzez serwis AWS-owy wszystkim firmom, startupom czy nawet hobbystom, które chciałyby dodać ten interfejs głosowy do swojego rozwiązania i tym samym udostępnić to rozwiązanie osobom z niepełnosprawnościami.

Mogą się one zintegrować z naszym serwisem POLI Mamy więcej języków niż na Aleksie, prawie 40 języków i ponad 100 głosów. Tak jak już wspomniałam o naszym głosie polskim Ola. Więc bardzo zachęcam, nie tylko ze względów biznesowych, ale właśnie też z tego względu, żeby otworzyć te swoje rozwiązania, które tutaj tworzymy biznesowo w Polsce dla osób z niepełnosprawnościami. Doczytałem się w Twoim bio na LinkedInie, że przez trzy lata prowadziłaś w Amazonie różnego typu inicjatywy. Byłaś inicjatorką programu Girls Do Engineering. I powiedz mi, jak widzisz, czy faktycznie jest tak, że możemy zachęcić dziewczyny, kobiety do tego, żeby angażowały się bardziej w Steam, w IT?

Super, bardzo Ci dziękuję, szczególnie, że to jest Twoja osobista refleksja. To jeszcze jakbyśmy mogli zostać na chwilę przy Twoich doświadczeniach i wnioskach. Jak Tobie, z Twojego punktu widzenia inżynierskiego, z doświadczeniem inżynierskim, jak Tobie pomaga Alexa w takim Twoim życiu codziennym? Jak ta technologia, jakie są Twoje interakcje z tą technologią? Aleksa jest już z nami właśnie te 7 lat, mamy kilka tych urządzeń Echo i to szczerze powiedziawszy one już tak nam się wtopiły w tło w domu, także wręcz czujemy się dziwnie jak gdzieś wyjeżdżamy i potrzebujemy gdzieś podejść do jakiegoś urządzenia, żeby coś włączyć, ściszyć, to tak, także ja już nawet nie wiem czy doceniam tą wartość dodaną, bo ona już dla mnie jest taka no...

po prostu zawsze jest już od tylu lat. Korzystamy też z innych urządzeń, mamy kamerkę ringa na drzwiach przy tej obecnej ilości, szczególnie jeszcze wcześniej w czasach pandemii zakupów internetowych, bardzo przydatna sprawa. Urządzenia Echo używam do wielu rzeczy, używam na przykład do kontaktu z dziećmi, kiedy były młodsze i nie miały smartfonów, teraz używam też do kontaktu z rodzicami, no bo trzeba wiedzieć, że to nie tylko są te lokalne rozwiązania, ale też muszą się połączyć na odległość. z samym dźwiękiem albo dźwiękiem i obrazem, jeżeli się chce za pomocą tych urządzeń. Ale też chciałabym powiedzieć, że przez to, że właśnie pracuję w Aleksie, moje interakcje z nią czasami są też pełne frustracji, bo ja wiem jaki tam jest potencjał, wiem jak chcielibyśmy, jaka jest to nasza wizja, jak chcielibyśmy, żeby ten produkt działał.

No a ciągle jeszcze mamy trochę do przejścia, żeby to wszystko działało idealnie i tak kompletnie, intuicyjnie, jak byśmy chcieli. I za każdym razem, kiedy ta Aleksa mi się pomyli, to trochę traktuję to jako swoją porażkę, chociaż pracuje tam ogromna ilość zespołów, a ja tylko w jednym z nich pracuję, ale źle się z tym czuję. Oczywiście znając tą architekturę Aleksy, często wiem, jak zadać to pytanie. żeby Aleksa wiedziała, o co mi chodzi, żeby mi odpowiedziała. Ale to nie o to chodzi. To chodzi o to, żeby nie trzeba było wiedzieć, jak zadać to pytanie, żeby można je było zadać w dowolny sposób. Ale szczerze powiedziawszy, te moje oczekiwania rozciągam też inne, czy aplikacje, czy urządzenia.

wiedząc jak należy pracować nad takim produktem, nad takim rozwiązaniem, bardzo często jestem rozczarowana, jeżeli jakaś aplikacja, jakieś urządzenie, widać, że ktoś nie włożył wysiłku w to, żeby ono było intuicyjne, żeby użytkownikowi było łatwiej, więc taka trudna miłość do tej technologii, bo z jednej strony naprawdę uwielbiam to, a z drugiej strony też moje oczekiwania są dosyć wysokie. W związku z tym. Ok, a jak moglibyśmy na chwilę się oderwać od samej Aleksy. Co sądzisz, jak myślisz, w jaką stronę rozwinie się kwestia interakcji człowiek-maszyna, człowiek-sztuczna inteligencja?

Ewo, bardzo Ci dziękuję za podzielenie się tą całą masą ciekawych informacji i mam nadzieję, że przekonałaś tym samym dużą część ludzi do tego, żeby zainteresowali się chociażby, nie wiem, sprawdzić jakie nowe skille ma Alexa, bo być może kupili kiedyś jedno z urządzeń i teraz chętnie je sobie wyjmą z szuflady i sprawdzą, co tam nowego słychać. Jak najbardziej. Najpierw trzeba software zaktualizować, ale wystarczy powiedzieć, poprosić Aleksę, żeby się sama zaktualizowała. Arturze, bardzo dziękuję, bardzo mi było miło. Cieszę się, że mogłam powiedzieć też o tych możliwościach edukacyjnych, również tych, które my w Amazonie wspieramy i tworzymy. Bardzo Ci dziękuję i dziękuję słuchaczom.