Microsoft łączy czat, kod i agentów w jednej aplikacji Copilot

W weekendowym przeglądzie HeadFlash. Microsoft skala Copilot w jedną aplikację. OpenAI wstrzymuje szkolenie najmocniejszych modeli. Anthropic otwiera Cloud Marketplace. Meta daje użytkownikom Muse komputer w chmurze. Cloud odkrywa nowy mechanizm edycji DNA. Badanie o tym. Jak sztuczna inteligencja zabija mówienie? Nie wiem. NVIDIA optymalizuje agentów kodujących. Cognition zbliża się do miliarda przychodu. Dwa agenty oszukiwały w Black Jacku. Robot gotuje w nieznanej kuchni. I darmowy model NVIDII rozpoznaje mówców. Microsoft zaprezentował nową wersję Copilota, która łączy czat, budowanie narzędzi i długotrwałe agenty w jednym produkcie. Aplikacja dzieli się na część do codziennej pracy z agentem, sekcję do tworzenia narzędzi przez opis oraz tryb, w którym agenty działają stale w tle. Pełne wersje Worda, Excela i PowerPointa działają teraz wewnątrz Copilota.

Z dostępem odsetek spadł do 6 i 3%. Pewność siebie ze sztuczną inteligencją sięgnęła 75 punktów na 100 wobec niespełna 30 bez sztucznej inteligencji, a poprawne odpowiedzi spadły z ponad 27 do 10%. Autorzy nazywają to zjawisko epistemia. Badacze NVIDII opracowali system optymalizujący warstwę pośrednią między modelem a środowiskiem, używaną przez narzędzia do kodowania, zamiast samego modelu. Agent badawczy analizuje ślady innego agenta, proponuje zmiany i testuje je w przygotowanych środowiskach. Podejście czerpie z rekurencyjnego samodoskonalenia, a ocena na zbiorze odłożonym następuje dopiero po zamrożeniu warstwy. W ponad 500 środowiskach wykonawczych przetestowano 152 kierunki, generując tysiące przebiegów i dziesiątki tysięcy interakcji.

Robot najpierw eksploruje pomieszczenie, buduje cyfrowego bliźniaka w symulatorze i zapisuje obiekty oraz lokalizację w pamięci przestrzennej, dzięki czemu odnajduje przedmioty poza polem widzenia. Dla zadań takich jak osprzątaj kuchnię model planuje każdy krok i sam koryguje błędy. Ograniczenia to opóźnienia modelu, przegrzewające się serwa palców i wysokie koszty obliczeń. Kod jest dostępny publicznie. NVIDIA wydała model sztucznej inteligencji rozpoznający, która osoba mówi w danym momencie rozmowy. Model ma około 100 milionów parametrów, a jego wagi są dostępne bezpłatnie. Rozróżnia do 8 mówców i wykrywa, gdy kilka osób mówi jednocześnie. Większa liczba uczestników, silny szum tła lub pogłos zwiększają wskaźnik błędów. W połączeniu z systemem rozpoznawania mowy model tworzy transkrypcje z etykietami mówców, choć wyłącznie anonimowymi.