Sztuczna inteligencja była głównym tematem tegorocznego I/O 2024, a asystent firmy Gemini zajął honorowe miejsce w przemówieniu. Google zaprezentowało również Project Astra, multimodalnego pomocnika AI w czasie rzeczywistym. Dzięki okularom AR i kamerze telefonu, pomocnik ten może słyszeć, widzieć i rozpoznawać przedmioty. Wygląda na to, że Project Astra jest odpowiedzią Google na ChatGPT-4o firmy OpenAI.
- Project Astra, multimodalny pomocnik AI w czasie rzeczywistym, został zaprezentowany na I/O 2024.
- Wykorzystuje okulary AR i kamerę telefonu, aby słyszeć, widzieć i rozpoznawać przedmioty.
- Może rozpoznać mówcę, wyjaśnić, jak działa określona sekcja kodu i podać szczegółowe informacje na jej temat.
- Może również zidentyfikować okolicę i dostarczyć kluczowych informacji o lokalizacji użytkownika.
- Asystent AI może odpowiadać na pytania, wykrywać, na co patrzy, i znaleźć zagubiony przedmiot.
Czym jest Project Astra?
Project Astra, co oznacza zaawansowanego widzącego i mówiącego responsywnego asystenta, jest rzekomo wizją Google dla asystentów AI przyszłości. Gigant IT z Mountain View twierdzi, że podobnie jak ludzie, jego asystent AI może rozumieć i reagować na dynamiczne i złożone środowisko wokół nich.
Firma twierdzi, że dzięki ciągłemu kodowaniu klatek wideo i łączeniu danych wejściowych mowy i wideo w sekwencję zdarzeń, ten asystent AI może szybciej przetwarzać informacje. Umożliwia to asystentowi przyswajanie wiedzy w celu jej skutecznego przywoływania. Według firmy, asystent może szybko reagować i lepiej rozumieć kontekst, w którym jest używany.
Oznacza to, że użytkownicy mogą zadawać pytania Astrze i otrzymywać szybkie odpowiedzi, wykorzystując ją jako rodzaj asystenta w czasie rzeczywistym. Różnica polega na tym, że Astra może pojawić się nie tylko na telefonach, może również pojawić się na innych gadżetach, takich jak okulary.
Google zademonstrował niektóre z możliwości Astry w filmie demonstracyjnym. Obejrzyj wideo poniżej.
Czym jest Project Astra i co odróżnia go od Gemini?
Stosując polecenie ,,powiedz mi, kiedy zobaczysz coś, co wydaje dźwięk”, asystent AI może rozpoznać głośnik. Po zadaniu pytania był nawet w stanie rozpoznać głośnik wysokotonowy i wyjaśnić, że ,,wytwarza dźwięki o wysokiej częstotliwości”.
Pomocnik AI może zrozumieć, jak działa określona sekcja kodu i zaoferować bardziej szczegółowe informacje na jej temat. Może również wykazać, że szyfrowanie AES-CBC jest używane w definicji procedur szyfrowania i deszyfrowania w kodzie.
Kierując kamerę telefonu w stronę otaczających budynków, może również zidentyfikować okolicę i przekazać użytkownikowi kluczowe informacje o tym, gdzie się znajduje.
,,Twoje okulary leżały na biurku obok czerwonego jabłka” – powiedział asystent AI w odpowiedzi na pytanie: „Czy pamiętasz, gdzie widziałeś moje okulary?”. Pokazało to jego zdolność do rozpoznawania wielu rzeczy trzymanych razem.
Pomocnik AI dla Project Astra oferował również wskazówki, jak przyspieszyć pracę.
Podsumowując, Google twierdzi, że asystent AI jest zdolny do prawie wszystkiego, w tym do odpowiadania na zapytania, wykrywania tego, na co patrzy i znajdowania zagubionego przedmiotu.
Kiedy Project Astra będzie dostępny dla użytkowników?
Projekt Astra wciąż znajduje się w fazie testów i nie jest jeszcze dostępny publicznie. Niektóre z możliwości Astry pojawią się w produktach Google, takich jak aplikacja Gemini i doświadczenie internetowe, jeszcze w tym roku, zgodnie z oficjalnym wpisem na blogu.
