Apple předvedl návrat umělé inteligence, ve který jsme doufali - ale tady je ještě potřeba zapracovat

Apple WWDC 2024 představil Apple Intelligence, integrující pokročilé schopnosti umělé inteligence v celém jeho ekosystému. Navzdory převratným funkcím bude mnoho uživatelů potřebovat nová zařízení, aby mohli plně využívat.

Během WWDC 2024 Apple představil platformu Apple Intelligence, která přináší do popředí generativní umělou inteligenci (AI) a strojové učení. Tato platforma využívá velké jazykové a generativní modely ke zpracování textu, obrázků a akcí v aplikaci.

Tato iniciativa integruje pokročilé schopnosti umělé inteligence napříč ekosystémem Apple, aby transformovala interakci se zařízeními. Současní uživatelé iPhonů a iPadů však možná budou muset upgradovat svá zařízení, aby mohli plně využít těchto výhod.

V předchozím článku jsem doporučil několik klíčových kroků pro Apple, aby zůstal konkurenceschopný v závodě AI. Podívejme se, jak se oznámení společnosti Apple shodují s těmito doporučeními a kde je prostor pro zlepšení.

Co Apple Intelligence přinese na platformy operačních systémů společnosti

AI na zařízení a v cloudu

Apple Intelligence přináší výkonné generativní modely pro iPhone, iPad a Mac. Funkce na zařízení vyžadují čip A17 Pro, což je omezuje na uživatele iPhone 15 Pro a Pro Max pro lepší zabezpečení a soukromí. Podobně budou kompatibilní pouze iPady s čipy řady M (jako nejnovější iPad Air a iPad Pro) a Macy s Apple Silicon. Mnoha uživatelům se staršími zařízeními nebo non-Pro modely budou tyto pokročilé funkce chybět.

Pro náročnější úkoly Apple představil Private Cloud Compute (PCC), průlomový cloudový inteligentní systém určený pro soukromé zpracování AI. PCC rozšiřuje špičkové zabezpečení a soukromí zařízení Apple do cloudu a zajišťuje, že osobní uživatelská data odeslaná do PCC nebudou přístupná nikomu jinému než uživateli - dokonce ani společnosti Apple. PCC, postavený na zakázku Apple Silicon a vylepšeném operačním systému navrženém pro ochranu soukromí, představuje generační skok v cloudovém výpočetním zabezpečení AI.

Pokud jde o infrastrukturu umělé inteligence, Apple také představil své modely nadace, včetně jazykového modelu na zařízení s přibližně 3 miliardami parametrů a většího serverového modelu běžícího na serverech Apple Silicon v rámci firemních datových center. Tyto modely jsou vyladěny pro specializované úkoly a optimalizovány pro rychlost a efektivitu.

Prostor pro zlepšení: Apple zaostává ve vedoucí pozici v infrastruktuře AI, když neoznámil serverová zařízení s akcelerací AI na okraji, která by umožnila méně schopná zařízení, jako je základní iPhone 15 a starší modely s podporou iOS 18, používat pokročilejší funkce Apple Intelligence. Zatímco hybridní model umělé inteligence s on-device a PCC je krokem správným směrem, nebyla zmíněna okrajová síťová zařízení s akcelerací AI pro zvýšení výkonu a snížení latence. Apple obvykle není transparentní, pokud jde o nasazování zdrojů ve svých datových centrech, takže může plánovat nasazení těchto zařízení na okraj, aniž by zveřejňoval podrobnosti. I když krátký seznam principů odpovědné umělé inteligence, který zde společnost zdokumentovala, je dobrým začátkem, etické prohlášení o AI v souladu s tím, co dělá společnost Adobe, by dále posílilo důvěru a transparentnost.

Zapojení externích poskytovatelů umělé inteligence

Apple se ponořil do integrace ChatGPT, což naznačuje ochotu integrovat služby třetích stran a spolupracovat s více poskytovateli umělé inteligence. Během keynote Apple uvedl, že bude partnerem, který umožní kromě OpenAI ChatGPT (zdarma, Plus a pravděpodobně Enterprise) modely velkých jazyků třetích stran (LLM), ale tyto modely neuvedl. Mezi potenciální modely patří Microsoft Copilot, Google Gemini, Meta Llama 3, Amazon Titan a Hugging Face a mnoho dalších.

Prostor pro zlepšení: I když záměr společnosti Apple být agnostik LLM je pozitivním znamením pro strategii společnosti AI, doufal jsem v širší přijetí platforem třetích stran, zejména zdravotnictví, financí a vzdělávání, s integrací AI. Tento posun však bude muset přijít s vývojáři, kteří přijmou nový SiriKit, App Intents, Core ML, Create ML a další API. Hlubší integrace se specializovanými poskytovateli AI by mohla výrazně zlepšit funkčnost a všestrannost Apple Intelligence.

Chytrá oznámení a nástroje pro psaní

Inteligentní oznámení v operačních systémech Apple budou využívat LLM na zařízení, aby prošly hlukem a zajistily, že projdou pouze ta nejdůležitější upozornění. Toto je součástí nového Zaměření na omezení přerušení, které uživatelům zobrazuje klíčové podrobnosti pro každé oznámení. Psací nástroje pro celý systém mohou psát, korigovat a sumarizovat text pro uživatele, od krátkých zpráv až po dlouhé blogové příspěvky, s funkcí Přepsat, která poskytuje více verzí textu na základě zamýšleného publika.

Prostor pro zlepšení: V návaznosti na zaměření na omezení přerušení by byl přínosný další rozvoj funkcí proaktivní pomoci, které předvídají potřeby uživatelů na základě chování a kontextu v minulosti.

Generování obrázků AI a Genmoji

Apple otevřel svět kreativních možností integrací Image Playground API do všech aplikací. Uživatelé mohou vytvářet obrázky generované umělou inteligencí ve třech stylech: Skica, Animace a Realismus. Představte si, že tyto obrázky vytváříte a sdílíte přímo ve Zprávách nebo na stránkách - je to změna hry. V prostředí Notes může nový nástroj Image Wand generovat obrázky na základě aktuálního obsahu stránky. Genmoji umožňuje uživatelům vytvářet vlastní emotikony a přidávat do komunikace personalizovaný dotek.

Prostor pro zlepšení: Poskytnutí podrobnějších ovládacích prvků a možností přizpůsobení pro generované obrázky a Genmoji, jako je jemné doladění stylů a atributů, by mohlo vyhovět specifičtějším uživatelským preferencím. Kromě toho implementace funkcí, které navrhují vylepšení obrázků nebo vytváření emotikonů na základě aktivity uživatele a kontextu, by mohla dále zefektivnit tvůrčí proces.

Vylepšená Siri a automatizace úkolů

Siri, hlasová asistentka, kterou známe a tolerujeme, konečně dostává tolik potřebný upgrade. Díky pokročilému zpracování přirozeného jazyka (NLP) dokáže Siri porozumět uživatelům, i když koktá, a udržovat konverzační kontext, díky čemuž jsou interakce hladší a intuitivnější. Nyní můžete zadávat požadavky Siri, což je funkce, která bude v hlučném prostředí hitem. Nový vzhled Siri s lehkým obtékáním okrajů obrazovky při klepnutí dodává moderní nádech.

Vylepšené kontextové povědomí Siri umožňuje zvládat úkoly, jako je vyhledávání konkrétních fotografií, přehrávání podcastů a načítání sdílených souborů na základě uživatelských příkazů. Asistent může vytáhnout informace o řidičském průkazu z fotografie a zadat je do formuláře. Ve Fotkách může umělá inteligence použít NLP k vyhledání konkrétních fotografií nebo videoklipů a odstranění rušivých objektů pomocí nového nástroje Clean Up.

Nová funkce Snížit přerušení zajišťuje, že na základě vaší aktivity projdou pouze ta nejdůležitější oznámení. Optimalizace rukopisu (Smart Script) a možnosti matematické interpretace na iPadu usnadňují psaní rovnic pomocí Apple Pencil a jejich řešení pomocí aplikace Kalkulačka. V aplikaci Notes Image Wand převádí hrubé náčrty na vyleštěné obrázky a můžete nahrávat a přepisovat zvuk pomocí textových souhrnů generovaných Apple Intelligence. Nástroj pro čištění odstraní nežádoucí objekty ve Fotkách a Vyhledávání ve videích pomůže najít konkrétní úryvky.

Apple Intelligence také provádí akce v aplikacích jménem uživatele. Může otevřít Fotky a zobrazit obrázky konkrétních skupin na základě požadavku. V aplikaci Mail jsou prioritní zprávy zvýrazněny souhrny pro rychlý přehled. Uživatelé Notes mohou nahrávat, přepisovat a sumarizovat zvuk a vytvářet souhrnné přepisy hovorů s automatickými upozorněními pro účastníky.

Prostor pro zlepšení: Přestože Apple dosáhl významného pokroku, budoucí aktualizace by mohly dále vylepšit možnosti Siri, automatizovat složitější úkoly a poskytnout hlubší personalizaci v celém ekosystému Apple.

Možnosti umělé inteligence napříč produkty Apple

A konečně, hlavním doporučením bylo vylepšení schopností umělé inteligence ve všech produktech Apple, včetně Siri, Apple Music, Apple News, Health, Fitness+, TV a HomeKit. Zatímco funkce umělé inteligence společnosti Apple jsou integrovány napříč zařízeními, konkrétní vylepšení služeb jako Apple Music a HomeKit byla omezená, alespoň tak, jak je uvedeno v keynote WWDC.

Prostor pro zlepšení: Také jsme neslyšeli nic o HomePodu nebo Apple TV s Apple Intelligence, i když ani jeden z těchto produktů nemá výpočetní výkon k provádění generativní umělé inteligence na zařízení. Podobně nebyly žádné zmínky o nových schopnostech AI ve WatchOS. I když tato zařízení mohou být schopna využívat některé cloudové funkce Apple Intelligence, toto nebylo zmíněno v keynote. Navíc je Vision Pro s čipem M2 dostatečně výkonný, aby zvládl funkce Apple Intelligence na zařízení. Přesto hlavní řeč nemluvila o tom, co konkrétně přijde na toto zařízení.

Příběh vývojáře

Na WWDC 2024 společnost Apple zdvojnásobila možnost poskytnout vývojářům nástroje a rozhraní API, které potřebují k odemknutí plného potenciálu Apple Intelligence prostřednictvím rozsáhlé řady vývojářských relací, což zdůrazňuje odhodlání společnosti Apple podporovat živý vývojový ekosystém AI.

Tyto lekce nabídnou hluboké ponory do optimalizace a implementace modelů strojového učení na iOS, iPadOS a MacOS. Cílem je vybavit vývojáře znalostmi, aby mohli využít pokročilé schopnosti AI společnosti Apple.

Jednou z výjimečných funkcí je samozřejmě vylepšená Siri. Vývojáři se naučí, jak integrovat své aplikace se SiriKit, pomocí vylepšeného NLP k vytvoření plynulejších a intuitivnějších uživatelských interakcí. Klíčovým zaměřením budou také App Intents, které vývojářům umožní přinášet základní funkce své aplikace přímo uživatelům prostřednictvím Siri a dalších systémových služeb.

Pod vedením společnosti Apple Silicon vás sezení provedou optimalizací modelů strojového učení a umělé inteligence speciálně pro tyto výkonné čipy. Tento obsah zahrnuje nasazení modelů s Core ML a podporu vyvozování ML v reálném čase na CPU. Budou také zahrnuty aktualizace Create ML se zaměřením na efektivnější a efektivnější tréninkové modely.

Další významnou novinkou budou nové nástroje pro psaní od Applu, které dokážou korigovat, shrnout a přepsat text. Vývojářům bude ukázáno, jak začlenit tyto nástroje do svých aplikací a nabídnout uživatelům pokročilé funkce pro manipulaci s textem.

Tvůrčí potenciál Genmoji bude také prozkoumán, se sezeními o tom, jak generovat vlastní emotikony, aby se zvýšilo zapojení uživatelů a personalizace.

Apple posouvá hranice výkonu pomocí lekcí o zrychlení úloh strojového učení pomocí Metal, grafického rámce Apple. Vývojáři také objeví nové možnosti v rámci Swift a Vision, které jsou klíčové pro integraci pokročilých funkcí rozpoznávání obrazu.

Nakonec bude odhaleno nové rozhraní API pro překlad. Pomůže vývojářům vytvářet aplikace, které bezproblémově překládají text a řeč, díky čemuž budou aplikace inkluzivnější a přístupnější.

Vybavením vývojářů těmito zdroji Apple zajišťuje, že potenciál Apple Intelligence může být plně využit v celém jeho ekosystému, podněcuje inovace a zlepšuje uživatelské zkušenosti.

Zašel Apple s vylepšeními AI dostatečně daleko?

Navzdory vzrušujícím oznámením stále existují určité mezery. Apple představil nová rozhraní API a vylepšení a nadcházející vývojářská setkání poskytnou potřebné nástroje, rámce a školení. Byla však promarněna příležitost pro širší integraci třetích stran, zejména v klíčových oblastech, jako je zdravotnictví a finance. Poté, co vývojáři letos na podzim nastartovali Apple Intelligence, lze tyto integrace očekávat později, po vydání iOS 18.

I když vylepšení ve službách Apple, jako jsou Apple Music, News, Health, Fitness+ a HomeKit, byla implikována, nebyla rozsáhle pokryta. Očekáváme, že tyto podrobnosti se objeví v pozdějších beta verzích iOS 18.

Oznámení společnosti Apple na WWDC 2024 jsou v souladu s několika klíčovými doporučeními, ale nedosahují širší integrace třetích stran, proaktivní pomoci a etických praktik AI. Rozsáhlá vývojářská setkání plánovaná na konferenci však naznačují, že Apple to myslí vážně s vybavením vývojářů nástroji a znalostmi, které potřebují k používání těchto nových schopností umělé inteligence.

Řešení zbývajících mezer by mohlo posílit konkurenční pozici Applu v závodě AI a poskytnout robustnější a na uživatele zaměřený ekosystém AI. Pokračováním v inovacích a zlepšování v těchto oblastech může Apple nastavit nová měřítka a vést budoucnost technologií řízených umělou inteligencí.