Сьогодні розробники компанії Apple поставили перед собою глобальну ціль радикально змінити та покращити розуміння і реагування голосових помічників на команди.
Нещодавно дослідники компанії представили широкому загалу систему штучного інтелекту, яка має назву ReALM (Reference Resolution as Language Modeling).
Одним із завдань, яке було поставлено перед фахівцями було радикальне покращення розуміння нейромережею команд, які віддає їй людина своєю мовою, а також швидке та якісне реагування та виконання цих команд.
Розробники добилися того, що ReALM може розшифровувати неоднозначні, або багатозначні команди, які можна зрозуміти тільки з контексту ситуації. Проте програма на сьогодні здатна забезпечити максимально інтуїтивний та природний взаємозв’язок між приладом та людиною.
Відомо, що однією з головних проблем нейромереж й голосових помічників було те, що вони на недостатньо високому рівні розуміли та інтерпретували припущення, фразеологізмів, метафор та інших елементів усного і писемного мовлення.
Також існує серед сучасних нейромереж проблема розуміння займенників типу «воно», «вони» або «те», за допомогою яких люди легко орієнтуються у тексті.
Наприклад, можна уявити наступну ситуацію, в якій користувач просить Siri «знайди мені корисний рецепт, в основі якого знаходиться те, що є у моєму холодильнику, проте без грибів – я їх ненавиджу».
За допомогою ReALM ваш пристрій буде не тільки розуміти посилання на інформацію на екрані (вміст вашого холодильника), а також запам’ятає ваші особисті вподобання (нелюбов до грибів). Це може розширити контекст пошуку рецептів, адаптованим цим параметрів.
Цю проблему вже частково почала вирішувати ReALM, оскільки штучний інтелект вміє зв’язувати промовлені людиною слова із тими об’єктами, які демонструються на екрані смартфона.
Нова ШІ-система від Apple може дозволити ефективну взаємодію із цифровими помічниками, спираючись на те, що в у конкретний момент відображається на екрані. Без необхідності отримання точних і чітких інструкцій. Це дозволяє зробити цифрових помічників ефективнішими в різних ситуаціях, наприклад, для водіїв, які управляють автомобілем за допомогою смартфону голосом, а також користувачам з особливими потребами.
ReALM таким чином реконструює екран, а також аналізує об’єкти та їх розташування на ньому. Цей процес дозволяє створити текстове представлення екрана, яке відповідає його візуальному контексту.
Reference Resolution as Language Modeling спочатку аналізує те, що відображено на екрані пристрою користувача. Після цього штучний інтелект створює текст, який відповідає тому, що було хвилину тому зображено у вигляді предметів на екрані, а також візуально відображає його вміст та позначає частини екрана, які є об’єктами, тегами.
ReALM використовує LLM для розуміння контексту, специфічної лексики та зв’язків між ними.
Переваги ReALM:
- ідеальне вирішення для практичної системи розпізнавання посилань;
- значно легша у використанні, ніж GPT-4 і працює майже на такому ж рівні;
- має у своєму арсеналі значно меншу кількість параметрів, а також може обійти GPT-3,5;
- перевершує модель MARRS у всіх типах наборів даних.
Модель ReALM-250М показує гарні та дивовижні результати:
- розуміння усного мовлення – 98,7%;
- синтетичне розуміння задач – 99,8%;
- продуктивність екранних задач – 90,6%;
- обробка невидимих доменів – 97,2%.
Отже, хоча можливості ReALM приємно дивують, її найбільша перевага полягає в любові компанії Apple до штучного інтелекту на їх пристроях, які характеризуються високим рівнем конфіденційності, тобто захисту, персональних даних.
Таким чином ReALM призначений для безпосередньої робити виключно на вашому iPhone та інших пристроях цієї компанії.
Вивчає дані вашого пристрою: розмови, моделі використання додатків і навіть сенсорні сигнали навколишнього середовища – ReALM потенційно може створювати гіперперсоналізованованого цифрового помічника, адаптованого до ваших унікальних потреб.
