Світ сучасних інформаційних технологій не стоїть на місці, а весь час змінюється і розвивається. На зміну, здавалося б зовсім новим розробкам і програмах, приходять інші – більш сучасні, цікавіші, зручніші та швидші.
Не так давно дослідники Стенфордського університету у тісній співпраці зі вченими канадського Інституту штучного інтелекту MILA представили широкій публіці експериментальний і принципово новий алгоритм роботи ШІ, який має назву Hyena.
Hyena поки проходить різноманітні види тестувань, для того, щоб користувачі отримали справді якісний продукт. Перші випробування можливостей штучного інтелекту показали, що він може стати проривом у цій сфері.
Розробники програми провели вже велику кількість тестів, одним із них був The Pile. Він складається із великого обсягу текстів різного жанру і направлення, загальний об’єм яких складає приблизно 825 ГБ, що еквівалентно 250000 книг. Ця колекція була створена три роки тому некомерційною організацією Eleuther.ai, яка займається розробкою штучного інтелекту та його тестуванням. Всі тексти були завантажені сюди із професійних джерел таких як: PubMed, GitHub або Патентне відомство США.
Принцип роботи та новаторство нового штучного інтелекту
До створення Hyena
GPT-4 у своїй основі має принцип, який характеризується певними технічними обмеженнями, тобто продуктивність ШІ зменшується залежно від того обсягу інформації, який треба проаналізувати.
Така модель глибокого навчання має назву Трансформер. Вона використовує механізм “уваги”, який окремо однина від одної зважує важливість кожної частини даних, які були нею отримані при вході.
“Увага” у контексті нейронних мереж імітує людську когнітивну увагу, тобто ШІ обирає важливі дані для входу і таким чином приділяє їм більшу кількість обчислювальних потужностей.
Таким чином програма Трансформер використовує “увагу”, яка бере інформацію, наприклад, слова, які належать до першої групи символів і переміщує їх до другої групи символів, які генерують правильну відповідь.
Трансформер працює, використовуючи квадратичний принцип обчислювальної складності, тобто час роботи програми збільшується пропорційно квадрату кількості вхідних інформаційних даних.
Після створення Hyena
Проаналізувавши всі плюси та мінуси чинних принципів “уваги”, за якими працюють ШІ, Майкл Полі разом зі своїми колегами зі Стенфордського університету запропонували змінити принцип “уваги”. Про це вони повідомили у науковій статті “Ієрархія Hyena: до більш згуртованих мовних моделей”.
Вони використали новий підхід до обробки інформаційних даних. Майкл Полі зменшили залежність свого алгоритму від квадратичних обчислень, замінивши операцію “увага” – “згорткою”, в основу якої покладений фільтр, який обирає елементи даних, незалежно від їх походження. Це можуть бути пікселі, цифрові фотографії або слова, які конвертуються у речення та зв’язний текст.
Таким чином розробники поєднали дві технології – згорткові фільтри для правильної послідовності слів та змінення розмірів фільтрів.
Відповідно згортку можна використовувати багато разів підряд до необмеженого об’єму тексту. При цьому не потрібно копіювати додаткову кількість даних.
Під час тестування було виявлено, що експериментальна версія Hyena досягла майже такої самої кількості відповідей, що і GPT, але при цьому було використано значно меншу кількість вхідних даних.
Розробники також помітили, що при збільшенні вхідних даних продуктивність нового алгоритму штучного інтелекту зростала у порівнянні з “увагою”.
Отже, дослідники вважають, що нові можливості Hyena використовувати фільтр, який може ефективно “розтягуватися” на тисячі слів, означає, що “контекст” запиту до мовної програми практично необмежений.
