現代の情報技術の世界は止まっているわけではなく、常に変化し、進化している。 一見まったく新しい開発やプログラムが、より現代的で、より興味深く、より便利で、より速い他のものに取って代わられている。

少し前、スタンフォード大学の研究者たちは、カナダのMILA人工知能研究所の科学者たちと緊密に協力し、ハイエナと呼ばれる実験的かつ根本的に新しいAIアルゴリズムを一般に発表した。

ハイエナは、ユーザーが本当に高品質な製品を受け取ることができるよう、現在もさまざまなテストを実施中である。 人工知能能力の最初のテストは、それがこの分野でのブレークスルーになりうることを示している。

アプリの開発者はすでに多くのテストを実施しており、そのうちのひとつが「The Pile」だった。 様々なジャンルや方向性の大量のテキストで構成され、その総容量は約825GB、2500万冊に相当する。 このコレクションは、人工知能の開発とテストを行う非営利団体Eleuther.aiによって3年前に作られた。 すべてのテキストは、以下のような専門的な情報源からダウンロードした：PubMed、GitHubまたは米国特許庁。

新しい人工知能はどのように働き、どのように革新するのか

ハイエナ創設以前 ハイエナ

GPT-4は、ある種の技術的限界、すなわち分析する情報量に応じてAIの性能が低下することを特徴とする原理に基づいている。

このディープラーニングモデルはTransformerと呼ばれている。 これは、入口で受け取ったデータの各部分の重要度を個別に評価する “アテンション “メカニズムを使用している。

ニューラルネットワークの文脈における “注意 “は、人間の認知的注意を模倣したもので、AIが重要なデータを選択して入力することで、より多くの計算能力をそれに割り当てることを意味する。

このように、トランスフォーマーは「アテンション」を利用し、例えば、第一の記号グループに属する単語などの情報を受け取り、正解を生み出す第二の記号グループに移動させる。

すなわち、プログラムの時間は入力情報量の2乗に比例して増加する。

ハイエナ創設後

スタンフォード大学のマイケル・ポリと彼の同僚たちは、AIが作動する現在の注意の原理の長所と短所をすべて分析した後、注意の原理を変えることを提案した。 彼らはこれを科学論文「ハイエナ・ヒエラルキー：より結束した言語モデルに向けて」で報告している。

彼らは情報データの処理に新しいアプローチを用いた。 マイケル・ポリは、”注目 “演算を、データ要素をその出自に関係なく選択するフィルターに基づく “畳み込み “に置き換えることで、彼のアルゴリズムの二次計算への依存を軽減した。 これらはピクセル、デジタル写真、あるいは文章や首尾一貫したテキストに変換される単語である。

この方法によって、開発者は2つの技術、すなわち、正しい単語の並びのための畳み込みフィルタとリサイズフィルタを組み合わせた。

従って、テキスト量に制限なく、何度でも連続して畳み込みを使うことができる。 追加のデータをコピーする必要はない。

テスト中、ハイエナの実験バージョンはGPTとほぼ同じ回答数を達成したが、使用した入力データは大幅に少なかった。

開発者たちはまた、新しいAIアルゴリズムの性能が、「注意」と比べて入力データが増えるにつれて向上していることにも気づいた。

つまり、何千もの単語を効果的に “引き伸ばす “ことができるハイエナの新機能は、言語アプリケーションに対するクエリの “文脈 “が事実上無制限になることを意味する、と研究者たちは考えている。