NTT a Tokijská univerzita vyvíjejí první optickou počítačovou umělou inteligenci na světě pomocí algoritmu inspirovaného lidským mozkem

Spolupráce posouvá praktickou aplikaci nízkoenergetické vysokorychlostní umělé inteligence založené na optických výpočtech

TOKIO–(BUSINESS WIRE)–#TechforGood-Společnost NTT Corporation (Prezident a CEO: Akira Shimada, „NTT“) a Tokijská univerzita (Bunkyo-ku, Tokio, prezident: Teruo Fujii) vymysleli nový algoritmus učení inspirovaný zpracováním informací v mozku, který je vhodný pro vícevrstvé umělé neuronové sítě (DNN) využívající analogové operace. Tento průlom povede ke snížení spotřeby energie a doby výpočtu pro AI. Výsledky tohoto vývoje byly publikovány v britském vědeckém časopise Nature Communications 26. prosince^th.

Výzkumníci dosáhli první světové demonstrace efektivně prováděného optického učení DNN aplikací algoritmu na DNN, který používá optické analogové výpočty, od nichž se očekává, že umožní vysokorychlostní zařízení pro strojové učení s nízkou spotřebou. Navíc dosáhli nejvyššího světového výkonu vícevrstvé umělé neuronové sítě, která využívá analogové operace.

V minulosti byly výpočty s vysokou zátěží prováděny digitálními výpočty, ale tento výsledek dokazuje, že je možné zlepšit efektivitu učící části pomocí analogových výpočtů. V technologii Deep Neural Network (DNN) se rekurentní neuronová síť zvaná deep rezerver computing vypočítává za předpokladu, že optický puls je neuron a nelineární optický prstenec jako neuronová síť s rekurzivními spojeními. Opětovným přivedením výstupního signálu do stejného optického obvodu se síť uměle prohloubí.

Technologie DNN umožňuje pokročilou umělou inteligenci (AI), jako je strojový překlad, autonomní řízení a robotika. V současné době se potřebný výkon a výpočetní čas zvyšuje rychlostí, která převyšuje růst výkonu digitálních počítačů. Očekává se, že technologie DNN, která využívá výpočty analogových signálů (analogové operace), bude metodou realizace vysoce účinných a vysokorychlostních výpočtů podobných neuronové síti mozku. Spolupráce mezi NTT a Tokijskou univerzitou vyvinula nový algoritmus vhodný pro analogový provoz DNN, který nepředpokládá pochopení parametrů učení obsažených v DNN.

Navržená metoda se učí změnou parametrů učení na základě finální vrstvy sítě a nelineární náhodné transformace chyby požadovaného výstupního signálu (chybového signálu). Tento výpočet usnadňuje implementaci analogových výpočtů ve věcech, jako jsou optické obvody. Může být také použit nejen jako model pro fyzickou implementaci, ale také jako špičkový model používaný v aplikacích, jako je strojový překlad a různé modely AI, včetně modelu DNN. Očekává se, že tento výzkum přispěje k řešení nově vznikajících problémů spojených s AI výpočetní technikou, včetně spotřeby energie a prodloužení doby výpočtu.

Kromě zkoumání použitelnosti metody navržené v tomto dokumentu na konkrétní problémy bude NTT také podporovat rozsáhlou a malou integraci optického hardwaru s cílem vytvořit vysokorychlostní a nízkoenergetickou optickou výpočetní platformu pro budoucí optické systémy. sítí.

Podpora tohoto výzkumu:

JST/CREST podpořila část těchto výsledků výzkumu.

Publikace časopisu:

Magazine: Nature Communications (Online verze: 26. prosince)

Název článku: Hluboké fyzické učení s biologicky inspirovanou tréninkovou metodou: Bezgradientový přístup pro fyzický hardware

Autoři: Mitsumasa Nakajima, Katsuma Inoue, Kenji Tanaka, Yasuo Kuniyoshi, Toshikazu Hashimoto a Kohei Nakajima

Vysvětlení terminologie:

1. Optický obvod: Obvod, ve kterém jsou křemíkové nebo křemenné optické vlnovody integrovány do křemíkového plátku pomocí technologie výroby elektronických obvodů. V komunikaci se větvení a slučování optických komunikačních cest provádí optickou interferencí, vlnovým multiplexováním/demultiplexováním a podobně.
2. Metoda backpropagation (BP): Nejčastěji používaný algoritmus učení v hlubokém učení. Gradienty vah (parametrů) v síti jsou získávány při zpětném šíření chybového signálu a váhy jsou aktualizovány tak, aby se chyba zmenšila. Protože proces zpětného šíření vyžaduje transpozici váhové matice síťového modelu a nelineární diferenciaci, je obtížné jej implementovat na analogové obvody, včetně mozku živého organismu.
3. Analogové výpočty: Počítač, který vyjadřuje skutečné hodnoty pomocí fyzikálních veličin jako je intenzita a fáze světla a směr a intenzita magnetických spinů a provádí výpočty změnou těchto fyzikálních veličin podle fyzikálních zákonů.
4. Metoda přímého zarovnání zpětné vazby (DFA): Metoda pseudovýpočtu chybového signálu každé vrstvy provedením nelineární náhodné transformace na chybovém signálu finální vrstvy. Protože nevyžaduje diferenciální informace modelu sítě a lze jej vypočítat pouze paralelní náhodnou transformací, je kompatibilní s analogovým výpočtem.
5. Reservoir computing: Typ rekurentní neuronové sítě s rekurentními spojeními ve skryté vrstvě. Vyznačuje se náhodně fixujícími spoji v mezivrstvě zvané zásobní vrstva. Při počítání s hlubokými zásobníky se zpracování informací provádí spojením vrstev zásobníku ve více vrstvách.

NTT a logo NTT jsou registrované ochranné známky nebo ochranné známky společnosti NIPPON TELEGRAPH AND TELEPHONE CORPORATION a/nebo jejích přidružených společností. Všechny ostatní uvedené názvy produktů jsou ochrannými známkami příslušných vlastníků. © 2023 NIPPON TELEGRAPH AND TELEFON CORPORATION

Kontakty

Stephen Russell

Bezdrátová komunikace®

Pro NTT

+ 1-804 362--7484

[chráněno e-mailem]