NTT och University of Tokyo utvecklar världens första optiska dator-AI med hjälp av en algoritm inspirerad av den mänskliga hjärnan

Samarbete främjar den praktiska tillämpningen av lågeffekt, höghastighets AI baserad på optisk beräkning

TOKYO–(BUSINESS WIRE)–#TechforGood-NTT Corporation (VD och koncernchef: Akira Shimada, "NTT") och University of Tokyo (Bunkyo-ku, Tokyo, president: Teruo Fujii) har tagit fram en ny inlärningsalgoritm inspirerad av hjärnans informationsbehandling som är lämplig för artificiella neurala nätverk med flera lager (DNN) med analoga operationer. Detta genombrott kommer att leda till en minskning av strömförbrukningen och beräkningstiden för AI. Resultaten av denna utveckling publicerades i den brittiska vetenskapliga tidskriften Nature Communications på december 26^th.

Forskare uppnådde världens första demonstration av effektivt utförd optisk DNN-inlärning genom att tillämpa algoritmen på en DNN som använder optisk analog beräkning, vilket förväntas möjliggöra höghastighets- och lågeffekts maskininlärningsenheter. Dessutom har de uppnått världens högsta prestanda av ett artificiellt neuralt nätverk i flera lager som använder analoga operationer.

Tidigare utfördes högbelastningsberäkningar med digitala beräkningar, men detta resultat bevisar att det är möjligt att förbättra effektiviteten i inlärningsdelen genom att använda analoga beräkningar. I DNN-teknologin (Deep Neural Network) beräknas ett återkommande neuralt nätverk som kallas deep reservoir computing genom att anta en optisk puls som en neuron och en olinjär optisk ring som ett neuralt nätverk med rekursiva anslutningar. Genom att återinmata utsignalen till samma optiska krets fördjupas nätverket artificiellt.

DNN-teknik möjliggör avancerad artificiell intelligens (AI) som maskinöversättning, autonom körning och robotik. För närvarande ökar kraften och beräkningstiden som krävs i en takt som överstiger ökningen av prestanda hos digitala datorer. DNN-teknik, som använder analoga signalberäkningar (analoga operationer), förväntas vara en metod för att realisera högeffektiva och höghastighetsberäkningar som liknar hjärnans neurala nätverk. Samarbetet mellan NTT och University of Tokyo har utvecklat en ny algoritm som lämpar sig för en analog operation DNN som inte förutsätter förståelsen av inlärningsparametrarna som ingår i DNN.

Den föreslagna metoden lär sig genom att ändra inlärningsparametrarna baserat på det sista lagret av nätverket och den olinjära slumpmässiga transformationen av felet hos den önskade utsignalen (felsignal). Denna beräkning gör det lättare att implementera analoga beräkningar i saker som optiska kretsar. Den kan också användas inte bara som en modell för fysisk implementering, utan också som en banbrytande modell som används i applikationer som maskinöversättning och olika AI-modeller, inklusive DNN-modellen. Denna forskning förväntas bidra till att lösa nya problem i samband med AI-beräkningar, inklusive strömförbrukning och ökad beräkningstid.

Förutom att undersöka tillämpbarheten av metoden som föreslås i denna artikel för specifika problem, kommer NTT också att främja storskalig och småskalig integration av optisk hårdvara, i syfte att etablera en höghastighets, lågeffekts optisk beräkningsplattform för framtida optik nätverk.

Stöd för denna forskning:

JST/CREST stödde en del av dessa forskningsresultat.

Tidskriftspublikation:

Magazine: Nature Communications (Onlineversion: 26 december)

Artikeltitel: Fysiskt djupt lärande med biologiskt inspirerad träningsmetod: Gradientfri tillvägagångssätt för fysisk hårdvara

Författare: Mitsumasa Nakajima, Katsuma Inoue, Kenji Tanaka, Yasuo Kuniyoshi, Toshikazu Hashimoto och Kohei Nakajima

Förklaring av terminologi:

1. Optisk krets: En krets i vilken optiska vågledare av kisel eller kvarts är integrerade på en kiselskiva med hjälp av teknologi för tillverkning av elektroniska kretsar. Vid kommunikation utförs förgrening och sammanslagning av optiska kommunikationsvägar genom optisk interferens, våglängdsmultiplexering/demultiplexering och liknande.
2. Backpropagation (BP) metod: Den vanligaste inlärningsalgoritmen inom djupinlärning. Gradienter av vikter (parametrar) i nätverket erhålls medan felsignalen sprids bakåt, och vikterna uppdateras så att felet blir mindre. Eftersom backpropagationsprocessen kräver transponering av nätverksmodellens viktmatris och icke-linjär differentiering, är det svårt att implementera på analoga kretsar, inklusive hjärnan hos en levande organism.
3. Analog beräkning: En dator som uttrycker verkliga värden använder fysiska storheter som ljusets intensitet och fas och riktningen och intensiteten av magnetiska snurr och utför beräkningar genom att ändra dessa fysiska storheter enligt fysikens lagar.
4. Direct feedback alignment (DFA)-metod: En metod för att pseudoberäkna felsignalen för varje lager genom att utföra en olinjär slumpmässig transformation på det slutliga lagrets felsignal. Eftersom den inte kräver differentiell information från nätverksmodellen och endast kan beräknas genom parallell slumpmässig transformation, är den kompatibel med analog beräkning.
5. Reservoarberäkning: En typ av återkommande neurala nätverk med återkommande anslutningar i det dolda lagret. Det kännetecknas av slumpmässigt fixerande anslutningar i ett mellanskikt som kallas reservoarskikt. Vid djupreservoarberäkning utförs informationsbehandling genom att sammankoppla reservoarlager i flera lager.

NTT och NTT-logotypen är registrerade varumärken eller varumärken som tillhör NIPPON TELEGRAPH AND TELEPHONE CORPORATION och/eller dess dotterbolag. Alla andra refererade produktnamn är varumärken som tillhör sina respektive ägare. © 2023 NIPPON TELEGRAPH AND TELELEPHONE CORPORATION

Kontakt

Stephen Russell

Wireside Communications®

För NTT

+ 1-804-362-7484

[e-postskyddad]