Processador óptico de IA para reduzir o consumo de energia do data center...

Pesquisadores do MIT nos EUA e da Technische Universitat Berlin construíram um processador de rede neural óptica com lasers incorporados que reduz o consumo de energia de modelos de IA de grande linguagem, como GPT4.0.

A arquitetura 3D é baseada em matrizes de última geração de lasers emissores de superfície verticais (VCSELs) desenvolvidos pelo grupo Reitzenstein da Technische Universitat Berlin. Isso proporciona uma melhoria de 100 vezes na eficiência energética e uma melhoria de 20 vezes na densidade computacional,

“Este foi um projeto colaborativo que não teria sido possível sem eles”, diz o pesquisador Ryan Hamerly, do Laboratório de Pesquisa de Eletrônica (RLE) do MIT, que patenteou o projeto com colegas.

O sistema pode atingir uma eficiência energética de 7 femtojoules por operação (OP) com uma densidade computacional de 6 TOP/mm2/s1, representando melhorias de 100 e 20 vezes, respectivamente, em relação aos processadores digitais de última geração. O desenvolvimento a curto prazo poderia melhorar estas métricas em mais duas ordens de grandeza, abrindo tarefas de aprendizagem automática de centros de dados para dispositivos descentralizados.

“Esperamos que ele possa ser dimensionado para uso comercial em alguns anos. Por exemplo, os conjuntos de laser envolvidos são amplamente utilizados na identificação facial e na comunicação de dados de telefones celulares”, diz Zaijun Chen, primeiro autor, que conduziu o trabalho enquanto era pós-doutorado no MIT em RLE e agora é professor assistente na Universidade do Sul. Califórnia.

“O tamanho do ChatGPT é limitado pelo poder dos supercomputadores atuais. Simplesmente não é economicamente viável treinar modelos muito maiores. Nossa nova tecnologia poderia possibilitar o salto para modelos de aprendizado de máquina que de outra forma não seriam acessíveis em um futuro próximo”, disse Dirk Englund, professor associado do Departamento de Engenharia Elétrica e Ciência da Computação do MIT e líder do trabalho.

“Não sabemos quais capacidades o ChatGPT de próxima geração terá se for 100 vezes mais poderoso, mas esse é o regime de descoberta que este tipo de tecnologia pode permitir.” Englund também é líder do Laboratório de Fotônica Quântica do MIT e é afiliado ao RLE e ao Laboratório de Pesquisa de Materiais.

Coautores adicionais do artigo atual da Nature Photonics são Alexander Sludds, Ronald Davis, Ian Christen, Liane Bernstein e Lamia Ateshian, todos da RLE; e Tobias Heuser, Niels Heermeier, James A. Lott e Stephan Reitzensttein da Technische Universitat Berlin.

Chen, Hamerly e Englund solicitaram uma patente para o trabalho, que foi patrocinado pelo Escritório de Pesquisa do Exército dos EUA e pela NTT Research no Japão, bem como pela Fundação Volkswagen na Alemanha.