Em um ano típico, o Cloud Next – uma das duas principais conferências anuais de desenvolvedores do Google, sendo a outra a I/O – apresenta quase exclusivamente produtos e serviços gerenciados e de código fechado, com APIs bloqueadas por trás. Mas este ano, seja para promover a boa vontade dos desenvolvedores ou para avançar nas suas ambições de ecossistema (ou ambos), o Google lançou uma série de ferramentas de código aberto destinadas principalmente a apoiar projetos e infraestruturas de IA generativa.
O primeiro, MaxDiffusion , que o Google lançou discretamente em fevereiro, é uma coleção de implementações de referência de vários modelos de difusão – modelos como o gerador de imagens Stable Diffusion – que são executados em dispositivos XLA. XLA significa Álgebra Linear Acelerada, um acrônimo reconhecidamente estranho que se refere a uma técnica que otimiza e acelera tipos específicos de cargas de trabalho de IA, incluindo ajuste fino e serviço.
As próprias unidades de processamento tensor (TPUs) do Google são dispositivos XLA, assim como as GPUs Nvidia recentes.
Além do MaxDiffusion, o Google está lançando o Jetstream , um novo mecanismo para executar modelos generativos de IA – especificamente modelos de geração de texto (não o Stable Diffusion). Atualmente limitado a suportar TPUs com compatibilidade de GPU supostamente chegando no futuro, o Jetstream oferece desempenho por dólar até 3x maior para modelos como o Gemma 7B do Google e o Llama 2 da Meta , afirma o Google.
À medida que os clientes trazem suas cargas de trabalho de IA para a produção, há uma demanda crescente por uma pilha de inferência econômica que ofereça alto desempenho, escreveu Mark Lohmeyer, gerente geral de infraestrutura de computação e aprendizado de máquina do Google Cloud, em uma postagem de blog compartilhada com o TechCrunch. JetStream ajuda com essa necessidade… e inclui otimizações para modelos abertos populares, como Llama 2 e Gemma.
Agora, uma melhoria de 3x é uma afirmação e tanto, e não está exatamente claro como o Google chegou a esse número. Usando qual geração de TPU? Comparado com qual mecanismo básico? E como o desempenho está sendo definido aqui, afinal?
Fiz todas essas perguntas ao Google e atualizarei esta postagem se receber resposta.
Em penúltimo lugar na lista de contribuições de código aberto do Google estão as novas adições ao MaxText , a coleção do Google de modelos de IA de geração de texto direcionados a TPUs e GPUs Nvidia na nuvem. MaxText agora inclui Gemma 7B, GPT-3 da OpenAI (o antecessor do GPT-4 ), Llama 2 e modelos da startup de IA Mistral – todos os quais, segundo o Google, podem ser personalizados e ajustados às necessidades dos desenvolvedores.
Otimizamos fortemente o desempenho [dos modelos] em TPUs e também fizemos parceria estreita com a Nvidia para otimizar o desempenho em grandes clusters de GPU, disse Lohmeyer. Essas melhorias maximizam a utilização de GPU e TPU, levando a maior eficiência energética e otimização de custos.
Por fim, o Google colaborou com a Hugging Face, a startup de IA, para criar o Optimum TPU , que fornece ferramentas para trazer determinadas cargas de trabalho de IA para TPUs. O objetivo é reduzir a barreira de entrada para a obtenção de modelos generativos de IA em hardware TPU, de acordo com o Google – em particular modelos de geração de texto.
Mas, no momento, o Optimum TPU é um pouco básico. O único modelo com o qual funciona é o Gemma 7B. E o Optimum TPU ainda não oferece suporte ao treinamento de modelos generativos em TPUs – apenas à sua execução.
As melhorias promissoras do Google no futuro.
Fonte: https://techcrunch.com/2024/04/09/google-open-sources-tools-to-support-ai-model-development/
© 2003-2024 Doctor SAC - Todos os direitos reservados.