A era das fábricas de IA chegou
A era dos centros de dados de fábricas de IA já chegou e traz novos desafios e oportunidades. A era dos servidores baseados em Intel X8 para computação empresarial e cloud durou cerca de três décadas, com alterações muito ligeiras no consumo de energia. A computação acelerada baseada em GPU nas fábricas de IA está apenas a começar, mas há uma certeza: todos os anos surgem novos desafios, uma vez que a evolução das GPU segue um ciclo anual e o consumo de cada nova geração de GPU praticamente duplica todos os anos.
À medida que as exigências térmicas aumentam, a refrigeração líquida deixa de ser uma opção para se tornar uma necessidade. A refrigeração líquida desbloqueia benefícios de desempenho e sustentabilidade, permitindo ao mesmo tempo avançar para um aumento rápido dos quilowatts por rack. No entanto, a evolução das GPU está a avançar de forma tão rápida e a atingir níveis tão elevados que desafia as soluções atuais de alimentação e refrigeração, exigindo novas inovações para acompanhar este ritmo.
Porque é que a refrigeração de uma fábrica de IA é fundamentalmente diferente
Comecemos pelas diferenças fundamentais entre um centro de dados cloud legado e uma fábrica de IA no que diz respeito à refrigeração.
- As fábricas de IA processam enormes quantidades de dados em simultâneo e produzem tokens, ao contrário do processamento de propósito geral, armazenamento e cargas de trabalho transacionais —como sistemas ERP e CRM— típicos de um centro de dados cloud.
- As fábricas de IA estão preenchidas com servidores de IA baseados em GPU para computação acelerada, enquanto os centros de dados cloud utilizam servidores CPU de propósito geral.
- Num centro de dados cloud, o white space dedicado à computação domina a área imobiliária; numa fábrica de IA, pelo contrário, é o grey space que domina a escala do espaço físico.
- As densidades de potência por rack num centro de dados cloud situam-se em torno dos 5-20 kW por rack IT, enquanto as mais recentes densidades de rack em fábricas de IA atingem 227 kW por rack IT, praticamente duplicando todos os anos e com previsão de ultrapassar 1 MW por rack dentro de 2 a 3 anos.
- Os centros de dados cloud são refrigerados sobretudo por ar, enquanto as fábricas de IA estão a tornar-se predominantemente refrigeradas por líquido, e assim tem sido desde que as densidades ultrapassaram os 75 kW por rack IT.
A densidade aumenta todos os anos, tornando difícil preparar a infraestrutura para o futuro
Nos centros de dados cloud, a maioria dos edifícios com sistemas de alimentação e refrigeração ao nível da instalação conseguia acomodar 3 a 5 ciclos de renovação IT a cada 3-7 anos. Os chillers e os sistemas de rejeição de calor podiam ter de ser ligeiramente sobredimensionados para isso, normalmente entre 20-50%. As fábricas de IA exigiriam um sobredimensionamento de cerca de 100% dos chillers e da rejeição de calor para acomodar apenas um ciclo de renovação IT. Por exemplo, os Blackwell GB200 NVL 72 em 2025 a funcionar a 132 kW por rack IT, se fossem atualizados para Vera Rubin NVL 72, exigiriam até 227 kW por rack IT.
Estes são os nossos desenhos de referência ao nível do centro de dados para Blackwell e Vera Rubin: 10,2-12,7 MW, com capacidade máxima total de refrigeração de 16.247 kW (Dallas) e 16.931 kW (São Francisco). NVL72 Blackwell: 7,536 MW, com capacidade máxima total de refrigeração de 9.051 kW (Dallas) e 9.369 kW (São Francisco). A diferença no consumo de energia e na capacidade máxima total de refrigeração neste salto geracional é significativa, e esta trajetória deverá continuar.
Que refrigeração é utilizada nas fábricas de IA?
Uma fábrica de IA refrigerada por líquido introduz uma nova arquitetura térmica em comparação com ambientes refrigerados por ar. Os principais elementos da computação acelerada refrigerada por líquido incluem:
- Servidores refrigerados por líquido, maioritariamente com refrigeração direta ao chip.
- Manifolds em rack para distribuir uniformemente o líquido/refrigerante por vários servidores através do circuito de fluido IT.
- Cooling Distribution Units (CDU): a principal interface entre o circuito de fluido IT e o circuito de refrigeração da instalação, assegurando controlo de temperatura, caudal e pressão, tratamento do fluido, troca de calor e isolamento.
- Um sistema de rejeição de calor da instalação que rejeita para o exterior o calor de todo o centro de dados, muitas vezes através de chillers ou free coolers com assistência de compressão por meio do circuito de refrigeração da instalação.
A realidade da refrigeração híbrida: porque é que as fábricas de IA continuam a precisar de ar e líquido
Nem tudo num cluster de IA de computação acelerada é refrigerado por líquido direto ao chip. No nosso Desenho de Referência Vera Rubin 113, o desenho de refrigeração da instalação apresenta um sistema de tubagem de dupla via. Para refrigeração por ar, um circuito de água refrigerada integra chillers, com capacidades de free cooling, para fornecer água refrigerada a 68°F a grandes paredes de ventiladores em configuração N+1. Este circuito de água a temperatura mais baixa responde às necessidades de refrigeração por ar do centro de dados. A sala de dados inclui até sessenta e quatro racks IT refrigerados por líquido de 227 kW, vinte e quatro racks de networking refrigerados por ar de 20 kW e dez racks de networking refrigerados por ar de 40 kW. Os racks refrigerados por líquido removem 96% do calor através de líquido, enquanto 4% requerem ar. Aproximadamente um terço dos racks IT no cluster de IA requer refrigeração por ar: 34 racks.
O ambiente exterior influencia as opções de rejeição de calor, utilização de água e eletricidade
Determinar o melhor método arquitetónico numa fábrica de IA para expelir o calor para o exterior depende muito da temperatura e da humidade do ambiente, bem como do nível de utilização de água e eletricidade pretendido. Sendo a refrigeração uma arquitetura, a rejeição de calor pode ser altamente personalizada.
- Torres de refrigeração: baseiam-se nos princípios altamente eficientes da evaporação e circulação de água (maior utilização de água, menor consumo elétrico).
- Dry coolers ou free coolers: utilizam o ar exterior como principal meio de rejeição de calor de fluidos, como água ou glicol, poupando energia e água. Funcionam em circuito fechado, usando ventiladores para forçar o ar ambiente sobre serpentinas aletadas, mantendo o fluido completamente isolado do ambiente exterior (utilização zero de água, consumo elétrico muito baixo).
- Free cooler com assistência adiabática: quando as temperaturas ambiente exteriores sobem, uma fina névoa de água é pulverizada sobre o ar de entrada para o arrefecer antes de atingir as serpentinas de refrigeração (utilização de água e eletricidade dependente do ambiente).
- Free cooler com assistência de compressão: a assistência de compressão ou refrigeração mecânica é utilizada apenas quando a temperatura ambiente sobe (utilização de água e eletricidade dependente do ambiente).
- Chiller standard de baixa temperatura: utiliza um ciclo de refrigeração por compressão de vapor para produzir água refrigerada para refrigeração por ar (utilização de água baixa ou nula, elevado consumo elétrico).
- Chiller standard de alta temperatura: igual ao chiller de baixa temperatura, mas pode ser mais eficiente e é utilizado para refrigeração líquida (utilização de água baixa ou nula, consumo elétrico variável consoante os pontos de regulação de temperatura).
- Chiller Turbocor: utiliza compressores sem óleo, com rolamentos magnéticos e variadores de frequência (utilização de água baixa ou nula, mais eficiente do que um chiller standard, consumo elétrico variável consoante os pontos de regulação de temperatura).
Mais uma vez, a refrigeração líquida pode ser configurada para utilizar muito pouca água, ou mesmo nenhuma, num sistema de circuito fechado.
Temperaturas da água e chillers
Os chillers, utilizados para refrigerar água, são amplamente usados tanto na refrigeração baseada em ar como na baseada em líquido, mas exigem uma grande quantidade de eletricidade para funcionar devido à compressão mecânica. A boa notícia é que Rubin poderia ser refrigerado com água a 45°C, cerca de 113°F. No entanto, isso não significa que tal aconteça sempre numa fábrica de IA. A realidade é que os operadores de centros de dados preferem operar as suas GPU a temperaturas mais baixas devido a SLA —acordos de nível de serviço—, tolerância ao risco e fiabilidade a longo prazo.
As temperaturas da água para GPU estão a começar a ser aumentadas pelos operadores de centros de dados. Quando houver mais dados disponíveis, poderemos ver a operação a 45°C tornar-se o padrão, o que poderá conduzir a centros de dados em que o chiller seja opcional. A maioria dos chillers refrigerados por água tem economizadores incorporados, designados waterside economizers, que utilizam um permutador de calor para aproveitar o ar exterior frio —através de uma torre de refrigeração ou de um dry cooler— para refrigerar a água, contornando o compressor do chiller e proporcionando poupanças energéticas significativas ou free cooling. Por isso, a única razão para optar diretamente por dry coolers seria reduzir o CapEx inicial. Mas, nesse caso, perde-se a capacidade de refrigerar as GPU em dias em que a temperatura exterior esteja anormalmente elevada. Se um centro de dados estiver num clima muito frio, como a Noruega ou a Finlândia, na maior parte do tempo estará frio o suficiente, mas não sempre. A Green Mountain Data Centers na Noruega, no site de Rjukan, reporta 330 dias de free cooling por ano utilizando ar frio e tirando partido das baixas temperaturas ambiente durante grande parte do ano. Ainda assim, ficam 35 dias em que o centro de dados necessita de assistência mecânica de refrigeração fornecida por chillers.
A otimização é crítica
Nos centros de dados atuais, os sistemas de refrigeração representam a terceira maior despesa de capital, depois dos sistemas elétricos e do equipamento IT, e cerca de 40% do OpEx ou despesa variável correspondente à eletricidade. A eletricidade destinada à refrigeração é um custo que deve ser minimizado para aumentar a rentabilidade e cumprir os objetivos de sustentabilidade. A melhor prática consiste em implementar um sistema dedicado de rejeição de calor, dimensionado e configurado para as necessidades exatas, e otimizar a temperatura, os caudais e a pressão através da CDU.
Backup das CDU e bombas
Nas elevadas densidades em que as fábricas de IA operam, qualquer falha no sistema de refrigeração pode provocar sobreaquecimento e indisponibilidade em segundos. Um sistema integrado de armazenamento térmico fornece cinco minutos de backup contínuo de refrigeração em caso de falha de energia: um depósito de 30.000 galões para o circuito de alta temperatura —refrigeração por ar— e um depósito de 15.000 galões para o circuito de baixa temperatura —refrigeração líquida—. Além disso, as CDU e as bombas da instalação têm alimentação UPS dedicada, com cinco minutos de autonomia.
Oportunidade de reutilização do calor residual nos centros de dados
Os centros de dados cloud não produzem calor de alta qualidade suficiente e de forma consistente para permitir uma utilização produtiva desse calor. Os sistemas líquidos das fábricas de IA podem devolver água a temperaturas superiores a 55°C ou 130°F, o que se qualifica como calor de alta qualidade. Além disso, a tubagem pode ser facilmente adaptada a várias aplicações, incluindo processos industriais, estufas e redes de aquecimento urbano.
Desenhar e implementar a refrigeração de próxima geração
À medida que a computação acelerada das fábricas de IA evolui, desenhar a refrigeração para a próxima NVIDIA NVL torna-se trabalhoso e, muitas vezes, impossível, uma vez que existem muito poucas pessoas no mundo com conhecimento e experiência neste domínio. Seis meses antes de cada novo lançamento da NVIDIA, empresas como a Schneider Electric, que colaboram muito de perto com a NVIDIA, publicam desenhos de referência que incluem BOMs —listas de materiais— com especificações de desempenho, layouts, etc. Estes podem ser utilizados como ponto de partida para adaptar preferências individuais e cumprir regulamentações locais. Uma abordagem ainda mais simples é recorrer a módulos prefabricados, incluindo PODs de white space e chillers embalados. Estes skids de refrigeração ao nível da instalação são concebidos para funcionar de forma integrada com os PODs IT, reduzindo drasticamente os ciclos de desenho e implementação e dando confiança de que irão suportar a computação acelerada.
Conclusão: a refrigeração é a limitação e a oportunidade
O desafio de refrigerar fábricas de IA levou a indústria a disponibilizar soluções de refrigeração líquida mais eficientes e com menor utilização de água em comparação com os sistemas legados refrigerados por ar dos centros de dados cloud. A refrigeração líquida atual, além de suportar densidades muito elevadas, pode ser configurada e otimizada para a utilização de água e eletricidade em fábricas de IA, começando pelo método preferido de rejeição de calor, definindo as temperaturas ideais da água e utilizando bombas de velocidade variável nas CDU para regular o caudal com precisão. Os desenhos de referência estão disponíveis com bastante antecedência, permitindo que os operadores de centros de dados implementem com confiança as mais recentes gerações de computação acelerada, hoje e no futuro.
Adicione um comentário