É caro desenvolver aplicativos de IA?

Existe um mito recorrente de que criar soluções com IA generativa é caro. Embora o treinamento de modelos de base de última geração exija altos investimentos — com algumas empresas gastando bilhões de dólares nessa etapa —, o custo de desenvolvimento de aplicativos com base nesses modelos tornou-se surpreendentemente acessível.

A pilha de IA é composta por várias camadas, que podem ser representadasm, de forma simplificada, no seguinte diagrama.

Vamos explorar essas camadas de baixo para cima:

1. Semicondutores: Empresas como Nvidia lideram esse segmento, com chips como o H100 e a linha Blackwell. Alternativas fortes incluem o MI300 e o futuro MI350 da AMD.
2. Nuvem: Plataformas como AWS, Google Cloud e Microsoft Azure fornecem infraestrutura que facilita o trabalho dos desenvolvedores.
3. Modelos de base (Foundation Models): Incluem modelos proprietários, como os desenvolvidos pela OpenAI e Anthropic, além de opções de código aberto, como o Llama da Meta.

Os modelos de base frequentemente ganham destaque na mídia porque seu desenvolvimento (que inclui o treinamento do modelo) é extremamente custoso. Empresas que treinam esses modelos investem grandes somas em dados e capacidade computacional, seguindo o princípio de que mais investimento geralmente leva a melhores resultados. No entanto, essa camada enfrenta intensa concorrência, e os desenvolvedores podem alternar entre modelos com mudanças mínimas em seu código.

Apesar desses desafios, o artigo “A questão de US$ 600 bilhões da IA”, da Sequoia Capital, ressalta que investimentos massivos em infraestrutura de IA — como GPUs e data centers — só serão justificáveis se a IA generativa gerar receitas equivalentes ou maiores. Essa realidade torna os investimentos em modelos de base uma tarefa financeiramente complexa, já que o setor ainda busca maneiras sustentáveis de rentabilizá-los.

1. Camada de orquestração: Um nível emergente que ajuda a gerenciar interações entre diferentes LLMs e APIs. Ferramentas como Langchain, LangGraph, Autogen, MemGPT e CrewAI têm desempenhado um papel essencial nessa evolução, facilitando a criação de agentes autônomos e fluxos de trabalho inteligentes. Diferentemente dos modelos de base, os custos de troca nessa camada são mais altos, pois migrar agentes de uma plataforma para outra demanda muito esforço.
2. Camada de aplicação: Essa é a camada que precisa apresentar os melhores resultados financeiros, sustentando as camadas abaixo dela. Os aplicativos desenvolvidos devem gerar receita suficiente para cobrir os custos de infraestrutura, computação em nuvem, modelos de base e ferramentas de orquestração.

Felizmente, os avanços e os investimentos nas camadas inferiores tornaram mais barato prototipar soluções na camada de aplicação. Por exemplo, criar e testar aplicativos de IA generativa com APIs da OpenAI, AWS ou outras empresas pode custar menos de US$ 50 por mês.

Ainda assim, quando o objetivo é construir protótipos funcionais com ferramentas amplamente disponíveis, o AI Fund estima um orçamento médio de US$ 55.000. Embora isso represente um investimento significativo, é muito mais acessível do que os bilhões gastos no desenvolvimento de modelos de base.

Graças a esses avanços, tanto indivíduos quanto empresas podem explorar e testar ideias promissoras sem gastar muito.

Fonte: The Batch, 4 de dezembro de 2024, com a introdução de Andrew Ng.