Quais são as redes neurais mais comuns usadas na modelagem de linguagem?

1 Redes neurais feedforward

Redes neurais feedforward (FNNs) são o tipo mais simples de redes neurais, consistindo de camadas de neurônios que estão conectados por pesos, mas não têm quaisquer loops de feedback ou unidades de memória. FNNs podem ser usados para modelagem de linguagem tomando um número fixo de palavras anteriores como entrada e emitindo uma distribuição de probabilidade sobre o vocabulário para a próxima palavra. No entanto, os FNNs têm algumas desvantagens, como a incapacidade de capturar dependências de longo prazo, a necessidade de predefinir o comprimento de entrada e o alto custo computacional de processamento de vocabulários grandes.

2 Redes neurais recorrentes

Redes neurais recorrentes (RNNs) são um tipo mais avançado de redes neurais, que possuem loops de feedback que lhes permitem armazenar e atualizar informações ao longo do tempo. RNNs podem ser usados para modelagem de linguagem tomando uma palavra de cada vez como entrada, e emitindo uma distribuição de probabilidade sobre o vocabulário para a próxima palavra, enquanto também atualiza seu estado oculto com base nas entradas anteriores. Os RNNs podem capturar dependências de longo prazo, lidar com comprimentos de entrada variáveis e reduzir o custo computacional compartilhando pesos entre etapas de tempo. No entanto, os RNNs também têm alguns desafios, como o problema do gradiente de desaparecimento ou explosão, a dificuldade de paralelização e a tendência de esquecer ou sobrescrever informações.

3 Redes de memória de curto prazo de longo prazo

Redes de memória de curto prazo de longo prazo (LSTMs) são um tipo especial de RNNs, que têm unidades de memória que podem armazenar e manipular informações por longos períodos de tempo. Os LSTMs podem ser usados para modelagem de linguagem tomando uma palavra de cada vez como entrada e emitindo uma distribuição de probabilidade sobre o vocabulário para a próxima palavra, enquanto também atualizam suas unidades de memória com base nas entradas e saídas anteriores. Os LSTMs podem superar alguns dos problemas dos RNNs, como o problema do gradiente de desaparecimento ou explosão, usando portas que controlam o fluxo de informações dentro e fora das unidades de memória. No entanto, as LSTMs ainda apresentam algumas limitações, como o elevado número de parâmetros, a complexidade do treinamento e a dificuldade de interpretação das unidades de memória.

4 Redes de transformadores

As redes transformadoras são um tipo mais recente de redes neurais, que não usam camadas recorrentes ou convolucionais, mas dependem de mecanismos de atenção para aprender as relações entre as palavras em um texto. As redes transformadoras podem ser usadas para modelagem de linguagem tomando uma sequência de palavras como entrada e emitindo uma distribuição de probabilidade sobre o vocabulário para cada palavra, ao mesmo tempo em que atendem às partes relevantes das sequências de entrada e saída. As redes de transformadores podem superar algumas das redes neurais anteriores, como RNNs e LSTMs, sendo capazes de capturar dependências de longo alcance, lidar com comprimentos de entrada variáveis e paralelizar a computação. No entanto, as redes Transformer também têm algumas desvantagens, como a necessidade de grandes quantidades de dados, o alto consumo de memória e a falta de informações sequenciais.

5 Veja o que mais considerar

Este é um espaço para compartilhar exemplos, histórias ou insights que não se encaixam em nenhuma das seções anteriores. O que mais gostaria de acrescentar?