Apache Kafka

Você pode estar se perguntando o que é Apache Kafka?

No site oficial do Apache Kafka voce encontra a seguinte definição:

Apache Kafka é uma plataforma distribuída de mensagens e streaming

Sobre a arquitetura do Apache Kafka

A arquitetura do Apache Kafka é organizada em torno de alguns termos, são eles: 

• Messages
• Topics
• Producers
• Consumers groups
• Brokers

O Apache Kafka é uma plataforma de fluxo de dados, separa os produtores de dados dos consumidores de dados. Nele, as mensagens são organizadas em tópicos, os tópicos são divididos em partições, e as partições são replicadas entre os nós chamados brokers.

Messages ( Mensagem )

A unidade de dados em Kafka é uma mensagem. Uma mensagem é como um registro ou uma linha no banco de dados. Cada mensagem pode ser considerada um par de valores-chave.

Topics ( Tópicos )

No Kafka, as mensagens são organizadas em tópicos. Você pode pensar nos tópicos como tabelas no banco de dados ou como pastas no sistema de arquivos. Os tópicos são divididos em várias partições.

A partição pode ser considerada um log. Ao escrever, as mensagens são anexadas ao final da partição, preservando a ordem. As mensagens são gravadas em uma partição, mas copiadas para pelo menos mais duas réplicas de partição para redundância. Durante a leitura, eles são lidos da “esquerda” para a “direita”.

Como cada tópico é dividido em várias partições, é importante lembrar que a ordem só é garantida dentro da partição, mas a ordem total em todo o tópico e em todas as partições não.

Producers and Consumers ( Produtores e Consumidores )

Um produtor é qualquer aplicação que gera mensagens para serem persistidas no Apache Kafka. Um produtor é capaz de publicar mensagens em um ou mais tópicos de um cluster no Apache Kafka. Também é possível que os produtores direcionem mensagens para uma única partição. Para conseguir isso, o produtor depende da chave da mensagem e de um particionador para gerar o hash da chave e mapeá-lo para uma partição.

Os consumidores são os leitores das mensagens de um determinado tópico, a diferença fundamental entre o Apache Kafka e um MOM tradicional é que os consumidores nunca receberão as mensagens automaticamente, eles tem que pedir as mensagens, quando estiverem prontos para processar as mesmas.

Brokers

Segundo a documentação do Apache Kafka, um broker é:

Em um servidor Apache Kafka, um broker Apache Kafka e um nó Apache Kafka se referem ao mesmo conceito e são sinônimos

Conclusão

Pessoalmente, acredito que um dos maiores benefícios do Kafka é que ele diminui o “tempo para valorização” dos dados.