Search for a command to run...
Com uma paixão por tecnologia desde 2013, dediquei a maioria dos anos a plataformas que atendem a milhões de usuários. Atualmente, exerço a função de Principal Software Engineer. Meu papel consiste em assegurar a confiabilidade e o alto desempenho de diversos processos e produtos altamente escaláveis.
No comments yet. Be the first to comment.
Falaremos sobre conceitos básicos de recursos do cluster Kubernetes e exploraremos cada classe de QoS e como elas impactam o comportamento dos Pods.
Criar um ambiente de desenvolvimento local pode parecer um desafio. Quem nunca sofreu ~ pelo menos um pouco ~ para conseguir ter as dependências rodando na sua maquina para criar um projeto? Pois é, normalmente passamos por isso quase sempre. Antes d...
Durante muito tempo que estudei sobre Swoole, eu sempre fazia as coisas "do zero" para tentar entender a fundo sobre ele. Cheguei a pesquisar alguns frameworks baseados nele, mas não encontrei nenhum que tenha me chamado a atenção. Então acabei segui...
Quando trabalhamos com processos críticos, seja via script em background ou via o fluxo transacional de APIs, temos algo muito importante para considerar: a possibilidade de interromper um processamento antes que ele termine, causando uma corrupção d...
No cenário tecnológico atual, dois termos que frequentemente encontramos são mensageria e event streaming (ou só streaming). Embora possam parecer semelhantes à primeira vista, esses conceitos têm funções e aplicações bastante distintas. Neste artigo, vamos explorar as diferenças fundamentais entre cada um deles, fornecendo insights claros sobre como eles funcionam e onde são usados.
Vale destacar que abordaremos conceitos e não ferramentas. Existem ferramentas extremamente poderosas que podem reverter uma desvantagem do conceito que ela se propõe a resolver, ou mesmo reverter uma vantagem. Então, lembre que a escolha da ferramenta também é extremamente importante e vai influenciar diretamente os desafios que você vai lidar.
A mensageria é um estilo de comunicação entre sistemas de software. Em um sistema de mensageria, os dados são enviados de um sistema para outro em forma de mensagens. Essas mensagens são armazenadas em um broker de mensagens, que é um servidor intermediário responsável por entregar as mensagens aos sistemas destinatários.
O funcionamento da mensageria é relativamente simples. Um sistema que deseja enviar dados cria uma mensagem e a envia para o broker. O broker armazena a mensagem até que um sistema destinatário esteja disponível para recebê-la. Quando um sistema destinatário está disponível, ele solicita a mensagem do broker. O broker de mensagens entrega a mensagem ao sistema destinatário.
Comunicação Assíncrona: A mensageria permite a comunicação assíncrona, o que significa que os sistemas ou aplicativos podem enviar mensagens e continuar suas operações sem esperar uma resposta imediata. Isso melhora a eficiência e a escalabilidade.
Integração de Sistemas: Ela facilita a integração entre sistemas heterogêneos, permitindo que aplicativos diferentes, muitas vezes em plataformas diferentes, se comuniquem de maneira eficaz.
Confiabilidade: Muitos sistemas de mensageria são projetados para garantir a entrega confiável das mensagens, mesmo em situações de falha. Isso é fundamental para aplicações críticas onde a perda de dados não é aceitável.
Escalabilidade Horizontal: A escalabilidade é alcançada por meio da adição de mais consumidores à fila. Isso permite que mensagens sejam processadas por vários consumidores em paralelo, melhorando a resiliência a falhas.
Desacoplamento: Ela promove o desacoplamento entre os componentes do sistema, o que significa que os sistemas não precisam saber detalhes uns dos outros. Isso facilita realizar atualizações ou substituir componentes sem afetar o sistema todo.
Retentativa: A mensageria frequentemente oferece mecanismos de retentativa, nos quais as mensagens não processadas são reenviadas ao consumidor após uma falha. Isso permite que o consumidor tente novamente processar a mensagem, ajudando a garantir que ela não seja perdida.
Garantia de Entrega: Na mensageria, geralmente existe uma ênfase na garantia de entrega das mensagens ao consumidor. Isso significa que o sistema de mensageria se esforça para entregar a mensagem ao consumidor, mesmo em caso de falha temporária do consumidor. Se o consumidor falhar no processamento da mensagem, a mensagem não é marcada como "consumida" até que o consumidor a processe com êxito. Isso evita a perda de mensagens importantes.
No geral, a mensageria desempenha um papel fundamental na facilitação da comunicação entre sistemas e aplicativos, tornando a integração, a escalabilidade e a confiabilidade mais acessíveis e gerenciáveis em ambientes tecnológicos complexos.
É importante considerar esses pontos de atenção e avaliar cuidadosamente as necessidades específicas do seu sistema ao decidir se a mensageria é a solução adequada.
Em muitos casos, os benefícios superam as desvantagens, mas uma implementação cuidadosa e a escolha da tecnologia certa são essenciais para mitigar os pontos fracos da mensageria.
Devemos nos atentar também à escolha do broker. Pode ser que ele resolva algumas das desvantagens, porém, de modo geral, devemos ter a atenção com:
Gerenciamento: Configurar e gerenciar sistemas de mensageria pode ser complexo. A seleção da tecnologia apropriada, a configuração correta e a manutenção contínua podem exigir um conhecimento técnico considerável.
Latência: Em sistemas de mensageria assíncronos, pode haver latência entre o envio e a recepção de mensagens ao ser comparado a sistemas de comunicação síncrona, por conta do processamento da mensagem.
Depuração: O rastreamento e a depuração de problemas em sistemas de mensageria podem ser desafiadores, especialmente em sistemas distribuídos.
Segurança: É importante garantir que as mensagens sejam seguras durante a transmissão e que apenas destinatários autorizados possam acessá-las. A implementação inadequada de medidas de segurança pode levar a vulnerabilidades.
Escalabilidade: Enquanto a mensageria é escalável por natureza, dimensionar corretamente um sistema de mensageria pode ser complicado, dependendo do broker. O dimensionamento inadequado pode resultar em sobrecarga ou subutilização de recursos.
Tamanho de Mensagem: Alguns brokers impõem limitações ao tamanho das mensagens, o que pode ser problemático se você precisar transmitir grandes volumes de dados em uma única mensagem.
A mensageria é uma tecnologia versátil que pode ser usada para uma ampla gama de aplicações. Os principais casos de uso para mensageria incluem:
Integração entre sistemas de software: A mensageria pode ser usada para integrar sistemas de software de diferentes fornecedores ou plataformas. Isso permite que sistemas que não são diretamente compatíveis se comuniquem entre si.
Notificações: A mensageria pode ser usada para enviar notificações a usuários ou sistemas. Por exemplo, a mensageria pode ser usada para notificar usuários sobre novos e-mails, atualizações de status ou eventos importantes.
Processamento de Pedidos: Em sistemas de comércio eletrônico e aplicativos de gerenciamento de pedidos, a mensageria é usada para transmitir pedidos, atualizações de status e informações de estoque entre diferentes partes do sistema.
Fila de Tarefas: Ela é usada para criar filas de tarefas em que as mensagens representam unidades de trabalho a serem processadas. Isso é útil em aplicativos de processamento em lote e na distribuição de cargas de trabalho.
Sistemas de Pagamento: Em sistemas financeiros, a mensageria é usada para transmitir informações de transações, como autorizações de pagamento e registros de transações.
O streaming é um fluxo contínuo de dados. Em um sistema de streaming, os dados são enviados de um sistema para outro em tempo real. Os sistemas destinatários podem consumir os dados conforme eles são recebidos.
O streaming é frequentemente usado para aplicações em tempo real, como análise de dados, processamento de eventos e transmissão de vídeo.
O event streaming funciona capturando eventos de diferentes fontes, como sensores ou aplicativos, e transmitindo-os continuamente em tempo real. Esses eventos são organizados em um fluxo (stream) ordenado, onde os consumidores se inscrevem para receber e processar os eventos à medida que são gerados.
Isso permite o processamento imediato e a tomada de decisões em tempo real com base nos eventos recebidos. Além disso, alguns sistemas de event streaming podem armazenar eventos para fins de auditoria e análise posterior.
Processamento em Tempo Real: Event streaming permite o processamento imediato de eventos à medida que são gerados, possibilitando ações e tomadas de decisão em tempo real com base em informações em constante atualização.
Escalabilidade: É altamente escalável, o que significa que pode lidar com grandes volumes de eventos e suportar um número crescente de consumidores e produtores à medida que o sistema cresce.
Fluxo de Dados Contínuo: Event streaming mantém um fluxo de dados contínuo, garantindo que nenhum evento seja perdido e que todos os dados relevantes estejam disponíveis para análise e processamento.
Integração de Sistemas: Facilita a integração de sistemas heterogêneos, permitindo que eles compartilhem informações em tempo real e coordenem suas ações de maneira eficaz.
Auditoria e Rastreamento: A capacidade de armazenar eventos permite auditoria e rastreamento detalhados, úteis para fins de segurança e conformidade regulatória.
Enfase na Redundância: Para garantir a durabilidade dos dados em um sistema de event streaming, a ênfase está na redundância em vez de tentativas de retentativa. Os eventos são frequentemente armazenados em logs persistentes e replicados em vários locais para garantir a recuperação após falhas.
Análise em Tempo Real: Facilita análises em tempo real, permitindo identificar padrões, tendências e anomalias à medida que os eventos ocorrem.
Esses benefícios tornam o event streaming uma abordagem valiosa para comunicação e processamento de eventos em tempo real em uma ampla variedade de aplicações e setores, incluindo tecnologia, finanças, logística, entretenimento e muito mais.
Embora o event streaming ofereça muitos benefícios, também existem alguns pontos de atenção e desvantagens a serem considerados, variando conforme o broker escolhido, alguns inclusive sendo similares a Mensageria.
Gerenciamento: Configurar e gerenciar brokers de event streaming pode ser complexo, exigindo conhecimento técnico significativo. A escolha da tecnologia adequada e a configuração correta são essenciais.
Armazenamento: A necessidade de armazenar eventos para fins de auditoria, análise ou reprocessamentos pode resultar em requisitos significativos de armazenamento e custos associados.
Garantia de Entrega: No event streaming, a ênfase está na entrega de eventos com baixa latência, priorizando a velocidade em vez da garantia de entrega. Os eventos são transmitidos continuamente, e não há garantia intrínseca de que um evento não será perdido em caso de falha no consumidor.
Integridade dos Dados: Garantir a integridade e a ordem dos eventos é crítico no Streaming, com isso, problemas na produção do evento ou na leitura podem levar a resultados incorretos, tenha atenção em seus produtores e consumidores.
Modelo de Entrega Única: Os sistemas de event streaming frequentemente seguem um modelo de entrega única, o que significa que, uma vez que um evento é transmitido, ele não será retransmitido automaticamente em caso de falha do consumidor. A ideia é entregar eventos o mais rápido possível, sem atrasos causados por tentativas de retentativa.
Recuperação de Falhas: Garantir a recuperação de falhas em sistemas de event streaming pode ser complexo, requerendo planejamento cuidadoso e redundância para que todos os consumidores voltem no ponto de leitura do stream em que pararam.
Monitoramento: O event streaming é amplamente utilizado em sistemas de monitoramento em tempo real, como monitoramento de servidores, redes, infraestrutura e processamentos de Logs. Ele permite a detecção imediata de problemas e ações corretivas rápidas.
Análise de Dados: Empresas usam event streaming para analisar dados em tempo real, permitindo a identificação de tendências, anomalias e oportunidades de negócios em tempo real.
Jogos Online: Em jogos online, o event streaming proporciona uma experiência interativa e responsiva, permitindo que os jogadores vejam as ações uns dos outros em tempo real.
Aplicativos de Colaboração: Aplicativos de colaboração, como ferramentas de comunicação em equipe, usam event streaming para sincronizar mensagens e atualizações entre usuários em tempo real.
IoT (Internet das Coisas): Dispositivos IoT usam event streaming para transmitir dados em tempo real para análise e controle remoto.
Transmissões ao Vivo: Plataformas de streaming de vídeo e áudio usam event streaming para transmitir conteúdo ao vivo para um grande público em tempo real.
Agora que entendemos os conceitos básicos, vantagens, desvantagens e casos de uso de cada um, vamos explorar e entender as principais diferenças. Alguns pontos já ficaram claros, porém, é importante destacar alguns.
Mais uma vez, a escolha do broker é muito importante, pois em alguns cenários ele pode reverter uma desvantagem da implementação, então sua escolha é extremamente importante. Aqui, vamos abordar os conceitos, sem considerar os brokers escolhidos.
A mensageria é baseada em um modelo de comunicação assíncrona, em que os sistemas ou aplicativos trocam mensagens entre si por meio de uma fila ou tópico. Cada mensagem é processada por um destinatário, e os sistemas podem continuar suas operações sem esperar uma resposta imediata.
O streaming segue um modelo de comunicação contínua e em tempo real, em que os dados, como áudio, vídeo ou eventos, são transmitidos e consumidos à medida que são produzidos. Não há necessidade de esperar a conclusão do envio ou processamento antes de consumir os dados, eles podem ser consumidos por partes.
A mensageria pode ter latências variáveis, uma vez que as mensagens podem ser processadas em momentos diferentes. A latência depende da velocidade com que as mensagens são colocadas na fila, da capacidade de processamento dos destinatários e do desempenho do broker.
Isso não significa que a mensageria é lenta, apenas mostra que possui uma latência um pouco maior do que o streaming por padrão.
O streaming é projetado para oferecer baixa latência, fornecendo dados quase que instantaneamente à medida que são produzidos. Isso é essencial para cenários que exigem respostas rápidas, como videoconferências, jogos online e monitoramento de sistemas críticos.
A escalabilidade da mensageria pode ser complexa dependendo da escolha do broker, pois envolve a capacidade de dimensionar tanto a produção quanto o consumo de mensagens de forma eficiente. Isso pode exigir configurações avançadas para lidar com cargas de trabalho variáveis.
O streaming é projetado para ser altamente escalável. Ele permite que sistemas cresçam facilmente à medida que a demanda aumenta, tornando-o adequado para transmissões ao vivo e outras aplicações com muitos consumidores simultâneos.
Mais uma vez, isso não significa que não podemos utilizar Mensageria em um sistema altamente escalável, a escolha do broker pode reverter isso, porém, é importante entender qual aplicação do seu caso de uso e necessidade arquitetural.
Muitos brokers de mensageria oferecem garantia de entrega, o que significa que as mensagens serão entregues com sucesso ao destinatário, mesmo em caso de falha temporária. Isso é importante em cenários em que a perda de mensagens não é aceitável.
O conceito streaming geralmente não fornece garantia de entrega intrínseca, uma vez que se concentra em entregar dados o mais rápido possível. No entanto, a implementação de mecanismos de redundância e escolha do broker podem ajudar a mitigar a perda de dados.
Sendo assim, o conceito de streaming tolera a perda eventual de dados, como uma transmissão ao vivo parar por um pequeno instante, por exemplo. Enquanto em sistemas de mensageria de processamento de pagamentos, a perda não é aceitável.
As principais diferenças entre a mensageria e o event streaming em relação ao tratamento de falhas no processamento de eventos ou mensagens estão relacionadas à ênfase na garantia de entrega versus a entrega de baixa latência.
A mensageria se concentra em garantir que as mensagens sejam entregues e processadas com sucesso, com mecanismos de retentativa, enquanto o event streaming prioriza a entrega rápida de eventos e depende de redundância e armazenamento durável para garantir a resiliência após falhas.
A escolha entre essas abordagens depende das prioridades do seu projeto e dos requisitos específicos de latência e durabilidade.
A escolha da ferramenta adequada depende dos requisitos específicos do seu projeto, como escalabilidade, latência, suporte a protocolos e integrações com outras tecnologias. Cada uma dessas ferramentas tem suas próprias vantagens e desvantagens, portanto, é importante avaliar cuidadosamente qual delas atende melhor às necessidades do seu sistema.
Mensageria
RabbitMQ: Uma solução de mensageria de código aberto que oferece suporte a diferentes protocolos, como AMQP e MQTT, sendo amplamente utilizada em sistemas distribuídos.
Apache ActiveMQ: Outra alternativa de código aberto para mensageria que oferece alta disponibilidade e integração com várias linguagens de programação.
Amazon SQS: Um serviço gerenciado de mensageria na nuvem oferecido pela Amazon Web Services, facilitando a implementação de filas de mensagens.
Event Streaming
Apache Kafka: O Apache Kafka é amplamente utilizado para event streaming devido à sua capacidade de transmitir eventos em tempo real.
Apache Flink: Uma plataforma de stream processing de código aberto que permite o processamento em tempo real de dados de streaming.
Confluent Platform: Uma plataforma empresarial construída em torno do Apache Kafka, fornecendo recursos adicionais para event streaming, como gerenciamento de esquemas e ferramentas de monitoramento.
AWS Kinesis: Um serviço da Amazon Web Services que permite a transmissão de dados em tempo real, adequado para casos de uso de event streaming.
Azure Event Hubs: Um serviço da Microsoft Azure para ingestão e processamento de eventos em tempo real.
Google Cloud Dataflow: Uma plataforma de processamento de dados em tempo real fornecida pelo Google Cloud, que suporta o processamento de eventos em streaming.
A mensageria é frequentemente usada em cenários em que a ordem e/ou a entrega das mensagens é importante, como processamento de pedidos, integração de sistemas e comunicação entre aplicativos críticos distribuídos.
O streaming é ideal para situações em que a entrega rápida de dados é crucial ou o volume de dados é extremamente alto, como transmissões ao vivo, monitoramento em tempo real e aplicações de colaboração em tempo real, aceitando a perda eventual de dados.
Não existe uma comparação de melhor ou pior, pois cada uma se propõe a resolver um problema. Ao decidir entre cada uma, é preciso entender o seu cenário e seguir pelo caminho mais aderente a ele.
A escolha do broker também é crucial, pois pode influenciar diretamente em todos os pontos que abordamos aqui, trazendo novas vantagens ou desvantagens. Pesquise, entenda e teste antes de adotar um broker.
Este artigo foi elaborado com apoio do ChatGPT e Google Bard