|
|
|
|
<!doctype html>
|
|
|
|
|
<html lang="en">
|
|
|
|
|
<head>
|
|
|
|
|
<meta charset="utf-8">
|
|
|
|
|
|
|
|
|
|
<title>Uma Não-Gentil Introdução ao Stream Processing</title>
|
|
|
|
|
|
|
|
|
|
<meta name="description" content="Uma introdução não-gentil ao stream processing">
|
|
|
|
|
<meta name="author" content="Julio Biason">
|
|
|
|
|
|
|
|
|
|
<meta name="apple-mobile-web-app-capable" content="yes">
|
|
|
|
|
<meta name="apple-mobile-web-app-status-bar-style" content="black-translucent">
|
|
|
|
|
|
|
|
|
|
<meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=1.0, user-scalable=no, minimal-ui">
|
|
|
|
|
|
|
|
|
|
<link rel="stylesheet" href="reveal.js/css/reveal.css">
|
|
|
|
|
<link rel="stylesheet" href="theme/azion.css" id="theme">
|
|
|
|
|
|
|
|
|
|
<!-- Code syntax highlighting -->
|
|
|
|
|
<link rel="stylesheet" href="reveal.js/lib/css/zenburn.css">
|
|
|
|
|
|
|
|
|
|
<!-- Printing and PDF exports -->
|
|
|
|
|
<script>
|
|
|
|
|
var link = document.createElement( 'link' );
|
|
|
|
|
link.rel = 'stylesheet';
|
|
|
|
|
link.type = 'text/css';
|
|
|
|
|
link.href = window.location.search.match( /print-pdf/gi ) ? 'css/print/pdf.css' : 'css/print/paper.css';
|
|
|
|
|
document.getElementsByTagName( 'head' )[0].appendChild( link );
|
|
|
|
|
</script>
|
|
|
|
|
|
|
|
|
|
<!--[if lt IE 9]>
|
|
|
|
|
<script src="lib/js/html5shiv.js"></script>
|
|
|
|
|
<![endif]-->
|
|
|
|
|
|
|
|
|
|
<style type="text/css" media="screen">
|
|
|
|
|
.happy {
|
|
|
|
|
color: yellow;
|
|
|
|
|
}
|
|
|
|
|
|
|
|
|
|
.reveal section img {
|
|
|
|
|
border: none;
|
|
|
|
|
}
|
|
|
|
|
|
|
|
|
|
.reveal ul.empty {
|
|
|
|
|
list-style: none outside;
|
|
|
|
|
}
|
|
|
|
|
|
|
|
|
|
li {
|
|
|
|
|
display: block;
|
|
|
|
|
}
|
|
|
|
|
|
|
|
|
|
.cursor {
|
|
|
|
|
background-color: #666;
|
|
|
|
|
color: white;
|
|
|
|
|
}
|
|
|
|
|
|
|
|
|
|
img {
|
|
|
|
|
max-height: 90%;
|
|
|
|
|
}
|
|
|
|
|
|
|
|
|
|
td.seen {
|
|
|
|
|
font-style: italic;
|
|
|
|
|
font-weight: bold;
|
|
|
|
|
}
|
|
|
|
|
</style>
|
|
|
|
|
</head>
|
|
|
|
|
|
|
|
|
|
<body>
|
|
|
|
|
<div class="reveal">
|
|
|
|
|
<div class="slides">
|
|
|
|
|
<section>
|
|
|
|
|
<section data-background="_images/streamprocessing.jpg" data-header>
|
|
|
|
|
<h1 class="semi-opaque">
|
|
|
|
|
Stream Processing
|
|
|
|
|
</h1>
|
|
|
|
|
</section>
|
|
|
|
|
</section>
|
|
|
|
|
|
|
|
|
|
<section>
|
|
|
|
|
<section>
|
|
|
|
|
<img src="_images/avatar-20170726.png" alt="Me" style="float:left;width:200px;" class="no-border">
|
|
|
|
|
|
|
|
|
|
<div>
|
|
|
|
|
<ul class="empty">
|
|
|
|
|
<li>Júlio Biason</li>
|
|
|
|
|
<li>Azion Technologies<img src="_images/azion-logo.png" alt="Azion logo" class='company-logo'></li>
|
|
|
|
|
<li>@juliobiason</li>
|
|
|
|
|
<li>https://functional.cafe/@juliobiason</li>
|
|
|
|
|
<li>julio.biason@gmail.com</li>
|
|
|
|
|
<li><a href="http://presentations.juliobiason.net">http://presentations.juliobiason.net</a></li>
|
|
|
|
|
</ul>
|
|
|
|
|
</div>
|
|
|
|
|
</section>
|
|
|
|
|
|
|
|
|
|
<section>
|
|
|
|
|
<img src="_images/start-a-fight.jpg" alt="Eu faço perguntas em reuniões que eu não sei nada e reunião explode; não é de propósito" class='stretch'/>
|
|
|
|
|
|
|
|
|
|
<aside class="notes">
|
|
|
|
|
Eu sou famoso (ou era) por entrar eu reuniões, fazer uma
|
|
|
|
|
pergunta e a reunião explodir em discussões (úteis, diga-se
|
|
|
|
|
de passagem). Mas eu não fazia isso de propósito.
|
|
|
|
|
</aside>
|
|
|
|
|
</section>
|
|
|
|
|
|
|
|
|
|
<section>
|
|
|
|
|
<img src="_images/mini-hitler.jpg" alt="Me chamaram de Mini Hitler"/>
|
|
|
|
|
|
|
|
|
|
<aside class="notes">
|
|
|
|
|
Para alguns, eu sou um mini-Hitler.
|
|
|
|
|
</aside>
|
|
|
|
|
</section>
|
|
|
|
|
</section>
|
|
|
|
|
|
|
|
|
|
<section>
|
|
|
|
|
<section>
|
|
|
|
|
<img class="stretch" src="_images/streamprocessing-azion.png" alt="Lista de pontos de presença da Azion" />
|
|
|
|
|
</section>
|
|
|
|
|
|
|
|
|
|
<section>
|
|
|
|
|
<h3>O que é uma CDN</h3>
|
|
|
|
|
</section>
|
|
|
|
|
|
|
|
|
|
<section>
|
|
|
|
|
<img class="stretch plain" src="_images/streamprocessing-connection.png" alt="" />
|
|
|
|
|
|
|
|
|
|
<aside class="notes">
|
|
|
|
|
Numa conexão "normal", o seu computador conecta no
|
|
|
|
|
modem, que se conecta em um servidor do seu
|
|
|
|
|
provedor, que se conecta em outro servidor, que se
|
|
|
|
|
conecta em outro, que se conecta em outro até que,
|
|
|
|
|
finalmente, ele chega ao servidor que você
|
|
|
|
|
realmente quer.
|
|
|
|
|
</aside>
|
|
|
|
|
</section>
|
|
|
|
|
|
|
|
|
|
<section>
|
|
|
|
|
<img class="stretch plain" src="_images/streamprocessing-cdn.png" alt="" />
|
|
|
|
|
|
|
|
|
|
<aside class="notes">
|
|
|
|
|
Com uma CDN, ao invés do servidor do provedor
|
|
|
|
|
atravessar toda a internet até chegar ao servidor
|
|
|
|
|
de destino, o servidor da CDN verifica se ele tem o
|
|
|
|
|
arquivo requisitado e, se tiver, responde
|
|
|
|
|
imediatamente.
|
|
|
|
|
|
|
|
|
|
Quem sai ganhando com uma CDN?
|
|
|
|
|
|
|
|
|
|
- O usuário, já que a resposta vem mais rápida.
|
|
|
|
|
- O cliente da CDN, pois ele não vai precisar ter
|
|
|
|
|
um servidor ou uma banda larga para poder responder
|
|
|
|
|
todos os usuários, já que alguns vão ficar somente
|
|
|
|
|
na CDN.
|
|
|
|
|
- O provedor, já que ele tem que pagar qualquer
|
|
|
|
|
tráfego que saia da sua rede.
|
|
|
|
|
</aside>
|
|
|
|
|
</section>
|
|
|
|
|
|
|
|
|
|
<section>
|
|
|
|
|
<img class="stretch plain" src="_images/streamprocessing-names.png" alt="" />
|
|
|
|
|
|
|
|
|
|
<aside class="notes">
|
|
|
|
|
Apenas para dar "nomes aos bois":
|
|
|
|
|
|
|
|
|
|
- "Usuário" é quem inicia a conexão.
|
|
|
|
|
- Cada servidor da CDN é chamado de Edge (e podem
|
|
|
|
|
haver mais de uma edge em cada ponto de presença)
|
|
|
|
|
- O servidor do cliente da CDN é chamado de
|
|
|
|
|
"origem" (já que esse tem os dados originais).
|
|
|
|
|
</aside>
|
|
|
|
|
</section>
|
|
|
|
|
|
|
|
|
|
<section>
|
|
|
|
|
<h2>Por que isso é importante?</h2>
|
|
|
|
|
|
|
|
|
|
<ul>
|
|
|
|
|
<li>Os clientes são cobrados pelo tráfego que passa pela CDN.</li>
|
|
|
|
|
<li class="fragment"><strong>Queremos mostrar o consumo em tempo real.</strong></li>
|
|
|
|
|
<li class="fragment"><strong>... para todos os clientes.</strong></li>
|
|
|
|
|
</ul>
|
|
|
|
|
</section>
|
|
|
|
|
|
|
|
|
|
<section>
|
|
|
|
|
<h2>Como resolver isso?</h2>
|
|
|
|
|
|
|
|
|
|
<p>Poderíamos simplesmente ir somando o total</p>
|
|
|
|
|
<p class="fragment">... se não tivéssemos várias máquinas processando.</p>
|
|
|
|
|
</section>
|
|
|
|
|
|
|
|
|
|
<section>
|
|
|
|
|
<h2>Como resolver isso?</h2>
|
|
|
|
|
|
|
|
|
|
<p>Poderíamos mandar todos os dados para um banco de dados e ir marcando os registros como processados</p>
|
|
|
|
|
<p class="fragment">... se isso não significasse que o banco cresceria infinitamente.</p>
|
|
|
|
|
<p class="fragment">... a não ser que registros antigos fosse apagados.</p>
|
|
|
|
|
<p class="fragment">... que é o que serviços de mensageria fazem.</p>
|
|
|
|
|
</section>
|
|
|
|
|
</section>
|
|
|
|
|
|
|
|
|
|
<section>
|
|
|
|
|
<section data-background="_images/streamprocessing-message-broker.png">
|
|
|
|
|
<h1 class="semi-opaque">Message Brokers</h1>
|
|
|
|
|
</section>
|
|
|
|
|
|
|
|
|
|
<section>
|
|
|
|
|
<img class="plain stretch" src="_images/streamprocessing-broker.png" alt="" />
|
|
|
|
|
|
|
|
|
|
<aside class="notes">
|
|
|
|
|
Um message broker é um serviço que guarda dados
|
|
|
|
|
como um banco de dados, mas possui dois tipos de
|
|
|
|
|
clientes:
|
|
|
|
|
|
|
|
|
|
- Um dos clientes é um "Producer", responsável pela
|
|
|
|
|
geração de dados; numa analogia com banco de dados,
|
|
|
|
|
seria um aplicativo que somente fizesse INSERRTS.
|
|
|
|
|
|
|
|
|
|
- O outro cliente é o "Consumer", responsável por
|
|
|
|
|
ler os dados gerados os dados gerados pelo
|
|
|
|
|
Producer.
|
|
|
|
|
</aside>
|
|
|
|
|
</section>
|
|
|
|
|
|
|
|
|
|
<section>
|
|
|
|
|
<img class="plain stretch" src="_images/streamprocessing-broker2.png" alt="" />
|
|
|
|
|
|
|
|
|
|
<aside class="notes">
|
|
|
|
|
Uma das vantagens de message brokers é que, havendo
|
|
|
|
|
um aumento da geração dos dados, é possível
|
|
|
|
|
simplesmente plugar mais um Producer.
|
|
|
|
|
</aside>
|
|
|
|
|
</section>
|
|
|
|
|
|
|
|
|
|
<section>
|
|
|
|
|
<img class="plain stretch" src="_images/streamprocessing-broker3.png" alt="" />
|
|
|
|
|
|
|
|
|
|
<aside class="notes">
|
|
|
|
|
... e, da mesma forma, se a produção de dados for
|
|
|
|
|
muito grande e o consumer não estiver dando conta,
|
|
|
|
|
basta adicionar mais Consumers.
|
|
|
|
|
|
|
|
|
|
... e o próprio mesage broker vai cuidar para
|
|
|
|
|
distribuir os dados do Producer entre os Consumers.
|
|
|
|
|
</aside>
|
|
|
|
|
|
|
|
|
|
<aside class="notes">
|
|
|
|
|
Message Brokers são também muito usados em
|
|
|
|
|
micro-serviços.
|
|
|
|
|
</aside>
|
|
|
|
|
</section>
|
|
|
|
|
|
|
|
|
|
<section>
|
|
|
|
|
<img src="_images/streamprocessing-kafka.png" alt="Kafka Logo" style="float:left;width:200px;margin:50px;" class="no-border">
|
|
|
|
|
<img src="_images/streamprocessing-rabbitmq.png" alt="RabbitMQ Logo" style="float:left;width:200px;margin:50px;" class="no-border">
|
|
|
|
|
<img src="_images/streamprocessing-sqs.png" alt="AWS SQS Logo" style="float:left;width:200px;margin:50px;" class="no-border">
|
|
|
|
|
</section>
|
|
|
|
|
</section>
|
|
|
|
|
|
|
|
|
|
<section>
|
|
|
|
|
<section data-background="_images/streamprocessing-monolith.jpg">
|
|
|
|
|
<h1 class="fragment semi-opaque">Batch Processing</h1>
|
|
|
|
|
</section>
|
|
|
|
|
</section>
|
|
|
|
|
|
|
|
|
|
<section data-background='_images/thats-all-folks.jpg'>
|
|
|
|
|
</section>
|
|
|
|
|
</div>
|
|
|
|
|
</div>
|
|
|
|
|
|
|
|
|
|
<script src="reveal.js/lib/js/head.min.js"></script>
|
|
|
|
|
<script src="reveal.js/js/reveal.js"></script>
|
|
|
|
|
|
|
|
|
|
<script>
|
|
|
|
|
// Full list of configuration options available at:
|
|
|
|
|
// https://github.com/hakimel/reveal.js#configuration
|
|
|
|
|
Reveal.initialize({
|
|
|
|
|
controls: true,
|
|
|
|
|
progress: true,
|
|
|
|
|
history: true,
|
|
|
|
|
center: true,
|
|
|
|
|
// showNotes: true,
|
|
|
|
|
|
|
|
|
|
transition: 'fade', // none/fade/slide/convex/concave/zoom
|
|
|
|
|
|
|
|
|
|
// Optional reveal.js plugins
|
|
|
|
|
dependencies: [
|
|
|
|
|
{ src: 'reveal.js/lib/js/classList.js', condition: function() { return !document.body.classList; } },
|
|
|
|
|
{ src: 'reveal.js/plugin/markdown/marked.js', condition: function() { return !!document.querySelector( '[data-markdown]' ); } },
|
|
|
|
|
{ src: 'reveal.js/plugin/markdown/markdown.js', condition: function() { return !!document.querySelector( '[data-markdown]' ); } },
|
|
|
|
|
{ src: 'reveal.js/plugin/highlight/highlight.js', async: true, callback: function() { hljs.initHighlightingOnLoad(); } },
|
|
|
|
|
{ src: 'reveal.js/plugin/zoom-js/zoom.js', async: true },
|
|
|
|
|
{ src: 'reveal.js/plugin/notes/notes.js', async: true }
|
|
|
|
|
]
|
|
|
|
|
});
|
|
|
|
|
</script>
|
|
|
|
|
|
|
|
|
|
</body>
|
|
|
|
|
</html>
|
|
|
|
|
|
