rafapc2 / temp-kfk

repo temporal kfk

Nerdearla - Integrando el mundo con Kafka & Friends

Proyecto destinado a contener el material para ejecutar el workshop dictado para Nerdearla.

Requisitos

• IDE de Base de datos : DBeaver
• "IDE" para API :Postman o cURL o swagger online utilizando el oas adjunto.
• Docker // Podman
• Docker-compose // Podma-compose
• Drivers JDBC Confluent, incluye fat jar
• Google PubSub
• Rabbit MQ Connector Proyecto, incluye fat Jar

Overview

Este proyecto contiene todo lo requerido para montar localmente

• broker kafka
• Instancia de kafka Connect Distribuida
• Crear connectores JDBC , GCP y RabbitMQ
• Instancia de BD MSSQL Server 2017
• Instancias de observabilidad.
  • Grafana
  • Jaeger
  • Promtail + Loki

disclaimer

El workshop no incluye ejemplos de funcionamiento de Kafka Connect, los ejemplos son implementados en el workshop.

Uso

Para inicializar los contenedores pueden usar docker o podman, los comandos son los mismos.

docker-compose up -d

podman-compose up -d

• Linux : deben desactivar SElinux y ejecutar con su/sudo

  • sudo setenforce 0 
    

Commandos recurrentes.

Para podman, deben cambiar "docker-compose" -> "podman"

Todos los contenedores : Inicio / detencion + eliminacion

docker-compose up -d

docker-compose down

Conexion a un contenedor

docker exec -it EL_CONTENEDOR bin/bash

Consumo

docker-compose exec broker kafka-console-consumer --topic EL_TOPIC --bootstrap-server broker:9091 --from-beginning

Produccion

docker-compose exec broker kafka-console-producer --topic EL_TOPIC --broker-list localhost:9091