Prática DevOps com Docker para Machine Learning
  • Prática de DevOps com Docker para Machine Learning
  • Autores e Agradecimentos
  • Uso do Livro
  • Contribua com o Livro
  • Licença
  • Organização do Livro
  • 1. Introdução
    • 1.1 Máquinas Virtuais e Contêineres
    • 1.2 DevOps e Docker
    • 1.3 Configuração do Ambiente - Python
    • 1.4 Configuração do Ambiente - Docker
    • 1.5 Dockerfile, Imagem e Contêiner Docker
    • 1.6 Docker Hub e Comandos Adicionais
  • 2. Desenvolvimento
    • 2.1 Do notebook para aplicação - parte 1
    • 2.2 Do notebook para aplicação - parte 2
    • 2.3 Do notebook para aplicação - parte 3
  • 3. Produção
    • 3.1 Desenvolvimento vs Produção: o fim ou o início?
    • 3.2 Ambiente de Produção - parte 1
    • 3.3 Ambiente de Produção - parte 2
    • 3.4 Ambiente de Produção - parte 3
  • 4. Monitoramento
    • 4.1 Introdução
    • 4.2 Configurando o Servidor de Monitoramento
    • 4.3 Monitorando Servidores do Ambiente de Produção
    • 4.4 Comandos de Verificação do Nagios
    • 4.5 Criando Verificações Mais Específicas
    • 4.6 Criando Alertas
    • 4.7 Recuperando de Problemas
    • 4.8 Verificação de Contêineres via NRPE
  • 5. Infraestrutura como Código e Orquestração
    • 5.1 Introdução
    • 5.2 Orquestração com Docker Compose
    • 5.3 Orquestração com Kubernetes
  • 6. Integração Contínua
    • 6.1 Introdução
    • 6.2 Controle de Versão
    • 6.3 Configurando um repositório no GitLab
    • 6.4 Branch e merge
    • 6.5 Pipeline de Integração Contínua com GitLab CI/CD
  • 7. Entrega Contínua
    • 7.1 Introdução
    • 7.2 Implantação automática no Docker Hub
    • 7.3 Implantação automática no Heroku
    • 7.4 Implantação automática no Google Kubernetes Engine (GKE)
    • 7.5 Testando tudo junto
  • 8. Model serving
    • 8.1 Introdução
    • 8.2 Model serving com mlserver
    • 8.3 CI/CD com GitLab e mlserver
    • 8.4 Testando tudo junto
  • 9. Model serving batch
    • 9.1 Introdução
    • 9.2 Spark
    • 9.3 Airflow
    • 9.4 Testando tudo junto
  • 10. MLOps com mlflow
    • 10.1 Introdução
    • 10.2 Visão geral do MLflow
    • 10.3 Configuração do MLflow
    • 10.4 Testando MLflow
  • 11. MLOps com Kubeflow
    • 11.1 Visão geral do Kubeflow
    • 11.2 Configuracão
    • 11.3 Kubeflow Pipeline
    • 11.4 Kserve
    • 11.5 Testando tudo junto
  • 12. Conclusão
    • Conclusão
Powered by GitBook
On this page
  1. 11. MLOps com Kubeflow

11.1 Visão geral do Kubeflow

Previous10.4 Testando MLflowNext11.2 Configuracão

Last updated 2 years ago

O é uma plataforma que suporta do início ao fim o ciclo de vida de implementação de Machine Learning. Os componentes principais do Kubeflow são:

  • Central Dashboard: É a WebUI do Kubeflow onde é possível interagir com todos outros componentes, isto é, como todos os componentes do Kubeflow são resursos do Kubernetes, com a WebUI é possível configurar e operar os recursos do Kubernetes do Kubeflow.

  • Kubeflow Notebooks: Com este componente é possivel criar Notebooks, como Jupyter, para o desenvolvimento iterativo dos modelos de Machine Learning e também usar as DSLs para manipular os outros componente como o Kubeflow Pipline.

  • Kubeflow Pipeline: É o componente core do Kubeflow, como ele é possível criar os pipeline para treinar os modelos de Machine Learning e efetuar o deploy.

  • Katib: Este componente é componente de AutoML do Kubeflow.

  • Training Operator: São recursos do Kubernetes criados para facilitar o treinamento de modelos, podem ser usados em conjundo com o Kubeflow Pipeline.

  • Multi-Tenancy: O Kubeflow fornece suporte para isolamento de usuarios e gestão de acesso.

  • External Add-Ons: O Kubeflow se integra com ferramentas externas como o Kserve, Kale, Feast e outros. Nas próximas sessões vamos falar principalmenteo do Kserve que é o servidor de inferências do Kubeflow.

Vale destacar que existem algumas formas para se ter suporte do Kubeflow. Alguns providers de Cloud suportam instalações do Kubeflow e existe uma versão Enterprise chamada .

A arquitetura do Kubeflow é baseada e apoiada no Kubernetes. Recomenda-se a leitura da para o aprofundamento.

Kubeflow
Arrikto
documentação