11.2 Configuracão
Last updated
Last updated
A instalação Kubeflow mais recomendada é através de um dos provedores de pacotes listados na . Mas para melhor entendimento dos componentes e instalação local vamos usar o método avançado via manifests.
Verifique a versão do seu cluster Kubernetes:
Para a versão 1.8.1 do Kubeflow a versão do kubernetes precisa ser maior que 1.22.
O utilitário também é necessário para gerenciar os templates de manifests do Kubeflow. O Kubeflow é compátivel com a versão . A seguir esta o comando para instalação no Linux, modifique a URL de acordo com o seu sistema operacional.
O Kubeflow pode ser instalado via . Estes manifests são a base para todos os provedores de pacotes. Para iniciar a instalação faça o clone do repositório:
Agora a partir do diretório dos manifests vamos iniciar a instalação.
Verifique se os Pods foram criados corretamente:
Verifique criação dos PODs do istio:
Verifique a situação dos PODs do Dex:
Verificar instalação do oidc-authservice:
Verfique execução dos PODs:
O primeiro passo é criar a namespace e roles do Kubeflow:
Criação do isto resource do Kubeflow:
Verificar instalação do istio resource para o kubeflow:
mysql: Nesta instalação o Mysql é utilizado para a persistência da base de metadados.
ml-pipeline: São os backends do Kubeflow pipeline.
metadata controller: Backend para gerir os metadados dos pipelines.
Todos esses componentes estão encapsulados em um unico manifest:
Verifique a situação dos PODs:
A incialização dos PODs pode demorar alguns minutos até que todos eles sinalizem o status "Running".
Para instalar o Kserve execute o comando abaixo:
Verifique a execução dos PODs de Kserve:
Verifique a inicialização dos PODs
Verifique a execução do POD de Kserve:
Componente do Kubeflow para integração via WebHook:
Verifique a execução dos PODs:
Também vamos instalar a aplicação Jupyter:
Verifique a execução dos PODs:
É o controlador para gerenciar a crição de volumes persistentes no kubernetes para suportar os volumes do kubeflow.
Este componente é o gestor de perfis do Kubeflow:
Verifique a execução do POD:
Este componente extende a WebUI do Kubeflow para a gestão dos volumes persistentes.
Verifique a execução do POD:
Este componente integra o tensorbord para acompanhar as métricas de modelos que utilizam o tensorflow:
Verifique a execução dos PODs:
Verifique a execução dos PODs:
Por fim é necessário criar uma namespace e a infra de usuario para trabalharmos com o Kubeflow:
Verifique a execução dos PODs:
Agora que a instalação esta terminada, para acessar o Kubeflow é necessário criar um port-foward com a sua máquina local:
Acesse a url http://localhost:8080. O usuário padrão é user@example.com e a senha padrão é 12341234.
Um dos componentes do Kubeflow é um gerenciador de certificados, o . Para instala-lo basta executar o seguinte passo:
O Kubeflow utiliza um para facilitar o fluxo e gateway entre os serviços, o . Para criar a infra para o istio execute os comandos abaixo:
O ajuda na autenticação do Kubeflow com integração com diferentes backends de autenticação como Google, Github e Active Directory. Segue o passo para instação:
O extende o Istio com a capacidade de também ser um cliente OIDC.
O é uma solução de aplicações Serverless e eventuais para Kubernetes.
O é um componente do Kubeflow para criar os pipeline de modelo. Dentro dele podemos encontrar outros componente como:
minio: O é utilizado para armazenar os artefatos gerados no pipeline.
Aargo: O é utilizado para a gestão de workflows.
O é um servidor de execução de inferências assim como o MLServe.
O é um componente do Kubeflow para hiperparametrização e AutoML.
O é a WebUI do Kubeflow.
O gerencia a criação de aplicações de Notebooks:
Os ajudam no treinamento com bibliotecas padrões como Tensorflow, Pytorch e outros.
Para uma execução local é possível utilizar o . A inicialização local do kubeflow gera multiplos serviços e multiplos pods, por isso é necessário aumentar o limite de open files do kernel para contornar este problema: