lumikha

3 min de lecture

Karpenter sur AKS : autoscaling de nodes piloté par les workloads

Karpenter sur AKS : NodePool, NodeClass, comparaison avec Cluster Autoscaler, bin-packing, et gestion des spot nodes pour réduire les coûts.

Karpenter est un autoscaler de nodes pour Kubernetes qui adopte une approche radicalement différente du Cluster Autoscaler : plutôt que de scaler des node pools prédéfinis, il provisionne directement les nodes les plus adaptés aux workloads en attente. Sur AKS, il est disponible en préversion depuis mi-2024.

Pourquoi Karpenter plutôt que Cluster Autoscaler ?#

Le Cluster Autoscaler (CAS) fonctionne par node pools : il augmente ou réduit la taille d'un pool existant selon la charge. Ses limites :

  • Il faut prédéfinir les types de VMs dans chaque pool
  • Scaling limité aux tailles configurées dans le pool
  • Bin-packing non optimal : un pod peut rester en Pending même si un node légèrement plus grand suffirait
  • La suppression des nodes inutilisés est lente (10 minutes par défaut)

Karpenter prend une approche différente : il inspecte directement les pods en Pending, calcule le type de node optimal pour les lancer (en tenant compte des requests, des Taints, de l'Affinity, des zone constraints), et le provisionne directement via l'API Azure. Il peut scaler en 30-60 secondes.

Installation sur AKS#

Karpenter pour AKS est distinct de la version AWS. Il s'installe via Helm :

# Ajouter le repo Helm Karpenter AKS
helm repo add karpenter-aks https://azure.github.io/karpenter-provider-azure/charts
helm repo update

# Installer Karpenter
helm install karpenter karpenter-aks/karpenter \
  --namespace kube-system \
  --set settings.clusterName=mon-cluster \
  --set settings.clusterEndpoint=$(az aks show -g mon-rg -n mon-cluster --query fqdn -o tsv) \
  --set settings.subscriptionID=$(az account show --query id -o tsv)

En pratique, l'installation Karpenter sur AKS nécessite aussi de configurer les permissions (Managed Identity, rôles Azure) pour que Karpenter puisse créer et supprimer des VMs. Référer à la documentation officielle pour la checklist complète des prérequis RBAC.

NodeClass : définir le substrat Azure#

La AKSNodeClass (spécifique à AKS) décrit les propriétés Azure des nodes que Karpenter peut créer : image OS, configuration réseau, disk.

apiVersion: karpenter.azure.com/v1alpha2
kind: AKSNodeClass
metadata:
  name: default
spec:
  imageFamily: AzureLinux    # ou Ubuntu2204
  osDiskSizeGB: 128

NodePool : définir les contraintes de scheduling#

La NodePool décrit ce que Karpenter peut provisionner : les types de VMs acceptables, les zones, les Taints à appliquer aux nodes créés, et les limites de capacité totale.

apiVersion: karpenter.sh/v1
kind: NodePool
metadata:
  name: general
spec:
  template:
    metadata:
      labels:
        provisioner: karpenter
    spec:
      nodeClassRef:
        apiVersion: karpenter.azure.com/v1alpha2
        kind: AKSNodeClass
        name: default
      requirements:
        - key: karpenter.sh/capacity-type
          operator: In
          values: ["on-demand", "spot"]      # Autoriser les deux
        - key: karpenter.azure.com/sku-family
          operator: In
          values: ["D", "E"]                 # Familles VM autorisées
        - key: karpenter.azure.com/sku-cpu
          operator: In
          values: ["2", "4", "8"]            # Nombre de vCPUs
        - key: topology.kubernetes.io/zone
          operator: In
          values: ["francecentral-1", "francecentral-2", "francecentral-3"]
  limits:
    cpu: "100"        # Limite totale de CPU pour ce NodePool
    memory: "400Gi"
  disruption:
    consolidationPolicy: WhenEmptyOrUnderutilized
    consolidateAfter: 1m

Comprendre disruption#

consolidationPolicy: WhenEmptyOrUnderutilized active le bin-packing actif : Karpenter surveille en continu les nodes et tente de les consolider. Si un node est sous-utilisé, il déplace ses pods vers d'autres nodes et supprime le node vide. C'est ce qui permet des économies de coûts significatives par rapport au CAS.

Nodes Spot : réduire les coûts#

Les nodes spot Azure peuvent être 60-90% moins chers que les nodes on-demand, au prix d'une éviction possible. Karpenter gère automatiquement cette éviction en provisionnant un nouveau node si un node spot est récupéré par Azure.

Pour un workload tolérant les interruptions (batch jobs, workers non-critiques) :

spec:
  template:
    spec:
      requirements:
        - key: karpenter.sh/capacity-type
          operator: In
          values: ["spot"]    # Spot uniquement
      taints:
        - key: spot
          value: "true"
          effect: NoSchedule  # Seuls les pods qui tolèrent "spot" seront placés ici

Et dans les pods concernés :

spec:
  tolerations:
    - key: spot
      operator: Equal
      value: "true"
      effect: NoSchedule

Comparaison avec Cluster Autoscaler#

CritèreCluster AutoscalerKarpenter
Types de VMsPrédéfinis par poolSélection dynamique
Temps de scale-out2-5 min30-60 sec
Bin-packingLimitéActif et continu
Gestion spotPool dédiéIntégré nativement
Complexité de configFaible (node pools)Moyenne (NodePool + NodeClass)
Maturité sur AKSGAPreview

Observer Karpenter en action#

# Voir les logs Karpenter en temps réel
kubectl logs -n kube-system -l app.kubernetes.io/name=karpenter --follow

# Voir les nodes créés par Karpenter
kubectl get nodes -l karpenter.sh/nodepool=general

# Voir l'état des NodeClaims (nodes demandés)
kubectl get nodeclaims

Les logs Karpenter sont très verbeux et détaillent chaque décision de scheduling : pourquoi tel type de VM a été choisi, quel pod a déclenché le scale-out, etc.

Limitations actuelles sur AKS#

Karpenter pour AKS est en préversion active. Quelques points d'attention :

  • Certaines familles VM ne sont pas encore supportées
  • La gestion des node upgrades (Kubernetes version) est différente du CAS
  • L'intégration avec les node pools système (sans Karpenter) nécessite une configuration explicite pour éviter les conflits de scheduling
  • Tester impérativement en environnement non-production avant un déploiement prod

← Tous les articles