Mis à jour de la distribution ODP

Cette article couvre les différentes méthodes pour mettre à jour les paquets ODP, les différentes prérequis, et une vue sur l'ensemble de la procédure.

Version d'Ambari la plus récente

Vous devez avoir au préalable migré vers la dernière version 2.7.9.0.0-110 d'Ambari avant de commencer la mis à jour.

Prérequis

Système Opérationnel

Vous devez vous assurer que votre système opérationnel est compatible avec la version d'ODP que vous allez installer.

Espace disque nécessaire

Vous devez avoir au moins 30Go de libre pour pouvoir héberger la distribution en version de départ et cible (chaque version fait environ 15Go de volume).

Pulsation Ambari Agent

Tous les Ambari Agent doivent être démarrés et doivent communiquer correctement avec Ambari Server. Si la communication n'est pas opérationnel pour certains agents, ils doivent être mis en mode de maintenance aboslument.

Mode Maintenance pour les noeuds

Les noeuds qui sont en mode Maintenance ne doivent pas héberger de service Master. Il est possible qu'un noeud soit en mode Maintenance, sans héberger de noeud Master, vous recevrez une alerte. Les noeuds ne seront pas mis à jour et afant de finalizer l'upgrade il faudra supprimer les noeuds du cluster.

Mode Maintenance pour les services

Le Mode Maintenance pour les services n'est pas autorisé du tout, sauf pour le service Ambari Metrics.

Cluster démarré et fonctionnel

Tous les services doivent être démarrés execpté pour le service Ambari Metrics.

Bonne santé du cluster

Chacun des services doit avoir son check fonctionnel. Pour s'en assurer se rendre sur la page de chaque service puis > Actions > et cliquer sur Run Service Check.
Vous aurez besoin d'effectuer ces actions avant d'installer les paquets ODP.

Démarrage des services automatique

La fonctionnalité de démarrage automatique doit être désactivé durant la mis à jour Log in Ambari Web UI Cliquer sur Dashboard > Service Auto Start En suite sur Auto Start Settings et disable en cliquant sur le boutton.

Sauvegarde avant de mettre à jour ODP

Sauvegarde des base de données

Il est recommandé de sauvegarder toutes les base de donnée avant de commencer la procédure de mise à jour.

Sauvegarde HDFS

Vous devez exécuter les actions suivantes sur le noeud NameNode. Si la Haute Diponibilité est activé pour HDFS, vous pouvez trouver le NameNode Actif via Ambari, en vous connectant à Ambari > HDFS > onlget Summary section.

Connectez vous au noeud Namenode (Actif):

su -l hdfs

mkdir [NN_UPGRADE_DIR]
cd [NN_UPGRADE_DIR]

# Vérifier que le File System est en bonne santé
hdfs fsck / -files -blocks -locations > backup-hdfs-nn-fsck.log

# Lister les noeuds DataNodes
hdfs dfsadmin -report >  backup-hdfs-dn-list.log

Sauvegarder le Namespace HDFS en effectuant un snapshot

hdfs dfsadmin -safemode enter
hdfs dfsadmin -saveNamespace
hdfs dfsadmin -safemode leave

remarque

Entrer en Safemode, rend HDFS inaccessible en lecture/écriture par les autres services et provoque ainsi une indisponibilité du Cluster (indépendamment du type de mise à jour).

Enregistrer une nouvelle version d'ODP

Il faut enregistrer la version cible d'upgrade au près d'Ambari Server et lui indiquer les liens des dépôts contenant les paquets. Pour cela il faut utiliser le fichier VDF 1.2.2.0 ODP officiel, et le télécharger dans Ambari.

Obtention du fichier VDF

Pour Ubuntu 22:

wget -nv https://archive.clemlab.com/ubuntu22/ambari-release/2.7.9.0.0-110/ODP-VDF.xml apt update -y apt upgrade ambari-agent

Pour CentOS/RedHat 7:

wget -nv https://archive.clemlab.com/centos7/ambari-release/2.7.9.0.0-110/ODP-VDF.xml apt update -y apt upgrade ambari-agent

Pour CentOS/RedHat/RockyLinux/AlmaLinux 8:

wget -nv https://archive.clemlab.com/centos8/ambari-release/2.7.9.0.0-110/ODP-VDF.xml apt update -y apt upgrade ambari-agent

Procédure d'enregistrement.

• Connectez-vous à l’interface Web d’Ambari.
• Cliquez sur Cluster Admin > Stack and Version
• Cliquez sur l’onglet Versions, vous devriez voir la version actuellement en cours d’exécution

remarque

La version affichée doit être la version source, et devrait être supportée dans le chemin de mise à niveau. La version devrait être la version ODP complète, y compris le numéro de build. Par exemple dans l'image, la version complète est ODP 1.2.1.0-134.

• Cliquez sur le bouton Manage Versions. Validez la popup. Vous êtes maintenant redirigé vers la page Admin / Versions .
• Click on Manage Versions button. Valid the popup. Now you are redirected to Admin / Versions page.
• Cliquez sur Register. Sur cette page, vous pouvez sélectionner le bouton Major Stack Version. Par exemple, le bouton ODP-1.2.

Cliquez sur Add Version.
Vous disposez de deux méthodes pour fournir le fichier VDF à Ambari:

• Cliquer sur Upload Version Definition File pour utiliser un fichier local au navigateur WEB.

• Cliquer sur Version Definition File URL pour utiliser une url distante (dans ce cas Ambari Server doit pouvoir avoir accès à cet url).

  Le VDF doit décrire les dépots afin de représenter la manière dont les paquets seront distribués sur votre système (Système opérationnel, version majeure etc..) Sélectionner le fichier VDF obtenu au préalable (dans la Section Obtention du fichier VDF)

remarque

Vérifier attentivement que la version cible, le système opérationnel et les urls des dépôts de paquets correspondent à la version 1.2.2.0 de la documentation. Si vous êtes client ODP demander l'avis au support en cas de doute.

Cliquer sur Save et Dashboard

Installation des nouveaux paquets

Vous pouvez désormais retourner sur l'onglet Stack and Version.

• Se connecter à l'interface WEB Ambari.

• Cliquer sur Cluster Admin > Stack and Version La nouvelle version devrait apparaître avec un bouton Install Packages.

• Cliquer sur Install Packages et attendre que les opérations soient complètent.

  
  

  Une fois les opérations finies le bouton Install Packages devrait être remplacé par le bouton Upgrade
  
  

Procédure de mise à jour d'un cluster ODP

Vous pouvez désormais procéder à la mise à jour de la distribution ODP Deux méthodes sont disponibles:

• Mise à jour Express
• Mise à jour Rolling

Procédure de mise à jour de type Express

Indisponibilité

Des coupures de services ont lieu pendant la mise à jour car les services sont arrêtés. Il en résult une upgrade avec indisponibilité mais plus rapide. Le temps total de mise à jour dépend de plusieurs facteurs: nombre de noeuds, nombre de services, composants etc...

Cliquer sur Upgrade and Choisir Express .

Avant de démarrer la procédure de mise à niveau, Ambari vérifiera que vous avez effectué les vérifications et que votre cluster valide les prérequis.

• Si un des prerequis requis n'est pas validé, une boîte de dialog apparait et affichera une erreur. Vous pouvez ainsi voir en details l'erreur.

• Sun un des prerequis optionnel n'est pas validé optional, la boîte de dialogue affichera simplement un warning. Vous pouvez lancer la procédure d'upgrade

Pour information, la mise à niveau est divisée en plusieurs étapes, contenant plusieurs étapes. Certaines étapes nécessitent que l'administrateur prenne des mesures, telles que la suppression de l'application Yarn ou la sauvegarde de la base de données. Si l’une des étapes échoue, vous êtes invité à agir et pouvez réessayer par la suite. Vous pouvez également suspendre la mise à niveau si vous devez exécuter des actions plus longues.

• Préparer la mise à niveau
• Arrêter les composants pour les services de haut niveau
• Effectuer des sauvegardes
• Arrêter les composants pour le service principal
• Mettre à jour le référentiel cible
• Mettre à jour les configurations du service
• Redémarrer les composants
• Tous les chèques-services
• Redémarrer les composants
• Définir la version sur tous les hôtes
• Finaliser la pré-vérification de la mise à niveau
• Finaliser la mise à niveau

Une fois la mise à niveau terminée, vous pouvez choisir Finalize Upgrade ou Finalize Later. Vous pouvez choisir Finalizing later afin d'effectuer des vérifications plus approfondies afin de vérifier que tout fonctionne correctement.

Une fois que vous avez effectué chaque validation, cliquez sur Finalize Upgrade.

Une fois finalisé, Ambari supprimera la version de départ de l'onglet Stack and Versions, et la nouvelle version sera affichée comme Current

Procédure de mise à jour de type Rolling

Indisponibilité

Les services restent en cours d'exécution pendant la mise à niveau. Interruption minimisée mais mise à niveau plus lente. Le temps total de mise à niveau dépend de plusieurs facteurs : nombre de nœuds, nombre de services...

Indisponibilité minimale

La mise à niveau continue (Rolling) n'est pas une mise à niveau sans temps d'arrêt, même si son exécution prend plus de temps qu'une mise à niveau express. Vous devriez envisager d'opter pour une mise à niveau express si le temps nécessaire pour effectuer la mise à niveau est important pour vous.

Cliquer sur le bouton Upgrade et sélectionner Rolling .

Avant de démarrer la procédure de mise à niveau, Ambari vérifiera que vous avez effectué les vérifications et que votre cluster valide les prérequis.

• Si l'un des prérequis requis n'est pas validé, la boîte de dialogue affichera une erreur. Vous pouvez voir en détail quelles vérifications ont échoué.

• Si l'un des prérequis facultatifs n'est pas validé, la boîte de dialogue affichera simplement un avertissement. Vous pouvez poursuivre la procédure de mise à niveau.

Pour information, la mise à niveau est divisée en plusieurs étapes, contenant plusieurs étapes. Certaines étapes nécessitent que l'administrateur prenne des mesures, telles que la suppression de l'application Yarn ou la sauvegarde de la base de données. Si l’une des étapes échoue, vous êtes invité à agir et pouvez réessayer par la suite. Vous pouvez également suspendre la mise à niveau si vous devez exécuter des actions plus longues.

• Préparer la mise à niveau
• Arrêter les composants pour les services de haut niveau
• Effectuer des sauvegardes
• Arrêter les composants pour le service principal
• Mettre à jour le référentiel cible
• Mettre à jour les configurations du service
• Redémarrer les composants
• Tous les chèques-services
• Redémarrer les composants
• Définir la version sur tous les hôtes
• Finaliser la pré-vérification de la mise à niveau
• Finaliser la mise à niveau

Une fois la mise à niveau terminée, vous pouvez choisir Finalize Upgrade ou Finalize Later. Vous pouvez choisir Finalizing later afin d'effectuer des vérifications plus approfondies afin de vérifier que tout fonctionne correctement.

Une fois que vous avez effectué chaque validation, cliquez sur Finalize Upgrade.

Une fois finalisé, Ambari supprimera la version de départ de l'onglet Stack and Versions, et la nouvelle version sera affichée comme Current