esup-pod

Arborescence des pages

Vous regardez une version antérieure (v. /wiki/spaces/ES/pages/1367703563/Migration+d+infrastructure+BigBlueButton+avec+l+appui+de+Pod) de cette page.

afficher les différences afficher l'historique de la page

« Afficher la version précédente Vous regardez la version actuelle de cette page. (v. 7) afficher la version suivante »

Contexte et solution apportée

Contexte

Dans le cadre du plan de relance, une solution de classe virtuelle du ministère de l'Enseignement Supérieur et de la Recherche (ESR), s'appuyant sur logiciel libre et open source BigBlueButton (BBB), a été déployée à l'échelle nationale.

Plus d'informations peuvent être retrouvées sur les sites suivants :

Pour les établissements n'ayant jamais eu d’infrastructure locale BigBlueButton, l'utilisation de cette solution de classe virtuelle (BBB ESR) est simple à mettre en œuvre.

Cependant, pour les établissements ayant auparavant une infrastructure locale BBB, l'utilisation du BBB de l'ESR présente des impacts aux usagers.

Cette documentation peut alors être utile pour ces établissements.

Impacts

Changer d'infrastructure est extrêmement simple, que cela soit pour n'importe quelle plateforme :

  • Pod : changer le paramétrage du module des Réunions dans le fichiers custom/settings_local.py, à savoir BBB_API_URL et BBB_SECRET_KEY
  • Moodle (v4) : changer le paramétrage, accessible via le module d'Administration du site, à savoir l'URL du serveur BigBlueButton et le Secret partagé BigBlueButton.
  • Greenlight : changer le paramétrage dans le fichier .env, à savoir BIGBLUEBUTTON_ENDPOINT et BIGBLUEBUTTON_SECRET

En modifiant ces paramètres, la plateforme pointe alors sur la nouvelle architecture BBB.

Pour les usagers, les impacts concernent les enregistrements, qui ne seront alors plus visibles.

En effet, les sessions/réunions sont toujours accessible aux usagers, car ils sont sauvegardés dans la plateforme concernée, mais pas les enregistrements.

Il faut savoir que ces enregistrements sont sauvegardés directement sur l'infrastructure BBB (soit sur le serveur BBB soit sur le serveur Scalelite).

Dans les plateformes, les liens vers ces enregistrements sont alors affichés au moment de la consultation de la session / réunion.

Au final, lors d'un changement d'infrastructure, les anciens enregistrements ne s'affichent plus aux usagers; et lorsque l'ancienne architecture BBB sera arrêtée, les anciens enregistrements ne seront même plus disponibles, si rien n'a été réalisé avant.

Contraintes

Voici un rappel des contraintes à prendre en compte et qui explique la solution proposée :

  • Contrainte vis-à-vis de Pod : nous ne souhaitons plus utiliser l'ancien module BBB de Pod, qui est amené à disparaître rapidement.

  • Contrainte de l'API BBB : les participants et modérateurs ne sont disponibles que lorsque la session BBB est en cours. Une fois arrêtée, l'information n'y est plus dans BBB. Nous n'avons alors ces informations que dans le client BBB, à savoir Pod ou Moodle (ou Greenlight...).

  • Contrainte BBB : par défaut, il est possible de reconstruire un enregistrement BBB (typiquement pour avoir l'enregistrement au format vidéo) que si les fichiers raw sont encore présents. Par défaut, ces fichiers raw sont supprimés au bout de 14 jours. On ne peut alors baser la solution sur la reconstruction des enregistrements.

Solution apportée

L'idée est de se baser sur :

  • le système de revendication des enregistrements de Pod,
  • le système d'import des vidéos externes pour y ajouter la possibilité de convertir des enregistrements BBB, de type présentation, en vidéo (via le plugin bbb-recorder, cf. ci-dessous),

  • un script de migration, qui offre plusieurs possibilités.


Aucun impact sur BigBlueButton

Cette solution repose totalement sur Pod et n'impacte en rien BigBlueButton. Aucune modification n'est à réaliser côté BigBlueButton.


Ce script de migration est configurable et offre plusieurs possibilités, à savoir:

  • 1° possibilité, pour ceux qui ont peu d'enregistrements à récupérer

Ce script va convertir les présentations, de l'ancienne architecture BBB, en fichiers vidéo (comme précédemment, via le plugin bbb-recorder) et positionner ces fichiers dans le répertoire pour la Revendication des enregistrements.

Bien sûr, s'il y a déjà des présentations en vidéo, le fichier vidéo sera directement copié.


  • 2° possibilité, pour ceux qui ont beaucoup d'enregistrements à récupérer

L'idée est de laisser le temps aux usagers de choisir par eux-mêmes les enregistrements qu'ils souhaitent conserver (il n'est pas possible et utile de tout convertir).

Pour cela, il faudra laisser l'ancien serveur BBB/Scalelite ouvert au moins pendant quelques mois (juste pour accéder aux enregistrements).

Côté script, si besoin, il faudra un accès à la base de données de Moodle pour savoir qui a réalisé quoi.

Ainsi, pour chaque enregistrement BBB, le script va créer une ligne dans Mes vidéos externes, de type BigBlueButton, pour les modérateurs (qui seront créés si besoin dans la base de Pod).
Ils pourront alors par eux-mêmes importer ces enregistrements dans Pod.
Au cas où, si des enregistrements ne sont pas identifiables, ils seront associés à un administrateur (à paramétrer dans le script).

De plus, si l'accès à la base de Moodle le permet, un message d'information sera positionné directement dans Moodle, au niveau des sessions BBB concernées.

Le script est prévu pour être paramétrable, avec possibilité de gérer un certain nombre d'enregistrements et de pouvoir le tester avant (utilisation d'un mode dry).

Architecture de la solution

Plugin bbb-recorder

Pour convertir les playback présentation de BBB, je me suis basé sur le projet Github bbb-recorder (https://github.com/jibon57/bbb-recorder) : un plugin, indépendant de BigBlueButton, qui permet de convertir - via un script - une présentation Web BigBlueButton en fichier vidéo.

Si besoin, ce plugin permet également une diffusion en direct (flux RTMP) d'un cours BigBlueButton.

Ce plugin bbb-recorder avait déjà été utilisé pour l'ancien système, dans Pod v2 (cf. https://www.esup-portail.org/wiki/x/AgCBNg) et a été utilisé à de nombreuses reprises avec succès.

Fonctionnement de bbb-recorder

Le fait d'exécuter le script bbb-recorder réalise les étapes suivantes :

  • Lance un navigateur Chrome en arrière-plan,
  • Chrome visite le lien - correspondant à la présentation Web BigBlueButton - fourni,
  • Il effectue l'enregistrement d'écran sous la forme d'un fichier vidéo.

Installation de bbb-recorder sur les serveurs d'encodage

Il est nécessaire d'installer bbb-recorder sur les serveurs d'encodage.

La documentation de référence est accessible ici : https://github.com/jibon57/bbb-recorder

Pour ma part, sur les serveurs Ubuntu 11, voici ce qui a été réalisé.

Installation de bbb-recorder sur Ubuntu 11

(info) Ce plugin n'a pas besoin d'être installé sur un serveur BigBlueButton.

Installation de Chrome et des pré-requis

Installation réalisée sur un serveur d'encodage, compte sudoer
pod@test:~/$ sudo -i
root@test:~/$ apt install xvfb
root@test:~/$ curl -sS -o - https://dl-ssl.google.com/linux/linux_signing_key.pub | apt-key add
root@test:~/$ echo "deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main" > /etc/apt/sources.list.d/google-chrome.list
root@test:~/$ apt-get -y update
root@test:~/$ apt-get -y install google-chrome-stable

(info) Étant un serveur d'encodage, je considère que ffmpeg est déjà installé. Si besoin, il est nécessaire d'installer ffmpeg.


Installation effective

Voici l'installation pour un utilisateur pod.

Installation réalisée sur un serveur d'encodage, compte %userpod%
pod@test:~/$ cd ~
pod@test:~/$ git clone https://github.com/jibon57/bbb-recorder
pod@test:~/$ cd bbb-recorder
pod@test:~/bbb-recorder/$ npm install --ignore-scripts
pod@test:~/bbb-recorder/$ cp .env.example .env

Gestion du répertoire contenant les vidéos : dans mon cas /data/www/pod/bbb-recorder et du répertoire de logs /data/www/pod/bbb-recorder/logs.

Création des répertoires
pod@test:~/bbb-recorder/$ mkdir /data/www/pod/bbb-recorder
pod@test:~/bbb-recorder/$ mkdir /data/www/pod/bbb-recorder/logs

Si bbb-recorder n'a pas été installé avec le bon utilisateur (pod), les fichiers vidéos générés ne seront sûrement pas accessibles par l'utilisateur Pod et ne pourront alors être encodés par les serveurs d'encodage.

Dans les faits, cela se traduit par un 1° encodage réussi : la présentation Web de BBB sera convertie en fichier vidéo, mais ce fichier vidéo ne sera pas accessible à Pod et ne pourra être converti en vidéo Pod.

Paramétrage de bbb-recoder

  • Édition du fichier de configuration ~/bbb-recorder/.env pour paramétrer le RTMP (inutile ici) et surtout le répertoire des vidéos.

Edition de /home/sun/bbb-recorder/config.json
{
"rtmpUrl": "rtmp://xxxxxxxx:xxxxxxxxxx@xxxxx.umontpellier.fr:1935/live/stream",
"ffmpegServer": "ws://localhost",
"ffmpegServerPort": 4000,
"auth": "xxxx",
"copyToPath": "/data/www/pod/bbb-recorder"
}
  • Si besoin, réaliser le paramétrage dans le fichier examples/index.js (pour réaliser un live ou enregistrer en direct une Web conférence) :

const BBBUrl = "https://xxxx.umontpellier.fr/bigbluebutton/", 
BBBSalt = "xxxxxxxxxxxxxxxxxxxx", 
joinName = "recorder";
  • Si vous le souhaitez, vous pouvez configurer le bitrate pour contrôler la qualité de la vidéo exportée en ajustant la propriété videoBitsPerSecond dans background.js.


Répertoire Downloads

Il faut bien penser que bbb-recorder utilise un répertoire temporaire pour générer une vidéo, avant que celle-ci ne soit copiée dans le répertoire configurée (cf. copyToPath). Ce répertoire temporaire correspond à ../Downloads.

Ainsi, dans le cas d'une installation dans le home directory de l'utilisateur pod, le répertoire temporaire créé et utilisé par bbb-recorder est /home/pod/Downloads.

Il est nécessaire qu'un espace de stockage suffisant soit alors prévu.

Paramétrage

Configuration dans Pod

Une fois bbb-recorder installé sur les différents serveurs d'encodage, il reste à configurer le plugin bbb directement dans Pod, via l'édition de fichier custom/settings_local.py (sur les encodeurs et sur le frontal) :

Configuration dans custom/settings_local.py
# Use import-video module
USE_IMPORT_VIDEO = True

# Use plugin bbb-recorder for import-video module
# Useful to convert prensentation playback to video file
USE_IMPORT_VIDEO_BBB_RECORDER = True

# Directory of bbb-recorder plugin (see documentation https://github.com/jibon57/bbb-recorder)
# bbb-recorder must be installed in this directory, on all encoding servers
# bbb-recorder create a directory Downloads, at the same level, that needs disk space
IMPORT_VIDEO_BBB_RECORDER_PLUGIN = '/home/pod/bbb-recorder/'

# Directory that will contain the video files generated by bbb-recorder
IMPORT_VIDEO_BBB_RECORDER_PATH = '/data/www/pod/bbb-recorder/'

Les éléments de paramétrage sont les suivants :

  • USE_IMPORT_VIDEO : utilisation (True/False) du module d'import des vidéos pour Pod

  • USE_IMPORT_VIDEO_BBB_RECORDER : utilisation (True/False) du plugin bbb-recorder pour le module import-vidéo; utile pour convertir une présentation BigBlueButton en fichier vidéo.

  • IMPORT_VIDEO_BBB_RECORDER_PLUGIN : Répertoire du plugin bbb-recorder (voir la documentation https://github.com/jibon57/bbb-recorder).
    bbb-recorder doit être installé dans ce répertoire, sur tous les serveurs d'encodage.
    bbb-recorder crée un répertoire Downloads, au même niveau, qui nécessite de l'espace disque.
  • IMPORT_VIDEO_BBB_RECORDER_PATH : Répertoire qui contiendra les fichiers vidéo générés par bbb-recorder.


Si vous utilisez la 1° option du script, à savoir le système de revendication des enregistrements, il vous est possible de ne pas donner la fonctionnalité de conversion des présentations BBB en fichier vidéo aux usagers.

Ainsi, il vous est possible de mettre USE_IMPORT_VIDEO_BBB_RECORDER = False dans ce cas de figure.

Les autres paramètres sont nécessaires, à minima, lors de l'exécution du script. 


Concernant le répertoire contenant les fichiers vidéos générés par bbb-recorder (IMPORT_VIDEO_BBB_RECORDER_PATH), il est à créer manuellement - en même temps que son sous-répertoire des logs -  avec les lignes de commande suivantes; n'hésitez pas à les modifier à votre convenance selon votre architecture système et vos droits :

Création du répertoire DEFAULT_BBB_PATH et son sous-répertoire logs
pod@test:~/$ mkdir /data/www/pod/bbb-recorder/logs -p
pod@test:~/$ chown pod:nginx /data/www/pod/bbb-recorder/logs

Répertoires

Il est vrai qu'une création automatique de ces répertoires auraient pu être possible, mais aux vues des problèmes que cela aurait pu engendrer, en lien avec l'architecture et les droits, il m'a paru préférable que l'administrateur de Pod créé ces 2 répertoires à la main.

Il sait ce qu'il fait et pourra ainsi choisir son emplacement, ses droits ou autres.

Script migrate_bbb_recordings

Exploitation

Interface d'administration

Logs de la solution





  • Aucune étiquette