Contexte et solution apportée

...

• Pod : changer le paramétrage du module des Réunions dans le fichiers custom/settings_local.py, à savoir BBB_API_URL et BBB_SECRET_KEY
  
  
• Moodle (v4) : changer le paramétrage, accessible via le module d'Administration du site, à savoir l'URL du serveur BigBlueButton et le Secret partagé BigBlueButton.
  
  
• Greenlight : changer le paramétrage dans le fichier .env, à savoir BIGBLUEBUTTON_ENDPOINT et BIGBLUEBUTTON_SECRET

...

En effet, les sessions/réunions sont toujours accessible accessibles aux usagers, car ils elles sont sauvegardés sauvegardées dans la plateforme concernée, mais pas les enregistrements.

...

• le système de revendication des enregistrements de Pod (cf. https://www.esup-portail.org/wiki/x/DgB8Lw),
  
  
• le système d'import des vidéos externes pour y ajouter la possibilité de convertir des enregistrements BBB, de type présentation, en vidéo (via le plugin bbb-recorder, cf. ci-dessous),
  
  
• un script de migration, qui offre plusieurs possibilités.

...

Bien sûr, s'il y a déjà des présentations en vidéo, le fichier vidéo sera directement copié.

• 2° possibilité, pour ceux qui ont beaucoup d'enregistrements à récupérer

Une fois que toutes les vidéos ont été encodées, l'architecture BBB locale peut être arrêtée. Les usagers devront aller chercher leurs vidéos dans l'onglet Revendication des enregistrements dans Pod.

• 2° possibilité, pour ceux qui ont beaucoup d'enregistrements à récupérer

L'idée est de laisser le temps aux usagers de choisir par eux-mêmes L'idée est de laisser le temps aux usagers de choisir par eux-mêmes les enregistrements qu'ils souhaitent conserver (il n'est pas possible et utile de tout convertir).

...

De plus, si l'accès à la base de Moodle le permet, un message d'information sera positionné directement dans Moodle, au niveau des sessions BBB concernées.

Image Added

Le script est prévu pour être paramétrable, avec possibilité de gérer un certain nombre d'enregistrements et de pouvoir le tester avant (utilisation d'un mode dry).

...

Pour ma part, sur les serveurs Ubuntu Debian 11, voici ce qui a été réalisé.

Installation de bbb-recorder sur

...

Debian 11

Ce plugin n'a pas besoin d'être installé sur un serveur BigBlueButton.

...

Paramétrage de bbb-recorder

• Édition du fichier de configuration ~/bbb-recorder/.env pour paramétrer le RTMP (inutile ici) et surtout le répertoire des vidéos.
  
  

{
"rtmpUrl": "rtmp://xxxxxxxx:xxxxxxxxxx@xxxxx.umontpellieruniv.fr:1935/live/stream",
"ffmpegServer": "ws://localhost",
"ffmpegServerPort": 4000,
"auth": "xxxx",
"copyToPath": "/data/www/pod/bbb-recorder"
}

...

const BBBUrl = "https://xxxx.umontpellieruniv.fr/bigbluebutton/", 
BBBSalt = "xxxxxxxxxxxxxxxxxxxx", 
joinName = "recorder";

...

Paramétrage

Configuration dans Pod

Script migrate_bbb_recordings

Exploitation

Interface d'administration

...

Une fois bbb-recorder installé sur les différents serveurs d'encodage, il reste à configurer le plugin bbb directement dans Pod, via l'édition de fichier custom/settings_local.py (sur les encodeurs et sur le frontal) :

# Use import-video module
USE_IMPORT_VIDEO = True

# Use plugin bbb-recorder for import-video module
# Useful to convert prensentation playback to video file
USE_IMPORT_VIDEO_BBB_RECORDER = True

# Directory of bbb-recorder plugin (see documentation https://github.com/jibon57/bbb-recorder)
# bbb-recorder must be installed in this directory, on all encoding servers
# bbb-recorder create a directory Downloads, at the same level, that needs disk space
IMPORT_VIDEO_BBB_RECORDER_PLUGIN = '/home/pod/bbb-recorder/'

# Directory that will contain the video files generated by bbb-recorder
IMPORT_VIDEO_BBB_RECORDER_PATH = '/data/www/pod/bbb-recorder/'

Les éléments de paramétrage sont les suivants :

• USE_IMPORT_VIDEO : utilisation (True/False) du module d'import des vidéos pour Pod
  
  

• USE_IMPORT_VIDEO_BBB_RECORDER : utilisation (True/False) du plugin bbb-recorder pour le module import-vidéo; utile pour convertir une présentation BigBlueButton en fichier vidéo.
  
  

• IMPORT_VIDEO_BBB_RECORDER_PLUGIN : Répertoire du plugin bbb-recorder (voir la documentation https://github.com/jibon57/bbb-recorder).
  bbb-recorder doit être installé dans ce répertoire, sur tous les serveurs d'encodage.
  bbb-recorder crée un répertoire Downloads, au même niveau, qui nécessite de l'espace disque.
  
  
• IMPORT_VIDEO_BBB_RECORDER_PATH : Répertoire qui contiendra les fichiers vidéo générés par bbb-recorder.

Concernant le répertoire contenant les fichiers vidéos générés par bbb-recorder (IMPORT_VIDEO_BBB_RECORDER_PATH), il est à créer manuellement - en même temps que son sous-répertoire des logs -  avec les lignes de commande suivantes; n'hésitez pas à les modifier à votre convenance selon votre architecture système et vos droits :

pod@test:~/$ mkdir /data/www/pod/bbb-recorder/logs -p
pod@test:~/$ chown pod:nginx /data/www/pod/bbb-recorder/logs

Script migrate_bbb_recordings

Ce script est accessible dans Pod, dans le répertoire pod/video/management/commands/migrate_bbb_recordings.

Fonctionnement du script

Comme évoqué ci-dessus, ce script offre 2 possibilités, à savoir :

• 1° possibilité, pour ceux qui ont peu d'enregistrements à récupérer

Ce script va convertir les présentations, de l'ancienne architecture BBB, en fichiers vidéo (via le plugin bbb-recorder) et positionner ces fichiers dans le répertoire d'un enregistreur pour la Revendication des enregistrements (cf. https://www.esup-portail.org/wiki/x/DgB8Lw)

Bien sûr, s'il y a déjà des présentations en vidéo, le fichier vidéo sera directement copié.

Une fois que toutes les vidéos ont été encodées, l'architecture BBB locale peut être arrêtée. Les usagers devront aller chercher leurs vidéos dans l'onglet Revendication des enregistrements dans Pod.

Ceci est possible en utilisant le paramètre --use-manual-claim et la configuration directement dans ce fichier.

• 2° possibilité, pour ceux qui ont beaucoup d'enregistrements à récupérer

L'idée est de laisser le temps aux usagers de choisir par eux-mêmes les enregistrements qu'ils souhaitent conserver (il n'est pas possible et utile de tout convertir).

Pour cela, il faudra laisser l'ancien serveur BBB/Scalelite ouvert au moins pendant quelques mois (juste pour accéder aux enregistrements).

Côté script, si besoin, il faudra un accès à la base de données de Moodle pour savoir qui a réalisé quoi.

Ainsi, pour chaque enregistrement BBB, le script va créer une ligne dans Mes vidéos externes, de type BigBlueButton, pour les modérateurs (qui seront créés si besoin dans la base de Pod).
Ils pourront alors par eux-mêmes importer ces enregistrements dans Pod. Au cas où, si des enregistrements ne sont pas identifiables (par exemple en provenance d'autres sources que Pod ou Moodle), ils seront associés à un administrateur (à paramétrer dans le script).

De plus, si l'accès à la base de Moodle le permet, un message d'information sera positionné directement dans Moodle, au niveau des sessions BBB concernées.

Ceci est possible en utilisant le paramètre --use-import-video, le paramètre --use-database-moodle (optionnel) et la configuration directement dans ce fichier.

• 3° possibilité, à partir de pod 3.6.0, vous pouvez aussi faire uniquement un export au format CSV de la liste des enregistrements BBB (ce qui vous permet de traiter ensuite ces derniers par ailleurs)
  Ceci est possible en utilisant le paramètre --use-export-csv, le paramètre --use-database-moodle (optionnel) et la configuration directement dans ce fichier.

Ce script vous permet également de :

• simuler ce qui sera fait via le paramètre --dry
  
  
• de ne traiter que certaines lignes via les paramètres --min-value-record-process  et --max-value-record-process.

Paramétrage interne au script

Arguments du script

Exemples et cas d'utilisation

Voici quelques exemples et cas d'utilisation de ce script, à ne lancer qu'après avoir réalisé le paramétrage interne. N'hésitez pas à faire des essais sur quelques lignes et d'utiliser le mode dry pour comprendre ce qui sera réalisé.

•  Utilisation de la revendication pour tous les enregistrements, en simulation uniquement :

  Bloc de code
  language bash
  python -W ignore manage.py migrate_bbb_recordings --use-manual-claim --dry

•  Utilisation de la revendication d'enregistrements pour seulement les 2 enregistrements les plus récents, en simulation uniquement :
  

  Bloc de code
  language bash
  python -W ignore manage.py migrate_bbb_recordings --min-value-record-process=1 --max-value-record-process=2 --use-manual-claim --dry &

  
  
  

  Info
  title Utilisation de Celery ou non ?
  Si vous utilisez les tâches asynchrones (CELERY_TO_ENCODE = True), sans le dry, cette commande va lancer 2 tâches d'encodage. Si vous n'utilisez pas les tâches asynchrones (CELERY_TO_ENCODE = False), sans le dry, cette commande va réaliser directement l'encodage (sauf si le playback est au format vidéo bien entendu) de la 1° présentation, puis une fois celle-ci terminée, l'encodage de la 2° présentation. Dans ce cas là, cela peut être long, d'où l'utilisation en arrière plan (via le & en fin de commande).

  
  
  
• Utilisation du module d'importation vidéo externe, avec accès à la base de données Moodle pour tous les enregistrements, en simulation uniquement :
  

  Bloc de code
  language bash
  python -W ignore manage.py migrate_bbb_recordings --use-import-video --use-database-moodle --dry

  
  

  Info
  title Pas d'encodage réalisé
  Sans le dry, cette commande va créer des lignes d'enregistrements externes dans la base de Pod, pour le module d'import des vidéos. Il n'y a alors aucun encodage qui est réalisé à ce moment. Les usagers pourront retrouver ces enregistrements dans ce module d'import des vidéos et les téléverser sur Pod en tant que vidéo : c'est à ce moment que l'encodage sera réalisé.

  
  
  
• Utilisation du module d'importation vidéo externe, sans accès à la base de données Moodle pour les 10 enregistrements les plus récents, en simulation uniquement :
  

  Bloc de code
  language bash
  python -W ignore manage.py migrate_bbb_recordings --min-value-record-process=1 --max-value-record-process=10 --use-import-video --dry

• Utilisation du module d'export CSV, avec accès à la base de données Moodle pour les 10 enregistrements les plus récents, en simulation uniquement :
  

  Bloc de code
  language bash
  python3 manage.py migrate_bbb_recordings --use_export_csv --use-database-moodle --max-value-record-process=10 --dry

Exploitation

Sortie du script migrate_bbb_recordings

Le script affiche un ensemble d'informations pour chaque ligne traitée; il ne faut pas hésiter à le lancer en mode dry.

Image Added

Interface d'administration

Revendication des enregistrements,

L'interface d'administration permettant de suivre les enregistrements traités concerne les enregistreurs et les enregistrements.

Un enregistreur :

Image Added

Liste des enregistrements :

Image Added

Import des vidéos externes

L'interface d'administration permettant de suivre les enregistrements traités concerne les enregistrements externes dans Importer une vidéo externe.

Image Added

Logs de la solution

Tâches asynchrones (CELERY_TO_ENCODE = True)

Sur les serveurs d'encodage, les logs celery se trouvent dans /var/log/celery/worker1.log (selon votre configuration, si vous utilisez plusieurs workers, vous pouvez avoir plusieurs fichiers).

RabbitMQ-Server

Si vous utilisez RabbiMQ-Server, sur ce serveur, vous pouvez avoir des informations dans /var/log/rabbitmq/rabbit@xxxxx.log.

bbb-recorder

Les logs des traitements de bbb-recorder sont accessibles dans le répertoire configuré via IMPORT_VIDEO_BBB_RECORDER_PATH/logs.

Suppression des enregistrements externes du module d'import des vidéos

Si vous avez opté pour la 2° possibilité, et l'utilisation du module d'import des vidéos : le jour de l'arrêt complet de votre ancienne infrastructure, les anciens liens ne fonctionneront plus.

Si vous souhaitez supprimer les enregistrements externes qui concernaient votre ancienne infrastructure, il vous est possible de le faire directement via une requête SQL à exécuter dans la base de données de Pod, à savoir :

# Remplacer SCRIPT_BBB_SERVER_URL par la bonne valeur, selon votre environnement
DELETE FROM import_video_externalrecording WHERE source_url like 'SCRIPT_BBB_SERVER_URL%'