12 Gouvernance des données 🗂️

Le CAPP partage certaines de ses données avec des chercheur·es, des étudiant·es et des journalistes. Ce chapitre explique comment vérifier l’état de nos données dans tube et comment on traite une demande d’accès.

12.1 Portée

Données non sensibles : Radar+, Agora+ (incluant Agora+ Europe), Polimètre. Elles suivent le processus décrit ici.
Données sensibles : Datagotchi, sondages, Quorum. Toute demande est escaladée à Yannick Dufresne et Shannon Dinan, hors de ce processus.

12.2 Rôles

Rôle	Personnes
Responsable des demandes (fonction Données-éthique)	Alexandre Fortier-Chouinard (intérim), puis Laurence-Olivier M. Foisy
En CC de toutes les réponses; décident en cas d’escalade	Yannick Dufresne et Shannon Dinan
Champions de la qualité des données	Radar+ : Adrien Cloutier · Polimètre et dictionnaires : Alexandre Fortier-Chouinard · Agora+ Europe : à désigner

12.3 À votre arrivée au CAPP

Pendant votre formation :

Lisez ce chapitre.
Demandez vos clés d’accès AWS à Patrick Poncet (@patoscope sur Slack), puis installez tube en suivant son README.
Faites l’exercice de la section Valider l’état des données dans tube et signalez toute anomalie dans #00__données-éthique.
Si vous recevez une demande d’accès aux données, n’y répondez pas vous-même : transférez-la au responsable des demandes.

12.4 Valider l’état des données dans `tube`

Avant de partager des données, et pendant votre formation, vérifiez qu’elles existent et qu’elles sont à jour en PROD.

Radar+, Agora+, dimensions et dictionnaires sont dans l’entrepôt de données (datawarehouse) :

library(tube)
con <- ellipse_connect(env = "PROD", database = "datawarehouse")

# 1. Tables disponibles, par catégorie (Agora+, Radar+, Dimension, Dictionnaire...)
ellipse_discover(con)

# 2. Colonnes d'une table; is_partition indique les partitions (souvent des dates)
ellipse_discover(con, "r-media-headlines")$columns

# 3. Nombre de lignes par partition, triées : les plus récentes sont à la fin
ellipse_partitions(con, "r-media-headlines") |> tail()

# 4. Nombre total de lignes (utile pour les dimensions et les dictionnaires)
ellipse_query(con, "dict-issues") |> dplyr::count() |> dplyr::collect()

ellipse_disconnect(con)

Le Polimètre est dans le lac de données (datalake) :

con_dl <- ellipse_connect(env = "PROD", database = "datalake")

# Versions (tags) du Polimètre et leur date de création
ellipse_discover(con_dl, "polimeter")

ellipse_disconnect(con_dl)

À vérifier pour chaque table visée :

Présente en PROD : une table qui n’existe qu’en DEV n’est pas prête à être partagée.
Non vide : un compte de 0 est une anomalie.
À jour : la dernière partition ou version doit être récente. Par exemple, les unes de Radar+ sont collectées toutes les 10 minutes.
Conforme à la page État de l’infrastructure AWS : un pipeline marqué ✅ en PROD doit contenir des données.

En cas d’anomalie, écrivez dans #00__données-éthique en mentionnant le champion du jeu de données.

12.5 Traiter une demande d’accès

Pour chaque demande :

Répondre avec le gabarit Premier contact, qui contient le lien vers le formulaire d’accès aux données. Une notification arrive dans #00__données-éthique quand le formulaire est rempli.
Vérifier que les données demandées sont à jour (voir Valider l’état des données dans tube).
Tenir l’équipe au courant de ce qui manque ou est périmé, dans #00__données-éthique, en mentionnant le champion.
Évaluer la demande selon les critères : accepter, poser des questions de suivi, escalader ou refuser.
Répondre dans les 3 à 5 jours suivant le formulaire :
- demande acceptée : partager les données avec le gabarit Envoi des données et les références de citation;
- demande refusée : envoyer le gabarit Refus;
- données absentes ou incomplètes : l’indiquer au demandeur et proposer ce qui est disponible.
Mettre à jour :
- la base des demandes : statut, « Autorisé par », date d’approbation, notes (conditions, données partagées);
- la page État de l’infrastructure AWS : l’état constaté des tables visées par la demande.
Faire le suivi après quelques mois : vérifier l’utilisation des données et recenser les publications qui les citent (rapports d’activité, demandes de financement).

12.5.1 Critères d’évaluation

Accepter si toutes ces conditions sont remplies :

Le formulaire est rempli et les deux engagements sont acceptés : usage conforme au projet décrit, citation selon nos références.
Les données demandées sont non sensibles (Radar+, Agora+, Polimètre).
Le projet est identifiable : titre, description, institution, poste.
L’usage relève de la recherche, de l’enseignement ou du journalisme.
Les bases et la période demandées correspondent au projet décrit.

Poser des questions de suivi si la description est vague, ou si les bases ou la période demandées dépassent les besoins du projet (p. ex., toutes les bases cochées par défaut).

Escalader à Yannick et Shannon si :

la demande porte sur des données sensibles;
le demandeur prévoit diffuser publiquement les données brutes;
l’usage est commercial ou partisan;
la demande est ambiguë ou stratégique.

Refuser si :

les engagements ne sont pas acceptés, ou le formulaire reste incomplet après une relance;
l’escalade conclut au refus.

12.5.2 Gabarits de courriels

Envoyer depuis votre compte universitaire individuel.
Mettre en CC Yannick, Shannon et l’adresse institutionnelle (CLESSN ou CAPP) qui a reçu la demande.
Ajouter les liens applicables (formulaire, Dropbox, références de citation).

12.5.2.1 Premier contact

Dear [name],

Thank you for your request!

Please take 2-3 minutes to read carefully and fill this form: CAPP data access form. We will be in touch 3-5 days after your request is sent (either with the data itself or with follow-up questions). If you do not receive an answer by that time, please send us a reminder.

Let us know if you have any questions about the form!

Best regards,

[Nom, titre, CAPP]

12.5.2.2 Envoi des données

Dear [name],

Here is the data you requested: [lien Dropbox]. [Précisions sur les fichiers, au besoin.]

Please cite the data as follows: [référence(s) de citation].

Let us know if you have any questions or if the link does not work.

Best regards,

[Nom, titre, CAPP]

12.5.2.3 Refus

Dear [name],

Thank you for your interest in our data. Unfortunately, we are unable to share the data you requested [motif, p. ex. : because it contains sensitive survey data].

[Au besoin : ce qu’on peut offrir à la place, p. ex. des données agrégées ou les données publiques du Polimètre.]

Feel free to contact us if your project changes or if you have any questions.

Best regards,

[Nom, titre, CAPP]