La relecture et l’évaluation
En pratique, chacun des membres du CP renseigne plusieurs informations pour chaque soumission : préférence de relecture, compétence sur le sujet, conflit d’intérêt éventuel, etc.
Chaque membre du CP se voit ensuite attribuer des articles (4 à 5 en moyenne) par la «magouilleuse», un programme automagique qui s’efforce de répartir équitablement les articles en résolvant les contraintes de relecture exprimées par les évaluateurs.
La magouilleuse respecte en premier lieu les conflits d’intérêt déclarés. Elle procède ensuite à une répartition aussi équilibrée que possible des relectures, en tenant compte du niveau d’expertise et de l’affinité des évaluateurs avec le sujet traité par une soumission. En particulier, les articles ne sont pas attribués qu’à des spécialistes : les participants à la conférence ne sont pas des experts de tous les domaines de la SSI et le programme doit refléter cette diversité.
Une fois les attributions réalisées, les membres du CP disposent de quelques semaines pour relire et évaluer les articles. Chaque évaluation inclut un score indiquant si la soumission doit être retenue ou non (5 choix nuancés entre «doit être rejeté» et «doit être accepté») et des commentaires libres à destination des auteurs. La qualité des commentaires est essentielle, de sorte que les auteurs reçoivent une critique argumentée de leur travail, aussi bien en cas d’acceptation que de refus. Les évaluateurs peuvent également ajouter des commentaires destinés au reste du CP, qui seront développés lors de la réunion du comité de programme.
La réunion du CP
Le comité de programme se réunit physiquement à la fin de la période d’évaluation pour discuter des soumissions et choisir les articles acceptés.
L’évaluation d’une soumission n’est évidemment pas une science exacte. Par exemple, un relecteur peut s’être vu attribué seulement de bons (ou de moins bons) articles par le système d’attribution, ce qui peut biaiser ses évaluations : un relecteur a tendance à évaluer ses attributions les unes par rapport aux autres, ce qui a pour effet de noter positivement une soumission qu’un autre évaluateur aura jugé négativement, alors que les deux sont probablement d’accord sur sa qualité intrinsèque lorsqu’ils en discutent de vive voix. La réunion du comité de programme est précisément le lieu qui permet de «lisser» ces biais.
Les soumissions sont triées en fonction du score moyen affecté par les relecteurs. Celles dont le score est consensuel (bon ou mauvais) sont, en principe, évoquées brièvement, afin de laisser place aux soumissions pour lesquelles les avis sont moins tranchés.
Les discussions permettent de converger sur une décision pour ces articles. Elles permettent aussi parfois de proposer un changement de format aux auteurs: une présentation courte pour une soumission qui ne semble pas assez étoffée ou inversement, une présentation longue pour un sujet qui mériterait plus de temps.
Les membres du CP ne prennent pas part aux échanges portant sur les soumissions pour lesquelles ils sont en conflit d’intérêt ; ceux qui sont (co-)auteurs d’une soumission sortent de la salle des délibérations pendant les discussions portant sur leur article.
Retour aux auteurs
Les notifications d’acceptation ou de refus sont envoyées aux auteurs quelques jours après la réunion du CP, le temps de mettre en forme les remarques des relecteurs.
Les auteurs peuvent alors prendre connaissance des remarques faites par le comité de programme (anonymement).
La suite
Les auteurs acceptés disposent alors de quelques semaines pour remettre la version finale de leur article, pour publication dans les actes.