REMOTE TESTING E PROCTORING:
COSA NON HA FUNZIONATO?
Problemi tecnici, assistenza, condizioni delle prove, privacy e parità di trattamento. Quando la tecnologia utilizzata per selezionare i candidati diventa essa stessa parte del problema.
Il remote testing doveva rendere le selezioni europee più moderne, rapide e accessibili.
Ma trasferire un concorso dal centro d’esame alla casa del candidato significa trasferire sul candidato anche una parte delle condizioni tecniche necessarie per partecipare.
Computer, sistema operativo, connessione, webcam, microfono, ambiente domestico, software e disponibilità del proctor diventano elementi della procedura concorsuale.
“Il candidato conosceva la risposta?”
ma anche:
“Ha potuto dimostrarlo nelle stesse condizioni degli altri candidati?”
Il problema era reale: lo dice il Mediatore europeo
Nel marzo 2023 il Mediatore europeo aprì un’indagine d’iniziativa sull’utilizzo del remote testing da parte di EPSO.
La decisione non nasceva da una semplice discussione sui social network.
Il Mediatore aveva ricevuto un numero significativo di reclami da candidati.
L’indagine del Mediatore ha individuato diversi problemi nell’organizzazione e nella supervisione delle prove remote, nelle informazioni fornite ai candidati, nella gestione dei reclami e nella riprogrammazione delle prove.
Il candidato doveva trasformare casa propria in un centro d’esame
Le istruzioni per le prove remote imponevano requisiti riguardanti sia l’attrezzatura tecnica sia l’ambiente fisico nel quale sostenere l’esame.
ANALISI CONF FIR
Questo modello introduce una questione che merita di essere analizzata attentamente.
In un centro d’esame l’amministrazione controlla computer, rete, software e ambiente.
Nel remote testing una parte significativa di queste condizioni dipende invece dalla situazione materiale del candidato.
La tecnologia non è quindi soltanto uno strumento organizzativo: può incidere concretamente sulla parità delle condizioni di esame.
Problema n. 1 – Il test che non parte
EPSO/AD/398/22
Un candidato incontra problemi tecnici che impediscono l’avvio della prova.
Tenta di contattare l’assistenza, ma viene inserito in una lunga coda.
Quando riesce finalmente a collegarsi, il proctor gli comunica che esistono problemi con i server.
Il test parte con circa due ore di ritardo.
Il caso arriverà successivamente al Mediatore europeo.
Nel luglio 2024 il Mediatore concluderà che vi era stata cattiva amministrazione nel modo in cui EPSO aveva gestito il reclamo.
Problema n. 2 – Aspettare il proctor
Un’ora e venti minuti di attesa
In un altro caso relativo alla procedura EPSO/AD/398/22, dopo una breve interruzione della connessione una candidata deve attendere che diventi disponibile un proctor.
Le viene inizialmente detto che dovrebbe arrivare “da un momento all’altro”.
L’attesa continua.
Dopo circa venti minuti la candidata chiede che venga registrato formalmente un reclamo.
Dopo un’ora e venti minuti decide infine di uscire dall’esame.
Quando la candidata reclama successivamente, EPSO chiede un ticket number del contractor come prova del problema.
Il Mediatore stabilirà invece che la candidata aveva seguito le istruzioni disponibili e che EPSO avrebbe dovuto approfondire il caso.
Problema n. 3 – Come dimostrare un problema tecnico?
Questo è uno degli aspetti più interessanti emersi dall’inchiesta del Mediatore.
Il candidato poteva trovarsi nella situazione di dover contemporaneamente:
continuare la prova, cercare assistenza, comunicare con il proctor, salvare eventuali chat, ottenere un ticket e raccogliere la prova che qualcosa non funzionava.
Il Mediatore ha criticato EPSO anche per informazioni contraddittorie su come i candidati dovessero dimostrare i problemi incontrati.
Cinque casi di cattiva amministrazione
Il 10 luglio 2024 il Mediatore europeo rende pubbliche le conclusioni relative a cinque indagini.
In tutti e cinque i casi il Mediatore individua cattiva amministrazione nel modo in cui EPSO aveva gestito i reclami dei candidati relativi alle prove remote.
Tra i problemi documentati:
| Problema | Cosa emerge |
|---|---|
| Avvio del test | Difficoltà o impossibilità di avviare correttamente la prova. |
| Strumenti della piattaforma | Funzioni mancanti o non correttamente operative. |
| Proctor | Attese eccessive per ottenere assistenza o supervisione. |
| Reclami | Rigidità nella valutazione delle prove fornite dai candidati. |
| Informazioni | Indicazioni non sempre coerenti su come documentare il problema. |
La responsabilità non può essere scaricata semplicemente sul contractor
Le prove erano materialmente gestite attraverso un contractor esterno.
Questo elemento è importante, ma non risolve il problema della responsabilità istituzionale.
ANALISI CONF FIR
Il candidato partecipa a un concorso EPSO, non a un concorso del fornitore informatico.
L’esternalizzazione di una piattaforma non può quindi eliminare la responsabilità dell’amministrazione di garantire condizioni eque, procedure verificabili e un sistema efficace di reclamo.
Ed è proprio qui che nascerà uno dei prossimi capitoli dell’inchiesta:
chi selezionava il contractor, chi ne controllava le prestazioni e quali indicatori permettevano di capire che il sistema stava producendo problemi?
Privacy: un secondo fronte
Il remote proctoring non comporta soltanto problemi tecnici.
Per controllare una prova da remoto è necessario trattare informazioni relative al candidato e all’ambiente nel quale si trova.
La questione arriva anche all’European Data Protection Supervisor.
L’EDPS adotta una decisione relativa a tre reclami riguardanti il remote proctoring utilizzato da EPSO attraverso un contractor esterno nel corso del 2023.
L’EDPS emette un reprimand nei confronti di EPSO.
Un problema di privacy che era prevedibile?
La sorveglianza remota di un candidato all’interno della propria abitazione solleva inevitabilmente questioni di protezione dei dati.
quali valutazioni erano state effettuate?
Quali rischi erano stati identificati?
Chi li aveva esaminati?
La rappresentanza del personale aveva ricevuto queste informazioni?
Qualcuno aveva chiesto ulteriori garanzie?
Sono domande che dovranno trovare una risposta nei documenti della fase precedente all’introduzione del sistema.
Accessibilità: uguali sulla carta non significa sempre uguali nella realtà
Un sistema di selezione europeo deve poter garantire accomodamenti ragionevoli ai candidati che ne abbiano necessità.
Nel remote testing questo principio diventa particolarmente delicato.
Software di controllo, restrizioni del computer, tempi delle prove, interazione con il proctor e caratteristiche della piattaforma possono infatti interferire con strumenti assistivi o esigenze individuali.
Quanti candidati richiesero accomodamenti ragionevoli nelle principali procedure remote?
Quanti incontrarono problemi?
Quanti ottennero un retest?
Questi dati dovrebbero essere resi pubblici in forma aggregata.
Ma l’inchiesta deve riconoscere anche le correzioni
Nel febbraio 2025 il Mediatore europeo riconosce che EPSO ha reagito costruttivamente ad alcune delle sue conclusioni.
In quattro casi nei quali era stata riscontrata cattiva amministrazione, EPSO ha offerto ai candidati interessati la possibilità di ripetere le prove.
Altri due casi erano stati risolti durante le indagini attraverso l’offerta di un nuovo test.
EPSO ha quindi modificato alcune delle proprie pratiche e adottato misure correttive.
Anche questo deve far parte di una ricostruzione corretta.
Il vero problema: imparare prima, non dopo
Una grande amministrazione può incontrare un problema tecnico.
Un fornitore può commettere un errore.
Una piattaforma può fallire.
La questione decisiva diventa quindi la capacità dell’organizzazione di riconoscere rapidamente un problema sistemico.
E qui ritorna la rappresentanza del personale
CONF FIR vuole evitare una semplificazione.
Non sarebbe corretto affermare che i rappresentanti del personale fossero responsabili dei malfunzionamenti informatici.
Ma la rappresentanza esiste anche per intercettare problemi che riguardano personale e candidati e portarli all’attenzione di chi decide.
LA QUESTIONE SINDACALE
Se alcuni rappresentanti disponevano di importanti risorse sindacali o di distacchi molto rilevanti, la domanda non può essere se sapessero programmare una piattaforma informatica.
La domanda corretta è:
quando ricevettero le prime informazioni, quali domande posero, quali verifiche richiesero, quali iniziative intrapresero e come informarono il personale?
E soprattutto:
quando i reclami cominciarono ad accumularsi, qualcuno chiese formalmente di fermarsi prima che il problema diventasse ancora più grande?
Le 8 domande che il Dossier 02 lascia aperte
| # | Domanda |
|---|---|
| 1 | Quali test tecnici furono effettuati prima dell’introduzione del remote testing? |
| 2 | Quali livelli di malfunzionamento erano considerati accettabili? |
| 3 | Chi controllava concretamente le prestazioni del contractor? |
| 4 | Quando EPSO comprese che i problemi non erano più casi isolati? |
| 5 | Quali valutazioni preventive furono effettuate sulla protezione dei dati? |
| 6 | Quali dati esistono sugli accomodamenti ragionevoli e sui problemi di accessibilità? |
| 7 | Quando la rappresentanza del personale ricevette informazioni sulle criticità? |
| 8 | Quali interventi documentati furono effettuati prima delle sospensioni e delle cancellazioni? |
Le fonti dell’inchiesta
Own-initiative inquiry OI/1/2023/VS – Remote testing in EPSO selection procedures.
Cinque decisioni riguardanti la gestione dei reclami relativi alle prove remote.
Decisione sui casi 2023-0477, 2023-0555 e 2023-0966 relativi al remote proctoring EPSO.
Follow-up sulle misure adottate da EPSO dopo le indagini.
PROSSIMO DOSSIER
DOSSIER 03 – CHI GOVERNA EPSO?
È il passaggio decisivo dell’inchiesta.
Ricostruiremo la struttura del Management Board EPSO, i poteri della Direzione, il ruolo delle Istituzioni, della Commissione e della DG HR e soprattutto la posizione dei rappresentanti del personale.
Distingueremo finalmente chi poteva decidere, chi poteva votare, chi poteva osservare, chi poteva segnalare e chi doveva controllare.
Solo dopo questa ricostruzione potremo affrontare seriamente la domanda più delicata:
la rappresentanza del personale aveva strumenti che avrebbero potuto contribuire a evitare almeno una parte di questi problemi?