Dalla letteratura internazionale/
Khera R, Simon MA, Ross JS. Automation Bias and Assistive AI: Risk of Harm From AI-Driven Clinical Decision Support. JAMA. 2023;330(23):2255–2257. doi:10.1001/jama.2023.22557
Il lavoro pubblicato su Jama affronta il tema dell’uso dell’intelligenza artificiale (IA) nella pratica clinica e il rischio di danni derivanti da modelli di IA sbagliati. Gli autori esaminano come l’automation bias (bias di automazione) e i modelli di IA assistiva possano influenzare le decisioni cliniche, evidenziando la sfida dell’interpretazione delle informazioni fornite dagli strumenti di IA.
Uno studio che ha valutato l’impatto dell’esplicabilità delle previsioni IA sulla precisione diagnostica dei clinici ha evidenziato come i modelli di IA sistematicamente sbagliati possano influenzare negativamente l’assistenza ai pazienti. Inoltre, il lavoro mette in luce la necessità di valutare come i clinici interagiscono con le previsioni dei modelli di IA e come tali interazioni possono influenzare le decisioni cliniche. Si sottolinea che l’adozione di modelli di IA sbagliati nel sistema sanitario può causare danni ai pazienti, poiché i clinici potrebbero fidarsi delle previsioni di IA più della propria valutazione.
L’utilizzo di tecnologie assistite dall’IA nelle decisioni cliniche espone il sistema sanitario a numerose sfide: il rischio di automation bias, la mancanza di interpretabilità dei modelli di IA, e la possibilità di danni ai pazienti causati dall’affidarsi eccessivo ai modelli di IA da parte dei clinici.
Queste sfide possono essere affrontate attraverso l’implementazione di criteri rigorosi per l’uso clinico dei modelli di IA, la formazione dei clinici sull’interpretazione delle informazioni fornite dagli strumenti di IA, e lo sviluppo di strategie migliori per andare oltre l’”esplicabilità” (ovvero la capacità di spiegare il processo decisionale di un modello di AI in termini comprensibili all’utente) e consentire una vera interpretazione delle previsioni. Inoltre, è necessario valutare come i clinici interagiscono con le previsioni dei modelli di IA e come tali interazioni possono influenzare le decisioni cliniche. Infine, è importante mantenere il focus sull’obiettivo principale di migliorare l’assistenza ai pazienti, anziché concentrarsi esclusivamente sull’implementazione di strumenti di IA.
Le agenzie regolatorie dovrebbero adottare un approccio più attento ed esigente nell’approvare e regolare gli strumenti di IA utilizzati nell’assistenza clinica. Dovrebbero richiedere che i modelli di IA siano accompagnati da metriche di spiegabilità in modo che i clinici possano interpretare meglio le previsioni del modello e capire quando il modello si basa su euristiche anziché su elementi di dati clinicamente rilevanti. Inoltre, dovrebbero valutare come i clinici interagiscono con le previsioni dei modelli di IA e come tali interazioni possono influenzare le decisioni di cura. È importante che le agenzie regolatorie considerino non solo le prestazioni del modello, ma anche le possibili conseguenze negative derivanti dall’uso di strumenti di IA assistiva, come il rischio di danni ai pazienti causati dall’affidarsi eccessivo ai modelli di IA.
In conclusione, gli autori sottolineano la necessità di affrontare le sfide legate all’uso di modelli di IA nell’assistenza clinica in modo responsabile e che ciò richiede una attenta analisi e riflessione.
