Προτεινόμενη Διπλωματική εργασία Προπτυχιακού προγράμματος Σπουδών
Αναφορά των μεθόδων (automatic and human-based) και των απαραίτητων δεικτών (συμπεριλαμβανομένων XAI, responsible AI) για την αξιολόγηση και την υιοθέτηση της ΤΝ.
Bιβλιογραφική ανασκόπηση των μεθόδων που έχουν εφαρμοστεί για την αξιολόγηση εφαρμογών ΤΝ σε διάφορους τύπους ΤΝ (rule-based, LLMs, neural networks, etc.).
Θεματική κατηγοριοποίηση ανά τύπο αξιολόγησης (automatic and human based).
Κατηγοριοποίηση ανά στόχο αξιολόγησης (accuracy, precision, data quality, adoption, use, impact, interoperability, progress etc.)
Παραδείγματα χρήσης του κάθε μοντέλου.
- eGOV I & II
- Διαλειτουργικότητα
Συστηματική βιβλιογραφική έρευνα
Blagec, K., Dorffner, G., Moradi, M., & Samwald, M. (2020). A critical analysis of metrics used for measuring progress in artificial intelligence. arXiv preprint arXiv:2008.02577. https://arxiv.org/abs/2008.02577
Handelman, G. S., Kok, H. K., Chandra, R. V., Razavi, A. H., Huang, S., Brooks, M., ... & Asadi, H. (2019). Peering into the black box of artificial intelligence: evaluation metrics of machine learning methods. American Journal of Roentgenology, 212(1), 38-43.
Rainio, O., Teuho, J., & Klén, R. (2024). Evaluation metrics and statistical tests for machine learning. Scientific Reports, 14(1), 6086.
Abbasian, M., Khatibi, E., Azimi, I., Oniani, D., Shakeri Hossein Abad, Z., Thieme, A., ... & Rahmani, A. M. (2024). Foundation metrics for evaluating effectiveness of healthcare conversations powered by generative AI. NPJ Digital Medicine, 7(1), 82.