AICET : Le cadre standardisé et multidimensionnel d’évaluation des compétence en IA

Découvrez en détail la méthodologie, les niveaux et les dimensions qui font d’AICET la référence pour une évaluation fiable et objective de l’expertise en Intelligence Artificielle.

Vue d’ensemble de l’AICET

Pourquoi l’AICET ?

L’intelligence artificielle est un domaine vaste, évolutif et multidimensionnel (technologie, histoire, éthique, droit…). Cet ensemble technologique est transverse et impacte de nombreux aspects de la société, notamment le marché du travail, l’art et les politiques publiques.

L’utilisation appropriée de l’IA nécessite la maîtrise de compétences spécifiques dont l’enseignement et l’évaluation sont cruciaux.

Les cadres de compétences numériques existants, tels que DigComp 2.2, sont complets mais ne sont pas suffisamment spécifiques pour une évaluation pertinente des compétences en IA.

AICET répond à ce besoin en fournissant un référentiel d’évaluation normé, adapté et rigoureux, pour une mesure précise, fiable et objective des compétences en intelligence artificielle des individus.

Portée et Objectifs de l’AICET

Portée :

Établir les exigences pour définir et appliquer un test d’évaluation des compétences et de la littératie des personnes concernant l’intelligence artificielle.

Objectifs de la méthodologie AICET :

Fournir une méthodologie standardisée pour concevoir des tests mesurant les connaissances du public sur l’IA
Définir des questions et tâches spécifiques pour évaluer le niveau de compétence (acculturation, avancé, expert) en IA
Permettre aux participants d’utiliser le test pour s’entraîner/s’auto-évaluer ou pour une évaluation officielle (et ultérieurement certifiée)
Permettre aux parties prenantes d’obtenir des macro-statistiques sur les tests et résultats au fil du temps

Cadre théorique

Définitions clés

Les définitions et la terminologie employées dans l’AICET s’appuient sur celles définies dans les cadres de référence internationaux de normalisation relatifs aux compétences et à l’Intelligence Artificielle.

Elles reprennent notamment les concepts, vocabulaire et définitions issus des normes ISO/IEC 22989:2022 (Technologies de l’information — Intelligence artificielle — Concepts et terminologie relatifs à l’intelligence artificielle) et ISO/IEC 23053:2022 (Cadre pour les systèmes d’intelligence artificielle (IA) qui utilisent l’apprentissage automatique (ML)), qui établissent les fondements descriptifs et fonctionnels des systèmes d’IA.

Ces références garantissent que la terminologie de l’AICET est cohérente avec les pratiques reconnues et conforme aux standards internationaux, facilitant son interopérabilité et sa lisibilité dans les contextes techniques, réglementaires et organisationnels.

Cadres Théoriques pour les Niveaux d’Expertise

La méthodologie AICET associe deux cadres de référence pour structurer le domaine de l’IA et évaluer les compétences :

Taxonomie de Bloom-Krathwohl : Utilisée pour décrire la progression des connaissances, transformée en une matrice comprenant des types de connaissances (factuelles, conceptuelles, procédurales, métacognitives) et des processus cognitifs (se souvenir, comprendre, appliquer, analyser, évaluer, créer). 

Cadre DigComp : Offre une méthodologie pour décrire la gestion des compétences dans le domaine numérique.

Les 6 niveaux de technicité de Bloom-Krathwohl sont regroupés en 3 niveaux principaux AICET pour simplifier la production de questions.

Les trois niveaux d’expertise AICET

Niveau Acculturation

Public visé : Les personnes qui ont une compétence générale de tous les aspects de l’IA, mais qui ne sont pas nécessairement très familières avec les détails spécifiques. Ce niveau constitue un point d’entrée pour tous.

Objectif d’évaluation : Évaluer la capacité à expliquer les concepts de base de l’IA, à détecter la contribution de l’IA dans les outils du quotidien, à avoir des idées sur ses dangers et ses apports dans la société civile, ou encore à être capable de distinguer ce qui est de l’IA de ce qui ne l’est pas. L’objectif est de mesurer la compréhension générale de l’IA.

Exemple de compétence : Être capable de connaître et d’expliquer brièvement la différence entre l’apprentissage supervisé et l’apprentissage non supervisé.

Niveau Avancé

Public visé : Les individus ayant une compréhension plus approfondie de l’IA et pouvant même être des utilisateurs réguliers d’applications basées sur l’IA. Un équivalent de connaissances académiques (diplôme de troisième cycle, licence ou master en informatique et en particulier en IA) est recommandé.

Objectif d’évaluation : Évaluer la compréhension des principes et méthodes de base de l’IA. Ce public aura pour tâche de trouver le type d’IA à utiliser pour résoudre un problème particulier. Ce niveau concerne la maîtrise de la construction de systèmes d’IA ou leur mise en opération.

Exemple de compétence : Être capable de sélectionner le type d’apprentissage approprié pour un problème donné, en tenant compte de la nature des données et de l’objectif final, et comprendre la mise en œuvre des algorithmes typiques pour chacun.

Niveau Expert

Public visé : Les individus possédant des connaissances techniques approfondies en IA, tels que les ingénieurs, les chercheurs ou les professionnels travaillant dans le domaine. Des connaissances académiques étendues sont recommandées (équivalent diplôme de troisième cycle, Master ou Doctorat en informatique et en particulier en IA).

Objectif d’évaluation : Tester l’expertise et la capacité à expliquer des concepts complexes et avancés. Des corrections de code informatique peuvent faire partie du test. Ce niveau requiert des connaissances étendues et une capacité à innover.

Exemple de compétence : Être capable de résoudre des problèmes complexes grâce à une compréhension approfondie de tous les types d’apprentissage automatique.

Catégories de compétences évaluées (Les 5 Dimensions)

Le test est structuré autour de cinq catégories (dimensions), chacune visant à approfondir la compréhension de l’IA sous un angle spécifique, abordant les aspects positifs et négatifs.

Dimension Théorique de l’IA

Cet axe concerne les connaissances fondamentales de l’intelligence artificielle (IA), y compris ses principes théoriques, les modèles mathématiques sous-jacents, les algorithmes et les concepts clés. Des exemples de domaines liés sont les structures de réseaux de neurones, les outils mathématiques, les différents types d’apprentissage ou les mesures de qualité.

Dimension Applicative de l’IA

Dans cet axe, on explore des domaines concrets d’application de l’IA dans la vie quotidienne, en fournissant des exemples réels. De plus, cet axe vise à offrir des conseils pratiques sur l’IA, la gestion des données, les meilleures pratiques associées, les risques et les limites. Des exemples de domaines liés sont le traitement du langage naturel, la vision par ordinateur ou les systèmes de recommandation.

Dimension Opérationnelle de l’IA

Cet axe examine la mise en œuvre pratique de l’IA, y compris la structuration des données, la programmation d’algorithmes d’IA, le cycle de vie de l’IA, l’utilisation de bibliothèques spécifiques et les compétences opérationnelles nécessaires pour développer et déployer des systèmes d’IA. Conformément aux valeurs de ce test, aucune technologie ne doit être dénigrée ou promue. Des exemples de domaines liés sont le matériel (hardware), la stack technique ou l’interface Humain-IA.

Dimension Juridique et Éthique de l’IA

Ce domaine aborde les aspects juridiques, éthiques et écologiques entourant l’IA. Il couvre les lois nationales et internationales, les normes et réglementations liées à l’IA, ainsi que les questions éthiques telles que la confidentialité des données, la propriété intellectuelle et la responsabilité. Des exemples de domaines liés sont les biais et l’équité, l’impact environnemental ou la régulation.

Dimension Culture Générale de l’IA

Dans cet axe, on explore les personnalités et entités qui ont apporté des contributions significatives à l’IA, y compris les pionniers, les femmes dans le domaine, les entreprises innovantes et les chercheurs qui ont fait des avancées importantes dans le domaine. Des exemples de domaines liés sont les tendances au sein de l’IA, l’histoire de l’IA ou la perception publique.

L’intégrité de l’AICET est garantie par sa mission et ses cinq valeurs fondamentales

Indépendance

Totalement neutre vis-à-vis des fournisseurs, offrant une évaluation objective de la compétence

Adaptabilité

La base de données de questions est continuellement révisée par des experts pour refléter l’état de l’art.

Exhaustivité

Couvre tout le spectre des connaissances en IA, de la théorie aux dimensions éthiques.

Fiabilité

Construit sur des principes rigoureux pour garantir que chaque test est juste, reproductible et non discriminatoire.

Inclusivité

Engagé à rendre l’évaluation accessible, avec des aménagements disponibles pour tous les candidats.

Une initiative collaborative soutenue par des leaders de la technologie, du monde universitaire et de la normalisation

L’AICET a été développé par un groupe de travail ouvert d’individus et d’organisations engagés à établir une référence de confiance pour les compétences en IA. Cette coalition diversifiée d’experts garantit que la norme est complète, pratique et alignée sur les besoins réels de l’industrie.

Les contributeurs clés

Partenaires de normalisation et de coordination

La norme est développée sous la coordination de l’AFNOR et alignée sur le cadre européen du CEN-CENELEC, la norme garantit un processus rigoureux et internationalement reconnu.

Faites de la compétence en IA de vos collaborateurs un levier de performance

Découvrez comment notre plateforme de micro-learning peut transformer votre approche de la formation et accélérer votre mise en conformité réglementaire.