Vue d'ensemble
Une entreprise spécialisée dans la recherche en vision par ordinateur qui développe une plateforme d'IA pour le suivi oculaire s'est associée à Sourcefit pour prendre en charge la validation des données, la classification du regard et la cohérence des annotations dans les workflows de formation des modèles. L'équipe avait besoin d'une révision humaine structurée pour évaluer les résultats de la direction du regard, identifier les problèmes d'étiquetage et corriger les classifications inexactes. Sourcefit un programme d'assurance qualité dédié pour valider les ensembles de données et renforcer les cycles d'amélioration des modèles.
Le défi
- Les résultats de l'oculométrie nécessitaient une validation et une classification précises.
- Les ensembles de données comprenaient différentes positions de la tête, conditions d'éclairage et angles des yeux.
- Des étiquettes incohérentes ont réduit la qualité de l'entraînement et limité la progression du modèle.
- Le client avait besoin de réviseurs humains alignés sur les critères de classification.
- Un étalonnage était nécessaire pour garantir la cohérence entre les annotateurs.
Notre approche
Sourcefit et exploite un processus structuré d'assurance qualité, soutenu par une équipe formée et spécialisée dans l'analyse de l'oculométrie, l'évaluation des schémas visuels et les règles de classification. L'équipe valide les résultats du modèle en évaluant la direction du regard en fonction de l'orientation de la tête, de la position des yeux et des indices contextuels.
Pendant la configuration, Sourcefit:
- Organisation de sessions d'étalonnage afin d'harmoniser les règles de classification du regard entre les évaluateurs.
- Création de listes de contrôle pour la validation de l'alignement de la tête, de l'angle des yeux et de la notation de confiance.
- Mise en œuvre d'un processus de contrôle qualité en plusieurs étapes afin de détecter les étiquettes inexactes ou incohérentes.
- Suivi de la précision des réviseurs et fourniture de commentaires continus afin de maintenir la cohérence
- Cycles d'amélioration des modèles pris en charge grâce à la validation quotidienne des ensembles de données et à la mise à jour de la documentation
Aujourd'hui, Sourcefit de fournir une validation continue des ensembles de données et un soutien structuré en matière d'assurance qualité afin de renforcer les performances des modèles et d'améliorer la fiabilité de la formation.
Résultats
- Amélioration de la précision de l'étiquetage dans les grands ensembles de données d'oculométrie
- Réduction des incohérences dues à la variation de l'éclairage, des angles et des mouvements de la tête
- Fiabilité accrue des ensembles de données pour les cycles de formation et de test
- Prise en charge d'itérations plus rapides pour l'affinement des modèles et l'exécution des expériences
Principaux enseignements
- Des règles de classification claires améliorent la qualité des ensembles de données : l'étalonnage et l'alignement des critères renforcent la précision des ensembles de données visuelles complexes.
- La validation humaine renforce la fiabilité : l'examen manuel permet de détecter des indices subtils que les systèmes automatisés classifient souvent de manière erronée.
- L'assurance qualité structurée accélère l'amélioration des modèles : des workflows de validation cohérents favorisent une itération et un perfectionnement plus rapides.
Apprentissages de l'industrie
Les systèmes de suivi oculaire reposent sur un jugement humain précis pendant les premières étapes de formation. De légères variations dans le regard, l'angle de la tête et l'éclairage peuvent perturber l'interprétation du modèle. Des équipes dédiées à l'assurance qualité renforcent la précision de l'étiquetage, stabilisent les ensembles de données et soutiennent l'amélioration itérative dans l'ensemble des pipelines de vision par ordinateur.
En savoir plus
Sourcefit met en place des équipes de contrôle qualité et de validation évolutives pour les organisations spécialisées dans l'IA, la recherche et la vision par ordinateur.
Explorer WorkingAI pour ses capacités d'automatisation et d'orchestration des ensembles de données, ou SourceCX pour ses programmes d'assistance à la clientèle.
Contactez notre équipe chargée des opérations d'IA pour découvrir notre assistance en matière de validation et d'annotation structurées.
