
Why Accuracy Isn't Enough: A New Quality Model for Real-World ML Components
AI components, whether traditional machine learning or generative AI, are embedded in many present-day systems. However, despite advances in automation, infrastructure, and tooling for developing AI components, many do not leave the prototype stage or reach production because they fail to meet overall system quality expectations. In our latest podcast from the Carnegie Mellon University Software Engineering Institute, Rachel Brower-Sinning and Robert Edman, both machine learning scientists in the SEI's Tactical Edge and AI-Enabled Systems Initiative, sit down with Grace Lewis, the initiative's lead and an SEI principal researcher, to discuss a quality model for machine learning components to support their prop...
Ouvre le lecteur : la transcription complète, chaque mot cliquable, avec traduction et cartes mémoire.
Cet épisode est-il pour vous ?
B2 · Intermédiaire avancé
Confortable si vous suivez déjà le journal télévisé
- 71 % des mots sont de niveau B1 ou plus faciles.
- 193 mots par minute : débit naturel, plutôt rapide.
- 130 mots plus difficiles (B2 et plus) dans tout l'épisode.
Essayez : touchez un mot
De vraies phrases du début de cet épisode. Chaque mot est marqué de son niveau.
is this concept of a system.
, .
So why shouldn't we treat it like software, right?
Touchez un mot pour voir son sens dans votre langue.
Connaissez-vous ces mots ?
8 mots plus difficiles de cet épisode. Touchez-en un pour voir son sens, puis indiquez si vous le connaissiez.
Marquez quelques mots et nous vous dirons si cet épisode correspond à votre niveau.
Cet épisode est-il pour vous ?
B2 · Intermédiaire avancé
Confortable si vous suivez déjà le journal télévisé
- 71 % des mots sont de niveau B1 ou plus faciles.
- 193 mots par minute : débit naturel, plutôt rapide.
- 130 mots plus difficiles (B2 et plus) dans tout l'épisode.
Transcription
Le début de l'épisode. La transcription complète est dans le lecteur.
mots plus difficiles (B2+)
Going back to what I think differentiates our work from other work that I see out there, is this concept of a system. So if you think about what a machine learning component is, it is software. So why shouldn't we treat it like software, right?
And so when you say the requirements that come from the system, I think that is very important because when you do system decomposition, it so happens that at some point you're going to say, okay, this should be a machine learning component.
And so the requirements for that component are being derived from the system. And that is where it's important to be able to say, say, okay, what can I test at the ML component level? Today, AI components, whether traditional machine learning
C'était le début. La suite de l'épisode (23 min) est dans le lecteur : chaque mot cliquable, avec traduction, mots enregistrés et cartes mémoire.
Continuer dans le lecteurGénérée automatiquement à partir de l'audio. Peut contenir des erreurs. L'audio appartient à son éditeur et est diffusé depuis son flux. Les ayants droit peuvent demander le retrait — politique de droits d'auteur et de retrait