
Why Accuracy Isn't Enough: A New Quality Model for Real-World ML Components
AI components, whether traditional machine learning or generative AI, are embedded in many present-day systems. However, despite advances in automation, infrastructure, and tooling for developing AI components, many do not leave the prototype stage or reach production because they fail to meet overall system quality expectations. In our latest podcast from the Carnegie Mellon University Software Engineering Institute, Rachel Brower-Sinning and Robert Edman, both machine learning scientists in the SEI's Tactical Edge and AI-Enabled Systems Initiative, sit down with Grace Lewis, the initiative's lead and an SEI principal researcher, to discuss a quality model for machine learning components to support their prop...
Öffnet den Player: das vollständige Transkript, jedes Wort anklickbar, mit Übersetzung und Karteikarten.
Passt diese Folge zu Ihnen?
B2 · Obere Mittelstufe
Angenehm, wenn Sie schon Fernsehnachrichten folgen
- 71 % der Wörter sind B1 oder leichter.
- 193 Wörter pro Minute: natürlich und recht schnell.
- 130 schwierigere Wörter (ab B2) in der ganzen Folge.
Probieren Sie es: Tippen Sie auf ein Wort
Echte Sätze vom Anfang dieser Folge. Jedes Wort ist mit seinem Niveau markiert.
is this concept of a system.
, .
So why shouldn't we treat it like software, right?
Tippen Sie auf ein Wort, um seine Bedeutung in Ihrer Sprache zu sehen.
Kennen Sie diese Wörter?
8 schwierigere Wörter aus dieser Folge. Tippen Sie auf eines, um die Bedeutung zu sehen, und markieren Sie es dann.
Markieren Sie ein paar Wörter, und wir sagen Ihnen, wie gut diese Folge zu Ihrem Niveau passt.
Passt diese Folge zu Ihnen?
B2 · Obere Mittelstufe
Angenehm, wenn Sie schon Fernsehnachrichten folgen
- 71 % der Wörter sind B1 oder leichter.
- 193 Wörter pro Minute: natürlich und recht schnell.
- 130 schwierigere Wörter (ab B2) in der ganzen Folge.
Transkript
Der Anfang der Folge. Das ganze Transkript ist im Player.
schwierigere Wörter (B2+)
Going back to what I think differentiates our work from other work that I see out there, is this concept of a system. So if you think about what a machine learning component is, it is software. So why shouldn't we treat it like software, right?
And so when you say the requirements that come from the system, I think that is very important because when you do system decomposition, it so happens that at some point you're going to say, okay, this should be a machine learning component.
And so the requirements for that component are being derived from the system. And that is where it's important to be able to say, say, okay, what can I test at the ML component level? Today, AI components, whether traditional machine learning
Das war der Anfang. Der Rest der Folge (23 Min.) ist im Player: jedes Wort anklickbar, mit Übersetzung, gespeicherten Wörtern und Karteikarten.
Im Player weiterhörenAutomatisch aus dem Audio erstellt. Kann Fehler enthalten. Das Audio gehört seinem Herausgeber und wird aus dessen Feed abgespielt. Rechteinhaber können eine Entfernung beantragen — Urheberrechts- und Entfernungsrichtlinie