Why Accuracy Isn't Enough: A New Quality Model for Real-World ML Components
Software Engineering Institute (SEI) Podcast Series

Why Accuracy Isn't Enough: A New Quality Model for Real-World ML Components

B2Obere Mittelstufe17. September 202624 Min.

AI components, whether traditional machine learning or generative AI, are embedded in many present-day systems. However, despite advances in automation, infrastructure, and tooling for developing AI components, many do not leave the prototype stage or reach production because they fail to meet overall system quality expectations. In our latest podcast from the Carnegie Mellon University Software Engineering Institute, Rachel Brower-Sinning and Robert Edman, both machine learning scientists in the SEI's Tactical Edge and AI-Enabled Systems Initiative, sit down with Grace Lewis, the initiative's lead and an SEI principal researcher, to discuss a quality model for machine learning components to support their prop...

Folge abspielen

Öffnet den Player: das vollständige Transkript, jedes Wort anklickbar, mit Übersetzung und Karteikarten.

Probieren Sie es: Tippen Sie auf ein Wort

Echte Sätze vom Anfang dieser Folge. Jedes Wort ist mit seinem Niveau markiert.

Satz 3 von 12 · 0:06

is this concept of a system.

, .

So why shouldn't we treat it like software, right?

Tippen Sie auf ein Wort, um seine Bedeutung in Ihrer Sprache zu sehen.

Kennen Sie diese Wörter?

8 schwierigere Wörter aus dieser Folge. Tippen Sie auf eines, um die Bedeutung zu sehen, und markieren Sie es dann.

Markieren Sie ein paar Wörter, und wir sagen Ihnen, wie gut diese Folge zu Ihrem Niveau passt.

Passt diese Folge zu Ihnen?

B2

B2 · Obere Mittelstufe

Angenehm, wenn Sie schon Fernsehnachrichten folgen

A1 21 %A2 32 %B1 19 %B2 20 %C1 9 %
  • 71 % der Wörter sind B1 oder leichter.
  • 193 Wörter pro Minute: natürlich und recht schnell.
  • 130 schwierigere Wörter (ab B2) in der ganzen Folge.

Transkript

Der Anfang der Folge. Das ganze Transkript ist im Player.

0:00

Going back to what I think differentiates our work from other work that I see out there, is this concept of a system. So if you think about what a machine learning component is, it is software. So why shouldn't we treat it like software, right?

0:12

And so when you say the requirements that come from the system, I think that is very important because when you do system decomposition, it so happens that at some point you're going to say, okay, this should be a machine learning component.

0:23

And so the requirements for that component are being derived from the system. And that is where it's important to be able to say, say, okay, what can I test at the ML component level? Today, AI components, whether traditional machine learning

Das war der Anfang. Der Rest der Folge (23 Min.) ist im Player: jedes Wort anklickbar, mit Übersetzung, gespeicherten Wörtern und Karteikarten.

Im Player weiterhören

Automatisch aus dem Audio erstellt. Kann Fehler enthalten. Das Audio gehört seinem Herausgeber und wird aus dessen Feed abgespielt. Rechteinhaber können eine Entfernung beantragen — Urheberrechts- und Entfernungsrichtlinie