Why Accuracy Isn't Enough: A New Quality Model for Real-World ML Components
Software Engineering Institute (SEI) Podcast Series

Why Accuracy Isn't Enough: A New Quality Model for Real-World ML Components

B2उच्च-मध्यम17 सितंबर 202624 मिनट

AI components, whether traditional machine learning or generative AI, are embedded in many present-day systems. However, despite advances in automation, infrastructure, and tooling for developing AI components, many do not leave the prototype stage or reach production because they fail to meet overall system quality expectations. In our latest podcast from the Carnegie Mellon University Software Engineering Institute, Rachel Brower-Sinning and Robert Edman, both machine learning scientists in the SEI's Tactical Edge and AI-Enabled Systems Initiative, sit down with Grace Lewis, the initiative's lead and an SEI principal researcher, to discuss a quality model for machine learning components to support their prop...

एपिसोड चलाएँ

प्लेयर खुलता है: पूरा ट्रांसक्रिप्ट, हर शब्द क्लिक करने योग्य, अनुवाद और फ़्लैशकार्ड के साथ।

आज़माएँ: किसी भी शब्द पर टैप करें

इस एपिसोड की शुरुआत के असली वाक्य। हर शब्द पर उसका स्तर दिखाया गया है।

वाक्य 3 / 12 · 0:06

is this concept of a system.

, .

So why shouldn't we treat it like software, right?

किसी शब्द पर टैप करें और उसका अर्थ अपनी भाषा में देखें।

क्या आप ये शब्द जानते हैं?

इस एपिसोड के 8 कठिन शब्द। किसी पर टैप करके अर्थ देखें, फिर उसे चिह्नित करें।

कुछ शब्द चिह्नित करें, हम बताएँगे कि यह एपिसोड आपके स्तर से कितना मेल खाता है।

क्या यह एपिसोड आपके लिए सही है?

B2

B2 · उच्च-मध्यम

अगर आप टीवी समाचार पहले से समझते हैं तो आरामदायक

A1 21%A2 32%B1 19%B2 20%C1 9%
  • 71% शब्द B1 या उससे आसान हैं।
  • प्रति मिनट 193 शब्द: स्वाभाविक, काफ़ी तेज़ बोली।
  • पूरे एपिसोड में 130 कठिन शब्द (B2 और ऊपर)।

प्रतिलेख

एपिसोड की शुरुआत। पूरा ट्रांसक्रिप्ट प्लेयर में है।

0:00

Going back to what I think differentiates our work from other work that I see out there, is this concept of a system. So if you think about what a machine learning component is, it is software. So why shouldn't we treat it like software, right?

0:12

And so when you say the requirements that come from the system, I think that is very important because when you do system decomposition, it so happens that at some point you're going to say, okay, this should be a machine learning component.

0:23

And so the requirements for that component are being derived from the system. And that is where it's important to be able to say, say, okay, what can I test at the ML component level? Today, AI components, whether traditional machine learning

यह थी शुरुआत। बाक़ी एपिसोड (23 मिनट) प्लेयर में है: हर शब्द क्लिक करने योग्य, अनुवाद, सहेजे गए शब्दों और फ़्लैशकार्ड के साथ।

प्लेयर में जारी रखें

ऑडियो से स्वचालित रूप से बनाया गया। इसमें त्रुटियाँ हो सकती हैं। ऑडियो उसके प्रकाशक का है और उनकी फ़ीड से चलाया जाता है। अधिकार धारक हटाने का अनुरोध कर सकते हैं — कॉपीराइट और हटाने की नीति