On AI Evals, TAR vs. LLMs and What Will be Different Next Year - Aron Ahmadia (VP Applied Science, Relativity)
Technically Legal - A Legal Technology and Innovation Podcast

On AI Evals, TAR vs. LLMs and What Will be Different Next Year - Aron Ahmadia (VP Applied Science, Relativity)

B2Intermédiaire avancé17 septembre 202641 min
  • Entretien
  • Technologie

In advance of this year's RelFest in Chicago, Aron Ahmadia, Vice President of Applied Science at Relativity, joins the podcast to discuss AI evaluation, AI benchmarking and the transition from traditional Technology Assisted Review (TAR) to generative AI in legal document review and eDiscovery. The conversation covers the daily operations of a global AI team, the concept of "evaluation as a product," and the methodology behind testing large language models (LLMs) for legal tasks. Aron also discusses a recent study that compared the accuracy and efficiency of TAR and human document review against Relativity's generative AI tool, aiR for...

Écouter l'épisode

Ouvre le lecteur : la transcription complète, chaque mot cliquable, avec traduction et cartes mémoire.

Essayez : touchez un mot

De vraies phrases du début de cet épisode. Chaque mot est marqué de son niveau.

Phrase 1 sur 12 · 0:00

electronic discovery and legal document review generally.

Écouter cette phrase

Touchez un mot pour voir son sens dans votre langue.

Connaissez-vous ces mots ?

8 mots plus difficiles de cet épisode. Touchez-en un pour voir son sens, puis indiquez si vous le connaissiez.

  • B27:06
  • B28:33
  • B214:59
  • B216:30
  • B221:34
  • C126:13
  • B233:25
  • C138:00

Marquez quelques mots et nous vous dirons si cet épisode correspond à votre niveau.

Cet épisode est-il pour vous ?

B2

B2 · Intermédiaire avancé

Confortable si vous suivez déjà le journal télévisé

A1 27 %A2 33 %B1 20 %B2 17 %C1 3 %
  • 80 % des mots sont de niveau B1 ou plus faciles.
  • 192 mots par minute : débit naturel, plutôt rapide.
  • 152 mots plus difficiles (B2 et plus) dans tout l'épisode.

Transcription

Le début de l'épisode. La transcription complète est dans le lecteur.

0:00

This is Tech-to- electronic discovery and legal document review generally. So let me take you back to 1994. An imagine 12-year-old boy sitting in a small two-partner PI law firm, he's manually networking independent copies of DOS computers to install windows for

0:49

work groups. What this kid doesn't know yet back in 1994 is that this is his first step into a three-decade journey into legal technology. Fast forward to today and that same person is helping architect the future of AI for one of the biggest legal tech companies in the world. My guest today is Dr. Aaron Amadea. He's

1:07

the Vice President of Applied Science and Relativity. Like many people on the show, he had a background that wasn't necessarily legal before he ended up in the legal industry. Before leading AI Relativity, Dr. Amadea under PhD in Applied Math

C'était le début. La suite de l'épisode (41 min) est dans le lecteur : chaque mot cliquable, avec traduction, mots enregistrés et cartes mémoire.

Continuer dans le lecteur

Générée automatiquement à partir de l'audio. Peut contenir des erreurs. L'audio appartient à son éditeur et est diffusé depuis son flux. Les ayants droit peuvent demander le retrait — politique de droits d'auteur et de retrait