On AI Evals, TAR vs. LLMs and What Will be Different Next Year - Aron Ahmadia (VP Applied Science, Relativity)
Technically Legal - A Legal Technology and Innovation Podcast

On AI Evals, TAR vs. LLMs and What Will be Different Next Year - Aron Ahmadia (VP Applied Science, Relativity)

B2Obere Mittelstufe17. September 202641 Min.
  • Interview
  • Technologie

In advance of this year's RelFest in Chicago, Aron Ahmadia, Vice President of Applied Science at Relativity, joins the podcast to discuss AI evaluation, AI benchmarking and the transition from traditional Technology Assisted Review (TAR) to generative AI in legal document review and eDiscovery. The conversation covers the daily operations of a global AI team, the concept of "evaluation as a product," and the methodology behind testing large language models (LLMs) for legal tasks. Aron also discusses a recent study that compared the accuracy and efficiency of TAR and human document review against Relativity's generative AI tool, aiR for...

Folge abspielen

Öffnet den Player: das vollständige Transkript, jedes Wort anklickbar, mit Übersetzung und Karteikarten.

Probieren Sie es: Tippen Sie auf ein Wort

Echte Sätze vom Anfang dieser Folge. Jedes Wort ist mit seinem Niveau markiert.

Satz 1 von 12 · 0:00

electronic discovery and legal document review generally.

Diesen Satz anhören

Tippen Sie auf ein Wort, um seine Bedeutung in Ihrer Sprache zu sehen.

Kennen Sie diese Wörter?

8 schwierigere Wörter aus dieser Folge. Tippen Sie auf eines, um die Bedeutung zu sehen, und markieren Sie es dann.

  • B27:06
  • B28:33
  • B214:59
  • B216:30
  • B221:34
  • C126:13
  • B233:25
  • C138:00

Markieren Sie ein paar Wörter, und wir sagen Ihnen, wie gut diese Folge zu Ihrem Niveau passt.

Passt diese Folge zu Ihnen?

B2

B2 · Obere Mittelstufe

Angenehm, wenn Sie schon Fernsehnachrichten folgen

A1 27 %A2 33 %B1 20 %B2 17 %C1 3 %
  • 80 % der Wörter sind B1 oder leichter.
  • 192 Wörter pro Minute: natürlich und recht schnell.
  • 152 schwierigere Wörter (ab B2) in der ganzen Folge.

Transkript

Der Anfang der Folge. Das ganze Transkript ist im Player.

0:00

This is Tech-to- electronic discovery and legal document review generally. So let me take you back to 1994. An imagine 12-year-old boy sitting in a small two-partner PI law firm, he's manually networking independent copies of DOS computers to install windows for

0:49

work groups. What this kid doesn't know yet back in 1994 is that this is his first step into a three-decade journey into legal technology. Fast forward to today and that same person is helping architect the future of AI for one of the biggest legal tech companies in the world. My guest today is Dr. Aaron Amadea. He's

1:07

the Vice President of Applied Science and Relativity. Like many people on the show, he had a background that wasn't necessarily legal before he ended up in the legal industry. Before leading AI Relativity, Dr. Amadea under PhD in Applied Math

Das war der Anfang. Der Rest der Folge (41 Min.) ist im Player: jedes Wort anklickbar, mit Übersetzung, gespeicherten Wörtern und Karteikarten.

Im Player weiterhören

Automatisch aus dem Audio erstellt. Kann Fehler enthalten. Das Audio gehört seinem Herausgeber und wird aus dessen Feed abgespielt. Rechteinhaber können eine Entfernung beantragen — Urheberrechts- und Entfernungsrichtlinie