On AI Evals, TAR vs. LLMs and What Will be Different Next Year - Aron Ahmadia (VP Applied Science, Relativity)
Technically Legal - A Legal Technology and Innovation Podcast

On AI Evals, TAR vs. LLMs and What Will be Different Next Year - Aron Ahmadia (VP Applied Science, Relativity)

B2Trung cao cấp17 tháng 9, 202641 phút
  • Phỏng vấn
  • Công nghệ

In advance of this year's RelFest in Chicago, Aron Ahmadia, Vice President of Applied Science at Relativity, joins the podcast to discuss AI evaluation, AI benchmarking and the transition from traditional Technology Assisted Review (TAR) to generative AI in legal document review and eDiscovery. The conversation covers the daily operations of a global AI team, the concept of "evaluation as a product," and the methodology behind testing large language models (LLMs) for legal tasks. Aron also discusses a recent study that compared the accuracy and efficiency of TAR and human document review against Relativity's generative AI tool, aiR for...

Phát tập này

Mở trình phát: toàn bộ bản ghi, mọi từ đều bấm được, kèm bản dịch và thẻ ghi nhớ.

Thử ngay: chạm vào bất kỳ từ nào

Những câu thật từ đầu tập này. Mỗi từ đều được đánh dấu cấp độ.

Câu 1/12 · 0:00

electronic discovery and legal document review generally.

Chạm vào một từ để xem nghĩa bằng ngôn ngữ của bạn.

Bạn có biết những từ này không?

8 từ khó hơn trong tập này. Chạm vào một từ để xem nghĩa, rồi đánh dấu nó.

Đánh dấu vài từ, chúng tôi sẽ cho bạn biết tập này có hợp trình độ của bạn không.

Tập này có hợp với bạn không?

B2

B2 · Trung cao cấp

Thoải mái nếu bạn đã theo dõi được bản tin truyền hình

A1 27%A2 33%B1 20%B2 17%C1 3%
  • 80% số từ ở mức B1 hoặc dễ hơn.
  • 192 từ mỗi phút: tự nhiên, khá nhanh.
  • 152 từ khó hơn (từ B2 trở lên) trong cả tập.

Bản ghi

Phần mở đầu của tập. Toàn bộ bản ghi có trong trình phát.

0:00

This is Tech-to- electronic discovery and legal document review generally. So let me take you back to 1994. An imagine 12-year-old boy sitting in a small two-partner PI law firm, he's manually networking independent copies of DOS computers to install windows for

0:49

work groups. What this kid doesn't know yet back in 1994 is that this is his first step into a three-decade journey into legal technology. Fast forward to today and that same person is helping architect the future of AI for one of the biggest legal tech companies in the world. My guest today is Dr. Aaron Amadea. He's

1:07

the Vice President of Applied Science and Relativity. Like many people on the show, he had a background that wasn't necessarily legal before he ended up in the legal industry. Before leading AI Relativity, Dr. Amadea under PhD in Applied Math

Đó là phần mở đầu. Phần còn lại của tập (41 phút) có trong trình phát: mọi từ đều bấm được, kèm bản dịch, từ đã lưu và thẻ ghi nhớ.

Tiếp tục trong trình phát

Được tạo tự động từ âm thanh. Có thể chứa lỗi. Âm thanh thuộc về nhà xuất bản và được phát từ nguồn cấp của họ. Chủ sở hữu quyền có thể yêu cầu gỡ bỏ — chính sách bản quyền và gỡ bỏ