Tel Pat Warden discusses her role in OpenAI's preparedness team and the critical role of evals in measuring AI model capabilities. She explains the concept of capability overhang, where models are capable of tasks long before they are widely used. The excitement around reasoning models is highlighted, showing that giving models more time to think improves results without increasing size. Math serves as a proof point for reasoning, but the goal is to scale to other domains like science and professional work.
Tel Pat Warden thảo luận về vai trò của cô trong nhóm chuẩn bị của OpenAI và vai trò quan trọng của các bài đánh giá trong việc đo lường khả năng của mô hình AI. Cô giải thích khái niệm về dư thừa năng lực, nơi các mô hình có khả năng thực hiện các nhiệm vụ từ lâu trước khi chúng được sử dụng rộng rãi. Sự phấn khích xung quanh các mô hình suy luận được nhấn mạnh, cho thấy rằng việc cho mô hình thêm thời gian suy nghĩ sẽ cải thiện kết quả mà không cần tăng kích thước. Toán học đóng vai trò là minh chứng cho suy luận, nhưng mục tiêu là mở rộng sang các lĩnh vực khác như khoa học và công việc chuyên môn.
Hello, I'm Andrew Maine and welcome to the open eye podcast.
Xin chào, tôi là Andrew Maine và chào mừng bạn đến với podcast Open Eye.
On today's episode, we're talking to the research lead Tel Pat Warden about the need to build frontier eval benchmarks get saturated.
Trong tập hôm nay, chúng ta sẽ nói chuyện với trưởng nhóm nghiên cứu Tel Pat Warden về nhu cầu xây dựng các điểm chuẩn đánh giá tiên tiến bị bão hòa.
- Generally bad benchmaxing is bad.
- Nhìn chung, điểm chuẩn kém là điều tồi tệ.
How can we make these models useful for people in their real work?
Làm thế nào chúng ta có thể làm cho những mô hình này hữu ích cho mọi người trong công việc thực tế của họ?
We were really nervous because we were like this human baseline is kind of hard.
Chúng tôi thực sự lo lắng vì chúng tôi nghĩ rằng điểm chuẩn của con người này khá khó.
We don't know if the model is going to beat it, but we should never underestimate the models.
Chúng tôi không biết liệu mô hình có vượt qua được nó hay không, nhưng chúng tôi không bao giờ nên đánh giá thấp các mô hình.
- Tel, I have a question.
- Tel, tôi có một câu hỏi.
How did you end up where you were?
Làm thế nào anh đến được vị trí hiện tại?
What brought you into OpenAI?
Điều gì đã đưa anh đến OpenAI?
Oh, I thought we weren't going to start with this.
Ồ, tôi nghĩ chúng ta sẽ không bắt đầu bằng câu này.
- Tel, I have a question for you.
- Tel, tôi có một câu hỏi dành cho anh.
What would you like to start with?
Anh muốn bắt đầu bằng điều gì?
- Um, can we start with like tell us like what you did when you started at OpenAI and you can like work backwards.
- Ừm, chúng ta có thể bắt đầu bằng việc kể về những gì anh đã làm khi bắt đầu ở OpenAI và anh có thể kể ngược lại.
- Don't you want to talk about your early days?
- Anh không muốn nói về những ngày đầu của mình sao?
- No, I grew up at OpenAI.
- Không, tôi lớn lên ở OpenAI.
There's like not - um tell me a bit about your journey here working inside artificial intelligence inside OpenAI.
Không có - ừm, hãy kể cho tôi một chút về hành trình của anh khi làm việc trong lĩnh vực trí tuệ nhân tạo tại OpenAI.
So I joined OpenAI in fall 23 and it was right after ChachiPT had come out, GPT4 was out and OpenAI had started its super alignment team and I uh joined for the preparedness team that was getting started as we were starting to get look at how capable
Vậy tôi gia nhập OpenAI vào mùa thu năm 23, ngay sau khi ChatGPT ra mắt, GPT4 đã có mặt và OpenAI đã thành lập nhóm siêu căn chỉnh của mình và tôi đã tham gia vào nhóm chuẩn bị đang được thành lập khi chúng tôi bắt đầu xem xét mức độ năng lực của các mô hình này.
these models were becoming and think about you know what would the next generation of models look like and at the time it was extremely exciting because um right after I joined was when some of the early results for the reasoning models had started to pick up and we were thinking about you if these models really take off, what will the future of capabilities look like and how
Những mô hình này đang trở nên mạnh mẽ và suy nghĩ về việc thế hệ mô hình tiếp theo sẽ như thế nào, và vào thời điểm đó, nó cực kỳ thú vị vì ngay sau khi tôi gia nhập, một số kết quả ban đầu cho các mô hình lý luận đã bắt đầu xuất hiện và chúng tôi đang suy nghĩ về việc nếu những mô hình này thực sự phát triển, tương lai của các năng lực sẽ ra sao và làm thế nào chúng ta có thể chuẩn bị cho tương lai đó.
can we prep be prepared um for that future?
Và vì vậy chúng tôi đã thực hiện rất nhiều công việc về mô hình hóa mối đe dọa và những đánh giá nào chúng ta nên chạy?
And so we did a whole bunch of work on like threat modeling and like what eval should we be running?
Làm thế nào để suy nghĩ về việc phát hành một mô hình như thế này?
How do we think about releasing a model like this?
Đó là một thời điểm rất thú vị để gia nhập.
It was very exciting time to join.
- Điều gì đã khiến anh quan tâm đến lĩnh vực này?
- What got you interested in this area?
- Vâng, đối với tôi, các đánh giá thực sự thú vị vì chúng là một cách để đo lường và hiểu những gì mô hình của chúng ta có thể làm và thấy được tiến bộ trước khi nó xảy ra.
- Yeah, well to me evals are really exciting because they're a way to sort of measure and understand what our models can do and see progress, you know, sort of before it tends to happen.
Có một thuật ngữ gọi là 'khoảng trống năng lực' - ý tưởng rằng các mô hình sẽ có khả năng làm được nhiều thứ từ lâu trước khi mọi người thực sự áp dụng và sử dụng chúng cho những năng lực đó.
Like there's this term called capability overhang which is this idea that the models will be capable of things long before people actually adopt them and use them for those capabilities.
Giống như có thể có rào cản văn hóa, pháp lý hoặc quy định đối với việc sử dụng một năng lực ngay cả trước khi nó sẵn sàng.
Like they're you know there might be cultural or legal or regulatory barriers towards using a capability even before it's ready.
Và vì vậy, trở thành người có thể giúp phát triển và đo lường các mô hình của chúng ta thông qua các đánh giá giúp bạn thực sự hiểu công nghệ này có thể làm gì và thấy trước tương lai trước khi nó xảy ra, điều này rất thú vị.
And so being someone who can like help develop and measure our models via
Và tôi cũng nghĩ điều đó quan trọng vì nó có thể giúp chuẩn bị thế giới cho những gì sắp xảy ra.
eels, it helps you really understand what this technology can do and sort of see the future before it happens which is very um interesting.
Một phần lý do khi tôi bắt đầu ở đây, tôi rất hào hứng làm việc với một số đánh giá chuẩn bị là vì tôi nghĩ những mô hình này đang trở nên rất mạnh mẽ và có vẻ như nhiều bạn bè của tôi ngoài đời thực không thực sự hiểu những mô hình này sẽ sớm mạnh mẽ đến mức nào bởi vì họ nhìn vào đầu ra của ChatGPT và nghĩ rằng nó đang bị ảo giác và nó không thông minh lắm và đọc giống như AI slop và tôi nghĩ đó là hiện tại nhưng câu hỏi là độ dốc, nếu độ dốc rất cao thì sự thay đổi có thể xảy ra nhanh hơn nhiều so với dự kiến.
And I also think it's important because it can help sort of ready the world for what's happening.
Và vì vậy tôi nghĩ một trong những dịch vụ tuyệt vời nhất mà chúng ta có thể làm là đo lường và chia sẻ với thế giới về tiến bộ trông như thế nào.
Like part of um when I originally started here, part of why I was really excited to work on some of the preparedness evals was because I thought these models were getting very capable and it felt like a lot of my friends like in my real life didn't really understand how powerful these models would soon become because they'd look at you know chat GPT output and be like
Đặc biệt là bởi vì thường có khoảng trống năng lực này trước khi mọi người thực sự hiểu và cảm nhận được điều đó.
it's hallucinating and like it's kind of not that smart and kind of reads like AI slop and it's like well that's now but like the question is the slope like if the slope is very high then you know change might be happening.
Và bản thân các mô hình.
much faster than one would expect.
Vì vậy đó là một phần lý do tại sao tôi nghĩ tất cả điều này rất quan trọng.
And so I think one of the greatest services that we can do is sort of measure and share with the world what progress looks like.
- Lý luận là một khoảnh khắc thú vị và đối với hầu hết thế giới, điều đó đã không xảy ra cho đến một năm sau khi họ phát hiện ra điều này.
Um
Nhưng cảm giác đó như thế nào đối với anh khi đột nhiên hiểu rằng nếu bạn cho mô hình thêm thời gian để suy nghĩ về mọi thứ, bạn sẽ nhận được kết quả tốt hơn mặc dù kích thước không tăng lên?
especially because there's often this capability overhang before people really understand and feel that.
- Đó là một khoảng thời gian thực sự vui vẻ.
Um and the models themselves.
Ý tôi là, trong một số thí nghiệm ban đầu mà tôi đã nói đến, mô hình được huấn luyện chỉ trên toán học và tôi nhớ có một loạt thí nghiệm mà Nat Mise nói rằng mô hình được huấn luyện trên toán học nhưng nếu bạn đánh giá nó trên GPQA, một điểm chuẩn với các bài toán sinh học, hóa học và vật lý, mô hình đang làm rất tốt, điều này rất thú vị và các mô hình thông minh hơn thì thông minh hơn nhiều, và anh ấy đã đưa ra một dự báo rằng nếu tiến bộ tiếp tục, trong vòng sáu tháng chúng ta sẽ có hiệu suất ngang con người về khoa học chỉ từ việc huấn luyện trên toán học, và chúng tôi đã nghĩ 'ôi trời ơi, thật điên rồ' và vào thời điểm đó, điều này cực kỳ bí mật.
Um so that's part of why I think all of this is very important.
Chúng tôi đã tìm cách để có thể xem một số đầu ra của mô hình và chúng tôi nghĩ 'wow, đây là một trong những thứ thông minh nhất tôi từng thấy, tôi chưa bao giờ thấy một mô hình lý luận như thế này trước đây'.
- Reasoning was such an exciting moment and for most of the world that didn't happen until you know a year later that they found out about this.
Nó giống như nếu điều này trở thành một mô hình tiếp tục mở rộng quy mô.
But what was that like for you to all of a sudden understand that if you gave the models a longer time to think about things, you got better results even though the size hadn't gotten bigger?
Nhưng sau đó chúng tôi nhìn lại và nghĩ rằng GPQA là sinh học, hóa học và vật lý ở cấp độ tiến sĩ, và chúng tôi nghĩ rằng chúng tôi thực sự cần cấp độ chuyên nghiệp và cứ thay đổi các tiêu chí về những gì được tính.
- That was a really fun time.
Nhưng vâng, nó rất tuyệt.
I mean um so in some of the early experiments which I we've talked about now it's like the model is trained really just on math and I remember there was this set of experiments where Nat mise was like hey the model is trained on math but if you eval it on GPQA which was this benchmark with like biology and chemistry and physics problems the model is doing
- Tôi nhớ hồi đầu, AP bio chỉ là điểm chuẩn để xem liệu mô hình có thể làm được điều đó không.
really well this is very interesting and smarter models are much smarter and he had put together this forecast that at the time it said that if you know progress kept going within six months we'd have human level performance on science from just training on math and we were like oh my gosh that's crazy and at the time this was extremely locked down.
Nhưng điều thú vị là anh đã đề cập rằng rất nhiều thứ từ OpenAI tập trung vào toán học.
It was like we kind of found our
way to like curl to be able to see some model outputs and we were like wow this is like one of the smartest things like I've ever seen like I've never seen a model reason like this before.
It was just like if this if this becomes a paradigm that continues to scale.
But then we just looked back and we were like you know um GPQA was like you know PhD level biology, chemistry and physics
and we were like ah that's what is that we really need professional level and just like keep kept changing the stakes of what counted.
But yeah it was very cool.
- I remember early on when AP bio was just that was the benchmark to try to see if the model could do that.
But what's interesting is you brought this up is that a lot of stuff that comes out from opening has math focused.
- Math has been useful because it's more objectively verifiable in some ways.
- Toán học hữu ích vì nó có thể kiểm chứng khách quan hơn theo một số cách.
So some of the earlier problems that we trained on it was just easier to do RL and scale up the reasoning paradigm on math.
Vì vậy, một số vấn đề ban đầu chúng tôi huấn luyện trên đó chỉ đơn giản là dễ dàng hơn để thực hiện RL và mở rộng quy mô mô hình suy luận trên toán học.
Um and so and math is also useful in various ways.
Ừm, và toán học cũng hữu ích theo nhiều cách khác nhau.
You know, it's like one of the core, you know, types of science, but also in many ways it's just happened by coincidence to be a thing
Bạn biết đấy, nó giống như một trong những loại khoa học cốt lõi, nhưng cũng theo nhiều cách, nó chỉ tình cờ trở thành thứ
that we focused on, but it's not necessarily the end product of what we even want to focus on in research.
Mà chúng tôi tập trung vào, nhưng không nhất thiết là sản phẩm cuối cùng của những gì chúng tôi muốn tập trung trong nghiên cứu.
like we're now realizing, okay, if we can do this for math, can we scale this up for other types of science, for professional work, for, you know, for capabilities that are useful to humans on a personal level.
Giống như bây giờ chúng tôi đang nhận ra, okay, nếu chúng ta có thể làm điều này cho toán học, liệu chúng ta có thể mở rộng nó cho các loại khoa học khác, cho công việc chuyên nghiệp, cho, bạn biết đấy, cho các khả năng hữu ích cho con người ở cấp độ cá nhân.
Um, and so I think math is more like the proof point versus like the end goal.
Ừm, và vì vậy tôi nghĩ toán học giống như điểm chứng minh hơn là mục tiêu cuối cùng.
- But it does seem like you said though that if something is able to think for a long time, break something down into steps and think through them as you have to do for really complex mathematical problems, it does just carry over.
- Nhưng có vẻ như bạn đã nói rằng nếu một thứ gì đó có thể suy nghĩ trong một thời gian dài, chia nhỏ mọi thứ thành các bước và suy nghĩ thấu đáo như bạn phải làm đối với các vấn đề toán học phức tạp, thì nó sẽ tự động chuyển giao.
- Well, this is a big debate.
- Đây là một cuộc tranh luận lớn.
M so like some of it definitely carries over like the general idea of reasoning can be useful but then also there could be some domain specific skills or tools or types of reasoning that you would need in different domains like for example for coding you need to be able to actually write and execute code and test code if you want to scale up a coding agent and
Ừm, một số thứ chắc chắn chuyển giao, như ý tưởng chung về suy luận có thể hữu ích, nhưng cũng có thể có một số kỹ năng hoặc công cụ hoặc loại suy luận cụ thể theo lĩnh vực mà bạn cần trong các lĩnh vực khác nhau, ví dụ như đối với lập trình, bạn cần có khả năng thực sự viết và thực thi mã và kiểm tra mã nếu bạn muốn mở rộng quy mô một tác nhân lập trình và
so something we've thought about a lot in terms of both eval also training is how do we make sure we also give the model the skills and tools and affordances that it would need to reason in that particular domain and some of the benefits bits of math will translate and then also you might need some domain specific scaffolding to really pull out its full abilities like kind of you know
Vì vậy, điều chúng tôi đã suy nghĩ rất nhiều về cả đánh giá và huấn luyện là làm thế nào để đảm bảo chúng tôi cũng cung cấp cho mô hình các kỹ năng, công cụ và khả năng cần thiết để nó suy luận trong lĩnh vực cụ thể đó, và một số lợi ích từ toán học sẽ chuyển giao, và sau đó bạn cũng có thể cần một số giàn giáo cụ thể theo lĩnh vực để thực sự khai thác hết khả năng của nó, giống như bạn biết đấy,
like a general high school or liberal arts education and then like a specialized education.
Giống như một nền giáo dục phổ thông hoặc khai phóng tổng quát và sau đó là một nền giáo dục chuyên biệt.