0:00

1:08:24

The AI Scientific Revolution will be Driven by Open-Ended and AI-Generating Algorithms | Jeff Clune

Vector Institute·1:08:24·Technology·C1

Chương · 8

Chương 1·Introduction to Open-Ended and AI-Generating Algorithms

Hiển thị

Tiếng ViệtAuto-scroll

0:07

All right.

Được rồi.

0:07

So, welcome everyone.

Chào mừng mọi người.

0:08

Uh, my name is Pascal Pupar.

Tên tôi là Pascal Pupar.

0:10

So, I'm the interim research director here at Vector and I'm also a faculty member and a CER AI chair.

Tôi là giám đốc nghiên cứu tạm thời tại Vector và cũng là giảng viên, đồng thời là chủ tịch CER AI.

0:17

And then so I'm really excited to welcome everyone to uh this uh very very interesting talk that we're going to have by Jeff Clooney.

Tôi rất hào hứng chào đón mọi người đến với bài nói chuyện rất thú vị này của Jeff Clooney.

0:25

Now before we start, so I realize that this meeting is virtual, but I'd like to invite everyone

Trước khi bắt đầu, tôi nhận thấy buổi gặp này là trực tuyến, nhưng tôi muốn mời mọi người

0:32

to reflect on the journeys of those that came before us and the land on which vector institute is and are situated um in the territory of many nations.

Suy ngẫm về hành trình của những người đi trước và vùng đất nơi viện Vector tọa lạc, trên lãnh thổ của nhiều quốc gia.

0:45

So this includes the missagas of the credit, the anishna bag, uh the chipwa, the odes hon and the wand that people and many other diverse first nations inwits and mis.

Bao gồm người Mississauga của Credit, người Anishinaabe, người Chippewa, người Odawa và người Wendat, cùng nhiều dân tộc First Nations, Inuit và Métis khác.

0:59

So let's move on now to uh today's talk.

Bây giờ chúng ta hãy chuyển sang bài nói chuyện hôm nay.

1:03

So uh Jeff has been

Jeff đã

1:06

doing some really groundbreaking work.

Thực hiện một số công trình đột phá.

1:09

uh everyone you know we've been kind of exposed to various ideas about how we might be able to automate some of our research.

Mọi người đều đã tiếp xúc với nhiều ý tưởng khác nhau về cách tự động hóa nghiên cứu.

1:17

Jeff is a pioneer with respect to this.

Jeff là người tiên phong trong lĩnh vực này.

1:20

Um I highly recommend for anyone who hasn't read it already his nature paper towards end to end automation of AI research and my understanding is that he will be telling us about uh some of this work but maybe

Tôi khuyến khích những ai chưa đọc bài báo Nature của anh ấy về tự động hóa nghiên cứu AI từ đầu đến cuối, và tôi hiểu anh ấy sẽ kể cho chúng ta về công trình này nhưng có thể

1:35

you know just to exemplify I guess the uh impact and the uh the reach that uh Jeff's research has so uh in the past years um so he served as scientific advisor at Lazero uh he was also a senior research advisor at DeepMind.

Để minh họa tác động và phạm vi nghiên cứu của Jeff, trong những năm qua, anh ấy từng là cố vấn khoa học tại Lazero, cố vấn nghiên cứu cấp cao tại DeepMind.

1:53

Uh he led a research team at OpenAI.

Anh ấy dẫn dắt một nhóm nghiên cứu tại OpenAI.

1:56

He was also a founding member of Yuberai.

Anh ấy cũng là thành viên sáng lập của Uber AI.

2:00

And now most recently he co-founded Recursive and Recursive is not just a small startup.

Và gần đây nhất, anh ấy đồng sáng lập Recursive, không chỉ là một startup nhỏ.

2:05

They raised more than I believe $650 million US.

Họ đã huy động được hơn 650 triệu đô la Mỹ.

2:09

So this is getting close to a billion dollars.

Vậy là gần chạm mốc một tỷ đô la.

2:12

So usually you know as researchers we don't care so much about money.

Thông thường, các nhà nghiên cứu không quá quan tâm đến tiền bạc.

2:17

But here, you know, some people really value what uh uh Jeff does and therefore, you know, I encourage everyone to pay attention to

Nhưng ở đây, một số người thực sự coi trọng những gì Jeff làm, vì vậy tôi khuyến khích mọi người chú ý đến

2:27

what he will tell us.

Những gì anh ấy sắp nói.

2:28

It's a billion-dollar idea.

Đó là một ý tưởng trị giá hàng tỷ đô la.

2:30

So, uh without any further ado, I'll pass it over to Jeff.

Không dài dòng nữa, tôi xin nhường lời cho Jeff.

2:35

Please go ahead.

Xin mời anh.

2:37

- Thank you very much.

- Cảm ơn rất nhiều.

2:38

So, can you confirm that you can see my screen?

Các bạn có thể xác nhận rằng các bạn thấy màn hình của tôi không?

2:40

- Yes.

- Có.

2:41

- All right.

- Được rồi.

2:41

And so, I will begin.

Và tôi sẽ bắt đầu.

2:42

Hello everyone.

Xin chào mọi người.

2:43

Uh it's an honor to be here.

Thật vinh dự khi được ở đây.

2:45

Thank you for the invitation.

Cảm ơn vì lời mời.

2:46

Sorry about the technical difficulties in getting logged in.

Xin lỗi vì sự cố kỹ thuật khi đăng nhập.

2:49

So I want to propose a provocative title today which is that the AI scientific revolution will be driven by open-ended and AI generating algorithms and I want to tell you what those are.

Hôm nay tôi muốn đề xuất một tiêu đề gây tranh luận: cuộc cách mạng khoa học AI sẽ được thúc đẩy bởi các thuật toán mở và tự sinh, và tôi sẽ giải thích chúng là gì.

2:58

But I want to start with a paradox which is that if you try too hard to solve clears throat a very

Nhưng tôi muốn bắt đầu với một nghịch lý: nếu bạn cố gắng quá mức để giải quyết một vấn đề

3:05

hard problem you will fail.

Khó, bạn sẽ thất bại.

3:06

In contrast, if you entirely ignore the objective, you're actually much more likely to succeed.

Ngược lại, nếu bạn hoàn toàn bỏ qua mục tiêu, bạn thực sự có nhiều khả năng thành công hơn.

3:11

So imagine if you are an agent in this maze here and you start in the bottom lefthand corner and we only reward the agent for getting closer to the goal.

Hãy tưởng tượng bạn là một tác nhân trong mê cung này, bắt đầu từ góc dưới bên trái và chúng ta chỉ thưởng cho tác nhân khi nó đến gần mục tiêu hơn.

3:21

Well, that's what happens in the middle plot here.

Đó là những gì xảy ra trong biểu đồ giữa.

3:23

An algorithm is incentivized to go north and it will

Một thuật toán được khuyến khích đi về phía bắc và nó sẽ

3:27

eventually bang its head against the wall forever trying to get closer and closer to the goal.

Cuối cùng đập đầu vào tường mãi mãi, cố gắng đến gần mục tiêu hơn.

3:32

It's on a local optimal and the reward function is lying to it.

Nó đang ở điểm tối ưu cục bộ và hàm thưởng đang lừa nó.

3:35

It's telling it to get closer to the goal.

Nó bảo nó đến gần mục tiêu hơn.

3:38

In contrast, if you just go and explore this domain and look for new new situations, you'll trivially solve the the maze as you see in the rightmost plot.

Ngược lại, nếu bạn chỉ khám phá miền này và tìm kiếm các tình huống mới, bạn sẽ dễ dàng giải được mê cung như trong biểu đồ bên phải.

3:47

- So, uh you might think that maze is a toy problem, but in truth, it's actually a dominant challenge in all of science and technology.

- Bạn có thể nghĩ mê cung là một bài toán đồ chơi, nhưng thực ra, đó là thách thức chủ đạo trong toàn bộ khoa học và công nghệ.

3:53

For example, if you went back to the thousands of years to the time of cooking over an open fire and you clears throat said, "I will only fund scientists in my queendom that give me fasting faster cooking with less smoke." You would never invent the

Ví dụ, nếu bạn quay lại hàng nghìn năm trước, thời kỳ nấu ăn bằng lửa trần, và nói: 'Ta sẽ chỉ tài trợ cho các nhà khoa học trong vương quốc của ta, những người giúp ta nấu nhanh hơn với ít khói hơn.' Bạn sẽ không bao giờ phát minh ra

4:06

modern microwave because to do that you had to have been working on radar technology and noticed that a chocolate bar melted in your pocket.

Lò vi sóng hiện đại, bởi vì để làm được điều đó, bạn phải làm việc với công nghệ radar và nhận thấy một thanh sô cô la tan chảy trong túi của bạn.

4:12

Similarly, if you went back to the time of the abacus and you said I will only fund people who give me more flops, you'll never get the modern computer cuz to work on to invent that you had to have been working on vacuum tubes and electricity which were

Tương tự, nếu bạn quay lại thời kỳ bàn tính và nói: 'Ta sẽ chỉ tài trợ cho những người cho ta nhiều phép tính hơn,' bạn sẽ không bao giờ có được máy tính hiện đại, bởi vì để phát minh ra nó, bạn phải làm việc với ống chân không và điện, những thứ

4:26

not invented because they help make better computers.

Không được phát minh vì chúng giúp tạo ra máy tính tốt hơn.

4:28

So the conjecture here is that the only way to solve really hard problems is by creating problems while you solve them and goal switching between them.

Vì vậy, giả thuyết ở đây là cách duy nhất để giải quyết các vấn đề thực sự khó là tạo ra các vấn đề trong khi giải quyết chúng và chuyển đổi mục tiêu giữa chúng.

4:37

Goal switching is this idea that if you try to solve task A, if you're trying to solve task A and you suddenly see your algorithm making progress on task B, then you should also

Chuyển đổi mục tiêu là ý tưởng rằng nếu bạn cố gắng giải quyết nhiệm vụ A, và đột nhiên thấy thuật toán của mình đang tiến triển trên nhiệm vụ B, thì bạn cũng nên

4:48

start optimizing for the second task.

Bắt đầu tối ưu hóa cho nhiệm vụ thứ hai.

4:50

For example, if you're a roboticist and you want forward walking and you notice that your robot is practicing balancing on one leg or crawling, you should not throw out that uh research, that progress because it doesn't measurably improve your object, your objective, which is forward speed, but instead you should embrace it and start working on those skills because those may be

Ví dụ, nếu bạn là một nhà chế tạo robot và bạn muốn robot đi về phía trước, và bạn nhận thấy robot của mình đang tập giữ thăng bằng trên một chân hoặc bò, bạn không nên vứt bỏ nghiên cứu đó, tiến bộ đó vì nó không cải thiện mục tiêu của bạn, đó là tốc độ tiến về phía trước, mà thay vào đó bạn nên chấp nhận nó và bắt đầu làm việc trên những kỹ năng đó vì chúng có thể là

5:11

essential stepping stones that lead to forward walking.

Những bước đệm thiết yếu dẫn đến việc đi về phía trước.

5:13

So, we want our algorithm to capture such serendipitous discoveries as they go.

Vì vậy, chúng tôi muốn thuật toán của mình nắm bắt những khám phá tình cờ như vậy khi chúng diễn ra.

5:18

And that leads me to this idea of innovation engines, which is that natural evolution and human culture effectively innovate forever by running this basic loop.

Và điều đó dẫn tôi đến ý tưởng về động cơ đổi mới, đó là sự tiến hóa tự nhiên và văn hóa nhân loại thực sự đổi mới mãi mãi bằng cách chạy vòng lặp cơ bản này.

5:28

They have an archive of all of the discoveries they've discovered so far.

Chúng có một kho lưu trữ tất cả các khám phá mà chúng đã khám phá được cho đến nay.

5:33

Like in evolution, it's all the species up to a certain point.

Giống như trong tiến hóa, đó là tất cả các loài cho đến một thời điểm nhất định.

5:36

In science and culture, it's all the technology and scientific ideas we have at a certain point in time.

Trong khoa học và văn hóa, đó là tất cả công nghệ và ý tưởng khoa học mà chúng ta có tại một thời điểm nhất định.

5:41

Then they take out something, change it a little bit, or take out two things and combine them.

Sau đó, chúng lấy ra một thứ gì đó, thay đổi nó một chút, hoặc lấy ra hai thứ và kết hợp chúng.

5:47

And then if the new thing is either a better version of something you already have, so it's a if it's a better mousetrap, swap it in.

Và nếu thứ mới là một phiên bản tốt hơn của thứ bạn đã có, tức là nếu nó là một cái bẫy chuột tốt hơn, hãy thay thế nó vào.

5:54

Or if it's an entirely new thing, it's interestingly different, like it's an iPhone and you never had that before, then add that to your set of discoveries and just keep that loop going forever.

Hoặc nếu nó là một thứ hoàn toàn mới, khác biệt một cách thú vị, như iPhone và bạn chưa từng có nó trước đây, thì hãy thêm nó vào bộ khám phá của bạn và cứ tiếp tục vòng lặp đó mãi mãi.

6:04

And so what I want to do today is motivate three

Và vì vậy, điều tôi muốn làm hôm nay là thúc đẩy ba

6:07

classes of algorithms that have tried to embrace and create those kind of innovation engines, which are quality diversity algorithms, open-ended algorithms, and AI generating algorithms.

Loại thuật toán đã cố gắng nắm bắt và tạo ra những động cơ đổi mới đó, đó là các thuật toán đa dạng chất lượng, thuật toán kết thúc mở và thuật toán tạo ra AI.

6:17

Now, QD algorithms are their goal is not to produce a single best solution like the single best Go player.

Các thuật toán QD có mục tiêu không phải là tạo ra một giải pháp tốt nhất duy nhất như người chơi Go giỏi nhất.

6:23

Their goal is to go out and try to find as many highquality yet extremely diverse solutions for a particular problem imaginable, just as nature did with all of these amazing marvels you see here.

Mục tiêu của chúng là đi ra ngoài và cố gắng tìm ra càng nhiều giải pháp chất lượng cao nhưng cực kỳ đa dạng cho một vấn đề cụ thể càng tốt, giống như tự nhiên đã làm với tất cả những kỳ quan tuyệt vời bạn thấy ở đây.

6:34

Now, the poster child in the most popular quality diversity algorithm is Mapalit.

Hiện nay, đứa con cưng trong thuật toán đa dạng chất lượng phổ biến nhất là Mapelit.

6:38

It was invented over a decade ago by myself and Jean Baptiste Morete.

Nó được phát minh hơn một thập kỷ trước bởi tôi và Jean Baptiste Morete.

6:42

And I'm going to walk you through this algorithm because the same basic playbook is going to be infused throughout every other piece of work that I tell you about in this talk.

Và tôi sẽ hướng dẫn bạn qua thuật toán này bởi vì cùng một kịch bản cơ bản sẽ được thấm nhuần trong mọi phần công việc khác mà tôi kể cho bạn nghe trong bài nói này.

6:51

So map elite says okay I'm searching for a solution which in this case could be a fastmoving robot.

Vì vậy, map elite nói rằng tôi đang tìm kiếm một giải pháp, trong trường hợp này có thể là một robot di chuyển nhanh.

6:56

I'm going to choose dimensions of variation that I care about like height and weight in my robot

Tôi sẽ chọn các chiều biến thiên mà tôi quan tâm như chiều cao và cân nặng của robot

7:01

and then I'm going to discretise that space of height and weight and run this basic loop.

Và sau đó tôi sẽ rời rạc hóa không gian chiều cao và cân nặng đó và chạy vòng lặp cơ bản này.

7:05

So to see the algorithm we have a parameter vector that describes an agent.

Để thấy thuật toán, chúng ta có một vector tham số mô tả một tác nhân.

7:09

I evaluate it.

Tôi đánh giá nó.

7:10

I get its height, its weight, and its performance, shown here as a blue color, and I put it in the right cell in the grid where its height and weight tell us it should it should be.

Tôi nhận được chiều cao, cân nặng và hiệu suất của nó, được hiển thị ở đây dưới dạng màu xanh lam, và tôi đặt nó vào ô thích hợp trong lưới nơi chiều cao và cân nặng của nó cho biết nó nên ở đâu.

7:20

And then I just take

Và sau đó tôi chỉ lấy

7:22

something out of the archive, change it a little bit, figure out what cell it goes into, and if it's the highest performing thing we've ever seen in that cell, swap it in.

Một thứ gì đó từ kho lưu trữ, thay đổi nó một chút, tìm ra ô mà nó đi vào, và nếu nó là thứ có hiệu suất cao nhất mà chúng ta từng thấy trong ô đó, hãy thay thế nó vào.

7:31

So I end up getting the elite in terms of performance of all of these diverse ways of solving this problem according to these dimensions of variation.

Vì vậy, cuối cùng tôi có được tinh hoa về hiệu suất của tất cả các cách đa dạng để giải quyết vấn đề này theo các chiều biến thiên này.

7:39

Now what's cool about map elites and quality diversity algorithms in general is that they don't return a single point but they return an entire set of solutions that can teach you a lot about your fitness landscape where there are local optima where there are local minima etc.

Điều thú vị về map elites và các thuật toán đa dạng chất lượng nói chung là chúng không trả về một điểm duy nhất mà trả về toàn bộ một tập hợp các giải pháp có thể dạy bạn rất nhiều về cảnh quan thích nghi của bạn, nơi có các cực đại địa phương, nơi có các cực tiểu địa phương, v.v.

7:51

And so I hope it's kind of apparent to you that this is capturing a lot of the properties of innovation

Và vì vậy tôi hy vọng bạn thấy rõ rằng điều này đang nắm bắt được nhiều tính chất của động cơ đổi mới

7:57

engines.

7:57

We have an archive of solutions.

Chúng ta có một kho lưu trữ các giải pháp.

7:58

We take them out.

Chúng ta lấy chúng ra.

7:59

We change them and if they're better than a current thing we drop it in.

Chúng ta thay đổi chúng và nếu chúng tốt hơn thứ hiện tại, chúng ta thả chúng vào.

8:03

And if it's a new thing we add it.

Và nếu nó là một thứ mới, chúng ta thêm nó.

8:06

So we ran map elites on this particular problem that I had worked on as a posttock which is this soft robotics problem and here you see all these diverse creatures that had been produced by our previous work however there was a trick all of that diversity came from different runs within any one run of the search you get basically very minor variations on each one of these

Vì vậy, chúng tôi đã chạy map elites trên một vấn đề cụ thể mà tôi đã làm việc với tư cách là nghiên cứu sinh sau tiến sĩ, đó là vấn đề robot mềm này và ở đây bạn thấy tất cả các sinh vật đa dạng đã được tạo ra bởi công việc trước đây của chúng tôi, tuy nhiên có một mẹo nhỏ: tất cả sự đa dạng đó đến từ các lần chạy khác nhau; trong bất kỳ một lần chạy tìm kiếm nào, bạn chỉ nhận được các biến thể rất nhỏ trên mỗi sinh vật này

8:25

creatures but I don't want that I want an algorithm that will produce a tremendous amount of diversity within one run so we ran classic optimization on this problem and what you see is it gets very low performance, mostly black dots, and doesn't explode the search space very well.

Nhưng tôi không muốn điều đó; tôi muốn một thuật toán sẽ tạo ra một lượng lớn sự đa dạng trong một lần chạy. Vì vậy, chúng tôi đã chạy tối ưu hóa cổ điển trên vấn đề này và những gì bạn thấy là nó đạt được hiệu suất rất thấp, chủ yếu là các chấm đen, và không khám phá không gian tìm kiếm tốt.

8:38

If you do the classic thing we've done for decades, which is combine diversity and

Nếu bạn làm điều cổ điển mà chúng ta đã làm trong nhiều thập kỷ, đó là kết hợp đa dạng và

8:43

performance in some sort of paro optimal trade-off or looking for the paro uh frontier, what you get is actually higher performance.

Hiệu suất trong một số loại đánh đổi tối ưu Pareto hoặc tìm kiếm biên giới Pareto, những gì bạn nhận được thực sự là hiệu suất cao hơn.

8:50

You get yellow dots, but look how little it explores the search space.

Bạn nhận được các chấm màu vàng, nhưng hãy nhìn xem nó khám phá không gian tìm kiếm ít như thế nào.

8:54

Ironically, it is encouraged to search in these dimensions and it doesn't do well because it finds good local optima.

Trớ trêu thay, nó được khuyến khích tìm kiếm trong các chiều này và nó không làm tốt vì nó tìm thấy các cực đại địa phương tốt.

9:00

I mean, it really doesn't want to trade them off against

Ý tôi là, nó thực sự không muốn đánh đổi chúng với

9:04

diversity because you have to have some sort of trade-off set in the system for how it's going to trade off performance and diversity.

Sự đa dạng bởi vì bạn phải có một số loại đánh đổi được đặt trong hệ thống cho cách nó sẽ đánh đổi hiệu suất và đa dạng.

9:11

In contrast, with the exact same amount of compute, map elites produces this search of the space.

Ngược lại, với cùng một lượng tính toán, map elites tạo ra sự tìm kiếm không gian này.

9:16

Not only do we get way more higher performing points, but we fan out, we find all sorts of different ways to be high performing, and also we learn where

Không chỉ chúng ta có nhiều điểm hiệu suất cao hơn, mà chúng ta còn tỏa ra, tìm thấy tất cả các cách khác nhau để đạt hiệu suất cao, và cũng học được nơi nào

9:25

you can't do very well in this search space.

Bạn không thể làm rất tốt trong không gian tìm kiếm này.

9:28

It's a complete sea change in what's possible within one algorithm.

Đó là một sự thay đổi hoàn toàn về những gì có thể trong một thuật toán.

9:32

What's also cool is you can look into map elites and do science on the history.

Điều thú vị nữa là bạn có thể nhìn vào map elites và làm khoa học về lịch sử.

9:36

So you can say, "Hey, a final champion in one point.

Vì vậy, bạn có thể nói, "Này, một nhà vô địch cuối cùng trong một điểm.

9:39

Where was the where did its parents visit?

Cha mẹ của nó đã đến thăm ở đâu?

9:41

What is the lineage of places that the the search visited to produce that final point?" And what you can see are these long ciruitous paths through the search space just like c paths that go through

Dòng dõi của những nơi mà quá trình tìm kiếm đã ghé thăm để tạo ra điểm cuối cùng đó là gì?" Và những gì bạn có thể thấy là những đường đi vòng quanh dài trong không gian tìm kiếm giống như những đường đi qua

9:52

vacuum tubes and electricity and uh radar technology to produce microwaves and computers.

Ống chân không và điện và công nghệ radar để sản xuất lò vi sóng và máy tính.

9:58

So we use these ideas in a paper in nature in 2015.

Vì vậy, chúng tôi đã sử dụng những ý tưởng này trong một bài báo trên tạp chí Nature vào năm 2015.

10:00

You can see the map elite grid on the floor below the robot.

Bạn có thể thấy lưới bản đồ tinh hoa trên sàn bên dưới robot.

10:04

The idea here is that in simulation we search ahead of time for all these diverse but yet highquality ways to have a robot walk.

Ý tưởng ở đây là trong mô phỏng, chúng tôi tìm kiếm trước tất cả các cách đa dạng nhưng chất lượng cao để robot đi bộ.

10:11

And then once it becomes damaged in reality on the damaged robot we search for gates that still work despite the damage using efficient search like basian optimization.

Và sau đó khi robot bị hỏng trong thực tế, trên robot bị hỏng, chúng tôi tìm kiếm các dáng đi vẫn hoạt động mặc dù bị hỏng bằng cách sử dụng tìm kiếm hiệu quả như tối ưu hóa Bayes.

10:20

Uh six years later we had another paper in nature in 2021 that used the same ideas

Sáu năm sau, chúng tôi có một bài báo khác trên tạp chí Nature vào năm 2021 sử dụng cùng những ý tưởng

10:26

from quality diversity.

Từ chất lượng đa dạng.

10:27

This time for uh hard exploration problems in reinforcement learning.

Lần này là cho các vấn đề khám phá khó trong học tăng cường.

10:30

So for a long time reinforcement learning really struggled with exploring problems where you had to take lots of actions before you get any reward.

Trong một thời gian dài, học tăng cường thực sự gặp khó khăn với các vấn đề khám phá nơi bạn phải thực hiện nhiều hành động trước khi nhận được bất kỳ phần thưởng nào.

10:38

And we said, hey, why don't you go out in games like Monzuma's Revenge and Atari and look for all the highest quality ways to reach as

Và chúng tôi nói, này, tại sao bạn không thử trong các trò chơi như Monzuma's Revenge trên Atari và tìm kiếm tất cả các cách chất lượng cao nhất để đạt được

10:48

many diverse states as possible.

càng nhiều trạng thái đa dạng càng tốt.

10:49

So you get quality and diversity.

Vì vậy, bạn có được chất lượng và sự đa dạng.

10:51

And what happened is that after you know 10 years of the community failing to make progress on some hard exploration problems in the Atari benchmark, which are all the blue dots on the bottom of this point, you see what Go Explore did, which is it really blew the roof off of this domain.

Và điều đã xảy ra là sau 10 năm cộng đồng không thể tiến bộ trên một số vấn đề khám phá khó trong điểm chuẩn Atari, tất cả đều là các chấm xanh ở dưới cùng của điểm này, bạn thấy Go Explore đã làm gì, nó thực sự đã thổi bay mái nhà của lĩnh vực này.

11:05

It shattered the human

Nó đã phá vỡ kỷ lục thế giới của con người

11:07

world record and can produce arbitrarily high scores on this challenge which would really been a grand challenge the field that had worked on for a long time and in fact we went on to the entire Atari benchmark suite and showed that we could beat the state-of-the-art and solve many of the unsolved games in this thing effectively being the first algorithm that solved this benchmark

và có thể tạo ra điểm số cao tùy ý trên thử thách này, vốn thực sự là một thử thách lớn mà lĩnh vực này đã làm việc trong một thời gian dài và thực tế chúng tôi đã tiếp tục với toàn bộ bộ điểm chuẩn Atari và cho thấy rằng chúng tôi có thể đánh bại các phương pháp tiên tiến nhất và giải quyết nhiều trò chơi chưa được giải trong đó, trở thành thuật toán đầu tiên giải quyết được điểm chuẩn này

11:25

with some caveats that are in the paper.

Với một số lưu ý có trong bài báo.

11:27

We also applied it to hard robotics problems which you can see down here where a robot only gets a reward if it puts its toys away and it solved that problem way better than intrinsically motivated PO.

Chúng tôi cũng áp dụng nó vào các vấn đề robot khó mà bạn có thể thấy ở đây, nơi robot chỉ nhận được phần thưởng nếu nó cất đồ chơi đi và nó đã giải quyết vấn đề đó tốt hơn nhiều so với PO có động lực nội tại.

11:37

So I hope QD algorithms are interesting to you and you see you think they might be powerful but they're still stuck in a single environment.

Vì vậy, tôi hy vọng các thuật toán QD thú vị với bạn và bạn thấy chúng có thể mạnh mẽ nhưng chúng vẫn bị mắc kẹt trong một môi trường duy nhất.

11:45

What we really want is another class of algorithms that I've been spent my whole career working on which are called open-ended algorithms.

Điều chúng tôi thực sự muốn là một lớp thuật toán khác mà tôi đã dành toàn bộ sự nghiệp của mình để làm việc, được gọi là thuật toán kết thúc mở.

11:52

These are algorithms that truly endlessly innovate like evolution and human culture.

Đây là những thuật toán thực sự đổi mới không ngừng như tiến hóa và văn hóa con người.

11:55

And the idea here is can we make algorithms worth running for a billion years.

Và ý tưởng ở đây là liệu chúng ta có thể tạo ra các thuật toán đáng để chạy trong một tỷ năm.

12:00

So these would be an algorithm that'd be so interesting that not only that after you

Vì vậy, đây sẽ là một thuật toán thú vị đến nỗi không chỉ sau khi bạn

12:05

ran it for a billion years, you'd still want to come back and listen and what and see what it did in the billionth and first year because it should be doing more interesting things.

chạy nó trong một tỷ năm, bạn vẫn muốn quay lại và lắng nghe và xem nó đã làm gì trong năm thứ một tỷ và năm đầu tiên bởi vì nó sẽ làm những điều thú vị hơn.

12:15

Just like evolution's been running for 3.5 billion years and continues to surprise us.

Giống như tiến hóa đã diễn ra trong 3,5 tỷ năm và tiếp tục làm chúng ta ngạc nhiên.

12:20

and science and technology never end.

Và khoa học và công nghệ không bao giờ kết thúc.

12:21

They innovate forever.

Chúng đổi mới mãi mãi.

12:22

So, one of the um intriguing possibilities here is that a

Vì vậy, một trong những khả năng hấp dẫn ở đây là

12:26

key ingredient that makes cultural evolution and natural evolution work and be open-ended is that every time you solve a new problem, it unlocks additional learning opportunities and new challenges to solve.

Thành phần chính làm cho tiến hóa văn hóa và tiến hóa tự nhiên hoạt động và có tính kết thúc mở là mỗi khi bạn giải quyết một vấn đề mới, nó mở ra các cơ hội học tập bổ sung và những thách thức mới để giải quyết.

12:38

For example, when evolution produced leaves high up in trees, that was a solution to the problem of getting light above lower lower plants.

Ví dụ, khi tiến hóa tạo ra lá trên cây cao, đó là một giải pháp cho vấn đề lấy ánh sáng phía trên các cây thấp hơn.

12:47

That then created an opportunity for giraffes and

Điều đó sau đó đã tạo ra cơ hội cho hươu cao cổ và

12:50

caterpillars to harvest those leaves and eat them.

sâu bướm thu hoạch những chiếc lá đó và ăn chúng.

12:52

And then giraffes and caterpillars are opportunities for evolution for things to like live inside of them or predate upon them, cooperate with them and on and on and on.

Và sau đó hươu cao cổ và sâu bướm là cơ hội cho tiến hóa để những thứ sống bên trong chúng hoặc săn mồi chúng, hợp tác với chúng và cứ thế tiếp tục.

13:01

So the same is true in technology.

Điều tương tự cũng đúng trong công nghệ.

13:03

Once you invent crisper, then you have all sorts of new things you can do with crisper.

Một khi bạn phát minh ra CRISPR, bạn có tất cả các loại điều mới bạn có thể làm với CRISPR.

13:08

So at Uber AI labs we created an algorithm called poet which is trying to endlessly generate increasingly complex and diverse learning environments and their solution.

Vì vậy, tại Uber AI Labs, chúng tôi đã tạo ra một thuật toán gọi là POET, cố gắng tạo ra không ngừng các môi trường học tập ngày càng phức tạp và đa dạng cùng với giải pháp của chúng.

13:15

This is kind of the you know one of the big steps we took towards trying to automatically create problems while we solve them.

Đây là một trong những bước lớn chúng tôi đã thực hiện để cố gắng tự động tạo ra các vấn đề trong khi chúng tôi giải quyết chúng.

13:23

So in this paper this is basically the first paper that said let's search for and

Vì vậy, trong bài báo này, về cơ bản đây là bài báo đầu tiên nói rằng hãy tìm kiếm và

13:28

automatically produce the learning environments themselves.

tự động tạo ra chính các môi trường học tập.

13:29

We're going to encode the environments in a parameter vector and we're going to grow an archive of them.

Chúng tôi sẽ mã hóa các môi trường trong một vector tham số và chúng tôi sẽ phát triển một kho lưu trữ của chúng.

13:35

So, we're going to periodically generate new learning environments.

Vì vậy, chúng tôi sẽ định kỳ tạo ra các môi trường học tập mới.

13:38

And we are going to do that by taking existing environments out of the archive, changing them a little bit, and then adding them back to the

Và chúng tôi sẽ làm điều đó bằng cách lấy các môi trường hiện có từ kho lưu trữ, thay đổi chúng một chút, và sau đó thêm chúng trở lại

13:46

archive if they're either really novel, actually, if they're both really novel and they're not too easy and not too hard for the current population of agents.

kho lưu trữ nếu chúng thực sự mới lạ, thực tế, nếu chúng vừa mới lạ vừa không quá dễ và không quá khó đối với quần thể tác nhân hiện tại.

13:54

And then we're also going to let the agent simultaneously optimize at each of these environments and jump between niches just like you have invasive species in evolution to allow goal switching amongst the solutions in

Và sau đó chúng tôi cũng sẽ để tác nhân đồng thời tối ưu hóa tại mỗi môi trường này và nhảy giữa các ngách giống như bạn có các loài xâm lấn trong tiến hóa để cho phép chuyển đổi mục tiêu giữa các giải pháp trong

14:06

the agents.

các tác nhân.

14:06

So an innovation in one area of the search base can go and become a stepping stone somewhere else on a new problem.

Vì vậy, một sự đổi mới trong một khu vực của cơ sở tìm kiếm có thể trở thành một bước đệm ở nơi khác cho một vấn đề mới.

14:12

And what we show is that poet can automatically generate problems and solve them.

Và những gì chúng tôi cho thấy là POET có thể tự động tạo ra các vấn đề và giải quyết chúng.

14:16

That's the blue X's on top.

Đó là các chữ X màu xanh ở trên cùng.

14:18

But if you go back and you try to directly solve those environments just with the same learning algorithm but only in that environment not using this growing curricula of stepping stones you can never solve any of those challenging environments in every single case that you fail which is quite interesting.

Nhưng nếu bạn quay lại và cố gắng giải quyết trực tiếp những môi trường đó chỉ với cùng một thuật toán học nhưng chỉ trong môi trường đó mà không sử dụng chương trình giảng dạy phát triển các bước đệm này, bạn không bao giờ có thể giải quyết bất kỳ môi trường thách thức nào trong mọi trường hợp bạn thất bại, điều này khá thú vị.

14:33

So poet is one of the first runs I've seen like map like the map elites run earlier

Vì vậy, poet là một trong những lần chạy đầu tiên tôi thấy giống như map, giống như lần chạy map elites trước đó

14:39

which produces this explosion of diverse solutions on a run but here it's also doing it on an explosion of diverse learning challenges and environments all within one run which is terrifically exciting.

Điều này tạo ra sự bùng nổ các giải pháp đa dạng trong một lần chạy, nhưng ở đây nó cũng đang làm điều đó trên một sự bùng nổ các thách thức học tập và môi trường đa dạng tất cả trong một lần chạy, điều này cực kỳ thú vị.

14:51

So poet's nice because it automatically generates tasks but still we were stuck in this handchosen distribution of environments and tasks.

Vì vậy, poet rất hay vì nó tự động tạo ra các nhiệm vụ, nhưng chúng tôi vẫn bị mắc kẹt trong sự phân bố môi trường và nhiệm vụ được chọn bằng tay này.

14:58

I want to take a step back now to the grandest ambitions of the field artificial intelligence.

Tôi muốn lùi lại một bước để nói về tham vọng lớn nhất của lĩnh vực trí tuệ nhân tạo.

15:04

AGI nowadays ASI if you think we should make it and that's a separate conversation a separate talk which is the ethics of all of this but if you put that aside and you just focus on the technical challenge the question still remains how will we get all the way there and I think there's a clear trend which I put out in a 2019 position paper called AI generating algorithms which is

AGI ngày nay, ASI nếu bạn nghĩ chúng ta nên tạo ra nó và đó là một cuộc trò chuyện riêng, một bài nói riêng về đạo đức của tất cả điều này, nhưng nếu bạn gạt điều đó sang một bên và chỉ tập trung vào thách thức kỹ thuật, câu hỏi vẫn còn đó là làm thế nào chúng ta sẽ đạt được tất cả đến đó và tôi nghĩ có một xu hướng rõ ràng mà tôi đã đưa ra trong một bài báo quan điểm năm 2019 có tên là AI tạo ra thuật toán, đó là

15:24

that handdesigned pipelines are replaced by learned ones as you have more compute and data this has just kind of been the case in machine learning for the last 20 years Richard Sutton uh you know basically describes this as the better lesson.

Các pipeline được thiết kế bằng tay được thay thế bằng các pipeline được học khi bạn có nhiều tính toán và dữ liệu hơn, điều này đã xảy ra trong học máy trong 20 năm qua. Richard Sutton về cơ bản mô tả điều này như là bài học tốt hơn.

15:38

Therefore the fastest path to AGI is AI that makes better AI if you apply the le that lesson to the entire endeavor of producing AI AGI

Do đó, con đường nhanh nhất đến AGI là AI tạo ra AI tốt hơn nếu bạn áp dụng bài học đó cho toàn bộ nỗ lực sản xuất AI AGI

15:47

itself.

Chính nó.

15:47

So that means that we should be able to create an AI generating algorithm that searches through the space of different AIs and eventually produces an extremely powerful sample efficient AI.

Vì vậy, điều đó có nghĩa là chúng ta nên có thể tạo ra một thuật toán tạo ra AI tìm kiếm trong không gian các AI khác nhau và cuối cùng tạo ra một AI cực kỳ mạnh mẽ, hiệu quả về mẫu.

15:57

And we have an existence proof of this on earth which is that you know earth with a Darwinian evolution with a planet-sized computer produced you and you are an extremely sample

Và chúng ta có một bằng chứng tồn tại về điều này trên trái đất, đó là trái đất với sự tiến hóa Darwin với một máy tính cỡ hành tinh đã tạo ra bạn và bạn là một người học cực kỳ hiệu quả về mẫu

16:08

efficient learner.

Hiệu quả.

16:08

So can we do the same thing but without a planetized computer to do so I think we need to simultaneously push on three pillars.

Vậy chúng ta có thể làm điều tương tự mà không cần một máy tính cỡ hành tinh để làm điều đó không? Tôi nghĩ chúng ta cần đồng thời thúc đẩy ba trụ cột.

16:15

We need to metalarn the architectures the algorithms and generate effective learning environments.

Chúng ta cần meta-học các kiến trúc, các thuật toán và tạo ra các môi trường học tập hiệu quả.

16:19

I spent a long time today telling you about some of the key ingredients I think that will help us generate effective learning

Tôi đã dành nhiều thời gian hôm nay để kể cho bạn về một số thành phần chính mà tôi nghĩ sẽ giúp chúng ta tạo ra các môi trường học tập hiệu quả

16:26

environments like quality diversity algorithms and open-ended algorithms such as poet and I want to spend a little bit more time on that.

Như các thuật toán chất lượng đa dạng và các thuật toán mở như poet, và tôi muốn dành thêm một chút thời gian cho điều đó.

16:33

So if we really want to produce a truly open-ended algorithm we need a vast environment search space.

Vì vậy, nếu chúng ta thực sự muốn tạo ra một thuật toán thực sự mở, chúng ta cần một không gian tìm kiếm môi trường rộng lớn.

16:38

Now the problem is when you can search in a snorts huge search base then most of the environments in that search base will be impossible nonsense too hard or

Vấn đề là khi bạn có thể tìm kiếm trong một cơ sở tìm kiếm khổng lồ, thì hầu hết các môi trường trong cơ sở tìm kiếm đó sẽ là vô nghĩa, không thể, quá khó hoặc

16:48

too easy.

Quá dễ.

16:48

So we have a needle in a haststack problem.

Vì vậy, chúng ta có một vấn đề tìm kim trong đống cỏ khô.

16:51

We want environments that are learnable and interestingly new.

Chúng ta muốn các môi trường có thể học được và mới một cách thú vị.

16:53

So how do we find them?

Vậy làm thế nào để chúng ta tìm thấy chúng?

16:55

Well, my team at OpenAI had some papers on learning progress and there were papers before that.

Chà, nhóm của tôi tại OpenAI đã có một số bài báo về tiến trình học tập và đã có các bài báo trước đó.

17:00

We have pretty good methods to measure whether or not agents can learn on a new problem.

Chúng ta có các phương pháp khá tốt để đo lường liệu các tác nhân có thể học trên một vấn đề mới hay không.

17:04

So we'll just take some of the work we did at OpenAI

Vì vậy, chúng ta sẽ lấy một số công việc chúng tôi đã làm tại OpenAI

17:08

off the shelf.

Có sẵn.

17:09

The real challenge is that how do you define what counts as interestingly new?

Thách thức thực sự là làm thế nào bạn định nghĩa thế nào là mới một cách thú vị?

17:13

It used to be the case that we tried to handcode that and then if we optimized against whatever mathematical function or code we wrote to measure interestingness, we would get garbage.

Trước đây, chúng tôi đã cố gắng mã hóa bằng tay điều đó và sau đó nếu chúng tôi tối ưu hóa dựa trên bất kỳ hàm toán học hoặc mã nào chúng tôi viết để đo lường sự thú vị, chúng tôi sẽ nhận được rác.

17:23

But in the modern world, we can just ask foundation models.

Nhưng trong thế giới hiện đại, chúng ta có thể chỉ cần hỏi các mô hình nền tảng.

17:27

This is kind of the new opportunity.

Đây là cơ hội mới.

17:29

Foundation

Các mô hình nền tảng

17:30

models have read the entire internet, including lots of humans describing what counts as interesting and new.

Đã đọc toàn bộ internet, bao gồm nhiều mô tả của con người về điều gì là thú vị và mới.

17:34

They also have a lot of common sense.

Chúng cũng có nhiều kiến thức thông thường.

17:36

So you can say, "Hey, I've already ch I've already like learned and memor like figured out how to solve these 30 tasks.

Vì vậy, bạn có thể nói, "Này, tôi đã học và ghi nhớ và tìm ra cách giải quyết 30 nhiệm vụ này.

17:42

Is this new task interestingly different from the ones that I've already practiced and learned?

Nhiệm vụ mới này có khác biệt thú vị so với những nhiệm vụ tôi đã thực hành và học không?

17:46

And the foundation model can

Và mô hình nền tảng có thể

17:48

tell you its opinion on that, which is kind of cool.

Cho bạn biết ý kiến của nó về điều đó, điều này khá thú vị.

17:51

So, in the work omni, which is the next one I'll tell you about, led by Jenny here, we worked on open-endedness via models of human notions of interestingness, which is to say we basically are going to generate environments, learning challenges that have to do two things.

Vì vậy, trong công việc omni, công việc tiếp theo tôi sẽ kể cho bạn, do Jenny dẫn đầu, chúng tôi đã làm việc về tính mở thông qua các mô hình về sự thú vị của con người, có nghĩa là về cơ bản chúng tôi sẽ tạo ra các môi trường, thách thức học tập phải làm hai việc.

18:05

They have to have high learning progress and they have to

Chúng phải có tiến trình học tập cao và chúng phải

18:09

be interesting according to a foundation model that looks at all of the tasks we've already been practicing and says is this new one also interesting to work on.

Thú vị theo một mô hình nền tảng xem xét tất cả các nhiệm vụ chúng ta đã thực hành và nói liệu nhiệm vụ mới này có thú vị để làm việc không.

18:17

And we wanted to work at an infinite task space to really push the boundaries of open-endedness.

Và chúng tôi muốn làm việc trên một không gian nhiệm vụ vô hạn để thực sự đẩy ranh giới của tính mở.

18:22

And so we wanted a tasks which were any task you could describe in natural words.

Và vì vậy chúng tôi muốn các nhiệm vụ là bất kỳ nhiệm vụ nào bạn có thể mô tả bằng từ ngữ tự nhiên.

18:27

So we're going to drop the agent in a big

Vì vậy, chúng tôi sẽ thả tác nhân vào một căn phòng hoặc tòa nhà lớn phức tạp như căn bếp này.

18:30

complicated room or building like this kitchen here.

Và sau đó hệ thống có thể đề xuất bất kỳ nhiệm vụ nào.

18:32

And then the system can propose any task.

Nó có thể nói theo nghĩa đen là đặt ấm đun nước lên trên máy nướng bánh mì và đặt máy nướng bánh mì, bạn biết đấy, ném máy nướng bánh mì qua cửa sổ chẳng hạn.

18:34

It could literally say put the kettle on top of the toaster and put the toaster you know in throw the toaster through the window for example.

Vấn đề là một khi bạn có thể yêu cầu bất kỳ nhiệm vụ nào, thì bạn cần cái mà chúng tôi gọi là hàm phần thưởng phổ quát, có nghĩa là bạn cần có thể nói với tôi với tư cách là một tác nhân liệu tôi đã tiến bộ hay tôi đã giải quyết bất kỳ nhiệm vụ tùy ý nào, đó cũng là một thách thức lớn, làm thế nào bạn làm điều đó? Chà, bạn biết câu trả lời cho bất kỳ vấn đề hiện đại nào trong học máy là hỏi một mô hình nền tảng, phải không? Vì vậy, chúng tôi chỉ

18:42

Now the problem is that once you can ask for any task then you need what we call a universal reward function which means you need to be able to tell me as an agent did I make progress or did I solve any arbitrary task that's also itself a kind of a grand challenge how would you do that well you know the answer to any modern problem in machine learning is to ask a foundation model right so we just

Hỏi, bạn biết đấy, cuối cùng tôi nghĩ bạn có thể sử dụng một mô hình video và bạn chỉ cần hiển thị một video về tác nhân hành động và nói này, nó đã đặt ấm đun nước lên máy nướng bánh mì và ném nó qua cửa sổ chưa? Nhưng đối với công việc này, chúng tôi thấy rằng những mô hình đó chưa đủ tốt vào thời điểm chúng tôi thực hiện công việc này.

19:04

asked you know ultimately I think you could use a video model and you just show a video of the agent acting and you say hey did it put the to the kettle on the toaster and throw it through the But for this we just we found that those models weren't good enough at the time we did this work.

Vì vậy, chúng tôi chỉ yêu cầu GPT xem xét trạng thái của trình mô phỏng và tạo ra các hàm phần thưởng.

19:17

So we just asked GPT to look at the state of the simulator and create reward functions.

Vì vậy, nó sẽ

19:21

So it would

Vậy nó sẽ

19:22

only propose challenges for which it could also check if they were done such as is the kettle on top of the toaster on the outside of the window or whatever it is.

Chỉ đề xuất những thử thách mà nó cũng có thể kiểm tra xem chúng đã được thực hiện hay chưa, chẳng hạn như ấm đun nước có nằm trên máy nướng bánh mì ở bên ngoài cửa sổ hay bất cứ thứ gì.

19:31

Now what we found is that if you uniformly sample tasks in natural language unsurprisingly you make no progress because they're all totally garbage.

Điều chúng tôi nhận thấy là nếu bạn lấy mẫu đồng đều các nhiệm vụ bằng ngôn ngữ tự nhiên, không có gì ngạc nhiên khi bạn không đạt được tiến triển nào vì tất cả đều hoàn toàn vô dụng.

19:38

But even if you encourage learning progress, you also don't make

Nhưng ngay cả khi bạn khuyến khích tiến trình học tập, bạn cũng không đạt được

19:42

progress.

tiến triển.

19:42

There's just too many tasks where you can learn a little bit more, a little bit more, but they're not interesting.

Có quá nhiều nhiệm vụ mà bạn có thể học thêm một chút, thêm một chút nữa, nhưng chúng không thú vị.

19:48

You're not learning useful general diverse skills.

Bạn không học được các kỹ năng đa dạng tổng quát hữu ích.

19:50

In contrast, if you use Omni, you kind of have this nice growth curve where the longer the more compute you pour in, the more innovation and discovery you get out.

Ngược lại, nếu bạn sử dụng Omni, bạn sẽ có một đường cong tăng trưởng đẹp, càng dùng nhiều tính toán, bạn càng thu được nhiều đổi mới và khám phá.

19:59

This was measured against a held out set of tasks

Điều này được đo lường dựa trên một tập hợp các nhiệm vụ dự trữ

20:02

we decided ahead of time would be interesting tasks for an agent to perform in this domain.

mà chúng tôi đã quyết định trước sẽ là những nhiệm vụ thú vị cho một tác nhân thực hiện trong lĩnh vực này.

20:06

And also it does it invents its own curriculum.

Và nó cũng tự phát minh ra chương trình học của riêng mình.

20:09

So it says go to go get an apple, identify a knife, pick up the knife, slice the apple with the knife, etc.

Vì vậy, nó nói hãy đi lấy một quả táo, xác định một con dao, nhặt con dao, cắt táo bằng dao, v.v.

20:16

So Omni I think is really interesting because now it's in an infinite task space.

Vì vậy, tôi nghĩ Omni thực sự thú vị vì bây giờ nó đang ở trong một không gian nhiệm vụ vô hạn.

20:20

A con though is still in one type of

Tuy nhiên, một nhược điểm là nó vẫn chỉ ở trong một loại

20:23

environment.

môi trường.

20:23

It's stuck in that kitchen.

Nó bị mắc kẹt trong căn bếp đó.

20:25

We really want a truly vast environmental search space.

Chúng tôi thực sự muốn có một không gian tìm kiếm môi trường thực sự rộng lớn.

20:28

So in my 2019 AI generating algorithms paper, I kind of came up with the idea of this theoretical concept of like what would be the most vast search space imaginable.

Vì vậy, trong bài báo về thuật toán tạo ra AI năm 2019 của tôi, tôi đã nảy ra ý tưởng về khái niệm lý thuyết này, như không gian tìm kiếm rộng lớn nhất có thể tưởng tượng được.

20:38

And I came I said basically how about an environment that would allow you to express any computable environment.

Và tôi đã nói về cơ bản là tại sao không tạo ra một môi trường cho phép bạn biểu diễn bất kỳ môi trường tính toán nào.

20:45

So I call that a Darwin complete search space in a nod to the

Vì vậy, tôi gọi đó là không gian tìm kiếm hoàn chỉnh Darwin, như một sự gật đầu với

20:50

richness that Darwinian evolution had and things that are turning complete.

sự phong phú mà tiến hóa Darwin đã có và những thứ hoàn chỉnh Turing.

20:54

And at the time I could only when I wrote that paper I could only think of one Darwin complete search space which I put in the paper.

Và vào thời điểm đó, khi viết bài báo đó, tôi chỉ có thể nghĩ đến một không gian tìm kiếm hoàn chỉnh Darwin mà tôi đã đưa vào bài báo.

21:02

I'll return to that in a little bit.

Tôi sẽ quay lại điều đó một chút sau.

21:04

But afterwards we realized that a second one is code itself.

Nhưng sau đó chúng tôi nhận ra rằng một không gian thứ hai chính là mã nguồn.

21:07

So nowadays language models can code.

Vì vậy, ngày nay các mô hình ngôn ngữ có thể viết mã.

21:09

And so if you can write code you can create any possible environment including physics simulators, logic tasks, uh

Và nếu bạn có thể viết mã, bạn có thể tạo ra bất kỳ môi trường nào có thể, bao gồm trình mô phỏng vật lý, nhiệm vụ logic,

21:15

coding challenges, you know, video games, whatever you want.

thử thách lập trình, trò chơi điện tử, bất cứ thứ gì bạn muốn.

21:17

And so now we're going to combine the ideas of Omni with the fact that you can have environments programmed in code.

Và bây giờ chúng tôi sẽ kết hợp các ý tưởng của Omni với thực tế là bạn có thể có các môi trường được lập trình bằng mã.

21:24

And now the system will not be stuck in a kitchen.

Và bây giờ hệ thống sẽ không bị mắc kẹt trong một căn bếp.

21:27

It could create any possible environment.

Nó có thể tạo ra bất kỳ môi trường nào có thể.

21:29

In fact, it's during Darwin complete as long as it's programming in a touring complete programming language.

Trên thực tế, nó hoàn chỉnh Darwin miễn là nó lập trình bằng một ngôn ngữ lập trình hoàn chỉnh Turing.

21:34

So no, Omni is going to generate a series of environments that are learnable and interestingly new using any code it likes.

Vì vậy, Omni sẽ tạo ra một loạt các môi trường có thể học được và mới lạ một cách thú vị bằng bất kỳ mã nào nó thích.

21:40

Now to test it for computational reasons, we didn't let it create any possible environment like logic and programming challenges.

Bây giờ để kiểm tra vì lý do tính toán, chúng tôi không để nó tạo ra bất kỳ môi trường nào có thể như logic và thử thách lập trình.

21:46

We restricted it to generating uh obstacle courses in Pi Bullet.

Chúng tôi đã giới hạn nó trong việc tạo ra các đường vượt chướng ngại vật trong Pi Bullet.

21:49

But uh there's nothing that would in principle stop it

Nhưng về nguyên tắc không có gì ngăn cản nó

21:53

from going more broadly.

mở rộng hơn.

21:54

So here every single environment you see here was automatically generated and solved by the system.

Vì vậy, ở đây mọi môi trường bạn thấy đều được hệ thống tự động tạo ra và giải quyết.

21:58

And what it does is it kind of looks like evolution.

Và điều nó làm trông giống như sự tiến hóa.

22:01

It riffs on different ideas.

Nó phát triển các ý tưởng khác nhau.

22:03

So it comes up with you know ob like these platforms and then it makes spaces between the platforms and it comes up with goals like kicking a ball and bouncing it off of you know

Vì vậy, nó đưa ra các nền tảng, sau đó tạo khoảng cách giữa các nền tảng và đưa ra các mục tiêu như đá bóng và nảy bóng khỏi

22:13

kicking a ball through goalpost and then kicking a ball through moving goalposts etc.

đá bóng qua cột gôn, rồi đá bóng qua cột gôn di động, v.v.

22:17

In fact, what was the bottleneck in this work is that RL is very slow to learn each new task.

Trên thực tế, nút thắt trong công việc này là RL học mỗi nhiệm vụ mới rất chậm.

22:22

So, we couldn't really see how the limits of the environment generator.

Vì vậy, chúng tôi không thể thực sự thấy giới hạn của bộ tạo môi trường.

22:26

So, we did another experiment where we just said, "Hey, pretend that you can learn to solve every single environment

Vì vậy, chúng tôi đã thực hiện một thí nghiệm khác, nơi chúng tôi nói: "Này, hãy giả vờ rằng bạn có thể học để giải quyết mọi môi trường

22:32

that's generated.

được tạo ra.

22:32

Let's just let the environment generator rip and see what happens in like an open-ended generation of environments." And here you see this explosion of creativity where it creates all of these different flavors of environments.

Hãy để bộ tạo môi trường tự do và xem điều gì xảy ra trong quá trình tạo môi trường mở." Và ở đây bạn thấy sự bùng nổ sáng tạo này khi nó tạo ra tất cả các loại môi trường khác nhau.

22:44

There's like many different examples of like kicking a ball through goalposts, through moving goalposts, banking it off of a moving

Có nhiều ví dụ khác nhau như đá bóng qua cột gôn, qua cột gôn di động, bật bóng khỏi một bức tường di động

22:51

wall through moving goalposts.

qua cột gôn di động.

22:52

It explores increasingly complex buildings.

Nó khám phá các tòa nhà ngày càng phức tạp.

22:55

It even creates cluttered like uh scenes like restaurant like a restaurant with dishes on the tables or a construction scene and ask the agent to like clean up these increasingly cluttered scenes and on and on and on just kind of like growing and exploring the space of possible environments which is really cool.

Nó thậm chí tạo ra các cảnh lộn xộn như nhà hàng với bát đĩa trên bàn hoặc cảnh công trường xây dựng và yêu cầu tác nhân dọn dẹp những cảnh ngày càng lộn xộn này, và cứ thế tiếp tục, giống như phát triển và khám phá không gian của các môi trường có thể, điều này thực sự tuyệt vời.

23:11

So Omni finally enables us to focus on interesting tasks.

Vì vậy, Omni cuối cùng cho phép chúng tôi tập trung vào các nhiệm vụ thú vị.

23:15

Omni Epic allows us to generate any possible environment which could include science challenges.

Omni Epic cho phép chúng tôi tạo ra bất kỳ môi trường nào có thể, bao gồm cả các thử thách khoa học.

23:21

And so I think we're starting to get algorithms that we might actually want to run for a really long time, maybe even a billion years at least to see where they break because these things have the potential to be extremely creative forever.

Và vì vậy tôi nghĩ chúng ta đang bắt đầu có những thuật toán mà chúng ta thực sự muốn chạy trong một thời gian rất dài, thậm chí có thể là một tỷ năm, ít nhất là để xem chúng hỏng ở đâu, bởi vì những thứ này có tiềm năng cực kỳ sáng tạo mãi mãi.

23:34

So I mentioned that I thought in the original paper I thought of one Darwin complete search space only and at the time it seemed like a flight of fancy and total science fiction and I actually thought it would be career risk to write down that I thought this would possible but I was like hey why not just have a neural net be the entire environment it takes in the state of the

Vì vậy, tôi đã đề cập rằng tôi nghĩ trong bài báo gốc, tôi chỉ nghĩ đến một không gian tìm kiếm hoàn chỉnh Darwin, và vào thời điểm đó, nó có vẻ như là một sự tưởng tượng viển vông và khoa học viễn tưởng hoàn toàn, và tôi thực sự nghĩ rằng sẽ là rủi ro nghề nghiệp nếu viết ra rằng tôi nghĩ điều này có thể xảy ra, nhưng tôi đã nghĩ, 'tại sao không?' và chỉ có một mạng nơ-ron làm toàn bộ môi trường, nó nhận trạng thái của thế giới, nhận một hành động, thực hiện hàm chuyển tiếp, tạo ra trạng thái tiếp theo của thế giới và liệu nó có tạo ra hình ảnh trực quan hay có thể là thị giác và xúc giác, hoặc thị giác, xúc giác, khứu giác và âm thanh hay không.

23:52

world it takes in an action it steps the transition function it produces the next state of the world and whether or not it's producing like visuals or maybe vision and touch or vision and touch and smell and sound.

Nó có thể là toàn bộ thế giới và bạn có thể có một tác nhân mạng nơ-ron học tập bên trong thế giới mơ ước của một mạng nơ-ron.

24:03

It could be the entire world and you could have a neural net agent learning inside of the dreamt up world of a neural net.

Ừm, đó là vào năm 2019.

24:10

Uh so that was in 2019.

Tôi nghĩ điều đó về cơ bản là

24:11

I thought that was basically

Không thể và có thể mất nhiều thập kỷ để hoạt động.

24:13

impossible and might take decades to finally work.

Nhưng chỉ vài năm sau.

24:15

But only a few years later.

Ừm, vào năm 2024, chúng tôi đã công bố một bài báo từ DeepMind với đồng nghiệp tuyệt vời của tôi ở đó có tên là Genie, về cơ bản là một mô hình thế giới có thể tạo ra bất kỳ môi trường nào bạn yêu cầu, có thể được điều kiện hóa bằng văn bản, hình ảnh, phác thảo, bất cứ thứ gì, và nó được huấn luyện với các video trực tuyến, vì vậy Genie 1 hầu như không hoạt động chút nào, chỉ thấy một đốm nhỏ bé này nhảy lên nhảy xuống, nhưng bạn đưa cho nó hình ảnh, ví dụ bên phải là sinh vật màu cam bằng đất sét, và sau đó bạn có thể chơi nó, bạn có thể điều khiển sinh vật đó và để nó nhảy xung quanh, và bạn có thể tạo ra tất cả các video. Và với quy luật mở rộng, chúng tôi đã chỉ ra rằng loại thứ này có thể được mở rộng quy mô và bạn có thể sử dụng tất cả các thủ thuật tương tự đã áp dụng cho các mô hình nền tảng.

24:17

uh in 2024 we put out a paper out of uh a deep mind with colleague my wonderful colleagues there called Genie which is basically a world model that can generate any possible environment you ask for can be conditioned on text image sketches whatever and it's trained with online videos so Genie one barely

Và chúng tôi thực sự đã xác nhận bằng thực nghiệm rằng càng cho nhiều tính toán, đường cong mất mát càng tốt và môi trường càng tốt.

24:35

worked at all just see this little tiny blob jumping up and down but you give it the image for example on the right of the clay orange creature and then you can play it you can control that creature and have it jump around and you can generate all the videos on the And with scaling laws, we showed that this kind of a thing can be scaled up and you can use all of the same tricks

Và vì vậy, vài tháng sau, nếu tôi nhớ không nhầm, chỉ chín tháng sau, chúng tôi có Genie 2, đó là, bạn biết đấy, bây giờ là thế giới 3D, bạn biết đấy, và các cảnh phức tạp hơn nhiều và sự mạch lạc kéo dài trong một khoảng thời gian dài hơn.

24:54

that applied to foundation models.

Và sau đó nhóm đã tiếp tục mở rộng quy mô lên, thực ra tôi sẽ dừng lại.

24:55

And that we actually empirically confirmed that the more compute you give it, the better the loss curves look and the better the environments look.

Genie 2 cũng có các tương tác đối tượng phức tạp như bạn có thể làm nổ cái thùng này.

25:02

And so a few months later, I if I remember correctly, it's only like nine months later, we get Genie 2, which is, you know, now 3D worlds, you know, and much more complicated scenes and coherence

Bạn có thể lấy một thanh kiếm samurai và chém những quả bóng bay này.

25:13

lasts for a longer stretch of time.

Tất cả điều này được mơ ước bởi mạng nơ-ron.

25:15

And then the team went on to scale things up to actually I'll stop.

Và sau đó Genie 3, chỉ vài tháng sau Genie 2, thực sự đáng kinh ngạc.

25:19

Genie 2 also had complex object interactions like you can blow up this barrel here.

Nó giống như các trình mô phỏng chân thực, trình mô phỏng bay, trò chơi điện tử, bất cứ thứ gì bạn muốn.

25:24

You can take a samurai sword and slash these balloons.

Bạn biết đấy, chúng tôi đi từ những đoạn clip một giây hầu như không hoạt động đến việc về cơ bản làm đảo lộn toàn bộ ngành công nghiệp trò chơi điện tử.

25:27

All of this dreamed up by the neural net.

Và giống như cổ phiếu của các công ty trò chơi điện tử đã giảm khoảng 25% hoặc 30% vào ngày chúng tôi công bố Genie 3.

25:30

And then Genie 3, which was only a few months after Genie 2, is just mind-blowing.

Nó thực sự không thể tin được và nó chỉ là một bài học nữa về việc AI nhanh chóng đi từ không hoạt động, hầu như không hoạt động chút nào, đến trở nên tốt đến kinh ngạc.

25:35

It's like photorealistic simulators, flight simulators, video games, whatever you want.

Vì vậy, tôi muốn bạn tưởng tượng một tác nhân đang huấn luyện trong bất kỳ thế giới nào mà hệ thống có thể mơ ước mà nó cho là có thể học được và mới mẻ một cách thú vị, và điều đó có thể tạo ra một thuật toán thực sự mở như thế nào.

25:39

You know, we go from one second clips that barely work to like basically disrupting the entire video game industry.

Đây là một trong những điều yêu thích của tôi.

25:45

And like the stocks of video game companies fell like

Được rồi, vì vậy tôi muốn bạn tưởng tượng nếu bạn không ấn tượng với Genie 3, hãy tưởng tượng Genie 4 hoặc Genie 10.

25:49

25% or 30% the day we announced Genie 3.

Bạn biết đấy, nó cực kỳ thú vị và mạnh mẽ khi về cơ bản chúng ta có thể mơ ước bất kỳ thử thách học tập nào.

25:53

It's just really incredible and it's just yet another lesson of how quickly AI goes from not working almost barely not working at all to just being like mindblowingly good.

Được rồi.

26:02

So, I want you to imagine an agent training now in any world that the system could dream up that it thinks is learnable and interestingly new and how that could produce a truly open-ended algorithm.

Vì vậy, tôi đã dành nhiều thời gian của bài nói chuyện này để tập trung vào trụ cột thứ ba.

26:14

This is one of my favorites.

Làm thế nào chúng ta có thể tạo ra các môi trường học tập hiệu quả?

26:17

All right, so I want you to imagine if you're not impressed with Genie 3, imagine Genie 4 or Genie 10.

Chúng ta có những thứ như QD, open-endedness, omni, omniepic, genie, v.v.

26:23

You know, it's in incredibly exciting and powerful now that we can basically dream up any possible learning challenge.

Bây giờ tôi muốn đi lên và tập trung vào trụ cột thứ hai một chút, đó là làm thế nào chúng ta sẽ có được các thuật toán học tập tốt hơn.

26:28

All right.

Vì vậy, một điều tôi, nếu bạn nhớ tôi đã nói khi chúng tôi thực hiện OmniC, những gì chúng tôi học được là RL là nút thắt cổ chai.

26:29

So I spent a lot of this talk focusing on pillar three.

Nếu bạn muốn tạo ra một thuật toán mở ngay bây giờ, thách thức không còn là tạo ra các môi trường học tập hiệu quả nữa.

26:32

How can we generate effective learning environments?

Đó là tác nhân của bạn có thể học môi trường tiếp theo nhanh như thế nào, và sau đó là môi trường tiếp theo, và sau đó là môi trường tiếp theo.

26:34

We have things like QD, open-endedness, omni, omniepic, genie, etc.

RL rất kém hiệu quả về mẫu, đặc biệt nếu bạn bắt đầu từ đầu.

26:36

I now want to go up and focus on pillar two for a second, which is how are we going to get better learning algorithms.

Vì vậy, nhóm của tôi tại OpenAI đã làm việc trên một thứ gọi là VPT hoặc video pre-training, về cơ bản là nói rằng chúng tôi không muốn học từ đầu.

26:43

So one thing I if you remember I said when we did OmniC what we learned is that RL is the

Chúng tôi muốn có thể đứng trên vai của các bộ dữ liệu khổng lồ của con người để mượn từ Newton.

26:49

bottleneck.

Vì vậy, chúng tôi sẽ lên mạng [hắng giọng] và chúng tôi sẽ, tôi đã nói tất cả điều đó.

26:49

If you want to create an open-ended algorithm right now, the challenge is no longer generating effective learning environments.

Chúng tôi sẽ lấy các hướng dẫn về cách một tác nhân nên hành động trong một môi trường cụ thể.

26:54

It's how quickly can your agent learn the next environment and then the next one and then the next one.

Ở đây chúng tôi sử dụng ví dụ về Minecraft vì có rất nhiều Minecraft trên internet.

26:59

RL is very sample efficient especially if you start from scratch.

Các video Minecraft.

27:02

So my team at OpenAI worked on a thing called VPT or video

Và những gì chúng tôi chỉ ra là về cơ bản, càng nhiều video bạn tiền huấn luyện, bạn càng có nhiều kỹ năng ngay lập tức.

27:06

pre-training which is effectively saying we don't want to learn from scratch.

Và ở đây, để rõ ràng, chúng tôi không tiền huấn luyện để tạo video như Sora và các mô hình tạo video.

27:09

We want to be able to stand on the shoulders of giant human data sets to borrow from Newton.

Chúng tôi đang học cách hành động.

27:14

So, we're going to go online clears throat and we're going to I said all of that.

Vậy, chúng ta sẽ lên mạng [hắng giọng] và chúng ta sẽ, tôi đã nói tất cả những điều đó.

27:19

We're we are going to take tutorials of how an agent should act in a particular environment.

Chúng ta sẽ xem các hướng dẫn về cách một tác nhân nên hành động trong một môi trường cụ thể.

27:24

Here we use the example of

Ở đây chúng tôi sử dụng ví dụ về

27:26

Minecraft because there's so much Minecraft on the internet.

Minecraft vì có rất nhiều Minecraft trên internet.

27:28

Minecraft videos.

Các video Minecraft.

27:29

And what we show is that basically the more videos you pre-train on, the more skills you get out of the box.

Và những gì chúng tôi chỉ ra là về cơ bản, bạn càng huấn luyện trước nhiều video, bạn càng có nhiều kỹ năng ngay lập tức.

27:36

And here, just to be clear, we're not pre-training to generate videos like Sora and video generation models.

Và ở đây, để rõ ràng, chúng tôi không huấn luyện trước để tạo video như Sora và các mô hình tạo video.

27:42

We're learning how to act.

Chúng tôi đang học cách hành động.

27:43

So conditioned on a history of video frames, what action

Vậy, dựa trên lịch sử các khung hình video, hành động nào

27:47

would a human take in this situation and this situation?

Một con người sẽ thực hiện trong tình huống này và tình huống này?

27:49

Just like GPT says, what word would a human say after these 50 words?

Giống như GPT nói, từ nào con người sẽ nói sau 50 từ này?

27:53

What would be the 51st word?

Từ thứ 51 sẽ là gì?

27:55

We're doing the same thing now with actions.

Chúng tôi đang làm điều tương tự với các hành động.

27:57

And what I want you to do is just look at these videos.

Và điều tôi muốn bạn làm là chỉ xem các video này.

28:00

This is after pre-training.

Đây là sau khi tiền huấn luyện.

28:01

And the idea here is that look at the video on the right.

Và ý tưởng ở đây là hãy nhìn vào video bên phải.

28:05

Instead of dropping an RL agent into an environment and having it randomly click buttons or take actions and flail around and hope that it eventually discovers some reward, which is how it typically

Thay vì thả một tác tử RL vào một môi trường và để nó ngẫu nhiên nhấn nút hoặc thực hiện hành động và vùng vẫy hy vọng cuối cùng nó khám phá ra phần thưởng, như cách thường

28:15

works in RL.

Hoạt động trong RL.

28:15

Here you can seed an agent that already knows how to explore a village.

Ở đây bạn có thể gieo mầm một tác tử đã biết cách khám phá một ngôi làng.

28:20

It knows how to go from building to building to climb stairs to open doors.

Nó biết cách đi từ tòa nhà này sang tòa nhà khác, leo cầu thang, mở cửa.

28:25

If it sees a chest, it should open it, etc.

Nếu nó thấy một cái rương, nó nên mở nó, v.v.

28:28

that allows reinforcement learning to basically start discovering what how to get reward in a particular environment and skips over a lot of the really hard work of

Điều đó cho phép học tăng cường về cơ bản bắt đầu khám phá cách nhận phần thưởng trong một môi trường cụ thể và bỏ qua rất nhiều công việc khó khăn của

28:37

learning to see and understand how to explore the world and we show that.

Học cách nhìn và hiểu cách khám phá thế giới và chúng tôi chứng minh điều đó.

28:41

So if you don't do pre-training that's the blue line on the bottom here and you try to learn a really hard task like getting diamond tools in Minecraft you get nowhere.

Vì vậy, nếu bạn không thực hiện tiền huấn luyện, đó là đường màu xanh ở dưới cùng và bạn cố gắng học một nhiệm vụ thực sự khó như lấy công cụ kim cương trong Minecraft, bạn sẽ không đi đến đâu.

28:50

In contrast, if you seed with VPG pre-chained on the internet and then you reward an agent for taking each of the steps to get to a diamond tool, the

Ngược lại, nếu bạn gieo mầm với VPG được tiền huấn luyện trên internet và sau đó bạn thưởng cho tác tử vì đã thực hiện từng bước để có được công cụ kim cương, thì

28:59

system eventually learns how to take to do things that take a skilled human over 20 minutes and 24,000 actions in the game of Minecraft, which is truly incredible.

Hệ thống cuối cùng học cách thực hiện những việc mà một người lành nghề mất hơn 20 phút và 24.000 hành động trong trò chơi Minecraft, điều này thực sự đáng kinh ngạc.

29:08

Now, if you think about all the things you can do on a computer with 20 minutes and 24,000 actions, then you get a sense of how powerful this is way beyond video games.

Bây giờ, nếu bạn nghĩ về tất cả những việc bạn có thể làm trên máy tính trong 20 phút và 24.000 hành động, thì bạn sẽ thấy điều này mạnh mẽ như thế nào, vượt xa trò chơi điện tử.

29:19

So this is actually the precursor to all modern computer

Vì vậy, đây thực sự là tiền thân của tất cả các tác tử sử dụng máy tính hiện đại.

29:23

using agents.

Sử dụng tác tử.

29:23

That was the reason we were doing this work at OpenAI was to basically derisk things like computer using agents, operator things that cloud code and codecs can now do for you like browsing the web, booking a flight, etc.

Đó là lý do chúng tôi thực hiện công việc này tại OpenAI, về cơ bản là để giảm thiểu rủi ro cho những thứ như tác tử sử dụng máy tính, các tác tử vận hành mà mã đám mây và codec hiện có thể làm cho bạn như duyệt web, đặt vé máy bay, v.v.

29:35

using a mouse and a keyboard.

Sử dụng chuột và bàn phím.

29:36

Um, a team that I was on at DeepMind took this idea even further.

Ừm, một nhóm mà tôi tham gia tại DeepMind đã đưa ý tưởng này đi xa hơn.

29:41

We did DPT style training but on 13 different games.

Chúng tôi đã thực hiện huấn luyện kiểu DPT nhưng trên 13 trò chơi khác nhau.

29:44

And we found that an agent can get good enough in 12 games to generalize to an entirely new game, an entirely new world, just almost as well on the 13th game as if it trained directly on the 13th game.

Và chúng tôi thấy rằng một tác tử có thể đủ giỏi trong 12 trò chơi để tổng quát hóa sang một trò chơi hoàn toàn mới, một thế giới hoàn toàn mới, gần như tốt ở trò chơi thứ 13 như thể nó được huấn luyện trực tiếp trên trò chơi thứ 13.

29:57

That's the plot here on the right.

Đó là biểu đồ ở bên phải.

29:59

So, we're starting to get general skills that transfer to wildly different environments via massive pre-training, just like we see in text models that can generalize to new skills when you ask it a new kind of question.

Vì vậy, chúng ta bắt đầu có được các kỹ năng tổng quát chuyển giao sang các môi trường rất khác nhau thông qua tiền huấn luyện quy mô lớn, giống như chúng ta thấy trong các mô hình văn bản có thể tổng quát hóa sang các kỹ năng mới khi bạn hỏi nó một loại câu hỏi mới.

30:11

here in fact is actually combining Genie and Simma.

Ở đây thực sự là kết hợp Genie và Simma.

30:13

So you take a pre-trained model, you put it in an environment that Genie dreamt up and you say, can you go through the left door, can you go through the center door or can you go through the right door?

Vì vậy, bạn lấy một mô hình đã được tiền huấn luyện, đặt nó vào một môi trường mà Genie mơ ra và bạn nói, bạn có thể đi qua cửa trái, bạn có thể đi qua cửa giữa hay bạn có thể đi qua cửa phải?

30:24

And so you can see how we're starting to put together the different building blocks of AI generating algorithms to be able to

Và vì vậy bạn có thể thấy cách chúng ta bắt đầu kết hợp các khối xây dựng khác nhau của AI tạo ra các thuật toán để có thể

30:30

create open-ended algorithms that can go and train in arbitrary uh environments that the system dreams up using pre-training to seed the process.

Tạo ra các thuật toán mở kết thúc có thể đi và huấn luyện trong các môi trường tùy ý mà hệ thống mơ ra, sử dụng tiền huấn luyện để gieo mầm quá trình.

30:38

So VPT and SEMA show us that pre-training enables learning art exploration tasks much more efficiently like getting those diamond tools and I think this will be a great catalyst for creating open-ended algorithms.

Vì vậy, VPT và SEMA cho chúng ta thấy rằng tiền huấn luyện cho phép học các nhiệm vụ khám phá nghệ thuật hiệu quả hơn nhiều như lấy những công cụ kim cương đó và tôi nghĩ điều này sẽ là một chất xúc tác tuyệt vời để tạo ra các thuật toán mở kết thúc.

30:50

All

Được

30:51

right, so now what I want to do for the rest of the talk, sorry it's a bit of a fire hose, but I'm so excited about all this work that I want to share it with you as I want to show you that open-endedness plus foundation models plus omni is a very powerful and general playbook that can take us into the modern world of creating ever more powerful AI.

rồi, bây giờ điều tôi muốn làm cho phần còn lại của bài nói, xin lỗi vì hơi nhiều thông tin, nhưng tôi rất hào hứng về tất cả công việc này và muốn chia sẻ với các bạn, tôi muốn cho các bạn thấy rằng tính mở kết thúc cộng với mô hình nền tảng cộng với omni là một kịch bản rất mạnh mẽ và tổng quát có thể đưa chúng ta vào thế giới hiện đại của việc tạo ra AI ngày càng mạnh mẽ hơn.

31:08

And I actually think it

Và tôi thực sự nghĩ nó

31:10

will automate all of science and including the science of making ever better artificial intelligence which obviously Vector is interested in.

sẽ tự động hóa toàn bộ khoa học, bao gồm cả khoa học tạo ra trí tuệ nhân tạo ngày càng tốt hơn, điều mà Vector rõ ràng quan tâm.

31:15

So the first work I want to tell you about is with these lovely co-authors called the automatic design of agentic systems.

Vì vậy, công việc đầu tiên tôi muốn kể cho các bạn là với các đồng tác giả đáng yêu này, có tên là thiết kế tự động các hệ thống tác tử.

31:21

The idea here is that it used to be the case that we had like an LLM.

Ý tưởng ở đây là trước đây chúng ta có một LLM.

31:26

We would ask it a question, it would give us an answer.

Chúng ta hỏi nó một câu hỏi, nó đưa ra câu trả lời.

31:29

But

Nhưng

31:30

increasingly agentics foundation models are embedded in a complex workflow like a flowchart.

ngày càng nhiều, các mô hình nền tảng tác tử được nhúng trong một quy trình làm việc phức tạp như một lưu đồ.

31:33

And inside of that flowchart, it does all sorts of complicated things.

Và bên trong lưu đồ đó, nó thực hiện đủ thứ việc phức tạp.

31:36

The agent might first have some safety checks.

Tác tử có thể trước tiên thực hiện một số kiểm tra an toàn.

31:39

Then it might say, "Oh, I just got asked to do a question by the user.

Sau đó nó có thể nói, "Ồ, tôi vừa được người dùng yêu cầu làm một câu hỏi.

31:43

First, let me go do a web search about that issue." It might then it has to figure out what

Trước tiên, hãy để tôi đi tìm kiếm trên web về vấn đề đó." Sau đó nó phải tìm ra

31:49

it's going to do with those web results.

Nó sẽ làm gì với những kết quả web đó.

31:50

Maybe it looks at the top five answers, maybe the top 10.

Có thể nó xem xét năm câu trả lời hàng đầu, có thể là mười.

31:53

Maybe it produces three solutions for the user and then picks the best one or maybe it produces five and it merges the best ideas from the five, etc., etc., etc.

Có thể nó đưa ra ba giải pháp cho người dùng và sau đó chọn giải pháp tốt nhất hoặc có thể nó đưa ra năm và kết hợp các ý tưởng tốt nhất từ năm giải pháp, v.v., v.v.

32:02

So there's this really complicated workflow behind the like under the hood of modern agents and we were noticing we call that an agentic system and we were noticing that

Vì vậy, có một quy trình làm việc thực sự phức tạp đằng sau, bên dưới các tác tử hiện đại và chúng tôi nhận thấy chúng tôi gọi đó là một hệ thống tác tử và chúng tôi nhận thấy rằng

32:11

the community was increasingly handdesigning ever more complicated agentic systems and they were getting real performance lifts like they definitely improve performance but who wants to do that's like a really really like not very efficient way to search the space of possible agentic systems takes a lot of manual effort.

Cộng đồng ngày càng thiết kế thủ công các hệ thống tác nhân phức tạp hơn và chúng đạt được hiệu suất thực sự, nhưng ai lại muốn làm điều đó? Đó là một cách rất không hiệu quả để khám phá không gian các hệ thống tác nhân khả thi, tốn rất nhiều công sức thủ công.

32:30

we're probably missing out on really good ideas etc.

Chúng ta có thể đang bỏ lỡ những ý tưởng thực sự tốt, v.v.

32:33

So the AI generating algorithms philosophy is manual designed stuff gets replaced by learned stuff as you have more compute and data.

Vì vậy, triết lý của AI tạo ra thuật toán là những thứ được thiết kế thủ công sẽ được thay thế bằng những thứ học được khi bạn có nhiều tính toán và dữ liệu hơn.

32:41

So let's automatically learn agentic systems using powerful search algorithms like open-ended algorithms and we're going to do that in a touring complete search space which is just describe aentic

Vậy hãy tự động học các hệ thống tác nhân bằng các thuật toán tìm kiếm mạnh mẽ như thuật toán mở, và chúng ta sẽ làm điều đó trong một không gian tìm kiếm Turing hoàn chỉnh, chỉ cần mô tả các hệ thống tác nhân bằng mã và để hệ thống tìm kiếm tự động thiết kế chúng.

32:52

systems in code and let a search system automatically design them.

Và vì vậy chúng ta sẽ sử dụng các nguyên tắc của tính mở.

32:55

And so we're going to use the principles of open-endedness.

Sẽ có một kho lưu trữ các hệ thống tác nhân khác biệt một cách thú vị, một kho lưu trữ đang phát triển.

32:58

going to have an archive of interestingly different a growing archive of interestingly different agentic systems.

Chúng ta sẽ lấy ra một hệ thống.

33:03

We'll pull one out.

Chúng ta sẽ có một mô hình ngôn ngữ và cải thiện hoặc thay đổi nó theo một cách nào đó.

33:05

We'll have a language model and prove it or change it in some way.

Và sau đó nếu nó mới một cách thú vị và/hoặc có hiệu suất cao hơn hệ thống hiện có, chúng ta sẽ thêm nó vào kho lưu trữ, lặp đi lặp lại.

33:08

And then if it's either interestingly new and or higher performing than an existing system, we'll we'll add it to the archive, rinse and repeat.

Và những gì chúng tôi chỉ ra là hệ thống bắt đầu không tốt lắm, nhưng dần dần qua quá trình tìm kiếm, nó trở nên tốt hơn tất cả các hệ thống tác nhân được thiết kế thủ công tồn tại vào thời điểm đó, vốn là những hệ thống tiên tiến nhất.

33:15

And what we show is that the system starts out not being that good, but it slowly across search becomes better than all of the handdesigned agentic systems that

Và đây là một ví dụ về một trong những hệ thống tác nhân mà hệ thống tự thiết kế.

33:24

existed at the time that were the state-of-the-art.

Và như bạn có thể thấy, nó khá phức tạp nhưng cũng khá trực quan.

33:26

And here's an example of one of the agenting systems the system designed on its own.

Nó tạo ra một cuộc tranh luận.

33:31

And as you can see, it's quite complicated but also quite intuitive.

Nó tạo ra ba chuyên gia tập trung vào các lĩnh vực khác nhau, xem xét ý tưởng của họ, kết hợp chúng lại với nhau, v.v.

33:34

It creates like a debate.

Vì vậy, những hệ thống này trở nên rất tổng quát, có thể hoạt động trên các nhiệm vụ mới.

33:36

It creates like three experts that focus in different areas, looks at their ideas, combines them together, etc.

Thực tế, chúng tôi chỉ ra trong bài báo rằng chúng tổng quát hóa cho các loại nhiệm vụ mới.

33:41

So these become very general

Sau đó, chúng tôi nói rằng trong thiết kế tự động của các hệ thống tác nhân, chúng tôi có một tác nhân gọi là tác nhân meta và nó đang thiết kế và tăng cường, nó nhìn vào kho lưu trữ, lấy ra một tác nhân, làm cho nó tốt hơn, v.v.

33:43

agentic systems that can work on new tasks.

Vì vậy, nhiệm vụ của tác nhân meta là phát triển kho lưu trữ các tác nhân khác biệt một cách thú vị, nhưng bản thân tác nhân meta không bao giờ được cải thiện.

33:45

In fact, we show that in the paper that they generalize to new types of tasks.

Nó bị đóng băng ngay từ đầu quá trình chạy.

33:50

We then said okay in a in the automatic design of aenticing systems we have one agent that we call the meta agent and it was designing and increasing it was like looking at the archive taking out an agent making it better etc.

Vì vậy, chúng tôi muốn hỏi liệu chúng ta có thể làm cho hệ thống này cũng cải thiện tác nhân meta hay không.

34:04

So it was the meta agent's

Vì vậy, nó không chỉ tạo ra các tác nhân tốt hơn, mà còn trở nên tốt hơn trong việc tạo ra các tác nhân tốt hơn và tốt hơn trong việc tự cải thiện.

34:06

job was to kind of grow this archive of interestingly different agents but the meta agent itself never improved.

Và đó là ý tưởng của cỗ máy Darwin goal, một sự kết hợp của các cỗ máy goal - những hệ thống tự cải thiện do Schmidhuber đề xuất, nhưng về mặt lý thuyết, đó là một ý tưởng lý thuyết không khả thi trong thực tế, và sử dụng các nguyên tắc của tính mở và tiến hóa Darwin.

34:11

It was frozen at the outside of the run.

Vì vậy, trong cỗ máy Darwin goal, chúng ta phát triển một cây phát sinh loài giống như trong tiến hóa.

34:13

So we wanted to say could we actually have this system also improve the meta agent.

Chúng ta phát triển một cây hoặc một kho lưu trữ các cỗ máy Darwin khác biệt một cách thú vị.

34:18

So it gets not only better at making better sorry not only does it make better agents it gets better at making better agents and better at improving itself.

Mỗi cái có thể tự cải thiện và trở nên tốt hơn trong việc cải thiện các tác nhân nhiệm vụ.

34:26

And so that is the idea of the Darwin goal machine which is a mashup of goal machines which are self-improving systems proposed by Schmidhuber um but we're like theoretically like the was a theoretical idea that's not practically

Và những gì bạn thấy ở bên phải là thường thì một dấu hiệu của các thuật toán mở là sự đa dạng rất có lợi.

34:38

possible and using the principles of open-endedness and Darwinian evolution.

Vì vậy, theo thời gian, hiệu suất cao nhất của tác nhân có hiệu suất cao nhất tăng lên.

34:42

So in the Darwin godal machine, we grow a phoggenetic tree like in evolution.

Đó là các chấm màu xanh.

34:47

We grow a tree or an archive of interestingly different Darwinal machines.

Và dòng dõi dẫn đến tác nhân tốt nhất, là đường màu đen, đôi khi phải trở nên tồi tệ hơn trước khi tốt hơn.

34:51

Each one can improve itself and get better at proving task agents.

Vì vậy, nếu chúng ta không áp dụng các nguyên tắc của tính mở và cho phép sự đa dạng, cho phép mọi thứ trở nên tồi tệ hơn và kỳ lạ một cách thú vị trong một thời gian trước khi cuối cùng trở thành bước đệm cho một đột phá, chúng ta sẽ không đạt được hiệu suất như đã đạt.

34:56

And what you see on the right here is that oftent times a hallmark of open-ended algorithms is that diversity is really beneficial.

Thực tế, chúng tôi đã làm khoa học đó.

35:04

So the path over

Vì vậy, ở đây màu xanh là cỗ máy Darwin với các nguyên tắc của tính mở.

35:06

time the highest performance the highest performing agent goes up.

Nhưng nếu bạn chỉ làm theo cách leo đồi tham lam, giống như những gì Karpathy gần đây đã làm với auto research, bạn sẽ có đường màu vàng ở đây, nghĩa là bị mắc kẹt ở cực trị địa phương và không cải thiện nhiều theo thời gian.

35:09

That's the blue dots.

Ngoài ra, nếu bạn chỉ làm, bạn sẽ có đường màu xanh lá.

35:10

And the lineage to the best agent, which is the black line, has to sometimes get worse before it gets better.

Đây là trường hợp hệ thống không thể cải thiện tác nhân meta.

35:17

So, if we weren't embracing the principles of open-endedness and allowing diversity and allowing things to get worse and be interestingly weird for a while before they're eventually

Nó chỉ có thể sử dụng tác nhân meta để cải thiện kho lưu trữ khác.

35:26

turn out to be like a stepping stone to a breakthrough, we would not have gotten the performance that we got.

Vì vậy, chúng tôi chỉ ra rằng khoảng cách giữa màu xanh lá và màu xanh dương là khi tác nhân thực sự có thể tự cải thiện một cách tự quy chiếu và đệ quy.

35:31

In fact, we do that science.

Bài báo tiếp theo trong chuỗi này là của Jenny Zang tại phòng thí nghiệm của tôi ở UBC và các công trình trước đó và công trình này đều ở UBC và được hỗ trợ bởi Vector.

35:33

So, here blue is the Darwin machine with the principles of open-endedness.

Vì vậy, tất cả những người này đều là thành viên tuyệt vời của cộng đồng Vector.

35:36

But if you just do it in a greedy hill climbing way, which is kind of what um Karpathy did recently with auto research, you get the yellow line here, which is to say

Vì vậy, Jenny nói rằng cỗ máy Darwin goal rất tuyệt.

35:45

gets stuck on local optimal and doesn't improve as much over time.

Tuy nhiên, trong cỗ máy Darwin goal, tình cờ là bản thân tác nhân meta là một tác nhân lập trình.

35:48

Also, if you just do you get the green line.

Ngoài ra, nếu bạn chỉ làm, bạn sẽ có đường màu xanh lá.

35:52

So, this is where the system can't improve the meta agent.

Vì vậy, đây là trường hợp hệ thống không thể cải thiện tác nhân meta.

35:55

It can only use a meta agent to improve this other archive.

Nó chỉ có thể sử dụng tác nhân meta để cải thiện kho lưu trữ khác này.

35:59

So, we show that the gap between green and blue is when the agent can actually self-referentially recursively improve itself.

Vì vậy, chúng tôi chỉ ra rằng khoảng cách giữa đường xanh lá và xanh dương là khi tác nhân thực sự có thể tự cải thiện một cách đệ quy.

36:06

The next paper in this arc is by Jenny Zang here at my lab at UBC and the previous work and this work are all at UBC and vector supported.

Bài báo tiếp theo trong chuỗi này là của Jenny Zang tại phòng thí nghiệm của tôi ở UBC và các công trình trước đây và công trình này đều ở UBC và được hỗ trợ bởi Vector.

36:15

So all of these people are wonderful members of the vector community as well.

Vì vậy, tất cả những người này đều là thành viên tuyệt vời của cộng đồng Vector.

36:19

So Jenny said okay the Darwin goal machine is very cool.

Vậy Jenny nói rằng máy mục tiêu Darwin rất tuyệt.

36:22

However in the Darwin Goal machine the it just so happens to be that the agent itself the meta agent is

Tuy nhiên, trong máy mục tiêu Darwin, tình cờ là bản thân tác nhân, tác nhân meta, là

36:29

a coding agent.

Một tác nhân lập trình.

36:30

And if the downstream task that the task agents are getting better at is a coding task, then when the DGM says, "Oh, I need to make myself better at coding, the actual downstream task, I also happen to get better at improving myself because I am code and improving myself as code." However, the task of improving a coding agent on something like Bench or like coding

Và nếu nhiệm vụ hạ nguồn mà các tác nhân nhiệm vụ đang giỏi hơn là một nhiệm vụ lập trình, thì khi DGM nói, "Ồ, tôi cần làm cho mình giỏi hơn về lập trình, nhiệm vụ hạ nguồn thực tế, tôi cũng tình cờ trở nên giỏi hơn trong việc cải thiện bản thân vì tôi là mã và cải thiện bản thân như mã." Tuy nhiên, nhiệm vụ cải thiện một tác nhân lập trình trên một cái gì đó như Bench hoặc lập trình

36:53

challenges like fixing GitHub repo issues is not the same kind of coding challenge as improving myself.

Những thách thức như sửa lỗi kho GitHub không phải là cùng một loại thách thức lập trình như cải thiện bản thân.

36:58

Sometimes they are, but they can often be different.

Đôi khi chúng giống nhau, nhưng thường có thể khác nhau.

37:00

And also if the downstream task is poetry or financial modeling, getting better at poetry will not automatically make me a better uh coder which is what I need to improve myself.

Và cũng nếu nhiệm vụ hạ nguồn là thơ ca hoặc mô hình tài chính, việc giỏi thơ ca sẽ không tự động làm tôi trở thành một lập trình viên giỏi hơn, điều mà tôi cần để cải thiện bản thân.

37:10

So basically long story short, the DGM worked but partly because it was coincidental that we chose a downstream task which is coding and the meta task is also coding.

Vì vậy, nói ngắn gọn, DGM đã hoạt động nhưng một phần là do tình cờ chúng tôi chọn một nhiệm vụ hạ nguồn là lập trình và nhiệm vụ meta cũng là lập trình.

37:18

Hyper agents solves that problem.

Hyper agents giải quyết vấn đề đó.

37:20

It says hey I'm just going to let the agent completely edit itself.

Nó nói rằng này tôi sẽ để tác nhân tự chỉnh sửa hoàn toàn.

37:24

Sometimes it will choose to get better on the downstream task which could be poetry or financial modeling.

Đôi khi nó sẽ chọn để giỏi hơn về nhiệm vụ hạ nguồn, có thể là thơ ca hoặc mô hình tài chính.

37:29

But sometimes I might also just try to improve myself and really focus on the skill of improving my ability to be a good meta agent so I can get better at self-improvement uh and everything in one self-editable program.

Nhưng đôi khi tôi cũng có thể chỉ cố gắng cải thiện bản thân và thực sự tập trung vào kỹ năng cải thiện khả năng trở thành một meta agent tốt để tôi có thể giỏi hơn trong việc tự cải thiện và mọi thứ trong một chương trình tự chỉnh sửa.

37:42

Again, we're going to grow an archive of interestingly different

Một lần nữa, chúng tôi sẽ phát triển một kho lưu trữ các giải pháp khác biệt thú vị

37:45

solutions in a giant phoggenetic tree.

Trong một cây phát sinh loài khổng lồ.

37:47

We can see progress over time, including it getting worse before it gets better.

Chúng ta có thể thấy tiến trình theo thời gian, bao gồm cả việc nó trở nên tệ hơn trước khi tốt hơn.

37:51

And it invents its own curricula for self-improvement.

Và nó tự phát minh ra chương trình giảng dạy riêng để tự cải thiện.

37:53

And a lot of these are very general ideas.

Và nhiều ý tưởng trong số này rất tổng quát.

37:56

In fact, on coding tasks, DGM hyper agents, it's the same in performance as DGM, clears throat but on non-coding tasks, you can really see the difference.

Thực tế, trên các nhiệm vụ lập trình, DGM hyper agents có hiệu suất tương tự DGM, nhưng trên các nhiệm vụ không phải lập trình, bạn có thể thấy sự khác biệt rõ rệt.

38:05

So, purple or sorry, red is DGM out of the box on a new non-coding task.

Vì vậy, màu tím hoặc xin lỗi, màu đỏ là DGM ngay khi ra khỏi hộp trên một nhiệm vụ không phải lập trình mới.

38:10

And because DGM was only targeted for coding, it didn't

Và bởi vì DGM chỉ nhắm vào lập trình, nó đã không

38:14

work.

Hoạt động.

38:14

But if you tell DGM how like oh your target task is this you know financial modeling task or paper reviewing task and you kind of hand port it over and fig tell it how to solve the new task DGM can work well that's purple but hyper agents figures out how to do all of that with no manual intervention and actually ends up performing better as you can see on the

Nhưng nếu bạn nói với DGM rằng nhiệm vụ mục tiêu của bạn là nhiệm vụ mô hình tài chính hoặc nhiệm vụ đánh giá bài báo và bạn chuyển nó sang và hướng dẫn nó cách giải quyết nhiệm vụ mới, DGM có thể hoạt động tốt, đó là màu tím, nhưng hyper agents tự tìm ra cách làm tất cả mà không cần can thiệp thủ công và thực sự hoạt động tốt hơn như bạn có thể thấy ở

38:33

right and probably the coolest thing to see is that the things that DGM hyper agents improves about itself those it's like its improvements to how to be a good meta agent that themselves transfers to new task.

Bên phải và có lẽ điều tuyệt vời nhất là thấy rằng những thứ mà DGM hyper agents cải thiện về bản thân, những cải tiến về cách trở thành một meta agent tốt, tự nó chuyển giao sang nhiệm vụ mới.

38:46

So this is a kind of a complicated experiment, but basically if you let hyper agents improve itself on task A and then you transfer it to task B and you no longer

Vì vậy, đây là một thí nghiệm hơi phức tạp, nhưng về cơ bản nếu bạn để hyper agents tự cải thiện trên nhiệm vụ A và sau đó chuyển nó sang nhiệm vụ B và bạn không còn

38:58

let it improve itself, it still does really well on that new task because it learned on task A how to be a good meta agent.

Cho phép nó tự cải thiện, nó vẫn hoạt động rất tốt trên nhiệm vụ mới đó vì nó đã học trên nhiệm vụ A cách trở thành một meta agent tốt.

39:04

And every other baseline we did to tease apart what happens if you don't let it improve itself and then transfer shows that performance is quite low.

Và mọi baseline khác chúng tôi thực hiện để tách biệt điều gì xảy ra nếu bạn không để nó tự cải thiện và sau đó chuyển giao cho thấy hiệu suất khá thấp.

39:10

I don't have time to get into all of those details, but you can read the paper.

Tôi không có thời gian để đi vào tất cả các chi tiết đó, nhưng bạn có thể đọc bài báo.

39:14

The final paper in this arc is

Bài báo cuối cùng trong chuỗi này là

39:16

Alma.

39:16

So, people were using um people were increasingly interested in agents that could do continual learning.

Vì vậy, mọi người ngày càng quan tâm đến các tác nhân có thể học liên tục.

39:22

So, they see a series of tasks over time.

Vì vậy, họ thấy một loạt các nhiệm vụ theo thời gian.

39:26

And as they encounter the a task for the hundth time, they should be better at that task than the first time they encountered that task.

Và khi họ gặp một nhiệm vụ lần thứ một trăm, họ sẽ giỏi hơn nhiệm vụ đó so với lần đầu tiên họ gặp nhiệm vụ đó.

39:32

And the way that modern agents can do that is they can basically take notes about tasks as they encounter them and then retrieve those notes later when they encounter a similar task.

Và cách mà các tác nhân hiện đại có thể làm điều đó là về cơ bản họ có thể ghi chú về các nhiệm vụ khi gặp chúng và sau đó truy xuất những ghi chú đó sau này khi gặp một nhiệm vụ tương tự.

39:40

They can go refer to their notes about oh how do I solve this kind

Họ có thể tham khảo ghi chú của mình về cách giải quyết loại

39:44

of task?

Nhiệm vụ này?

39:44

What have I learned in the past?

Tôi đã học được gì trong quá khứ?

39:47

So again what we did is we looked out into the field and we saw people handdesigning memory systems for agents to make them better at continual learning.

Vì vậy, một lần nữa, những gì chúng tôi đã làm là nhìn ra lĩnh vực và thấy mọi người thiết kế thủ công các hệ thống bộ nhớ cho các tác nhân để làm cho chúng tốt hơn trong học liên tục.

39:56

And we said according to the AIGA philosophy handdesign stuff will get replaced by learn stuff.

Và chúng tôi nói theo triết lý AIGA, những thứ thiết kế thủ công sẽ được thay thế bằng những thứ học được.

40:01

Let's not handdesign it.

Đừng thiết kế thủ công nó.

40:02

let's just learn automatically with open-ended algorithms

Hãy chỉ học tự động với các thuật toán mở

40:05

how to search for ever better me memory systems and that allowed us to produce ALMA which is automated metalarning of memory designs for agentic systems and these plots are going to look familiar we grow an archive of interestingly different memory designs for agentic systems we grow a phlogenetic tree an archive of interestingly different solutions using the principles of

Cách tìm kiếm các hệ thống bộ nhớ ngày càng tốt hơn và điều đó cho phép chúng tôi tạo ra ALMA, tự động học meta các thiết kế bộ nhớ cho các hệ thống tác nhân và các biểu đồ này sẽ trông quen thuộc, chúng tôi phát triển một kho lưu trữ các thiết kế bộ nhớ khác biệt thú vị cho các hệ thống tác nhân, chúng tôi phát triển một cây phát sinh loài, một kho lưu trữ các giải pháp khác biệt thú vị sử dụng các nguyên tắc của

40:26

open-ended evolution and a Darwin complete search space and what you get is a growing archive of different things where performance goes up but often goes down before it gets better because you have to be very good about exploring diverse stepping stones before you eventually unlock the breakthroughs that drive performance and it also invents these curriculum of interestingly

Tiến hóa mở và một không gian tìm kiếm hoàn chỉnh Darwin và những gì bạn nhận được là một kho lưu trữ ngày càng tăng các thứ khác nhau, nơi hiệu suất tăng lên nhưng thường giảm trước khi tốt hơn vì bạn phải rất giỏi trong việc khám phá các bước đệm đa dạng trước khi cuối cùng mở khóa những đột phá thúc đẩy hiệu suất và nó cũng phát minh ra chương trình giảng dạy các ý tưởng khác biệt thú vị

40:46

different ideas that generalize and interestingly here again maybe it's no longer interesting it's kind of expected at this point but this the learned solutions outperform all of the handdesigned state-of-the-art solutions that existed at that time And they do better as you scale.

Các ý tưởng khác nhau tổng quát hóa và thú vị ở đây, có lẽ không còn thú vị nữa, nó khá là mong đợi ở thời điểm này, nhưng các giải pháp học được vượt trội hơn tất cả các giải pháp hiện đại được thiết kế thủ công tồn tại vào thời điểm đó và chúng hoạt động tốt hơn khi bạn mở rộng quy mô.

41:01

So they scale better with more data.

Vì vậy, chúng mở rộng quy mô tốt hơn với nhiều dữ liệu hơn.

41:04

They can automatically be adapted to new problems.

Chúng có thể tự động thích ứng với các vấn đề mới.

41:06

And they perform better out of

Và chúng hoạt động tốt hơn ngoài

41:09

distribution.

Phân phối.

41:09

So even if you don't do learning on a new task, you just transfer these learn memory systems.

Vì vậy, ngay cả khi bạn không thực hiện học trên một nhiệm vụ mới, bạn chỉ cần chuyển các hệ thống bộ nhớ học được này.

41:14

They do really well on new problems and better than the then state-of-the-art handd design systems.

Chúng hoạt động rất tốt trên các vấn đề mới và tốt hơn so với các hệ thống thiết kế thủ công hiện đại lúc đó.

41:21

All right.

Được rồi.

41:21

One of the last papers, I think this is the last paper I want to tell you about uh is the automatic scientist.

Một trong những bài báo cuối cùng, tôi nghĩ đây là bài báo cuối cùng tôi muốn kể cho bạn nghe là nhà khoa học tự động.

41:28

So um Pascal mentioned this at the outset.

Vì vậy, Pascal đã đề cập đến điều này ngay từ đầu.

41:30

So we basically this wonderful team of people here we started thinking to ourselves we really love open-endedness and we love AI pushing forward trying to create open-ended algorithms.

Vì vậy, về cơ bản, nhóm tuyệt vời này ở đây chúng tôi bắt đầu tự nghĩ rằng chúng tôi thực sự yêu thích tính mở và yêu thích AI thúc đẩy tiến lên để tạo ra các thuật toán mở.

41:39

What's like one of the most

Điều gì giống như một trong những lĩnh vực

41:41

if not the most open-ended domain possible?

Nếu không phải là lĩnh vực mở nhất có thể?

41:43

And the answer that we came up with is science itself.

Và câu trả lời mà chúng tôi đưa ra chính là khoa học.

41:46

So can we create an AI scientist that will try to do open-ended scientific discovery?

Vậy chúng ta có thể tạo ra một nhà khoa học AI để cố gắng thực hiện khám phá khoa học mở không?

41:51

And the first thing you have to do is AI has to be able to do one scientific paper which is to say the entire arc of going through the scientific process that creates one stepping stone in an archive

Và điều đầu tiên bạn phải làm là AI phải có khả năng thực hiện một bài báo khoa học, tức là toàn bộ quá trình khoa học tạo ra một bước đệm trong kho lưu trữ.

42:04

uh that that is kind of a fundamental building block of science.

Đó là một khối xây dựng cơ bản của khoa học.

42:08

So can we do that?

Vậy chúng ta có thể làm được điều đó không?

42:09

And so we focused on the science of improving AI itself because in this case the computer is the real world.

Và vì vậy chúng tôi tập trung vào khoa học cải thiện chính AI bởi vì trong trường hợp này, máy tính là thế giới thực.

42:15

You don't have to worry about transferring to like the real like you know like biological wet lab kind of situations.

Bạn không phải lo lắng về việc chuyển giao sang các tình huống phòng thí nghiệm ướt sinh học thực tế.

42:21

But also we do think that the same basic algorithm could be applied to any scientific domain especially one where you have automated

Nhưng chúng tôi cũng nghĩ rằng cùng một thuật toán cơ bản có thể được áp dụng cho bất kỳ lĩnh vực khoa học nào, đặc biệt là lĩnh vực có phòng thí nghiệm tự động hóa.

42:28

labs where you can like automatically do experiments in a wet lab or a chemistry lab or with simulators and I know there's a lot of great work in vector that focuses on those things.

Nơi bạn có thể tự động thực hiện thí nghiệm trong phòng thí nghiệm ướt, phòng thí nghiệm hóa học hoặc với trình mô phỏng và tôi biết có rất nhiều công trình tuyệt vời tại Vector tập trung vào những điều đó.

42:36

So the AI scientist I think is pretty remarkable.

Vì vậy, nhà khoa học AI, tôi nghĩ, khá đáng chú ý.

42:39

It generates its own ideas for what to pursue in in machine learning.

Nó tự tạo ra ý tưởng về những gì cần theo đuổi trong học máy.

42:43

It designs and runs its own experiments.

Nó thiết kế và chạy các thí nghiệm của riêng mình.

42:45

It codes them up and runs them includingly iteratively debugging them if there are problems looking at the results.

Nó viết mã và chạy chúng, bao gồm cả việc gỡ lỗi lặp đi lặp lại nếu có vấn đề, xem xét kết quả.

42:52

It analyzes the results, visualizes them in plots and charts, histograms, and then it writes the entire scientific manuscript from the first word of the

Nó phân tích kết quả, trực quan hóa chúng bằng đồ thị, biểu đồ, biểu đồ tần suất, và sau đó viết toàn bộ bản thảo khoa học từ chữ đầu tiên của tiêu đề đến dấu chấm cuối cùng và các tài liệu tham khảo.

43:01

title to the last period and the references and it conducts its own peer review on the work and says, "Hey, I just did this bit of science.

Và nó tự tiến hành đánh giá ngang hàng về công trình và nói: 'Này, tôi vừa thực hiện một chút khoa học này.

43:07

I've written it up in a human readable format.

Tôi đã viết nó dưới dạng con người có thể đọc được.

43:10

I think it's good.

Tôi nghĩ nó tốt.

43:11

Here you go." and it basically returns to you uh you know a scientific paper.

Đây này.' và về cơ bản nó trả lại cho bạn một bài báo khoa học.

43:14

So when I was a posttock even a grad student we used to always joke like oh now we just you know

Vì vậy, khi tôi còn là nghiên cứu sinh sau tiến sĩ, thậm chí là sinh viên cao học, chúng tôi thường đùa rằng mỗi khi tự động hóa một phần nhỏ nào đó, chúng tôi lại nói 'Giờ chỉ cần AI viết bài báo nữa thôi' và đây rồi, giờ AI có thể viết toàn bộ bài báo ngoài việc đưa ra ý tưởng và thực hiện thí nghiệm.

43:20

every time we automated a little piece of anything we'd say oh now we just needed the AI to write the paper and here you go now the AI can write the entire paper in addition to coming up with the ideas and doing the experiments.

Vì vậy, tôi muốn nói rõ rằng những bài báo này không xuất sắc, chúng khá tầm thường, nhưng bạn biết đấy, đây mới chỉ là khởi đầu và đây là lúc tệ nhất.

43:30

So uh I want to be clear these things these papers are not amazing they're kind of like mediocre but you know this is the beginning and

Trong một số trường hợp, hệ thống khá sáng tạo.

43:37

this is the worst it will ever be.

Ví dụ, trong một trường hợp, tôi đã đọc một bài báo do hệ thống tạo ra và nhớ rằng khi đọc nó, tôi nghĩ 'Wow, đó thực sự là một ý tưởng khá thông minh'.

43:39

In some cases the system is quite creative.

Nếu một sinh viên cao học đến với tôi và đề xuất ý tưởng đó, tôi sẽ nói 'Ừ, đáng để theo đuổi đấy'.

43:42

So in one case for example I read one of the papers of produced and I remember thinking when I read it wow that's actually a pretty clever idea like if a graduate student came to me and proposed that idea I would say yeah that's worthy of pursuit.

Bạn nên làm điều đó.

43:53

You should go do that.

Vài tháng sau, một nhóm tại Stanford hoặc Oxford và những nơi khác về cơ bản đã thực hiện cùng một ý tưởng.

43:54

A couple months later a team at Stanford and other or sorry Oxford and other places basically did the exact same

Tôi đã bị choáng ngợp bởi cách hệ thống đã độc lập đưa ra cùng một ý tưởng cơ bản mà nhóm đó đã làm.

43:59

idea.

Nhóm đó đã thực hiện tốt hơn, nhưng ý tưởng sáng tạo là như nhau.

43:59

I was blown away by how the system had come up independently with the same basic idea that team did.

Vì vậy, tôi nghĩ đây có lẽ là một trong những trường hợp đầu tiên của việc AI và con người đứng trên vai cùng những người khổng lồ.

44:04

Now that team did a better job of executing it but the creative idea was the same.

Vì vậy, chúng tôi đã kiểm tra xem những bài báo này tốt đến đâu và với sự cho phép của ban tổ chức ICLR và hội thảo, chúng tôi đã gửi ba bài báo do hệ thống tạo ra tới một hội thảo tại ICLR.

44:08

So I think this is a case maybe one of the first cases of kind of AI and humans standing on the shoulders of the same giants.

Một trong những bài báo đạt 45% điểm, tốt hơn 45% các bài báo do con người viết và được chấp nhận qua quy trình đánh giá ngang hàng.

44:16

So we went on to test how good are these papers and we submitted with the permissions of the organizers of Iclear and the workshop we submitted three papers the system produced to a workshop at Iclear and one of the papers was got 45% um you know did as well as 40 did better than 45% of human authored submissions and was accepted via the peerreview process.

Vì vậy, chúng tôi có một bằng chứng về khái niệm đang tạo ra công trình chất lượng cấp hội thảo ngay bây giờ.

44:38

So you know we have

Trong tương lai, điều thực sự thú vị không chỉ là mở rộng quy mô sang các lĩnh vực khác nhau, mô hình tốt hơn.

44:40

a proof of concept that is producing like workshop level quality work right now.

Thực tế, chúng tôi chỉ ra trong bài báo trên Nature rằng khi các mô hình tốt hơn, đầu ra của hệ thống cũng tốt hơn, nhưng điều thực sự thú vị là tạo ra một kho lưu trữ các khám phá khoa học.

44:44

Now in the future of course what's really exciting is not just to scale things up different domains better models.

Nơi hệ thống đọc các khám phá của chính nó và xây dựng dựa trên chúng, và bạn về cơ bản có thể mô phỏng toàn bộ công việc của một cộng đồng các nhà khoa học AI.

44:50

In fact we show in the nature paper that as the models get better the the output of the system is better but what's really exciting is to create basically like an archive of scientific

Như tôi đã đề cập, sức mạnh này, kịch bản này rất mạnh mẽ nói chung.

45:01

discoveries where the system reads its own discoveries and builds on them and you can basically simulate forward the entire work of a community of AI scientists.

Tôi đã kể cho bạn về công trình tại White, nhưng có nhiều bài báo khác từ phòng thí nghiệm của tôi do những người tại Vector thực hiện, như sử dụng các thuật toán mở để cải thiện an toàn AI trong khám phá năng lực tự động.

45:09

So as I mentioned this power this playbook is very powerful in general.

Và hai bài báo khác được liệt kê ở đây, và nếu bạn không ấn tượng với chất lượng của các bài báo nhà khoa học AI hoặc đầu ra của Darwin Goal Machine, tôi chỉ muốn nói lại rằng đây là lúc tệ nhất.

45:13

I've told you about the work in white but there's many other papers out of my lab uh with you know done by people at vector uh things like using

Tôi khuyến khích bạn nhìn vào bức ảnh này, mà tôi nghĩ là một trong những bức ảnh quan trọng nhất trong lịch sử học máy.

45:23

this the open-ended algorithms to improve AI safety like in automated capability discovery and the other two papers that are listed here um and if you're not impressed with you know maybe the quality of the AI scientist papers or any of the Darwin goal machine outputs or whatever I just want to say again this is the worst they will ever be you know like I would

Năm 2014, chúng tôi hầu như không thể tạo ra khuôn mặt trông thực tế.

45:43

encourage you to stare at this picture, which I think is one of the most important pictures in the history of machine learning.

Và một thập kỷ sau, chúng hoàn hảo.

45:50

In 2014, we could barely generate faces that looked realistic.

Và tôi nghĩ chúng ta đang trên cùng một quỹ đạo với AI thực hiện khoa học.

45:53

And a decade later, they were perfect.

Vì vậy, tôi không biết liệu nó sẽ mất 10 năm hay 2 năm, nhưng những nhà khoa học AI thực sự mạnh mẽ đang đến, tôi hứa với bạn, và chúng sẽ cách mạng hóa khoa học.

45:55

And I think we're on the same arc with AI doing science, basically.

Thực tế, tôi nghĩ chúng ta đang thấy những tia sáng đầu tiên của bình minh của một cuộc cách mạng khoa học thứ hai, nơi chúng ta sẽ cải thiện triệt để khả năng hiểu thế giới thông qua phương pháp khoa học sử dụng AI.

46:00

So, I don't know how I don't know if it'll take 10 years or if it'll take two years, but really, really, really powerful AI scientists are coming, I promise you, and they're going to revolutionize science.

Được rồi, ba slide kết luận và sau đó tôi sẽ trả lời câu hỏi.

46:10

In fact, I think we're seeing the first rays of light of the dawn of a second scientific revolution in which we will radically advance our ability to uh understand

Vì vậy, tôi đã giới thiệu các thuật toán đa dạng chất lượng.

46:19

the world via the scientific method using AI.

Thế giới thông qua phương pháp khoa học sử dụng AI.

46:21

All right, three conclusion side and then I will take questions.

Được rồi, ba slide kết luận và sau đó tôi sẽ trả lời câu hỏi.

46:25

So I've introduced quality diversity algorithms.

Vậy tôi đã giới thiệu các thuật toán đa dạng chất lượng.

46:27

They explore well.

Chúng khám phá tốt.

46:28

They create and collect stepping stones.

Chúng tạo ra và thu thập những bước đệm.

46:30

They harness goal switching.

Chúng khai thác việc chuyển đổi mục tiêu.

46:31

They invent effective counterintuitive curricula.

Chúng phát minh ra các chương trình giảng dạy phản trực giác hiệu quả.

46:33

Open-ended algorithms that endlessly learn and innovate like natural evolution and human culture.

Các thuật toán mở không ngừng học hỏi và đổi mới như tiến hóa tự nhiên và văn hóa con người.

46:37

AI generating algorithms which is basically using open-endedness specifically to produce AGI or ASI or RSI that's recursive um super intelligence.

Các thuật toán tạo ra AI, về cơ bản sử dụng tính mở để tạo ra AGI, ASI hoặc RSI, đó là siêu trí tuệ đệ quy.

46:45

I think that AI generating algorithms are the likely the fastest path to producing really powerful AI.

Tôi nghĩ rằng các thuật toán tạo ra AI có lẽ là con đường nhanh nhất để tạo ra AI thực sự mạnh mẽ.

46:52

I hope I've made the

Tôi hy vọng tôi đã trình bày

46:54

case in this talk.

luận điểm trong bài nói này.

46:55

I lay the case out more in my 2019 paper.

Tôi trình bày luận điểm chi tiết hơn trong bài báo năm 2019 của mình.

46:58

We've introduced omni where we get to finally pursue what's interesting because we don't have to like you know we basically can like have a standin for what counts as an interestingly new challenge.

Chúng tôi đã giới thiệu omni, nơi chúng tôi cuối cùng có thể theo đuổi những gì thú vị vì chúng tôi không cần phải, bạn biết đấy, về cơ bản chúng tôi có thể có một đại diện cho những gì được coi là một thử thách mới thú vị.

47:09

Uh the introduced the idea of Darwin complete search spaces where you can generate endless learning environments of any

Chúng tôi đã giới thiệu ý tưởng về không gian tìm kiếm hoàn chỉnh Darwin, nơi bạn có thể tạo ra vô số môi trường học tập thuộc bất kỳ

47:15

computable type and there's at least two options now omni epic where you use code or genie where you use a neural net.

loại tính toán nào và hiện có ít nhất hai lựa chọn: omni epic sử dụng mã hoặc genie sử dụng mạng nơ-ron.

47:22

Uh we've also talked about pre-training how VPT and simma and obviously GPT itself.

Chúng tôi cũng đã nói về tiền huấn luyện, cách VPT và simma, và rõ ràng là GPT.

47:27

Um, this basically allows us to stand on the shoulders of giant human data sets.

Điều này về cơ bản cho phép chúng tôi đứng trên vai của các bộ dữ liệu khổng lồ của con người.

47:31

So, evolution took 3.5 billion years to produce a human and look at what we have done in the last couple hundred thousand years.

Vì vậy, quá trình tiến hóa mất 3,5 tỷ năm để tạo ra con người và hãy nhìn vào những gì chúng ta đã làm trong vài trăm nghìn năm qua.

47:38

So, effectively pre-training allows us to skip the boring part and get right to the very exciting point where AI can race ahead and make tremendous amounts of discoveries and start to usher in the changes that humans did when they showed up on Earth.

Vì vậy, về cơ bản, tiền huấn luyện cho phép chúng ta bỏ qua phần nhàm chán và đi thẳng đến điểm rất thú vị nơi AI có thể bứt phá và thực hiện vô số khám phá, bắt đầu mang đến những thay đổi mà con người đã tạo ra khi họ xuất hiện trên Trái đất.

47:52

Final conclusion slide.

Slide kết luận cuối cùng.

47:52

I think this overall playbook can automate all of science, including recursive create recursively self-improving AI.

Tôi nghĩ rằng kế hoạch tổng thể này có thể tự động hóa toàn bộ khoa học, bao gồm cả việc tạo ra AI tự cải thiện đệ quy.

47:57

As Pascal mentioned, we raised $650 million at recursive to go after this vision.

Như Pascal đã đề cập, chúng tôi đã huy động được 650 triệu đô la tại Recursive để theo đuổi tầm nhìn này.

48:02

So, um there's a lot of belief that this is possible and exciting and worthy of pursuit.

Vì vậy, có rất nhiều niềm tin rằng điều này là khả thi, thú vị và đáng để theo đuổi.

48:07

I've introduced all of these different methods you see here that like

Tôi đã giới thiệu tất cả các phương pháp khác nhau mà bạn thấy ở đây

48:11

are kind of um marching toward that goal.

đang tiến dần đến mục tiêu đó.

48:13

We still have work to do, but those are I clears throat think those are big steps forward in that dimension.

Chúng tôi vẫn còn việc phải làm, nhưng tôi nghĩ đó là những bước tiến lớn theo hướng đó.

48:19

And then I want to leave you with this thought.

Và sau đó tôi muốn để lại cho các bạn suy nghĩ này.

48:21

I think open-endedness and AIGAs are the next wave in AI.

Tôi nghĩ tính mở và AIGA là làn sóng tiếp theo trong AI.

48:24

I think they're very powerful and they're very interesting and they unlock a lot of capability.

Tôi nghĩ chúng rất mạnh mẽ, rất thú vị và mở ra nhiều khả năng.

48:29

And so whatever you're working on in your domain, I would just encourage you to think about how could you take advantage of these ideas to propel your own passions and your own

Vì vậy, bất kể bạn đang làm gì trong lĩnh vực của mình, tôi khuyến khích bạn hãy suy nghĩ về cách bạn có thể tận dụng những ý tưởng này để thúc đẩy đam mê và

48:38

field forward.

lĩnh vực của mình tiến lên.

48:39

Thank you very much.

Cảm ơn các bạn rất nhiều.

48:41

I'm happy to take questions.

Tôi sẵn sàng nhận câu hỏi.

48:44

- All right, a wonderful talk.

- Được rồi, một bài nói tuyệt vời.

48:46

So this was truly inspiring and uh if anybody doubts that we're not going to do great things uh then they need to see this.

Thực sự truyền cảm hứng và nếu ai đó nghi ngờ rằng chúng ta sẽ không làm được những điều vĩ đại, thì họ cần xem điều này.

48:54

So wonderful.

Thật tuyệt vời.

48:55

Um okay so we're going to open up this uh the session for questions.

Được rồi, chúng ta sẽ mở phần này cho các câu hỏi.

49:00

So um now people need to go to the Q&A.

Bây giờ mọi người cần vào phần Q&A.

49:04

So you might need to click on more and then after that Q&A and then uh type in your question and then I

Vì vậy, bạn có thể cần nhấp vào 'more' và sau đó là 'Q&A', rồi nhập câu hỏi của bạn và tôi

49:12

I will read them uh to Jeff.

sẽ đọc chúng cho Jeff.

49:15

So we do have in fact one question already by Ethan Jackson.

Chúng tôi thực sự có một câu hỏi từ Ethan Jackson.

49:20

So Ethan is asking how do you ensure that the innovation generated by QD/OPended methods in the pursuit of RSI are safe?

Ethan hỏi làm thế nào để đảm bảo rằng sự đổi mới được tạo ra bởi các phương pháp QD/Open-ended trong việc theo đuổi RSI là an toàn?

49:30

Are the risk of catastrophic failures any lower than with RLbased or other methods?

Nguy cơ thất bại thảm khốc có thấp hơn so với các phương pháp dựa trên RL hay các phương pháp khác không?

49:37

- I'm sorry I thought the question was over.

- Xin lỗi, tôi nghĩ câu hỏi đã kết thúc.

49:39

I didn't the last clause.

Tôi đã không nghe mệnh đề cuối.

49:40

Can you repeat the last part?

Bạn có thể lặp lại phần cuối không?

49:41

just answer the first part and then I'll I'll tell you the second part again afterwards then.

Chỉ trả lời phần đầu thôi, sau đó tôi sẽ nói lại phần thứ hai cho bạn.

49:46

- Okay, good.

- Được rồi, tốt.

49:46

All right.

Được rồi.

49:47

So, I got up to the word safe.

Vậy, tôi đã nghe đến từ 'an toàn'.

49:49

So, Ethan um hi, nice to meet you remotely.

Ethan, chào bạn, rất vui được gặp bạn từ xa.

49:52

Uh thank you for the question.

Cảm ơn bạn vì câu hỏi.

49:54

I this is like one of the most important questions I think in all of science right now.

Tôi nghĩ đây là một trong những câu hỏi quan trọng nhất trong toàn bộ khoa học hiện nay.

50:00

I in fact I actually when we founded Recursive I finally got around to posting an article that basically says why do I work on self-improving AI despite the risks?

Thực tế, khi tôi thành lập Recursive, tôi cuối cùng đã đăng một bài báo về cơ bản nói rằng tại sao tôi làm việc về AI tự cải thiện bất chấp rủi ro?

50:09

If you're curious about that article, um it's on my website.

Nếu bạn tò mò về bài báo đó, nó nằm trên trang web của tôi.

50:13

I can share it with you.

Tôi có thể chia sẻ nó với bạn.

50:15

But um basically I'm of the opinion that it's inevitable that humanity will make this technology given that we are going to

Nhưng về cơ bản, tôi cho rằng việc nhân loại sẽ tạo ra công nghệ này là không thể tránh khỏi, vì chúng ta sẽ

50:22

make it technology.

Tạo ra công nghệ.

50:22

We want to have the best minds in science trying to make it go as well as possible maximizing the benefit for humanity and trying to make it as safe as possible.

Chúng ta muốn có những bộ óc giỏi nhất trong khoa học cố gắng làm cho nó diễn ra tốt nhất có thể, tối đa hóa lợi ích cho nhân loại và cố gắng làm cho nó an toàn nhất có thể.

50:32

So guarantee is too strong of a word.

Vì vậy, 'đảm bảo' là một từ quá mạnh.

50:34

Almost nothing in life is guaranteed.

Hầu như không có gì trong cuộc sống được đảm bảo.

50:36

But what we can do is channel the considerable brain power at Vector and in the scientific community to try to make these systems

Nhưng điều chúng ta có thể làm là định hướng sức mạnh trí tuệ đáng kể tại Vector và trong cộng đồng khoa học để cố gắng làm cho các hệ thống này

50:44

go very well and be safe.

Hoạt động rất tốt và an toàn.

50:45

A couple of thoughts.

Một vài suy nghĩ.

50:46

One thing, the bare minimum is you can sandbox the heck out of these algorithms.

Một điều, tối thiểu là bạn có thể cách ly hoàn toàn các thuật toán này.

50:50

Air gap them if need be as you think they become more and more powerful so that at least whatever they do can be isolated and you can study it ahead of time and try to uh understand it before doing any sort of deployment with it.

Cách ly chúng nếu cần khi bạn nghĩ chúng ngày càng mạnh mẽ, để ít nhất bất cứ điều gì chúng làm đều có thể được cô lập và bạn có thể nghiên cứu trước và cố gắng hiểu nó trước khi triển khai.

51:03

A second thing you can do is

Điều thứ hai bạn có thể làm là

51:05

what the scientific community has been doing for centuries.

Những gì cộng đồng khoa học đã làm trong nhiều thế kỷ.

51:07

So science itself including with humans is also dangerous and can invent very powerful technologies including dangerous technologies.

Vì vậy, bản thân khoa học, kể cả với con người, cũng nguy hiểm và có thể phát minh ra các công nghệ rất mạnh mẽ, bao gồm cả công nghệ nguy hiểm.

51:13

So how do we make humans communities of scientists safe?

Vậy làm thế nào để chúng ta làm cho các cộng đồng nhà khoa học con người an toàn?

51:16

Well at least two things.

Ít nhất hai điều.

51:18

One is we try to train every single human to have a ethical north compass or not north an ethical

Một là chúng ta cố gắng đào tạo mỗi con người có một la bàn đạo đức, hay không phải la bàn đạo đức

51:25

compass that they use to guide their research.

Mà họ sử dụng để định hướng nghiên cứu của mình.

51:27

So we want each scientist to know that there are certain kinds of science that are unethical and they should not conduct that science.

Vì vậy, chúng ta muốn mỗi nhà khoa học biết rằng có một số loại khoa học là phi đạo đức và họ không nên tiến hành khoa học đó.

51:34

So similarly via techniques like alignment we want to make our AI scientists not want to do unethical things and we want to train them with all the techniques we use for alignment to make them ethical

Tương tự, thông qua các kỹ thuật như alignment, chúng ta muốn làm cho các nhà khoa học AI của chúng ta không muốn làm những điều phi đạo đức và chúng ta muốn đào tạo chúng bằng tất cả các kỹ thuật chúng ta sử dụng cho alignment để làm cho chúng có đạo đức

51:46

and want to behave ethically.

Và muốn hành xử có đạo đức.

51:47

But si but at the same time we don't trust that every human scientist will be ethical.

Nhưng đồng thời, chúng ta không tin rằng mọi nhà khoa học con người sẽ có đạo đức.

51:52

We also have oversight.

Chúng ta cũng có sự giám sát.

51:53

So we want really good oversight of these systems.

Vì vậy, chúng ta muốn có sự giám sát thực sự tốt đối với các hệ thống này.

51:56

We want to have humans and AI automatically monitoring the system, looking at what it's doing, making sure that what it's doing is safe and ethical and will benefit humanity.

Chúng ta muốn có con người và AI tự động giám sát hệ thống, xem xét những gì nó đang làm, đảm bảo rằng những gì nó làm là an toàn và có đạo đức và sẽ mang lại lợi ích cho nhân loại.

52:04

And uh we want to constantly be kind of like, you know, like making doing the best we can to understand the system so that it doesn't kind of come off the rails.

Và chúng ta muốn liên tục, như thể, bạn biết đấy, làm mọi cách tốt nhất để hiểu hệ thống để nó không bị trật bánh.

52:13

And then the final thing I'll say is that we

Và điều cuối cùng tôi sẽ nói là chúng ta

52:16

can also use open-endedness to make the science better.

Cũng có thể sử dụng tính mở để làm cho khoa học tốt hơn.

52:18

For example, my team had this work called automated capability discovery.

Ví dụ, nhóm của tôi đã có công trình này gọi là automated capability discovery.

52:22

my co-founder at recursive Tim Rockell has rainbow teaming where we use the ideas of quality diversity and open edgginess to kind of automatically probe a given uh model a new model to figure out what are its surprising new failure modes that you might want to fix

Đồng sáng lập của tôi tại Recursive, Tim Rockell, có rainbow teaming, nơi chúng tôi sử dụng các ý tưởng về quality diversity và open-endedness để tự động thăm dò một mô hình nhất định, một mô hình mới, để tìm ra các chế độ thất bại mới đáng ngạc nhiên mà bạn có thể muốn sửa

52:37

and surprising new capabilities that you either might want to celebrate or you might want to shut down if they're too dangerous and so some combination of human and AI and powerful using the most powerful AI to help with safety is going to be the path forward but I don't want to pretend that we have the answers here we need people like yourself and others who are interested to join in and try to

Và các khả năng mới đáng ngạc nhiên mà bạn có thể muốn tôn vinh hoặc muốn tắt nếu chúng quá nguy hiểm, và do đó, sự kết hợp giữa con người và AI và sử dụng AI mạnh nhất để hỗ trợ an toàn sẽ là con đường phía trước, nhưng tôi không muốn giả vờ rằng chúng ta có câu trả lời ở đây, chúng ta cần những người như bạn và những người khác quan tâm tham gia và cố gắng

52:56

make alignment and safety a first class citizens so we can make sure that we can maximize the upside here while minimizing the downside.

Làm cho alignment và an toàn trở thành công dân hạng nhất để chúng ta có thể đảm bảo tối đa hóa lợi ích trong khi giảm thiểu rủi ro.

53:06

Okay, great.

Được rồi, tuyệt vời.

53:06

So, uh the second part was are the risk of catastrophic failures any lower than with RLB or other methods?

Vậy, phần thứ hai là liệu rủi ro thất bại thảm khốc có thấp hơn so với RLB hay các phương pháp khác không?

53:16

So um we are trying to create an algorithm that will be create that will be creative and innovative and when you encourage a thing to go do interestingly new stuff be creative make breakthroughs do science of course you're playing with fire because what you don't want it to do is for example go do gain of function research on COVID.

Vì vậy, chúng tôi đang cố gắng tạo ra một thuật toán sẽ sáng tạo và đổi mới, và khi bạn khuyến khích một thứ làm những điều mới thú vị, sáng tạo, tạo ra đột phá, làm khoa học, tất nhiên bạn đang chơi với lửa vì điều bạn không muốn nó làm là, ví dụ, nghiên cứu tăng cường chức năng trên COVID.

53:38

So you can't just tell a system go discover new knowledge

Vì vậy, bạn không thể chỉ nói với một hệ thống 'hãy khám phá kiến thức mới'

53:43

because it might think it's intellectually curious to see whether or not it can make CO 100 times more dangerous.

Bởi vì nó có thể nghĩ rằng thật tò mò về mặt trí tuệ để xem liệu nó có thể làm cho COVID nguy hiểm hơn 100 lần hay không.

53:48

You don't want it to do that.

Bạn không muốn nó làm điều đó.

53:50

So yes it is dangerous.

Vì vậy, đúng vậy, nó nguy hiểm.

53:51

Now is it more dangerous than RL?

Bây giờ, nó có nguy hiểm hơn RL không?

53:53

I mean in some sense RL is itself very creative.

Ý tôi là, theo một nghĩa nào đó, RL tự nó rất sáng tạo.

53:56

Like look at move 37.

Hãy nhìn vào nước đi 37.

53:57

In fact, I have a whole paper coming out uh with vector colleagues soon where we basically talk about all these examples where RL and open-ended algorithms have proven to be very creative and I think they have kind of like outwitted their human experimenters

Thực tế, tôi sắp có một bài báo hoàn chỉnh với các đồng nghiệp tại Vector, nơi chúng tôi về cơ bản nói về tất cả các ví dụ này, nơi RL và các thuật toán mở đã chứng tỏ là rất sáng tạo và tôi nghĩ chúng đã đánh lừa những người thí nghiệm con người của chúng

54:11

and violated like done reward hacking and escaped all constraints we put them on them etc.

Và vi phạm, thực hiện reward hacking và thoát khỏi mọi ràng buộc chúng ta đặt ra cho chúng, v.v.

54:15

So I think I do think that RL itself can be very dangerous and creative and we have to be careful with it and I think open-ended is probably even more so it's it's like a more powerful version of RL.

Vì vậy, tôi nghĩ rằng bản thân RL có thể rất nguy hiểm và sáng tạo, và chúng ta phải cẩn thận với nó, và tôi nghĩ open-ended có lẽ còn hơn thế nữa, nó giống như một phiên bản mạnh mẽ hơn của RL.

54:26

So, um, they're both dangerous and we have to care about them both.

Vì vậy, cả hai đều nguy hiểm và chúng ta phải quan tâm đến cả hai.

54:30

And I do think openness is

Và tôi nghĩ tính mở là

54:32

probably even more mis like creative and mischievous.

Có lẽ thậm chí còn sai lệch hơn, như sáng tạo và tinh nghịch.

54:34

It's kind of like having Calvin from Kelvin and Hobbs kind of like as a mad scientist in a box and we have to make sure that it's doing good science and being ethical.

Nó giống như có Calvin từ Calvin và Hobbes như một nhà khoa học điên trong hộp và chúng ta phải đảm bảo nó làm khoa học tốt và có đạo đức.

54:43

- All right, great.

- Được rồi, tuyệt vời.

54:44

Uh, okay.

Ừm, được rồi.

54:44

Next question is by Richard Dong.

Câu hỏi tiếp theo từ Richard Dong.

54:46

So, how do you see human scientists in the world of AI scientists?

Vậy, ông thấy các nhà khoa học con người trong thế giới của các nhà khoa học AI như thế nào?

54:51

- That's a great question.

- Đó là một câu hỏi hay.

54:52

Yeah, I mean the short the next few years I think it's easy to answer and I think basically we do less dregery.

Vâng, ý tôi là trong vài năm tới, tôi nghĩ câu trả lời dễ dàng và về cơ bản chúng ta sẽ làm ít việc vặt hơn.

54:57

We get to spend more time in the space of ideas.

Chúng ta có nhiều thời gian hơn trong không gian ý tưởng.

55:00

Like already with cloud code, I can say, "Hey, you know what?

Giống như với cloud code, tôi có thể nói, 'Này, bạn biết không?

55:03

I'd really like to do is like run an experiment where you try this idea or that idea." It'll code up the idea.

Tôi thực sự muốn chạy một thí nghiệm nơi bạn thử ý tưởng này hay ý tưởng kia.' Nó sẽ viết mã cho ý tưởng đó.

55:08

You can check

Bạn có thể kiểm tra

55:09

the code if you want or not.

mã nếu bạn muốn hoặc không.

55:10

Vibe code it and it'll like say launch the experiment, do it 10 times.

Vibe code nó và nó sẽ như khởi chạy thí nghiệm, làm nó 10 lần.

55:14

You put on error bars.

Bạn đặt các thanh lỗi.

55:15

You can just sit back and talk to the system now and science happens.

Bạn chỉ cần ngồi lại và nói chuyện với hệ thống và khoa học xảy ra.

55:18

So every graduate student now is a lot more like a professor where you can have a bunch of different experiments going simultaneously.

Vì vậy, mọi nghiên cứu sinh bây giờ giống như một giáo sư hơn khi bạn có thể có nhiều thí nghiệm khác nhau diễn ra đồng thời.

55:24

you talk in a high level programming

Bạn nói bằng ngôn ngữ lập trình cấp cao

55:26

language which is like English things happen so you're more productive but you're kind of moving up the hierarchy if you will in terms of spending more time at on hypothesis generation evaluating data and thinking about the next like experiments to try or even the next research directions to try and I think we'll increasingly go up eventually you might be more like a

như tiếng Anh, mọi thứ xảy ra, vì vậy bạn năng suất hơn nhưng bạn đang di chuyển lên hệ thống phân cấp nếu bạn muốn, dành nhiều thời gian hơn cho việc tạo giả thuyết, đánh giá dữ liệu và suy nghĩ về các thí nghiệm tiếp theo hoặc thậm chí các hướng nghiên cứu tiếp theo, và tôi nghĩ chúng ta sẽ ngày càng đi lên, cuối cùng bạn có thể giống như một

55:45

program officer where you set a broad research agenda and then the system automatically pushes on it for a really long time and come backs and shows you a bunch of papers but what happens after that like after the system is good enough to do all of the levels and is automating all of science.

cán bộ chương trình nơi bạn đặt ra một chương trình nghiên cứu rộng và sau đó hệ thống tự động thúc đẩy nó trong một thời gian dài và quay lại cho bạn thấy một loạt bài báo, nhưng điều gì xảy ra sau đó, sau khi hệ thống đủ tốt để làm tất cả các cấp độ và tự động hóa toàn bộ khoa học.

55:58

I don't know.

Tôi không biết.

55:59

I mean, there's a reason they call it a singularity.

Ý tôi là, có lý do họ gọi nó là điểm kỳ dị.

56:01

It's hard to see through it.

Thật khó để nhìn xuyên qua nó.

56:03

My instincts are that one of the last jobs for humans in general is basically being a politician and being kind of like an overseer of these systems.

Bản năng của tôi là một trong những công việc cuối cùng cho con người nói chung là làm chính trị gia và giống như người giám sát các hệ thống này.

56:10

So, we set the high level goals.

Vì vậy, chúng ta đặt ra các mục tiêu cấp cao.

56:12

We ensure that the system is doing things that are aligned with benefiting humanity, aligned with our

Chúng ta đảm bảo hệ thống làm những việc phù hợp với lợi ích của nhân loại, phù hợp với

56:17

values, and we try to keep up as best we can to understand what's going on and what the advances are.

các giá trị của chúng ta, và chúng ta cố gắng theo kịp tốt nhất có thể để hiểu chuyện gì đang xảy ra và những tiến bộ là gì.

56:22

Um, it could be the case that eventually, um, being a I mean, being a scientist might be kind of like me being a rock climber.

Ừm, có thể cuối cùng, làm một nhà khoa học có thể giống như tôi là một người leo núi.

56:28

Like, Alex Hold exists.

Giống như, Alex Hold tồn tại.

56:29

He's way better than me, but I don't stop doing it because there somebody better than me, but I still enjoy doing it and I want to like pay

Anh ấy giỏi hơn tôi nhiều, nhưng tôi không ngừng làm điều đó vì có người giỏi hơn tôi, nhưng tôi vẫn thích làm điều đó và tôi muốn chú ý

56:37

attention and learn.

và học hỏi.

56:37

So, I kind of it becomes maybe more of a hobby than like the thing I have to do to earn my paycheck.

Vì vậy, nó trở thành một sở thích hơn là thứ tôi phải làm để kiếm tiền.

56:42

But I just want to flag that while this is true of science, it's true of every discipline.

Nhưng tôi chỉ muốn lưu ý rằng trong khi điều này đúng với khoa học, nó cũng đúng với mọi ngành.

56:46

Like every discipline I think could be radic will be radically changed by AI.

Giống như mọi ngành tôi nghĩ sẽ bị thay đổi triệt để bởi AI.

56:49

And you know, as I told the New York Times a couple years ago, like this time it

Và bạn biết đấy, như tôi đã nói với New York Times vài năm trước, lần này nó

56:54

might be very different if AI automates all the tasks.

có thể rất khác nếu AI tự động hóa tất cả các nhiệm vụ.

56:56

It doesn't just automate the boring ones, you know, it's all of them.

Nó không chỉ tự động hóa những nhiệm vụ nhàm chán, bạn biết đấy, mà là tất cả chúng.

57:00

And so we have to rethink society and maybe universal high income and things like that uh to share the benefits of this with as many people as possible.

Và vì vậy chúng ta phải suy nghĩ lại xã hội và có thể thu nhập cơ bản phổ quát và những thứ tương tự để chia sẻ lợi ích này với càng nhiều người càng tốt.

57:08

- Great.

- Tuyệt vời.

57:08

So it's actually past uh 2:30, but uh are you okay to take a few more questions?

Vậy thực ra đã quá 2:30, nhưng ông có sẵn lòng trả lời thêm vài câu hỏi nữa không?

57:14

- I certainly am, especially since we had all the technical hiccups for which I apologize again.

- Tôi chắc chắn có, đặc biệt là vì chúng ta đã có tất cả các trục trặc kỹ thuật mà tôi xin lỗi một lần nữa.

57:17

Yeah, I'm happy to stay as long as everyone wants to chat.

Vâng, tôi sẵn lòng ở lại miễn là mọi người muốn trò chuyện.

57:20

- Okay, so then we'll we'll continue.

- Được rồi, vậy chúng ta sẽ tiếp tục.

57:22

But yeah, obviously if anyone needs to go then feel free, but for those interested, let's stick around.

Nhưng vâng, rõ ràng nếu ai cần đi thì cứ tự nhiên, nhưng với những ai quan tâm, hãy ở lại.

57:28

So yeah, next question is by Caric Bascar.

Vâng, câu hỏi tiếp theo từ Caric Bascar.

57:31

The question is for Omni style task generation.

Câu hỏi là về tạo tác vụ kiểu Omni.

57:34

How robust is a foundation model judge of interestingness and how do you guard against reward hacking or judge hacking?

Mô hình nền tảng đánh giá tính thú vị mạnh mẽ đến đâu và làm thế nào để phòng chống gian lận phần thưởng hoặc gian lận người đánh giá?

57:43

- Yeah, great question.

- Vâng, câu hỏi hay.

57:44

So, um I think reward hacking is probably up there with safety and they're actually related, very related.

Vì vậy, tôi nghĩ gian lận phần thưởng có lẽ ngang hàng với an toàn và chúng thực sự liên quan, rất liên quan.

57:51

It's probably one of the grand challenges, if not the grand challenge of doing this vision that I put out like open-ended automation of science.

Nó có lẽ là một trong những thách thức lớn, nếu không muốn nói là thách thức lớn nhất để thực hiện tầm nhìn mà tôi đưa ra như tự động hóa khoa học mở.

58:01

Right now, the system can propose an interesting new challenge that's not really a bottleneck, but how

Hiện tại, hệ thống có thể đề xuất một thử thách mới thú vị không thực sự là nút thắt cổ chai, nhưng làm thế nào

58:08

does it automatically judge if it accomplished that challenge?

Nó có tự động đánh giá liệu nó đã hoàn thành thử thách đó chưa?

58:10

For example, one of the big challenges, one of the big problems we had in the AI scientist is it would come up with a relatively, you know, creative idea, good enough.

Ví dụ, một trong những thách thức lớn, một trong những vấn đề lớn mà chúng tôi gặp phải trong AI scientist là nó sẽ đưa ra một ý tưởng tương đối sáng tạo, đủ tốt.

58:19

Uh, it would do the idea and then it would like be really overconfident that it like confirmed the hypothesis and we'd look through and be

Ừm, nó sẽ thực hiện ý tưởng đó và sau đó nó sẽ tỏ ra quá tự tin rằng nó đã xác nhận giả thuyết và chúng tôi sẽ xem xét và

58:26

like, well, did you that kind of evidence like subtly doesn't supports you subtly, you know, doesn't really line up with the hypothesis or like you the experiment is not exactly right.

Kiểu như, liệu bạn có loại bằng chứng đó tinh tế không ủng hộ bạn, tinh tế không thực sự khớp với giả thuyết hay thí nghiệm không hoàn toàn chính xác.

58:35

So, that's kind of an example of like it had a peer reviewer.

Vì vậy, đó là một ví dụ về việc nó có một người đánh giá đồng nghiệp.

58:38

it made the reviewer happy, but he didn't really do the high quality work.

Nó làm cho người đánh giá hài lòng, nhưng nó không thực sự làm công việc chất lượng cao.

58:42

So, how do we prevent that?

Vậy làm thế nào để chúng ta ngăn chặn điều đó?

58:44

Um, I think, you know, the

Ừm, tôi nghĩ, bạn biết đấy,

58:46

simplest answer is kind of you basically just do massive amounts of human in the loop training.

Câu trả lời đơn giản nhất là về cơ bản bạn chỉ cần thực hiện một lượng lớn huấn luyện có sự tham gia của con người.

58:51

So, you create a judge, you have it look at the system, it tells you all of the places that thinks you did reward hacking, and then you look and you find, oh, there's all these false positives and false negatives.

Vì vậy, bạn tạo ra một người đánh giá, bạn để nó xem xét hệ thống, nó cho bạn biết tất cả những chỗ mà nó nghĩ bạn đã hack phần thưởng, và sau đó bạn xem xét và phát hiện, ồ, có tất cả những dương tính giả và âm tính giả này.

59:03

We will label those for you.

Chúng tôi sẽ gắn nhãn những cái đó cho bạn.

59:05

maybe using AI assistance or maybe just human review

Có thể sử dụng hỗ trợ AI hoặc chỉ là đánh giá của con người

59:08

and we add that to the data set of the the reward hack judge.

Và chúng tôi thêm điều đó vào tập dữ liệu của người đánh giá hack phần thưởng.

59:11

We retrain and update that model and you repeat the process.

Chúng tôi huấn luyện lại và cập nhật mô hình đó và bạn lặp lại quá trình.

59:15

It's kind of like reinforcement learning through human feedback but for specifically for reward hacking and you might hope that if you do that at ever larger scale the systems get better and better at detecting reward hacking.

Nó giống như học tăng cường thông qua phản hồi của con người nhưng dành riêng cho việc hack phần thưởng và bạn có thể hy vọng rằng nếu bạn làm điều đó ở quy mô ngày càng lớn, các hệ thống sẽ ngày càng tốt hơn trong việc phát hiện hack phần thưởng.

59:25

In the limit you would hope that it would

Trong giới hạn, bạn hy vọng rằng nó sẽ

59:28

just generally learn like to be a good reward hack judge and it wouldn't be fooled by all these new examples.

Nói chung học cách trở thành một người đánh giá hack phần thưởng tốt và nó sẽ không bị lừa bởi tất cả những ví dụ mới này.

59:34

However, you know, my colleagues and I had this paper, deep neural nets are easily fooled in like 2015.

Tuy nhiên, bạn biết đấy, các đồng nghiệp của tôi và tôi đã có bài báo này, mạng nơ-ron sâu dễ bị đánh lừa vào khoảng năm 2015.

59:39

Uh, and we still 10 years later, 11 years later, we still haven't solved the problem of hallucinations, adversarial examples, and fooling.

Ừm, và 10 năm sau, 11 năm sau, chúng ta vẫn chưa giải quyết được vấn đề ảo giác, các ví dụ đối nghịch và đánh lừa.

59:46

So, one of the grand challenges overall in AI is we don't know how to make these models kind of be have uncertainty out of distribution and

Vì vậy, một trong những thách thức lớn tổng thể trong AI là chúng ta không biết làm thế nào để các mô hình này có sự không chắc chắn ngoài phân phối và

59:55

to know what they don't know and to not be overconfident out of distribution.

Để biết những gì chúng không biết và không quá tự tin ngoài phân phối.

59:58

That's related to the idea of reward hacking.

Điều đó liên quan đến ý tưởng hack phần thưởng.

59:59

And so if somebody could solve that, then we would that would be a huge step forward.

Và vì vậy nếu ai đó có thể giải quyết được điều đó, thì đó sẽ là một bước tiến lớn.

1:00:03

For now, you can kind of like do what we do to get rid of hallucinations, which is just kind of like expand like play whack-a-ole and just whack down a lot of moles and hope that's like enough to cover the space and I think that'll kind of

Hiện tại, bạn có thể làm những gì chúng ta làm để loại bỏ ảo giác, đó là mở rộng như chơi trò đập chuột và chỉ cần đập xuống nhiều con chuột và hy vọng rằng điều đó đủ để bao phủ không gian và tôi nghĩ điều đó sẽ

1:00:15

work.

Hiệu quả.

1:00:15

So that's a long way of answering saying that's like one of the grand challenges and it's non-trivial and we need more research on that.

Đó là một cách dài để trả lời rằng đó là một trong những thách thức lớn và nó không hề tầm thường và chúng ta cần nhiều nghiên cứu hơn về điều đó.

1:00:22

In fact, if I was a PhD student, focusing on how to make really good automated reward hacking and like that research, that would be like a really attractive area for me to focus my research.

Thực tế, nếu tôi là một nghiên cứu sinh tiến sĩ, tập trung vào cách tạo ra công cụ phát hiện hack phần thưởng tự động thực sự tốt và nghiên cứu đó, đó sẽ là một lĩnh vực rất hấp dẫn để tôi tập trung nghiên cứu.

1:00:32

- All right, thanks for the advice.

- Được rồi, cảm ơn lời khuyên.

1:00:34

Um, okay, next question is by Schwa Mahajin.

Ừm, được rồi, câu hỏi tiếp theo là của Schwa Mahajin.

1:00:38

The question is, how do we account for millions of human brains behind what humans achieve over a 100,000 years and incorporate diversity and intelligence?

Câu hỏi là, làm thế nào để chúng ta tính đến hàng triệu bộ não con người đằng sau những gì con người đạt được trong 100.000 năm và kết hợp sự đa dạng và trí thông minh?

1:00:49

- Great question.

- Câu hỏi tuyệt vời.

1:00:49

Yeah.

Vâng.

1:00:50

So I think in this kind of I like to think about what we're trying to build as simulating although it's not really simulating it's like instantiating a community of scientists but in a data center right and so think of all the work that the human scientific community did in machine learning in the last 10 years.

Vì vậy, tôi nghĩ theo cách này, tôi thích nghĩ về những gì chúng ta đang cố gắng xây dựng như mô phỏng mặc dù nó không thực sự mô phỏng, nó giống như khởi tạo một cộng đồng các nhà khoa học nhưng trong một trung tâm dữ liệu, và hãy nghĩ về tất cả công việc mà cộng đồng khoa học con người đã làm trong học máy trong 10 năm qua.

1:01:07

If you could have AI agents and

Nếu bạn có thể có các tác nhân AI và

1:01:09

you could just run that could you produce that in a week and then could you do the next 10 years and the next week and then etc.

Bạn có thể chạy nó, liệu bạn có thể tạo ra điều đó trong một tuần và sau đó bạn có thể làm 10 năm tiếp theo trong tuần tiếp theo và v.v.

1:01:17

So if you want a community of AI scientists to be pushing on and innovating in lots of different directions, almost certainly you want diversity amongst those AI scientists.

Vì vậy, nếu bạn muốn một cộng đồng các nhà khoa học AI thúc đẩy và đổi mới theo nhiều hướng khác nhau, gần như chắc chắn bạn muốn sự đa dạng giữa các nhà khoa học AI đó.

1:01:26

Different AIs in that community should have different passions.

Các AI khác nhau trong cộng đồng đó nên có những đam mê khác nhau.

1:01:28

They should read different papers.

Họ nên đọc các bài báo khác nhau.

1:01:30

They should have different convictions and biases.

Họ nên có những niềm tin và thiên kiến khác nhau.

1:01:32

And we probably just like, you know, we have humans that some people really believe in, you know, uh, you know, spiking neural nets and that's all they want to work on.

Và chúng ta có lẽ giống như, bạn biết đấy, chúng ta có con người mà một số người thực sự tin vào, bạn biết đấy, mạng nơ-ron xung và đó là tất cả những gì họ muốn làm.

1:01:42

you know, so far, you know, like we haven't hasn't caused this

Bạn biết đấy, cho đến nay, bạn biết đấy, nó chưa gây ra

1:01:46

massive breakthrough, but I still love those people and I want them to keep doing their thing because eventually it might cause a breakthrough.

Đột phá lớn, nhưng tôi vẫn yêu những người đó và tôi muốn họ tiếp tục làm việc của họ bởi vì cuối cùng nó có thể gây ra một đột phá.

1:01:52

Same thing in AI.

Điều tương tự trong AI.

1:01:53

We want to create a complete diverse community of AI scientists that have all this all these different like backgrounds and views and passions and beliefs and they're pushing in different directions.

Chúng ta muốn tạo ra một cộng đồng đa dạng hoàn chỉnh các nhà khoa học AI có tất cả những nền tảng, quan điểm, đam mê và niềm tin khác nhau và họ đang thúc đẩy theo các hướng khác nhau.

1:02:01

That's going to work better

Điều đó sẽ hoạt động tốt hơn

1:02:03

than having one clone AI like copied a million times that's doing all of this work.

So với việc có một AI nhân bản được sao chép một triệu lần đang làm tất cả công việc này.

1:02:08

Now, what's the best way to pro promote that diversity?

Bây giờ, cách tốt nhất để thúc đẩy sự đa dạng đó là gì?

1:02:11

That is yet again another awesome research topic that somebody could focus on in a PhD or our next paper.

Đó lại là một chủ đề nghiên cứu tuyệt vời khác mà ai đó có thể tập trung vào trong một luận án tiến sĩ hoặc bài báo tiếp theo của chúng tôi.

1:02:17

It's like not very well explored at all and it's super exciting.

Nó chưa được khám phá nhiều và cực kỳ thú vị.

1:02:21

Okay, great.

Được rồi, tuyệt vời.

1:02:21

Uh the next question is by an anonymous attendee and the question is when AI is used to generate scientific discovery, who gets attributed to the discovery?

Câu hỏi tiếp theo từ một người tham dự ẩn danh: Khi AI được sử dụng để tạo ra khám phá khoa học, ai sẽ được ghi nhận cho khám phá đó?

1:02:33

If the discovery is peer-reviewed, uh how do you anticipate this process to defer?

Nếu khám phá được bình duyệt, bạn dự đoán quy trình này sẽ khác biệt như thế nào?

1:02:40

- Yeah.

- Vâng.

1:02:40

So I mean this is a societal question and a community question.

Ý tôi là đây là một câu hỏi xã hội và cộng đồng.

1:02:43

We have to decide how we want to handle this.

Chúng ta phải quyết định cách xử lý vấn đề này.

1:02:45

I can offer you my own take but I don't want to say that I'm like speaking for the community.

Tôi có thể đưa ra quan điểm riêng của mình nhưng tôi không muốn nói rằng tôi đại diện cho cộng đồng.

1:02:50

We have to collectively discuss this and figure out what we want to do.

Chúng ta cần thảo luận tập thể và tìm ra hướng đi.

1:02:53

I believe first and foremost I believe in transparency.

Trước hết, tôi tin vào sự minh bạch.

1:02:55

So everybody should be extremely

Vì vậy, mọi người nên cực kỳ

1:02:57

transparent with how they're using AI and how it did what it did.

minh bạch về cách họ sử dụng AI và cách AI thực hiện công việc.

1:03:00

For example, in the AI scientists, we let the IC clear or the overall conference organizers and the workshop know that we wanted to do this experiment.

Ví dụ, trong dự án AI scientists, chúng tôi đã thông báo cho ban tổ chức hội nghị và hội thảo rằng chúng tôi muốn thực hiện thí nghiệm này.

1:03:08

And we also informed the reviewers ahead of time, hey, there's a small chance you might get an AI generated manuscript.

Và chúng tôi cũng thông báo trước cho người đánh giá rằng có khả năng nhỏ họ sẽ nhận được bản thảo do AI tạo ra.

1:03:14

And then every manuscript produced by the AI scientist says on it that it was produced by the AI scientist.

Và mọi bản thảo do AI scientist tạo ra đều ghi rõ nó được tạo bởi AI scientist.

1:03:19

So, you know, air on the side of transparency is one answer.

Vì vậy, nghiêng về phía minh bạch là một câu trả lời.

1:03:22

But, you know, I think I think it probably is, you know, society is having this conversation not just with science but also for writing.

Nhưng tôi nghĩ xã hội đang có cuộc trò chuyện này không chỉ trong khoa học mà còn trong viết lách.

1:03:29

if I use AI to heavily help me write a book, you know, is it a Jeff Cloon book or is

Nếu tôi dùng AI để hỗ trợ viết sách, đó có phải là sách của Jeff Cloon hay

1:03:35

it a Jeff Cloon plus GPT 5.3 book, you know, uh we don't really know and some people are getting embarrassed a lot when it turns out that they're not disclosing.

sách của Jeff Cloon cộng với GPT 5.3? Chúng ta không thực sự biết, và một số người đang bị xấu hổ khi không tiết lộ.

1:03:43

So, um I guess I think that if currently like if I make something like with codeex like an app, I spend a lot of time iterating back and forth right now and giving a lot of feedback and eventually it makes something which

Tôi nghĩ hiện tại, nếu tôi tạo ra thứ gì đó như một ứng dụng với Codex, tôi dành nhiều thời gian lặp đi lặp lại và đưa ra nhiều phản hồi, cuối cùng nó tạo ra thứ gì đó

1:03:55

is kind of like a collaborative work.

giống như một tác phẩm hợp tác.

1:03:56

So if I was going to publish that and anybody I would say like I did this with codeex's help and I think I should get some credit and I want to be clear that Codex helped in the limit where basically the system is automatically just generating paper after paper after paper.

Vì vậy, nếu tôi công bố nó, tôi sẽ nói rằng tôi đã làm điều này với sự giúp đỡ của Codex và tôi nghĩ tôi nên nhận được một phần công lao, và tôi muốn nói rõ rằng Codex đã hỗ trợ. Trong trường hợp hệ thống tự động tạo ra hết bài báo này đến bài báo khác,

1:04:08

Probably what we should do is just have the system say hey this was

có lẽ chúng ta nên để hệ thống nói rằng đây là

1:04:12

made by Prometheus 3 which is the name of the scientific community and like you know this colle this group of people made Prometheus 3 but every work in there was completely independently done by Prometheus 3 without any human involvement.

được tạo bởi Prometheus 3, tên của cộng đồng khoa học, và nhóm người này đã tạo ra Prometheus 3, nhưng mọi công trình trong đó hoàn toàn do Prometheus 3 thực hiện độc lập mà không có sự tham gia của con người.

1:04:24

That's what I would prefer to see.

Đó là điều tôi muốn thấy.

1:04:26

And then maybe Google Scholar has to adapt and figure out how it's going to like give citations in that

Và có lẽ Google Scholar phải thích ứng và tìm cách trích dẫn trong trường hợp đó.

1:04:32

case.

Trường hợp.

1:04:32

I don't know what to do.

Tôi không biết phải làm gì.

1:04:35

- Great.

- Tuyệt vời.

1:04:36

Okay.

Được rồi.

1:04:36

Uh, next question is by Fut Wang.

Câu hỏi tiếp theo từ Fut Wang.

1:04:39

The question is, I am wondering if there's any epistemic boundary between hyper agent and ALMA in parentheses meta memory agent.

Câu hỏi: Tôi tự hỏi liệu có ranh giới nhận thức luận nào giữa hyper agent và ALMA (trong ngoặc là meta memory agent) không?

1:04:50

- Yeah, great question.

- Câu hỏi hay.

1:04:51

So, really there the difference is the evaluation setting.

Sự khác biệt thực sự nằm ở bối cảnh đánh giá.

1:04:54

Uh in Alma, we specifically changed eval from you're not just trying to do one task like fix some software engineering challenges, but you're going to face this stream of tasks and we're going to evaluate and after you see like 50 tasks, we're going to evaluate on the next 50 and that's so it got has the

Trong Alma, chúng tôi thay đổi đánh giá: bạn không chỉ làm một nhiệm vụ như sửa lỗi phần mềm, mà bạn sẽ đối mặt với một luồng nhiệm vụ, và sau khi xem 50 nhiệm vụ, chúng tôi đánh giá trên 50 nhiệm vụ tiếp theo, vì vậy nó có

1:05:13

opportunity to see 50 tasks, take a bunch of notes and then use that information in the new one.

cơ hội xem 50 nhiệm vụ, ghi chép và sử dụng thông tin đó cho nhiệm vụ mới.

1:05:17

And so that's really what changed.

Đó thực sự là điều đã thay đổi.

1:05:18

It's just kind of like it's a different setting.

Nó chỉ là một bối cảnh khác.

1:05:21

So it's a different kind of algorithm.

Vì vậy, đó là một loại thuật toán khác.

1:05:22

But yeah, and the limit is just kind of meta agents figuring out how to solve a problem.

Và giới hạn chỉ là các meta agent tìm cách giải quyết vấn đề.

1:05:26

And the here the problem changed.

Và ở đây vấn đề đã thay đổi.

1:05:28

- Okay, good.

- Được rồi, tốt.

1:05:29

Uh, a follow-up question now by Karthik Bascar and the question is, how do you rigorously evaluate progress in open-ended systems when the objective itself is changing and novelty is part of the goal?

Câu hỏi tiếp theo từ Karthik Bascar: Làm thế nào để đánh giá chặt chẽ sự tiến bộ trong các hệ thống mở khi bản thân mục tiêu thay đổi và tính mới là một phần của mục tiêu?

1:05:43

- Excellent.

- Xuất sắc.

1:05:43

I love this question.

Tôi thực sự thích câu hỏi này.

1:05:44

Honestly, most people when I try to sell them on open-ended algorithms, this is where most people get off the bus at least for like a couple of weeks or months and sometimes they get back on the bus and sometimes they never do.

Thành thật mà nói, khi tôi cố gắng thuyết phục mọi người về thuật toán mở, đây là lúc hầu hết mọi người rời bỏ, ít nhất là trong vài tuần hoặc vài tháng, và đôi khi họ quay lại, đôi khi không.

1:05:56

People really don't feel comfortable with not having an objective and a goal.

Mọi người thực sự không thoải mái khi không có mục tiêu.

1:06:00

What do you mean there's no goal?

Ý bạn là không có mục tiêu?

1:06:02

How do we evaluate progress?

Làm sao chúng ta đánh giá tiến bộ?

1:06:03

That's not science.

Đó không phải là khoa học.

1:06:04

All this stuff.

Tất cả những thứ này.

1:06:05

But like think about the community of AI science science.

Nhưng hãy nghĩ về cộng đồng khoa học AI.

1:06:08

Sorry, can think of the community of human scientists working on machine learning.

Xin lỗi, hãy nghĩ về cộng đồng các nhà khoa học con người làm việc về học máy.

1:06:12

Like what's the goal of our community?

Mục tiêu của cộng đồng chúng ta là gì?

1:06:14

How do we measure progress?

Làm thế nào để đo lường tiến bộ?

1:06:16

Well, we use our brain still snorts for another couple of weeks.

Chà, chúng ta vẫn dùng bộ não của mình [khịt mũi] trong vài tuần nữa.

1:06:20

We're the best judge of what counts as interesting and what counts as progress in the universe.

Chúng ta là người đánh giá tốt nhất về điều gì thú vị và điều gì là tiến bộ trong vũ trụ.

1:06:24

And we do things like we pick up a paper, we read it, we see if we like it, we see if other people found flaws in it that we didn't see.

Và chúng ta làm những việc như chọn một bài báo, đọc nó, xem chúng ta có thích nó không, xem người khác có tìm ra lỗi mà chúng ta không thấy không.

1:06:32

We see how the community reacted to it on social media or Twitter or whatever.

Chúng ta xem cộng đồng phản ứng thế nào trên mạng xã hội hoặc Twitter hay bất cứ đâu.

1:06:36

And we see if it got accepted via peer review.

Và chúng ta xem nó có được chấp nhận qua bình duyệt không.

1:06:38

And we kind of use some

Và chúng ta dùng một loại

1:06:40

complicated weighted function of all these inputs.

hàm trọng số phức tạp từ tất cả các đầu vào này.

1:06:41

So, we decide this paper is really good and worthwhile and this paper is not very good and worthwhile and we're going to have to do something very similar.

Vì vậy, chúng ta quyết định bài báo này thực sự tốt và đáng giá, còn bài kia không tốt lắm và chúng ta sẽ phải làm điều gì đó rất tương tự.

1:06:49

We're going to like watch the system innovate and it's we're going to have to say like does it seem like it's making interesting progress.

Chúng ta sẽ quan sát hệ thống đổi mới và chúng ta sẽ phải nói liệu nó có tạo ra tiến bộ thú vị không.

1:06:55

Now, some of it I want to be clear is not

Bây giờ, một số điều tôi muốn nói rõ là không

1:06:58

fully subjective.

hoàn toàn chủ quan.

1:06:58

Like if the system solves cancer, it's obviously not making stuff up and fooling itself.

Ví dụ, nếu hệ thống chữa khỏi ung thư, rõ ràng nó không bịa đặt và tự lừa dối.

1:07:02

Like, it literally solved cancer.

Nó thực sự chữa khỏi ung thư.

1:07:04

If the system can make a cheaper way for me to get to the moon or can make a space elevator like that is grounded in the in the reality and there is data and results that show that it works and that's kind of why science is different than

Nếu hệ thống có thể tạo ra cách rẻ hơn để tôi lên mặt trăng hoặc có thể tạo ra thang máy không gian, điều đó dựa trên thực tế và có dữ liệu cùng kết quả chứng minh nó hoạt động, và đó là lý do khoa học khác với

1:07:18

astrology right like we actually end up showing making progress making vaccines and getting to the moon and so obviously we're not just like inventing like you know tom foolery like we are showing that we can do amazing things in the physical world and so we'll see the system making a lot of innovative progress and sometimes we won't know if a thing immediately is very great but

chiêm tinh học, phải không? Bởi vì chúng ta thực sự chứng minh được tiến bộ, tạo ra vắc-xin và lên mặt trăng, vì vậy rõ ràng chúng ta không chỉ bịa đặt những trò hề, mà chúng ta cho thấy chúng ta có thể làm những điều tuyệt vời trong thế giới vật chất. Vì vậy, chúng ta sẽ thấy hệ thống tạo ra nhiều tiến bộ đổi mới, và đôi khi chúng ta sẽ không biết ngay một thứ có tuyệt vời không, nhưng

1:07:38

later on we'll be like oh that was actually use really helpful it like totally made sample efficiency go way up in AI or it helped us make a space elevator and then we'll know that it was real also we can independently verify right we can go like if it says this thing works and it cures cancer let's go test it - all right so this concludes our round of questions so uh thank you again Jeff big

sau này chúng ta sẽ nhận ra rằng nó thực sự hữu ích, nó làm tăng hiệu quả mẫu trong AI hoặc giúp chúng ta tạo ra thang máy không gian, và sau đó chúng ta biết nó là thật. Ngoài ra, chúng ta có thể xác minh độc lập, phải không? Chúng ta có thể kiểm tra: nếu nó nói thứ này hoạt động và chữa khỏi ung thư, hãy đi thử nghiệm. - Được rồi, vậy là kết thúc phần câu hỏi của chúng ta. Cảm ơn Jeff một lần nữa,

1:07:59

Round of applause and this was a really inspiring talk.

một tràng pháo tay thật lớn. Đây thực sự là một bài nói chuyện truyền cảm hứng.

1:08:02

So thank you everyone for joining as well, and thanks for everyone for attending.

Cảm ơn mọi người đã tham gia, và cảm ơn mọi người đã đến dự.

1:08:06

And Pascal, thank you for the wonderful hosting, and thanks to all the organizers behind the scenes that put this together.

Và Pascal, cảm ơn anh đã tổ chức tuyệt vời, và cảm ơn tất cả các nhà tổ chức hậu trường đã dàn dựng sự kiện này.

1:08:13

A lot of work goes into these things.

Rất nhiều công sức đã được bỏ ra cho những việc này.

1:08:15

So it's just awesome to share this work with the Vector community.

Thật tuyệt vời khi được chia sẻ công trình này với cộng đồng Vector.

1:08:19

Tôi

1:08:20

love being a part of Vector.

yêu thích việc là một phần của Vector.

1:08:21

So thanks for everyone for showing up and asking great questions.

Cảm ơn mọi người đã đến và đặt những câu hỏi tuyệt vời.

Transcript

Hiển thị

Introduction to Open-Ended and AI-Generating Algorithms

Jeff Clune introduces the concept that the AI scientific revolution will be driven by open-ended and AI-generating algorithms. He explains that trying too hard to solve a hard problem can lead to failure, while exploring and ignoring the objective can lead to success. Goal switching is essential: if progress is made on task B while working on task A, optimize for both. Innovation engines use an archive of discoveries, mutate or combine them, and add new ones if they are better or novel. Quality diversity algorithms like MAP-Elites aim to find many high-quality, diverse solutions.

Jeff Clune giới thiệu khái niệm rằng cuộc cách mạng khoa học AI sẽ được thúc đẩy bởi các thuật toán mở và tạo ra AI. Ông giải thích rằng cố gắng quá mức để giải quyết một vấn đề khó có thể dẫn đến thất bại, trong khi khám phá và bỏ qua mục tiêu có thể dẫn đến thành công. Chuyển đổi mục tiêu là cần thiết: nếu đạt được tiến bộ ở nhiệm vụ B trong khi làm nhiệm vụ A, hãy tối ưu hóa cho cả hai. Công cụ đổi mới sử dụng một kho lưu trữ các khám phá, đột biến hoặc kết hợp chúng, và thêm những khám phá mới nếu chúng tốt hơn hoặc mới lạ. Các thuật toán đa dạng chất lượng như MAP-Elites nhằm tìm ra nhiều giải pháp chất lượng cao, đa dạng.