0:00

18:58

Focus Dario Amodei (Google Brain)

Carnegie Mellon Software and Societal Systems Dept·18:58·Technology·B2

Chương · 6

Chương 1·Introduction to AI Safety

Hiển thị

Tiếng ViệtAuto-scroll

0:01

Um, so as, uh, as Bill mentioned, I'm a researcher on the, uh, Google Brain team, and I'm also an adviser to the, uh, Open Philanthropy Project, which, uh, which thinks about, uh, social impacts about, uh, AI.

Ừm, vậy, như Bill đã đề cập, tôi là một nhà nghiên cứu trong nhóm Google Brain, và tôi cũng là cố vấn cho Dự án Open Philanthropy, nơi suy nghĩ về tác động xã hội của AI.

0:13

So I, you know, I mostly in the past have worked on, uh, issues in, uh, you know, applying, uh, deep neural networks to speech and vision, but recently I've become very interested in the issue of

Vậy, bạn biết đấy, trước đây tôi chủ yếu làm việc về các vấn đề trong việc áp dụng mạng nơ-ron sâu cho giọng nói và thị giác, nhưng gần đây tôi rất quan tâm đến vấn đề

0:25

safety and reliability of AI systems.

An toàn và độ tin cậy của các hệ thống AI.

0:26

And so I got together with a bunch of collaborators, some from Google, some from Stanford, Berkeley, OpenAI, in the last few months, um, and we recently released this paper called "Concrete Problems in AI Safety," um, which tries to bring some kind of categorize and bring some precision to the, uh, to the, uh, to the, to the AI safety discussion, so that's

Và vì vậy tôi đã tập hợp với một nhóm cộng tác viên, một số từ Google, một số từ Stanford, Berkeley, OpenAI, trong vài tháng qua, và chúng tôi gần đây đã công bố bài báo có tên "Các vấn đề cụ thể trong an toàn AI", cố gắng phân loại và mang lại sự chính xác cho cuộc thảo luận về an toàn AI, vì vậy đó là

0:47

that's what I'm be talking about here.

Đó là những gì tôi sẽ nói ở đây.

0:49

Um, and so, you know, pretty much me and all, all the collaborators on this project ultimately got interested in this because of our experience working with deep neural networks, which we found over the last, um, few years to, you know, to have become, you know, very powerful and capable, but, you know, also they can be very opaque and can behave in very

Ừm, và vậy, bạn biết đấy, khá nhiều người trong tôi và tất cả các cộng tác viên trong dự án này cuối cùng đều quan tâm đến điều này vì kinh nghiệm làm việc với mạng nơ-ron sâu, mà chúng tôi thấy trong vài năm qua đã trở nên rất mạnh mẽ và có khả năng, nhưng cũng có thể rất mờ đục và có thể hành xử theo những cách rất

1:08

unpredictable ways.

Không thể đoán trước.

1:08

Um, and all of us kind of had the same thought that, you know, as these systems continue to become more powerful and be applied in more kind of safety-critical states that, you know, this is going to become an increasingly important area.

Ừm, và tất cả chúng tôi đều có cùng suy nghĩ rằng, khi các hệ thống này tiếp tục trở nên mạnh mẽ hơn và được áp dụng trong nhiều trạng thái quan trọng về an toàn hơn, thì đây sẽ trở thành một lĩnh vực ngày càng quan trọng.

1:20

So we kind of define in the paper the term "accidents" as what it is that we're, um, worried about, which I think is, you know,

Vì vậy chúng tôi định nghĩa trong bài báo thuật ngữ "tai nạn" là những gì chúng tôi lo lắng, mà tôi nghĩ là

1:27

the same as what everyone was talking about today: unintended and harm behavior in machine learning system.

Giống như những gì mọi người đã nói hôm nay: hành vi không mong muốn và gây hại trong hệ thống học máy.

1:31

Um, and you know, I and my co-authors, you know, kind of we mentioned in the paper that there are some trends that, you know, that, that we think are really going to raise the importance of accidents, and they've been mentioned by some previous speakers today, but first of all,

Ừm, và bạn biết đấy, tôi và các đồng tác giả của tôi đã đề cập trong bài báo rằng có một số xu hướng mà chúng tôi nghĩ sẽ thực sự làm tăng tầm quan trọng của tai nạn, và chúng đã được một số diễn giả trước đó đề cập hôm nay, nhưng trước hết,

1:45

reinforcement learning, which allows increasing intertwinement between the agent and its environment, all the progress on Atari and on Go, uh, complex agents and environments, which just increase the range of strategy the agents can have and the way the environments can be disrupted, increasing autonomy, which can take the humans out of, out of a loop, and end-to-end

Học tăng cường, cho phép tăng cường sự đan xen giữa tác nhân và môi trường của nó, tất cả tiến bộ trên Atari và Go, các tác nhân và môi trường phức tạp, chỉ làm tăng phạm vi chiến lược mà tác nhân có thể có và cách môi trường có thể bị gián đoạn, tăng quyền tự chủ, có thể đưa con người ra khỏi vòng lặp, và các hệ thống đầu-cuối

2:04

systems, which are often—maybe a system might be made up of many deep learning components that talk to each other, and it makes it more difficult for a human to understand what's going on and to intervene in the system in some way, in some way that's helpful.

Thường—có thể một hệ thống được tạo thành từ nhiều thành phần học sâu giao tiếp với nhau, và nó làm cho con người khó hiểu điều gì đang xảy ra và can thiệp vào hệ thống theo cách hữu ích hơn.

2:15

Um, so you know, we really, with these trends, we really wanted to take kind of a forward-looking approach to, you know, how to think about

Ừm, vậy bạn biết đấy, với những xu hướng này, chúng tôi thực sự muốn có cách tiếp cận hướng tới tương lai về cách suy nghĩ về

2:22

the safety of AI systems.

Sự an toàn của các hệ thống AI.

2:23

And you know, there has been some public discussion of forward-looking approaches, but I think a lot of it has focused somewhat unhelpfully on these kind of very extreme scenarios like AGI or superintelligence.

Và bạn biết đấy, đã có một số thảo luận công khai về các cách tiếp cận hướng tới tương lai, nhưng tôi nghĩ phần lớn tập trung một cách không hữu ích vào những kịch bản cực đoan như AGI hay siêu trí tuệ.

2:35

And so, um, we wanted to take an approach that was yes forward-looking but also concrete, empirical, could be worked on now, could relate to systems

Và vì vậy, chúng tôi muốn có cách tiếp cận vừa hướng tới tương lai vừa cụ thể, thực nghiệm, có thể được nghiên cứu ngay bây giờ, có thể liên quan đến các hệ thống

2:44

that, you know, that, uh, that we deal with today.

Mà chúng ta đang đối mặt ngày nay.

2:46

Um, so one of the, one of kind of the main things we do, we do in the paper is try and provide a categorization of the ways that accidents could happen.

Ừm, vậy một trong những điều chính chúng tôi làm trong bài báo là cố gắng cung cấp một phân loại về các cách tai nạn có thể xảy ra.

2:55

And actually, I think you could have many categorizations, but you know, we're, we're just kind of trying to provide one framework among many for thinking about things.

Và thực ra, tôi nghĩ bạn có thể có nhiều phân loại, nhưng chúng tôi chỉ cố gắng cung cấp một khuôn khổ trong nhiều khuôn khổ để suy nghĩ về mọi thứ.

3:03

Um, so what happens

Ừm, vậy điều gì xảy ra

3:05

when a machine learning system does, does something you didn't want it to do?

Khi một hệ thống học máy làm điều bạn không muốn nó làm?

3:08

Um, one way to describe it is that the designer had in mind a certain informal notion of the object, objective, or task that it was supposed to accomplish, um, and the actual system failed at this catastrophically.

Ừm, một cách để mô tả là nhà thiết kế đã có trong đầu một khái niệm không chính thức về mục tiêu hoặc nhiệm vụ mà nó được cho là phải hoàn thành, và hệ thống thực tế đã thất bại thảm hại.

3:18

So throughout the paper we use the example of like a cleaning robot whose task is to clean a room.

Vì vậy trong suốt bài báo chúng tôi sử dụng ví dụ về một robot dọn dẹp có nhiệm vụ dọn dẹp một căn phòng.

3:23

Vậy

3:24

you know, my informal objective is it should clean the room in a way that when I look at the room at the end, I should, you know, I should be happy with what it's done.

Bạn biết đấy, mục tiêu không chính thức của tôi là nó nên dọn dẹp căn phòng theo cách mà khi tôi nhìn vào căn phòng cuối cùng, tôi sẽ hài lòng với những gì nó đã làm.

3:31

Um, and if the robot, you know, like damages property or injures someone or something like that, then, you know, that was not what I had in mind in my, in my informal objective.

Ừm, và nếu robot làm hỏng tài sản hoặc gây thương tích cho ai đó hoặc điều gì đó tương tự, thì đó không phải là điều tôi có trong đầu trong mục tiêu không chính thức của mình.

3:38

So we can kind of classify where did, where did

Vì vậy chúng ta có thể phân loại nơi mà

3:41

things go wrong.

Mọi thứ đã sai.

3:41

So it could be that you wrote down, uh, the incorrect objective function.

Vậy có thể là bạn đã viết ra hàm mục tiêu không chính xác.

3:45

So you had an informal objective function in your mind, you turned that into a formal objective function, and no matter, no matter how perfect or omniscient your system was at learning and inferring things, it's just the wrong objective function, and it will always do the wrong thing.

Vậy bạn có một hàm mục tiêu không chính thức trong đầu, bạn biến nó thành hàm mục tiêu chính thức, và dù hệ thống của bạn có hoàn hảo hay toàn tri đến đâu trong việc học và suy luận, thì nó vẫn là hàm mục tiêu sai, và nó sẽ luôn làm điều sai.

4:00

Um, a second

Ừm, trường hợp thứ hai

4:01

case is where the ex—the objective function is expensive.

Là khi hàm mục tiêu tốn kém.

4:03

We might know the true objective function, for instance, we could always consult humans and like ask them to do a detailed evaluation of whether every single action taken by the agent is a correct one, but you know, it's not practical to do that, and so we end up using the objective function only, you know, only occasionally,

Chúng ta có thể biết hàm mục tiêu thực sự, ví dụ, chúng ta luôn có thể tham khảo ý kiến con người và yêu cầu họ đánh giá chi tiết liệu mọi hành động của tác nhân có đúng không, nhưng điều đó không thực tế, và vì vậy cuối cùng chúng ta chỉ sử dụng hàm mục tiêu không thường xuyên,

4:23

and you know, as a result, we can end up doing the wrong thing.

Và kết quả là, chúng ta có thể làm điều sai.

4:26

And the third class is you have the right objective function but something goes wrong during the learning inference process.

Và loại thứ ba là bạn có hàm mục tiêu đúng nhưng có gì đó sai trong quá trình học suy luận.

4:30

Um, there's kind of a fourth category which I don't talk about but which I think is, is very important.

Ừm, có một loại thứ tư mà tôi không nói đến nhưng tôi nghĩ rất quan trọng.

4:35

It's just kind of different topic from what I'm talking about, which is non-ML problems

Đó chỉ là chủ đề khác với những gì tôi đang nói, đó là các vấn đề không liên quan đến ML

4:39

that can arise as part of larger ML or AI systems: software implementations, verification issues, security issues, that, that sort of stuff.

Có thể phát sinh như một phần của các hệ thống ML hoặc AI lớn hơn: triển khai phần mềm, vấn đề xác minh, vấn đề bảo mật, v.v.

4:45

Um, so I'm kind of going to go through the, the three types, and because this is a very brief talk, I'll probably go through my slides pretty quickly, but just want to give a flavor of, uh, of what it is that we're talking about out.

Ừm, vậy tôi sẽ đi qua ba loại, và vì đây là một bài nói rất ngắn, tôi có thể sẽ đi qua các slide khá nhanh, nhưng chỉ muốn cho bạn cảm nhận về những gì chúng tôi đang nói.

5:00

Um, most of this is

Ừm, hầu hết điều này được

5:02

posed mostly but not completely in terms of reinforcement learning agents because we see that as kind of a good paradigm, but you know, a lot of this stuff we imagine might apply more broadly.

Đặt ra chủ yếu nhưng không hoàn toàn dưới dạng các tác nhân học tăng cường vì chúng tôi thấy đó là một mô hình tốt, nhưng nhiều thứ trong số này chúng tôi tưởng tượng có thể áp dụng rộng rãi hơn.

5:13

Um, so, uh, under the heading of wrong objective functions, um, we're, we think about kind of two ways, two broad ways that you can like easily get the wrong objective function when you meant

Ừm, vậy dưới tiêu đề hàm mục tiêu sai, chúng tôi nghĩ về hai cách, hai cách rộng lớn mà bạn có thể dễ dàng có hàm mục tiêu sai khi bạn định

5:24

to write down the right objective function.

Viết ra hàm mục tiêu đúng.

5:25

Um, one of those ways is what we call side effects, um, which is that systems that narrowly focus on one aspect of an environment that could be very large in the real world may end up disrupting other parts of the environment by default.

Ừm, một trong những cách đó là cái chúng tôi gọi là tác dụng phụ, đó là các hệ thống tập trung hẹp vào một khía cạnh của môi trường có thể rất lớn trong thế giới thực có thể vô tình phá vỡ các phần khác của môi trường.

5:37

Um, and so, you know, I'll exp—I'll explain a bit, a bit that, that a bit more later, but we

Ừm, và vì vậy, tôi sẽ giải thích thêm một chút về điều đó sau, nhưng chúng tôi

5:43

kind of have this running example of the cleaning robot, and the idea is that we incentivize the clean robot to move a box, and if there's a vas—vase in its path and we haven't thought carefully about the vase, it'll just knock over the vase while it's moving the box, and we probably didn't want that.

Có ví dụ này về robot dọn dẹp, và ý tưởng là chúng tôi khuyến khích robot dọn dẹp di chuyển một cái hộp, và nếu có một cái bình trên đường đi của nó và chúng tôi chưa suy nghĩ kỹ về cái bình, nó sẽ làm đổ cái bình khi di chuyển hộp, và chúng tôi có lẽ không muốn điều đó.

5:56

Uh, reward hacking has been mentioned in some of the previous talks.

Ừ, hack phần thưởng đã được đề cập trong một số bài nói trước đó.

5:59

Uh, this occurs when

Ừ, điều này xảy ra khi

6:00

an objective function can be gained where there's a cheap way to achieve the formal objective function without achieving the ultimate intent of the informal objective function.

Một hàm mục tiêu có thể bị đạt được khi có cách rẻ để đạt được hàm mục tiêu chính thức mà không đạt được ý định cuối cùng của hàm mục tiêu không chính thức.

6:08

So example is if we choose to reward our cleaning robot for not seeing dirt, it might close its eyes instead of cleaning, because it just sees no evil, hears no evil, there's no dirt.

Ví dụ, nếu chúng ta chọn thưởng cho robot dọn dẹp vì không nhìn thấy bụi bẩn, nó có thể nhắm mắt lại thay vì dọn dẹp, vì nó chỉ không thấy điều xấu, không nghe điều xấu, không có bụi bẩn.

6:19

Um, so, uh, little bit more on, on side

Ừm, vậy, uh, thêm một chút về, về tác

6:22

effects.

Dụng phụ.

6:22

To think a little bit more formally about it, you know, we might have an environment where we're trying to do something like, you know, incentivize this to move the box, so we might naively write down an objective function that maximizes something that refers to only this variable in the environment.

Để suy nghĩ một cách hình thức hơn một chút về điều đó, bạn biết đấy, chúng ta có thể có một môi trường nơi chúng ta đang cố gắng làm điều gì đó như, bạn biết đấy, khuyến khích điều này di chuyển cái hộp, vì vậy chúng ta có thể ngây thơ viết ra một hàm mục tiêu tối đa hóa một cái gì đó chỉ đề cập đến biến này trong môi trường.

6:35

Um, and when we do that, we're implicitly saying that we don't care about this other

Ừm, và khi chúng ta làm điều đó, chúng ta đang ngầm nói rằng chúng ta không quan tâm đến cái khác này

6:40

variable in the environment, namely, namely the vase.

Biến trong môi trường, cụ thể là, cụ thể là cái bình.

6:42

Um, what we really wanted was some complex objective function, which I'm calling "FA-aware," which says like move the box while respecting some like common-sense constraints about like the other parts of the environment that are like really hard for me to write down.

Ừm, điều chúng ta thực sự muốn là một hàm mục tiêu phức tạp nào đó, mà tôi gọi là "nhận thức FA," nói rằng hãy di chuyển cái hộp trong khi tôn trọng một số ràng buộc thông thường về các phần khác của môi trường mà thực sự khó để tôi viết ra.

6:55

Um, and you know, in this particular case, well, I can just take into

Ừm, và bạn biết đấy, trong trường hợp cụ thể này, tôi chỉ có thể tính đến

7:00

account the vase, but you know, what if there are 10,000 of these variables?

Cái bình, nhưng bạn biết đấy, nếu có 10.000 biến như thế này thì sao?

7:04

And in particular, what if the variables I don't care about have more commonality across goals and agents than the variables that I do care about?

Và đặc biệt, nếu những biến tôi không quan tâm có nhiều điểm chung hơn giữa các mục tiêu và tác nhân so với những biến tôi quan tâm thì sao?

7:11

That suggests that maybe I can take a kind of, uh, integrated approach to this.

Điều đó gợi ý rằng có lẽ tôi có thể áp dụng một cách tiếp cận tích hợp cho việc này.

7:15

Um, so here are just quickly a few of the ideas.

Ừm, vậy đây chỉ là một vài ý tưởng một cách nhanh chóng.

7:18

One is what we call learning a side

Một là cái chúng ta gọi là học một bộ điều chỉnh

7:21

effect regularizer.

Tác dụng phụ.

7:21

We can think of this as maybe a transfer learning, uh, problem where, um, you know, I learn in one environment and one thing I learn is how to accomplish the goal and the other thing I learn is how not to disrupt the environment, and maybe the information about how not to disrupt the environment is more trans—transferable, could be a separate, you know, neural net or

Chúng ta có thể nghĩ về điều này như một vấn đề học chuyển giao, ừm, bạn biết đấy, tôi học trong một môi trường và một điều tôi học là cách đạt được mục tiêu và điều khác tôi học là cách không phá vỡ môi trường, và có lẽ thông tin về cách không phá vỡ môi trường có thể chuyển giao nhiều hơn, có thể là một mạng nơ-ron riêng biệt hoặc

7:40

something else module that can be applied to other environments without much or any change, even when I have to entirely relearn the goal, just, just as we do for like in model-based reinforcement learning when we, when we, when we, uh, repurpose the state transition model but maybe not the, uh, the value function.

Mô-đun khác có thể được áp dụng cho các môi trường khác mà không cần thay đổi nhiều hoặc bất kỳ thay đổi nào, ngay cả khi tôi phải học lại hoàn toàn mục tiêu, giống như chúng ta làm trong học tăng cường dựa trên mô hình khi chúng ta, khi chúng ta, khi chúng ta tái sử dụng mô hình chuyển trạng thái nhưng có thể không phải là hàm giá trị.

7:59

Um, there are information-theoretic measures, um, a little bit, a little bit obscure, but

Ừm, có những thước đo lý thuyết thông tin, ừm, hơi, hơi mơ hồ, nhưng

8:04

starting to be, to be used more in RL, uh, that measure kind of intrinsic measures of reward, and we've wondered whether those measures like empowerment, which, which measure the agent's abil—uh, the agent's theoretical ability to control, to, uh, to change its environment, could be relevant here.

Bắt đầu được sử dụng nhiều hơn trong RL, uh, đo lường các thước đo nội tại của phần thưởng, và chúng tôi tự hỏi liệu những thước đo như trao quyền, đo lường khả năng lý thuyết của tác nhân để kiểm soát, để thay đổi môi trường của nó, có thể liên quan ở đây không.

8:17

Um, we could take a kind of Bayesian approach where we think of the reward function as something that

Ừm, chúng ta có thể áp dụng một cách tiếp cận Bayes nơi chúng ta nghĩ về hàm phần thưởng như một cái gì đó

8:23

has uncertainty in it and we attempt to learn it.

Có sự không chắc chắn trong đó và chúng ta cố gắng học nó.

8:25

Um, we could use Bayesian methods and then kind of this thing about side effects might be something that relates to the prior.

Ừm, chúng ta có thể sử dụng các phương pháp Bayes và sau đó điều này về tác dụng phụ có thể là một cái gì đó liên quan đến tiên nghiệm.

8:32

Um, another thing is multi-agent approaches, uh, which I think there's been a fair amount of literature on, it has been, has been discussed here, uh, cooperative re—inverse reinforcement learning was mentioned once where an

Ừm, một điều khác là các cách tiếp cận đa tác nhân, uh, mà tôi nghĩ đã có khá nhiều tài liệu về nó, nó đã được thảo luận ở đây, uh, học tăng cường nghịch đảo hợp tác đã được đề cập một lần nơi một

8:43

an agent and a human work together to optimize the human's values, uh, mechanism design approaches where instead of thinking of side effects we think of other agents that care about the environment and committing negative externalities against them.

Một tác nhân và một con người làm việc cùng nhau để tối ưu hóa giá trị của con người, uh, các cách tiếp cận thiết kế cơ chế nơi thay vì nghĩ về tác dụng phụ chúng ta nghĩ về các tác nhân khác quan tâm đến môi trường và cam kết các ngoại ứng tiêu cực chống lại họ.

8:55

Um, uh, so, uh, reward hacking, here are, here are a few things for, uh, for reward hacking, just a few ways that you can kind of get

Ừm, uh, vậy, uh, hack phần thưởng, đây là, đây là một vài điều cho, uh, cho hack phần thưởng, chỉ là một vài cách mà bạn có thể nhận được

9:05

the wrong objective function or an objective function that's gameable.

Hàm mục tiêu sai hoặc một hàm mục tiêu có thể bị lợi dụng.

9:07

Um, there's something called Goodhart's law, um, which I just found out when I was reading about this, which says when a metric becomes a target, it ceases to become a good metric.

Ừm, có một cái gọi là định luật Goodhart, ừm, mà tôi vừa mới biết khi đọc về điều này, nói rằng khi một thước đo trở thành mục tiêu, nó không còn là một thước đo tốt nữa.

9:16

Um, so for example, in the example of our cleaning robot, if you notice that we could, you know, that how good a job it's doing of cleaning is

Ừm, ví dụ, trong ví dụ về robot dọn dẹp của chúng ta, nếu bạn nhận thấy rằng chúng ta có thể, bạn biết đấy, rằng công việc dọn dẹp của nó tốt đến mức nào

9:24

proportional to how much detergent it uses, and this correlation holds almost perfectly, you could imagine oring it that way, and then the agent may respond by dumping out all of its detergent and not cleaning anything.

Tỷ lệ thuận với lượng chất tẩy rửa nó sử dụng, và mối tương quan này gần như hoàn hảo, bạn có thể tưởng tượng viết nó theo cách đó, và sau đó tác nhân có thể phản ứng bằng cách đổ hết chất tẩy rửa và không dọn dẹp gì cả.

9:34

Um, and this only happens when you optimize on that goal.

Ừm, và điều này chỉ xảy ra khi bạn tối ưu hóa dựa trên mục tiêu đó.

9:37

Um, partial observation is a big one.

Ừm, quan sát một phần là một vấn đề lớn.

9:39

Um, goals and rewards in the real world aren't experienced directly, which

Ừm, mục tiêu và phần thưởng trong thế giới thực không được trải nghiệm trực tiếp, điều mà

9:43

they're assumed to be experienced directly in kind of the formalism of reinforcement learning, and so there's all kinds of aliasing things that can happen.

Chúng được cho là được trải nghiệm trực tiếp trong hình thức của học tăng cường, và vì vậy có đủ loại hiện tượng giả danh có thể xảy ra.

9:50

Again, example of the robot closing its eyes so that it doesn't see any dirt, and if its reward function isn't constructed carefully, then it will think that its job is done.

Một lần nữa, ví dụ về robot nhắm mắt để không nhìn thấy bụi bẩn, và nếu hàm phần thưởng của nó không được xây dựng cẩn thận, thì nó sẽ nghĩ rằng công việc của mình đã xong.

9:59

Um, wireheading has been discussed by

Ừm, wireheading đã được thảo luận bởi

10:01

Stuart Russell and, uh, and some people in the ISIA group, um, where a reward signal is implemented in the environment and so you can physically tamper with it and replace its own reward function, so there's this kind of like self-modification aspect to it.

Stuart Russell và, uh, và một số người trong nhóm ISIA, ừm, nơi một tín hiệu phần thưởng được triển khai trong môi trường và vì vậy bạn có thể can thiệp vật lý vào nó và thay thế hàm phần thưởng của chính nó, vì vậy có khía cạnh tự sửa đổi này.

10:14

Feedback loops where there's a piece of the reward function that can amplify itself and drown out all other pieces of the reward

Vòng phản hồi nơi có một phần của hàm phần thưởng có thể tự khuếch đại và lấn át tất cả các phần khác của phần thưởng

10:21

function.

Hàm.

10:21

So, uh, Leon BAU gives an example of font size and ad placement, um, where, uh, ads that are more successfully display in larger fonts because you think people want to see them more.

Vậy, uh, Leon BAU đưa ra một ví dụ về kích thước phông chữ và vị trí quảng cáo, ừm, nơi, uh, quảng cáo được hiển thị thành công hơn với phông chữ lớn hơn vì bạn nghĩ mọi người muốn nhìn thấy chúng nhiều hơn.

10:31

Um, but this is a, this is a self-fulfilling feedback loop, and so you have these giant ads that may not have been popular at all.

Ừm, nhưng đây là một, đây là một vòng phản hồi tự thực hiện, và vì vậy bạn có những quảng cáo khổng lồ có thể không hề phổ biến chút nào.

10:39

Um, and simply complicated systems, um, any system that's complicated,

Ừm, và các hệ thống phức tạp đơn giản, ừm, bất kỳ hệ thống nào phức tạp,

10:42

just like with software, it's increasingly likely to break under optimization pressure.

Giống như với phần mềm, nó ngày càng có khả năng bị phá vỡ dưới áp lực tối ưu hóa.

10:45

Um, some—someone showed that with tool-assisted speedruns, you can, uh, execute arbitrary code by just pressing the control buttons in, uh, in Super Mario.

Ừm, ai đó đã chỉ ra rằng với các speedrun được hỗ trợ bởi công cụ, bạn có thể, uh, thực thi mã tùy ý chỉ bằng cách nhấn các nút điều khiển trong, uh, trong Super Mario.

10:52

Um, I don't think an RL agent has ever done that, but you know, the environment is such that they could.

Ừm, tôi không nghĩ một tác nhân RL đã từng làm điều đó, nhưng bạn biết đấy, môi trường đến mức chúng có thể làm được.

10:58

Um, so some approaches to it, something that's been mentioned a

Ừm, vậy một số cách tiếp cận cho nó, một cái gì đó đã được đề cập

11:02

lot by Eric and a couple other people, um, we shouldn't underestimate just verification, model, uh, a monitoring isolation unit testing of parts.

Rất nhiều bởi Eric và một vài người khác, ừm, chúng ta không nên đánh giá thấp chỉ việc xác minh, mô hình, uh, một đơn vị giám sát cách ly kiểm thử các bộ phận.

11:10

Um, uh, there's this idea of adversarial reward functions where maybe the reason this hacking is happening is that the objective function is this kind of static thing whereas the agent is this active thing that's trying to like, um,

Ừm, uh, có ý tưởng về các hàm phần thưởng đối kháng nơi có lẽ lý do việc hack này xảy ra là vì hàm mục tiêu là một thứ tĩnh trong khi tác nhân là một thứ chủ động đang cố gắng, ừm,

11:24

you know, just trying to outsmart the reward function in some sense.

Bạn biết đấy, chỉ cố gắng vượt qua hàm phần thưởng theo một nghĩa nào đó.

11:27

So is there some way—we didn't get super speciic—specific about this—that you could use generative [adversarial networks] or other unsupervised techniques to try and make the, the objective function, whatever it is, more, more resistant.

Vậy có cách nào không—chúng tôi không đi vào chi tiết cụ thể về điều này—rằng bạn có thể sử dụng mạng đối kháng sinh tạo hoặc các kỹ thuật không giám sát khác để cố gắng làm cho hàm mục tiêu, dù nó là gì, trở nên kháng cự hơn.

11:39

Um, making your reward dependent on your model of the environment instead of something that's

Ừm, làm cho phần thưởng của bạn phụ thuộc vào mô hình môi trường của bạn thay vì một cái gì đó

11:44

given to you is something that can help deal with, uh, partial observation and isolating yourself algorithmically from parts of the environment that relate to the, to the reward.

Được đưa cho bạn là một cái gì đó có thể giúp đối phó với, uh, quan sát một phần và cách ly bản thân về mặt thuật toán khỏi các phần của môi trường liên quan đến, đến phần thưởng.

11:53

Um, okay, uh, expensive objective functions.

Ừm, được rồi, ờ, các hàm mục tiêu đắt đỏ.

11:55

Um, so here we only have one problem and it's basically the problem that I described: how do we ensure safe behavior when the true objective function is too

Ừm, vậy ở đây chúng ta chỉ có một vấn đề và về cơ bản nó là vấn đề mà tôi đã mô tả: làm thế nào để đảm bảo hành vi an toàn khi hàm mục tiêu thực sự quá

12:05

expensive to evaluate frequently?

Đắt đỏ để đánh giá thường xuyên?

12:06

So human could tell you what the right thing to do is, but you defeat the purpose of automation if you always have to ask a human.

Vậy con người có thể nói cho bạn biết điều đúng đắn cần làm là gì, nhưng bạn sẽ phá hỏng mục đích của tự động hóa nếu lúc nào cũng phải hỏi con người.

12:12

So an example is a clean robot might often find, uh, human possessions, it can't ask every time it finds something whether it belongs to a human.

Vậy một ví dụ là một robot dọn dẹp thường có thể tìm thấy, ừm, đồ đạc của con người, nó không thể hỏi mỗi lần nó tìm thấy thứ gì đó liệu nó có thuộc về con người không.

12:19

Um, it might end up throwing out the wrong one, so it has, it has to learn

Ừm, nó có thể sẽ ném nhầm thứ, nên nó phải, nó phải học

12:23

when to ask and when it's, when you know, when it should know based on what it's, uh, what it's asking.

Khi nào nên hỏi và khi nào nó, khi nào bạn biết, khi nào nó nên biết dựa trên những gì nó, ờ, những gì nó đang hỏi.

12:28

So I won't go into this in too much detail, um, but one kind of toy system we start—we've started playing with and actually have started doing, uh, experiments with is this setup of a semi-supervised or active RL, um, which is the idea that, you know, there's, there's a reward, it's just

Nên tôi sẽ không đi sâu vào chi tiết này quá nhiều, ừm, nhưng một loại hệ thống đồ chơi mà chúng tôi bắt đầu—chúng tôi đã bắt đầu thử nghiệm và thực sự đã bắt đầu làm, ờ, các thí nghiệm với nó là thiết lập này của RL bán giám sát hoặc chủ động, ừm, tức là ý tưởng rằng, bạn biết đấy, có, có một phần thưởng, nó chỉ

12:43

like RL except there's a, there's a reward in the environment which we can think of as, you know, maybe coming from, from human supervision, where the agent actually has to actively request the true objective and can only do so every once in a while.

Giống như RL ngoại trừ việc có một, có một phần thưởng trong môi trường mà chúng ta có thể nghĩ là, bạn biết đấy, có thể đến từ, từ sự giám sát của con người, nơi tác nhân thực sự phải chủ động yêu cầu mục tiêu thực sự và chỉ có thể làm như vậy thỉnh thoảng.

12:56

Um, and so can it do the best it can to kind of like, to, you know, learn to do the right thing based on that very limited information?

Ừm, và vậy liệu nó có thể làm tốt nhất có thể để kiểu như, để, bạn biết đấy, học cách làm điều đúng đắn dựa trên thông tin rất hạn chế đó không?

13:04

And so

Và vậy

13:05

one other thing we could, we could study, and I'm skipping over a lot of stuff, is, you know, will the agent over time, as it requests the true objective, begin to learn learnable proxies?

Một điều khác mà chúng ta có thể, chúng ta có thể nghiên cứu, và tôi đang bỏ qua rất nhiều thứ, là, bạn biết đấy, liệu tác nhân theo thời gian, khi nó yêu cầu mục tiêu thực sự, có bắt đầu học được các proxy có thể học được không?

13:14

Say instead of a human giving a detailed evaluation, it gives the human a button that it can say yes or no to something and get a much quicker evaluation.

Giả sử thay vì con người đưa ra đánh giá chi tiết, nó đưa cho con người một nút mà họ có thể nói có hoặc không với điều gì đó và nhận được đánh giá nhanh hơn nhiều.

13:23

So will the agent learn to develop

Vậy liệu tác nhân có học được cách phát triển

13:25

learnable proxies that are reliable and that are ultimately tethered to the, to the true objective?

Các proxy có thể học được, đáng tin cậy và cuối cùng được gắn với, với mục tiêu thực sự không?

13:30

So all these kind of variations on reinforcement learning where the supervision is weakened in some way or altered in some way seem like they have, uh, seem like they have a fair amount of, uh, promise.

Vậy tất cả những biến thể này của học tăng cường nơi sự giám sát bị làm yếu đi theo một cách nào đó hoặc bị thay đổi theo một cách nào đó có vẻ như có, ờ, có vẻ như có khá nhiều, ờ, hứa hẹn.

13:42

Um, correct, correct objective function problem in learning.

Ừm, đúng, đúng vấn đề hàm mục tiêu trong học tập.

13:45

Um, okay, um, this is a case where

Ừm, được rồi, ừm, đây là trường hợp mà

13:48

um, uh, you know, the agent, if it kind of had infinite time and correct beliefs, would do the right thing, but something goes wrong in the meantime.

Ừm, ờ, bạn biết đấy, tác nhân, nếu nó có thời gian vô hạn và niềm tin đúng đắn, sẽ làm điều đúng đắn, nhưng có gì đó sai sót trong lúc đó.

13:56

Um, so safe exploration is how do we avoid catastrophic exploratory moves?

Ừm, vậy khám phá an toàn là làm thế nào để tránh các bước khám phá thảm khốc?

14:00

Um, a robot—we want a robot to experiment with cleaning strategies, we don't want it to stick it a wet mop in electrical socket, we don't want helicopters to crash as

Ừm, một robot—chúng ta muốn một robot thử nghiệm các chiến lược dọn dẹp, chúng ta không muốn nó nhúng cây lau ướt vào ổ điện, chúng ta không muốn trực thăng rơi như

14:10

one of the previous speakers discussed.

Một trong những diễn giả trước đã thảo luận.

14:11

Um, distributional shift, which I think has also been discussed, uh, previously, how do we detect and respond gracefully to differences between the train and test distribution?

Ừm, dịch chuyển phân phối, điều mà tôi nghĩ cũng đã được thảo luận, ờ, trước đó, làm thế nào để phát hiện và phản hồi một cách duyên dáng với sự khác biệt giữa phân phối huấn luyện và kiểm tra?

14:19

Uh, oh yeah, sorry, that example is wrong.

Ờ, ồ vâng, xin lỗi, ví dụ đó sai rồi.

14:21

The example I meant to give is like the robots trained on factory floor, it like uses a bunch of harsh chemical and like then it works in

Ví dụ tôi định đưa ra là kiểu robot được huấn luyện trên sàn nhà máy, nó sử dụng một loạt hóa chất mạnh và kiểu rồi nó làm việc trong

14:30

the office and that, that doesn't make sense.

Văn phòng và điều đó, điều đó không hợp lý.

14:32

So generally these have gotten a lot of attention, and so those, those sections of our paper are more kind of reviews but also with pointers to how this can be applied to kind of emerging, uh, emerging deep learning applications.

Nên nhìn chung những điều này đã nhận được nhiều sự chú ý, và vậy những, những phần đó trong bài báo của chúng tôi thiên về các đánh giá tổng quan nhưng cũng có các chỉ dẫn về cách điều này có thể được áp dụng cho các ứng dụng học sâu mới nổi, ờ, mới nổi.

14:43

Um, so go—just going a little bit, a little bit quickly through it, there's substantial prior work in

Ừm, vậy đi—chỉ đi một chút, một chút nhanh qua nó, có nhiều công trình trước đây đáng kể trong

14:48

this area.

Lĩnh vực này.

14:48

I think there's a lot on adapting risk-sensitive performance metrics to deep learning, simulated exploration, especially with the advent of model-based reinforcement learning in deep RL setups, and, uh, setups that use bounded exploration to ensure, uh, air—to ensure ergodicity.

Tôi nghĩ có rất nhiều về việc thích ứng các chỉ số hiệu suất nhạy cảm với rủi ro cho học sâu, khám phá mô phỏng, đặc biệt với sự ra đời của học tăng cường dựa trên mô hình trong các thiết lập RL sâu, và, ờ, các thiết lập sử dụng khám phá bị chặn để đảm bảo, ờ, đảm bảo tính ergodic.

15:04

Um, ML systems can fail silently and unpredictably when the test distribution differs from the

Ừm, các hệ thống ML có thể thất bại âm thầm và không thể đoán trước khi phân phối kiểm tra khác với

15:11

train distribution.

Phân phối huấn luyện.

15:11

This is a Roomba that like ate someone's hair.

Đây là một chiếc Roomba kiểu đã ăn tóc của ai đó.

15:14

Um, uh, with classifiers, I mean, in some sense things can't be very bad, but um, for people who remember this, you know, a classifier can do something incredibly offensive if you, if it's not train in the right way and you give it the wrong inputs.

Ừm, ờ, với các bộ phân loại, ý tôi là, theo một nghĩa nào đó mọi thứ không thể quá tệ, nhưng ừm, với những người nhớ điều này, bạn biết đấy, một bộ phân loại có thể làm điều gì đó cực kỳ xúc phạm nếu bạn, nếu nó không được huấn luyện đúng cách và bạn đưa cho nó đầu vào sai.

15:30

Uh, RL agents can act on really bad, uh, perceptual info.

Ờ, các tác nhân RL có thể hành động dựa trên thông tin tri giác, ờ, thực sự tồi tệ.

15:34

We can

Chúng ta có thể

15:35

add ad hoc restrictions to make sure that we kind of detect this, but I think ultimately we need and should be able to have a machine learning solution, because you know, if you're outside the training distribution, you have enough information to detect that your inputs are different from where they were before, and there's been a lot of work on this.

Thêm các hạn chế tạm thời để đảm bảo rằng chúng ta kiểu phát hiện được điều này, nhưng tôi nghĩ cuối cùng chúng ta cần và nên có thể có một giải pháp học máy, vì bạn biết đấy, nếu bạn ở ngoài phân phối huấn luyện, bạn có đủ thông tin để phát hiện rằng đầu vào của bạn khác với nơi chúng từng ở trước đây, và đã có rất nhiều công trình về điều này.

15:50

Um, I'm running short on time, so

Ừm, tôi sắp hết thời gian, nên

15:52

I'll just summarize it very quickly, but kind of covariant shift assumptions that make assumptions about the probability of the output given the input being the same and only the inputs changes, and the converse of that.

Tôi sẽ chỉ tóm tắt nó rất nhanh, nhưng kiểu các giả định dịch chuyển hiệp biến đưa ra giả định về xác suất của đầu ra với đầu vào là như nhau và chỉ đầu vào thay đổi, và điều ngược lại.

16:03

Um, there's, I think something very interesting is like broadening the train distribution and understanding if, if I train on a few different types of data, how much of that

Ừm, có, tôi nghĩ một điều rất thú vị là kiểu mở rộng phân phối huấn luyện và hiểu liệu, nếu tôi huấn luyện trên một vài loại dữ liệu khác nhau, thì bao nhiêu trong số đó

16:13

does it take to generalize?

Cần để tổng quát hóa?

16:14

How do I determine when I've generalized well?

Làm thế nào để tôi xác định khi nào tôi đã tổng quát hóa tốt?

16:16

Um, and also how to respond in agents, which I think has been a very understudied, uh, topic.

Ừm, và cả cách phản hồi trong các tác nhân, điều mà tôi nghĩ là một chủ đề, ờ, rất ít được nghiên cứu.

16:21

There's been a lot of study of like how to detect being out of distribution, how to respond to it in classifiers, but agents can do a whole, whole lot of things right.

Đã có nhiều nghiên cứu về cách phát hiện việc ra khỏi phân phối, cách phản hồi với nó trong các bộ phân loại, nhưng các tác nhân có thể làm rất, rất nhiều thứ đúng.

16:29

If I, if I see a chemical that I've never seen before,

Nếu tôi, nếu tôi thấy một hóa chất mà tôi chưa từng thấy trước đây,

16:33

um, you know, then I as a human can experiment with that chemical in a controlled environment instead of, you know, even if that's more expensive, instead of doing something else, or I can try and access more training data.

Ừm, bạn biết đấy, thì tôi với tư cách con người có thể thử nghiệm với hóa chất đó trong một môi trường được kiểm soát thay vì, bạn biết đấy, ngay cả khi điều đó đắt hơn, thay vì làm điều gì khác, hoặc tôi có thể thử và truy cập thêm dữ liệu huấn luyện.

16:44

So I think, I think there's a whole world of, of kind of agents remedying their own uncertainty and knowing what they don't know.

Nên tôi nghĩ, tôi nghĩ có cả một thế giới của, của kiểu các tác nhân khắc phục sự không chắc chắn của chính chúng và biết những gì chúng không biết.

16:50

Um, this is, um, some stuff we've kind of started proposing

Ừm, đây là, ừm, một số thứ mà chúng tôi đã kiểu bắt đầu đề xuất

16:54

experiments, which I won't kind of go through in great detail, but the thrust of a lot of these is kind of looking for large suites of simulated environments where we can, we can have kind of very broad setups where we can test agents in a way that, you know, that, you know, they don't overfit and they can actually be shown to address these tasks.

Các thí nghiệm, mà tôi sẽ không đi qua chi tiết, nhưng điểm chính của nhiều thứ này là kiểu tìm kiếm các bộ lớn các môi trường mô phỏng nơi chúng ta có thể, chúng ta có thể có kiểu các thiết lập rất rộng nơi chúng ta có thể kiểm tra các tác nhân theo cách mà, bạn biết đấy, mà, bạn biết đấy, chúng không quá khớp và chúng thực sự có thể được chứng minh là giải quyết các nhiệm vụ này.

17:13

And just as simulated environments in

Và giống như các môi trường mô phỏng trong

17:15

video games have been very important for, you know, Go and Atari and reinforcement learning in general, my hope is they can be very important for safety.

Trò chơi điện tử đã rất quan trọng đối với, bạn biết đấy, Go và Atari và học tăng cường nói chung, hy vọng của tôi là chúng có thể rất quan trọng đối với an toàn.

17:22

And in fact, within a couple days of publishing the paper, some folks at OpenAI implemented a couple of the ideas we had in OpenAI Gym, which is one of their tool—open source tools for RL, uh, just one.

Và thực tế, trong vòng vài ngày sau khi công bố bài báo, một số người tại OpenAI đã triển khai một vài ý tưởng chúng tôi có trong OpenAI Gym, một trong những công cụ—công cụ mã nguồn mở của họ cho RL, uh, chỉ một thôi.

17:33

Um, uh, and so finally, since there seems

Um, uh, và cuối cùng, vì dường như

17:36

to have been kind of a tradition of everyone mentioning a little bit the, the long-term concerns, I did want to give my perspective, which is I do think that kind of long-term concerns about AGI and, and superintelligence can be seen as kind of extreme versions of accident risk.

Đã có kiểu truyền thống mọi người đều đề cập một chút đến những lo ngại dài hạn, tôi muốn đưa ra quan điểm của mình, đó là tôi thực sự nghĩ rằng những lo ngại dài hạn về AGI và siêu trí tuệ có thể được xem như những phiên bản cực đoan của rủi ro tai nạn.

17:51

Um, not Terminator robots taking over, but kind of the more academic writers like Nick Bostrom,

Um, không phải robot Terminator tiếp quản, mà là kiểu các nhà văn học thuật hơn như Nick Bostrom,

17:57

who talk about, you know, if you, if you make a, make a machine that, you know, makes paper clips for you, maybe it'll make so many paper clips that it, it takes over the world.

Những người nói về, bạn biết đấy, nếu bạn, nếu bạn tạo ra một, tạo ra một cỗ máy mà, bạn biết đấy, làm kẹp giấy cho bạn, có thể nó sẽ làm ra nhiều kẹp giấy đến mức nó, nó tiếp quản thế giới.

18:05

So this is kind of a extreme and more fanciful version of, uh, accident risks.

Vậy đây là kiểu phiên bản cực đoan và huyền ảo hơn của, uh, rủi ro tai nạn.

18:09

I, I think it's too early to work on this directly.

Tôi, tôi nghĩ còn quá sớm để làm việc trực tiếp về điều này.

18:12

I don't know what such systems would look like and what to do with them, but

Tôi không biết những hệ thống như vậy sẽ trông như thế nào và phải làm gì với chúng, nhưng

18:16

what I do feel strongly is that if we take a principled and general approach to the safety of today's systems, that is the correct response to concerns about the far future.

Điều tôi thực sự cảm thấy mạnh mẽ là nếu chúng ta có cách tiếp cận có nguyên tắc và tổng quát đối với an toàn của các hệ thống ngày nay, đó là phản hồi đúng đắn cho những lo ngại về tương lai xa.

18:24

So Andrew Ng, who was my, my former boss, had a quote: "Worrying about superintelligence today is like worrying about overpopulation on Mars." But I'd, I'd like to propose a bit of a modification to that, even though I think

Vậy Andrew Ng, người từng là, sếp cũ của tôi, đã có một câu nói: "Lo lắng về siêu trí tuệ ngày nay giống như lo lắng về quá tải dân số trên Sao Hỏa." Nhưng tôi, tôi muốn đề xuất một chút sửa đổi cho điều đó, dù tôi nghĩ

18:36

I agree with a lot of which is: it may not be worth worrying about overpopulation on Mars today, but we can and should study overpopulation on Earth.

Tôi đồng ý với phần lớn điều đó là: có thể không đáng lo lắng về quá tải dân số trên Sao Hỏa ngày nay, nhưng chúng ta có thể và nên nghiên cứu quá tải dân số trên Trái Đất.

18:45

That is a serious issue we can think about, and if we do that right, then a lot of what we learn may someday apply to Mars, if and when we do go to Applause Mars, but

Đó là một vấn đề nghiêm trọng chúng ta có thể suy nghĩ, và nếu chúng ta làm đúng, thì nhiều điều chúng ta học được có thể một ngày nào đó áp dụng cho Sao Hỏa, nếu và khi chúng ta thực sự đến [Vỗ tay] Sao Hỏa, nhưng

Transcript

Hiển thị

Introduction to AI Safety

Dario Amodei introduces his work on AI safety and reliability, explaining how his experience with deep neural networks led him to co-author a paper on concrete problems in AI safety. He defines accidents as unintended and harmful behavior in machine learning systems and outlines trends that make this issue increasingly important.

Dario Amodei giới thiệu công trình của mình về an toàn và độ tin cậy của AI, giải thích cách kinh nghiệm của ông với mạng nơ-ron sâu dẫn ông đến việc đồng tác giả một bài báo về các vấn đề cụ thể trong an toàn AI. Ông định nghĩa tai nạn là hành vi không mong muốn và có hại trong các hệ thống học máy và phác thảo các xu hướng khiến vấn đề này ngày càng trở nên quan trọng.

So I, you know, I mostly in the past have worked on, uh, issues in, uh, you know, applying, uh, deep neural networks to speech and vision, but recently I've become very interested in the issue of

safety and reliability of AI systems.

An toàn và độ tin cậy của các hệ thống AI.

that's what I'm be talking about here.

Đó là những gì tôi sẽ nói ở đây.

unpredictable ways.

Không thể đoán trước.

So we kind of define in the paper the term "accidents" as what it is that we're, um, worried about, which I think is, you know,

Vì vậy chúng tôi định nghĩa trong bài báo thuật ngữ "tai nạn" là những gì chúng tôi lo lắng, mà tôi nghĩ là

the same as what everyone was talking about today: unintended and harm behavior in machine learning system.

Giống như những gì mọi người đã nói hôm nay: hành vi không mong muốn và gây hại trong hệ thống học máy.

Um, so you know, we really, with these trends, we really wanted to take kind of a forward-looking approach to, you know, how to think about

Ừm, vậy bạn biết đấy, với những xu hướng này, chúng tôi thực sự muốn có cách tiếp cận hướng tới tương lai về cách suy nghĩ về

the safety of AI systems.

Sự an toàn của các hệ thống AI.

And so, um, we wanted to take an approach that was yes forward-looking but also concrete, empirical, could be worked on now, could relate to systems

1 / 6