0:00

5:13

How to get better at video games, according to babies - Brian Christian

TED-Ed·5:13·Technology·B2

Chương · 5

Chương 1·DeepMind and the Atari Challenge

Hiển thị

Tiếng ViệtAuto-scroll

0:09

In 2013, a group of researchers at DeepMind in London had set their sights on a grand challenge.

Vào năm 2013, một nhóm các nhà nghiên cứu tại DeepMind ở London đã đặt ra cho mình một thử thách lớn.

0:16

They wanted to create an AI system that could beat, not just a single Atari game, but every Atari game.

Họ muốn tạo ra một hệ thống AI có thể đánh bại không chỉ một trò chơi Atari đơn lẻ, mà là tất cả các trò chơi Atari.

0:25

They developed a system they called Deep Q Networks, or DQN, and less than two years later, it was superhuman.

Họ đã phát triển một hệ thống gọi là Deep Q Networks, hay DQN, và chưa đầy hai năm sau, nó đã đạt trình độ siêu phàm.

0:34

DQN was getting scores 13 times better than professional human games testers at “Breakout,” 17 times better at “Boxing,” and 25 times better at “Video Pinball.”

DQN đạt điểm số cao gấp 13 lần so với những người kiểm thử game chuyên nghiệp ở trò "Breakout", 17 lần ở trò "Boxing", và 25 lần ở trò "Video Pinball".

0:48

But there was one notable, and glaring, exception.

Thế nhưng lại có một ngoại lệ đáng chú ý và vô cùng rõ rệt.

0:53

When playing “Montezuma’s Revenge,” DQN couldn’t score a single point, even after playing for weeks.

Khi chơi trò "Montezuma's Revenge", DQN không thể ghi nổi một điểm nào, ngay cả sau nhiều tuần chơi liên tục.

1:01

What was it that made this particular game so vexingly difficult for AI?

Điều gì đã khiến tựa game cụ thể này trở nên khó khăn đến mức gây bực mình cho AI như vậy?

1:07

And what would it take to solve it?

Và cần phải có những gì để giải quyết được nó?

1:11

Spoiler alert: babies.

Tiết lộ trước đáp án: đó là các em bé.

1:14

We’ll come back to that in a minute.

Chúng ta sẽ quay lại vấn đề đó trong chốc lát.

1:16

Playing Atari games with AI involves what’s called reinforcement learning, where the system is designed to maximize some kind of numerical rewards.

Việc chơi các trò chơi Atari bằng AI liên quan đến cái gọi là học tăng cường, nơi hệ thống được thiết kế để tối đa hóa một dạng phần thưởng số nào đó.

1:27

In this case, those rewards were simply the game's points.

Trong trường hợp này, những phần thưởng đó đơn giản chỉ là điểm số trong trò chơi.

1:31

This underlying goal drives the system to learn which buttons to press and when to press them to get the most points.

Mục tiêu cơ bản này thúc đẩy hệ thống học cách bấm nút nào và bấm khi nào để nhận được nhiều điểm nhất.

1:38

Some systems use model-based approaches, where they have a model of the environment that they can use to predict what will happen next once they take a certain action.

Một số hệ thống sử dụng các phương pháp tiếp cận dựa trên mô hình, nơi chúng có một mô hình về môi trường để dự đoán điều gì sẽ xảy ra tiếp theo sau khi thực hiện một hành động cụ thể.

1:49

DQN, however, is model free.

Tuy nhiên, DQN lại là hệ thống không sử dụng mô hình.

1:53

Instead of explicitly modeling its environment, it just learns to predict, based on the images on screen, how many future points it can expect to earn by pressing different buttons.

Thay vì mô hình hóa môi trường một cách tường minh, nó chỉ học cách dự đoán dựa trên hình ảnh trên màn hình xem có thể kỳ vọng kiếm được bao nhiêu điểm trong tương lai bằng cách nhấn các nút khác nhau.

2:04

For instance, “if the ball is here and I move left, more points, but if I move right, no more points.”

Ví dụ: "Nếu quả bóng ở đây và tôi di chuyển sang trái, sẽ được thêm điểm, nhưng nếu tôi di chuyển sang phải thì không có điểm".

2:12

But learning these connections requires a lot of trial and error.

Thế nhưng việc học được những mối liên hệ này đòi hỏi rất nhiều lần thử và sai.

2:17

The DQN system would start by mashing buttons randomly, and then slowly piece together which buttons to mash when in order to maximize its score.

Hệ thống DQN sẽ bắt đầu bằng việc nhấn nút ngẫu nhiên, rồi sau đó dần dần chắp nối xem nên nhấn nút nào vào lúc nào để tối đa hóa điểm số.

2:27

But in playing “Montezuma’s Revenge,” this approach of random button-mashing fell flat on its face.

Nhưng khi chơi trò "Montezuma's Revenge", cách tiếp cận bấm nút ngẫu nhiên này đã hoàn toàn thất bại thảm hại.

2:34

A player would have to perform this entire sequence just to score their first points at the very end.

Người chơi sẽ phải thực hiện toàn bộ chuỗi thao tác này chỉ để ghi được những điểm số đầu tiên ở tận cuối cùng.

2:41

A mistake?

Phạm một sai lầm ư?

2:42

Game over.

Trò chơi kết thúc.

2:44

So how could DQN even know it was on the right track?

Vậy làm thế nào mà DQN có thể biết được liệu nó có đang đi đúng hướng hay không?

2:48

This is where babies come in.

Đây chính là lúc các em bé xuất hiện.

2:51

In studies, infants consistently look longer at pictures they haven’t seen before than ones they have.

Trong các nghiên cứu, trẻ sơ sinh luôn nhìn lâu hơn vào những bức tranh mà chúng chưa từng thấy so với những bức tranh đã thấy.

2:58

There just seems to be something intrinsically rewarding about novelty.

Dường như bản thân sự mới lạ đã mang lại một cảm giác thỏa mãn nội tại.

3:02

This behavior has been essential in understanding the infant mind.

Hành vi này đóng vai trò then chốt trong việc thấu hiểu tâm trí của trẻ nhỏ.

3:07

It also turned out to be the secret to beating “Montezuma’s Revenge.”

Nó cũng hóa ra là bí quyết để chinh phục trò "Montezuma's Revenge".

3:12

The DeepMind researchers worked out an ingenious way to plug this preference for novelty into reinforcement learning.

Các nhà nghiên cứu DeepMind đã nghĩ ra một phương thức tài tình để đưa sự yêu thích tính mới mẻ này vào học tăng cường.

3:21

They made it so that unusual or new images appearing on the screen were every bit as rewarding as real in-game points.

Họ đã thiết lập sao cho những hình ảnh bất thường hoặc mới mẻ xuất hiện trên màn hình cũng mang lại phần thưởng tương đương như điểm số thực trong trò chơi.

3:30

Suddenly, DQN was behaving totally differently from before.

Bất ngờ thay, DQN đã hành xử hoàn toàn khác biệt so với trước đây.

3:35

It wanted to explore the room it was in, to grab the key and escape through the locked door— not because it was worth 100 points, but for the same reason we would: to see what was on the other side.

Nó muốn khám phá căn phòng đang ở, nhặt chiếc chìa khóa và thoát ra ngoài qua cánh cửa khóa— không phải vì việc đó đáng giá 100 điểm, mà vì lý do tương tự như chúng ta: để xem có gì ở phía bên kia.

3:48

With this new drive, DQN not only managed to grab that first key— it explored all the way through 15 of the temple’s 24 chambers.

Với động lực mới này, DQN không chỉ lấy được chiếc chìa khóa đầu tiên— nó còn khám phá xuyên suốt 15 trên tổng số 24 căn phòng của ngôi đền.

3:58

But emphasizing novelty-based rewards can sometimes create more problems than it solves.

Thế nhưng việc quá chú trọng vào phần thưởng dựa trên tính mới lạ đôi khi có thể tạo ra nhiều vấn đề hơn là giải quyết chúng.

4:04

A novelty-seeking system that’s played a game too long will eventually lose motivation.

Một hệ thống tìm kiếm tính mới khi đã chơi một trò chơi quá lâu cuối cùng sẽ mất đi động lực.

4:10

If it’s seen it all before, why go anywhere?

Nếu nó đã nhìn thấy tất cả mọi thứ trước đó rồi, thì tại sao phải đi đâu nữa?

4:14

Alternately, if it encounters, say, a television, it will freeze.

Mặt khác, nếu nó bắt gặp, chẳng hạn như một chiếc tivi, nó sẽ đứng yên bất động.

4:19

The constant novel images are essentially paralyzing.

Những hình ảnh mới lạ xuất hiện liên tục về cơ bản sẽ gây tê liệt.

4:23

The ideas and inspiration here go in both directions.

Ý tưởng và nguồn cảm hứng ở đây mang tính tác động hai chiều.

4:27

AI researchers stuck on a practical problem, like how to get DQN to beat a difficult game, are turning increasingly to experts in human intelligence for ideas.

Các nhà nghiên cứu AI khi gặp bế tắc trước một vấn đề thực tế, chẳng hạn như cách giúp DQN đánh bại một trò chơi hóc búa, đang ngày càng tìm đến các chuyên gia về trí tuệ con người để xin ý tưởng.

4:39

At the same time, AI is giving us new insights into the ways we get stuck and unstuck: into boredom, depression, and addiction, along with curiosity, creativity, and play.

Đồng thời, AI cũng đem lại cho chúng ta những hiểu biết sâu sắc mới về cách con người rơi vào bế tắc và thoát khỏi nó: về sự buồn chán, trầm cảm và nghiện ngập, cùng với tính tò mò, sức sáng tạo và tinh thần vui chơi.

Transcript

Hiển thị

DeepMind and the Atari Challenge

Brian Christian introduces DeepMind's ambitious endeavor to create general artificial intelligence capable of mastering classic video games. Although initial breakthroughs produced superhuman performance across multiple titles, an unusually complex puzzle game completely stumped the system.

Brian Christian giới thiệu nỗ lực đầy tham vọng của DeepMind nhằm tạo ra trí tuệ nhân tạo tổng quát có khả năng làm chủ các trò chơi điện tử kinh điển. Dù những đột phá ban đầu mang lại màn thể hiện vượt trội ở nhiều tựa game, một trò chơi giải đố phức tạp khác thường đã hoàn toàn làm bó tay hệ thống.