0:00

1:18:33

Distinguished Colloquium: Jeff Dean, February 10, 2026

Princeton University Computer Science·1:18:33·Technology·C1

Chương · 9

Chương 1·AI Progress Through Scale and Algorithms

Hiển thị

Tiếng ViệtAuto-scroll

0:13

Good afternoon.

Chào buổi chiều.

0:13

Um, it's not 4:30 yet, but since the room is already full, I'll just start doing introduction to save some time.

Ừm, chưa đến 4:30, nhưng vì phòng đã kín chỗ rồi, nên tôi sẽ bắt đầu phần giới thiệu luôn để tiết kiệm thời gian.

0:23

Okay.

Được rồi.

0:24

Um it's a real pleasure to introduce Jeff in a chief scientist for Google uh research and the Google deep mind and also he's a co-lead of Gemini project.

Ừm, thật là một vinh dự khi được giới thiệu Jeff, nhà khoa học trưởng của Google Research và Google DeepMind, và anh ấy cũng là đồng trưởng nhóm dự án Gemini.

0:38

I would say before the now famous Jeff Dean at Google era, I actually met Jeff in the 90s when Jeff was in digital western research and so I can confirm is not overnight success story.

Tôi muốn nói rằng trước thời đại Jeff Dean nổi tiếng tại Google, tôi thực ra đã gặp Jeff vào những năm 90 khi Jeff còn làm ở Digital Western Research, và vì vậy tôi có thể khẳng định đây không phải là câu chuyện thành công trong một sớm một chiều.

0:55

Jeff has been quietly except exceptional for a very long time.

Jeff đã âm thầm xuất sắc một cách phi thường trong một thời gian rất dài.

1:01

Um Jeff's bio you probably read in the flyer um reads a little bit like a guided tour of modern computing and uh from large scale information retrieval

Ừm, tiểu sử của Jeff mà các bạn có lẽ đã đọc trong tờ rơi, ừm, đọc lên có chút giống như một chuyến tham quan có hướng dẫn về điện toán hiện đại, và ừm, từ truy xuất thông tin quy mô lớn

1:15

operating system distributed system compilers and then if that wasn't enough the second career is that AI machine you know ML accelerator vision model low-level software - I'm going to not upgrade Chrome right now laughter and um and also um distillation neuronet network uh architecture search large language multimodel uh model and application ranging from chip design to healthcare

Hệ điều hành, hệ phân tán, trình biên dịch, và rồi nếu thế vẫn chưa đủ, sự nghiệp thứ hai là AI, máy học, bạn biết đấy, tăng tốc ML, mô hình thị giác, phần mềm cấp thấp - Tôi sẽ không nâng cấp Chrome ngay bây giờ [tiếng cười] và ừm, và cả ừm, chưng cất mạng nơ-ron, ừm, tìm kiếm kiến trúc, mô hình ngôn ngữ lớn đa phương thức, ừm, mô hình và ứng dụng từ thiết kế chip đến chăm sóc sức khỏe

1:50

translation and so on.

Dịch thuật, vân vân.

1:51

So one of my favorite details of Jeff uh is that he did his undergraduate thesis on neuronet networks and which means two things I think.

Vậy một trong những chi tiết tôi thích nhất về Jeff, ừm, là anh ấy đã làm luận văn đại học về mạng nơ-ron, và điều đó theo tôi nghĩ có nghĩa là hai điều.

2:02

First he worked on neuronet network before uh it was cool and second he has the rare distinction being able to say I like neuronet network before Google made it popular.

Thứ nhất, anh ấy đã làm việc với mạng nơ-ron trước khi nó trở nên thịnh hành, và thứ hai, anh ấy có vinh dự hiếm có khi có thể nói rằng tôi thích mạng nơ-ron trước khi Google làm cho nó trở nên phổ biến.

2:17

Okay, maybe Jeff did that to himself.

Được rồi, có lẽ chính Jeff đã tự làm điều đó với mình.

2:21

But um if you're wondering what takes um uh to be good to have a good research uh taste, apparently the answer is start early to be Jeff.

Nhưng ừm, nếu bạn đang thắc mắc điều gì cần có để có gu nghiên cứu tốt, thì hóa ra câu trả lời là hãy bắt đầu sớm để trở thành Jeff.

2:35

So uh along the way Jeff has received the

Vậy ừm, trên chặng đường đó, Jeff đã nhận được

2:40

ACM prize in computing ite medal.

Giải thưởng ACM về điện toán, huy chương ITE.

2:43

He's a ACM fellow, a member of US National Academy of Engineering and uh American Academy of Arts and Sciences.

Anh ấy là thành viên ACM, thành viên của Viện Hàn lâm Kỹ thuật Quốc gia Hoa Kỳ và ừm, Viện Hàn lâm Nghệ thuật và Khoa học Hoa Kỳ.

2:56

So, we're very fortunate to have him um to give us the distinguished lecture today.

Vậy, chúng ta rất may mắn có anh ấy, ừm, để trình bày bài giảng danh dự cho chúng ta hôm nay.

3:01

Please join me to welcome Jeff.

Xin hãy cùng tôi chào đón Jeff.

3:03

applause - All right.

[vỗ tay] - Được rồi.

3:04

applause Thank you very much for that kind introduction and for hosting me.

[vỗ tay] Cảm ơn rất nhiều vì lời giới thiệu tốt đẹp đó và vì đã tiếp đón tôi.

3:08

I'm I'm unexpectedly in town and Kai said, "Hey, you want to come by and give a talk?" So, I'm delighted to be here.

Tôi, tôi bất ngờ có mặt ở thành phố này và Kai nói, "Này, anh có muốn ghé qua và nói chuyện không?" Vậy nên tôi rất vui được ở đây.

3:15

Um, and I'm going to talk to you about, you know, what's happening in AI?

Ừm, và tôi sẽ nói với các bạn về, bạn biết đấy, những gì đang diễn ra trong AI?

3:20

I don't know if you've noticed, but it's a thing these days.

Tôi không biết các bạn có để ý không, nhưng nó là một chủ đề thời thượng những ngày này.

3:24

Um, and we have many people

Ừm, và chúng tôi có nhiều người

3:26

at Google working on this uh area.

Tại Google đang làm việc trong lĩnh vực này, ừm.

3:28

So, I'm presenting the work of not just my work, but many people at Google uh and elsewhere.

Vậy nên, tôi đang trình bày công trình không chỉ của riêng tôi, mà của nhiều người tại Google, ừm, và ở những nơi khác.

3:36

So, a few observations which may not come as a huge surprise to you.

Vậy, một vài quan sát có thể không làm các bạn quá ngạc nhiên.

3:40

So machine learning and AI have really changed our expectations of what is possible with computers.

Vậy là học máy và AI đã thực sự thay đổi kỳ vọng của chúng ta về những gì máy tính có thể làm.

3:45

You know if you think back 1015 years ago you know computers couldn't see very well.

Bạn biết đấy, nếu bạn nghĩ lại 10, 15 năm trước, bạn biết đấy, máy tính không thể nhìn tốt lắm.

3:50

They couldn't really understand speech all that well.

Chúng thực sự không thể hiểu giọng nói tốt lắm.

3:53

They definitely couldn't understand language very well.

Chúng chắc chắn không thể hiểu ngôn ngữ tốt lắm.

3:55

And now

Và bây giờ

3:56

we have tools that enable computers to interact with people in a much more natural style because they understand the modalities that people understand and want to communicate with.

Chúng ta có những công cụ cho phép máy tính tương tác với con người theo phong cách tự nhiên hơn nhiều vì chúng hiểu những phương thức mà con người hiểu và muốn giao tiếp.

4:08

Um and along the way increasing scale of larger amounts of compute, larger amounts of data and more larger scale models have delivered better results nearly continuously for the last sort of 13 or

Ừm, và trên chặng đường đó, quy mô ngày càng tăng với lượng tính toán lớn hơn, lượng dữ liệu lớn hơn và các mô hình quy mô lớn hơn đã mang lại kết quả tốt hơn gần như liên tục trong khoảng 13 hoặc

4:23

14 years.

14 năm qua.

4:23

This has been the trend and seems to be holding up even today.

Đây đã là xu hướng và dường như vẫn đang đúng cho đến tận ngày nay.

4:28

Um in addition to scale, algorithmic and sort of model architecture improvements have also provided massive improvements as well.

Ừm, ngoài quy mô, những cải tiến về thuật toán và kiến trúc mô hình cũng đã mang lại những cải thiện to lớn.

4:36

And these two things multiply together, right?

Và hai điều này nhân lên với nhau, đúng không?

4:39

If you can have much larger scale and much better model architectures that are able to learn more, you know, per floating point operation, those things together mean instead of, you know, 20x from scale,

Nếu bạn có thể có quy mô lớn hơn nhiều và kiến trúc mô hình tốt hơn nhiều có khả năng học được nhiều hơn, bạn biết đấy, trên mỗi phép tính dấu phẩy động, thì những điều đó cùng nhau có nghĩa là thay vì, bạn biết đấy, gấp 20 lần từ quy mô,

4:54

you have 20x from scale and 50x from algorithms and you end up with a thousandx better thing than you had not that long ago.

Bạn có gấp 20 lần từ quy mô và gấp 50 lần từ thuật toán, và cuối cùng bạn có thứ tốt hơn gấp một nghìn lần so với những gì bạn có cách đây không lâu.

5:02

Um, also the kinds of computations we want to run and the hardware in which we want to run them are changing dramatically.

Ừm, ngoài ra, các loại tính toán chúng ta muốn chạy và phần cứng mà chúng ta muốn chạy chúng đang thay đổi đáng kể.

5:10

So four observations which are maybe not surprising.

Vậy là bốn quan sát có lẽ không gây ngạc nhiên.

5:12

Uh first neural nets and gradient descent.

Ừm, thứ nhất là mạng nơ-ron và hạ gradient.

5:15

These are seem to be key building blocks for how do you

Những thứ này dường như là những khối xây dựng then chốt cho cách bạn

5:19

actually build truly intelligent uh computer systems.

Thực sự xây dựng những hệ thống máy tính thực sự thông minh, ừm.

5:21

Um and they're not new ideas.

Ừm, và chúng không phải là những ý tưởng mới.

5:22

They're things that have been around for a long time.

Chúng là những thứ đã tồn tại từ lâu.

5:25

They were invented in the 70s and 80s.

Chúng được phát minh vào những năm 70 và 80.

5:28

Um and there was actually a lot of excitement about them in the late 80s and early 90s.

Ừm, và thực ra đã có rất nhiều sự hào hứng về chúng vào cuối những năm 80 và đầu những năm 90.

5:33

I first ran across them in a you know intro lecture where I was introduced to neural networks roughly

Tôi lần đầu bắt gặp chúng trong một bài giảng nhập môn, bạn biết đấy, nơi tôi được giới thiệu về mạng nơ-ron vào khoảng

5:39

like this.

Như thế này.

5:39

Um you know we have this kind of nice very abstracted away uh version of how we think real life neurons behave where you have a bunch of inputs you do some processing and you decide are you going to fire or not and what strength are you going to fire um and you have connections of these things.

Ừm, bạn biết đấy, chúng ta có một phiên bản trừu tượng hóa rất đẹp về cách chúng ta nghĩ các nơ-ron thực tế hoạt động, nơi bạn có một loạt đầu vào, bạn xử lý và quyết định xem bạn có kích hoạt hay không và kích hoạt với cường độ nào, ừm, và bạn có các kết nối giữa những thứ này.

5:59

Um, and then back propagation is a way is a really nice algorithm that enables you

Ừm, và sau đó lan truyền ngược là một cách, là một thuật toán thực sự hay cho phép bạn

6:05

to adjust the weights on the edges of all these uh connections in order to make uh sort of um the model behave more in the way that you want it to behave where you give it a bunch of examples and back propagation enables you to make the model learn uh the behavior you want.

Điều chỉnh trọng số trên các cạnh của tất cả các kết nối này để làm cho mô hình hoạt động theo cách bạn muốn, nơi bạn đưa cho nó một loạt ví dụ và lan truyền ngược cho phép bạn làm cho mô hình học được hành vi bạn muốn.

6:26

So I saw these as an undergrad in 1990 and I got super excited and I said,"Oh wow, that seems like a really good abstraction.

Vì vậy, tôi đã thấy những điều này khi còn là sinh viên đại học vào năm 1990 và tôi vô cùng phấn khích và tôi nói, "Ồ, điều đó có vẻ như là một sự trừu tượng thực sự tốt.

6:34

Um, it feels like it's a trainable thing and it can learn almost anything." Um, and at that time we were not using very large uh neural networks because we had really pathetically wimpy computers.

Ừm, cảm giác như nó là một thứ có thể huấn luyện được và nó có thể học gần như bất cứ thứ gì." Ừm, và vào thời điểm đó chúng tôi không sử dụng các mạng nơ-ron rất lớn vì chúng tôi có những máy tính thực sự yếu ớt đáng thương.

6:47

Um, but I said, "Oh, maybe if we use the parallel computer in the

Ừm, nhưng tôi nói, "Ồ, có lẽ nếu chúng ta sử dụng máy tính song song trong

6:52

department, I could we could train much bigger neural networks.

Khoa, tôi có thể, chúng ta có thể huấn luyện các mạng nơ-ron lớn hơn nhiều.

6:54

That would be great.

Điều đó sẽ thật tuyệt.

6:56

Maybe we just need to use 32 computers instead of one and then we could train really impressive neural nets.

Có lẽ chúng ta chỉ cần sử dụng 32 máy tính thay vì một và sau đó chúng ta có thể huấn luyện các mạng nơ-ron thực sự ấn tượng.

7:01

That would be nice." So, I did it.

Điều đó sẽ thật tốt." Vì vậy, tôi đã làm điều đó.

7:04

I asked the professor who introduced the neural networks topic in one of the classes I was taking if I could do a senior thesis with him, Vipin Kumar.

Tôi đã hỏi giáo sư, người đã giới thiệu chủ đề mạng nơ-ron trong một trong những lớp học tôi đang theo học, liệu tôi có thể làm luận văn tốt nghiệp với ông ấy không, Vipin Kumar.

7:12

Uh, and um, he said, "Sure." So I played around with two different approaches for training neural networks in parallel.

Ừm, và ông ấy nói, "Chắc chắn rồi." Vì vậy, tôi đã thử nghiệm với hai cách tiếp cận khác nhau để huấn luyện mạng nơ-ron song song.

7:19

One is uh this is what you would now call model parallel and data parallel training.

Một là, ừm, đây là cái mà bây giờ bạn gọi là huấn luyện song song theo mô hình và song song theo dữ liệu.

7:24

Uh but I called them pattern partitioned and pipelined approach.

Ừm, nhưng tôi gọi chúng là cách tiếp cận phân vùng mẫu và đường ống.

7:28

Um and uh these speed up curves are interesting but they taper off because I did the stupid thing.

Ừm và ừm, những đường cong tăng tốc này thật thú vị nhưng chúng giảm dần vì tôi đã làm điều ngớ ngẩn.

7:34

I didn't make the model bigger and bigger as I increase the number of browsers.

Tôi đã không làm cho mô hình ngày càng lớn hơn khi tôi tăng số lượng trình duyệt.

7:40

I just made it, you know, much harder to parallelize uh

Tôi chỉ làm cho nó, bạn biết đấy, khó song song hóa hơn nhiều ừm

7:44

with a fixed size model.

Với một mô hình có kích thước cố định.

7:45

Um but I sort of filed that away as like oh that's an interesting abstraction and it seems like something I should pay attention to but then I ignored it for you know the next 25 years.

Ừm, nhưng tôi đã tạm gác nó lại như kiểu ồ đó là một sự trừu tượng thú vị và có vẻ như là thứ tôi nên chú ý, nhưng sau đó tôi đã bỏ qua nó trong suốt 25 năm tiếp theo.

7:59

Um, okay.

Ừm, được rồi.

7:59

So now I'm going to give you a whirlwind tour of a b b b b b b b b b b b b b b b b b b b b bunch of advances in the field of ML that have happened in the last 15 years that are really all uh you know combined together to produce today's you know most sophisticated models.

Vậy bây giờ tôi sẽ cho bạn một chuyến tham quan nhanh về một loạt các tiến bộ trong lĩnh vực ML đã xảy ra trong 15 năm qua, những thứ thực sự đã kết hợp lại với nhau để tạo ra những mô hình tinh vi nhất ngày nay.

8:16

Um how did these today's models come to be?

Ừm, làm thế nào những mô hình ngày nay ra đời?

8:19

Well, it was through advancements like the ones I'm going to

Chà, đó là nhờ những tiến bộ như những cái tôi sắp

8:22

describe.

Mô tả.

8:22

snorts So, the origin of my getting back to working on neural nets uh at Google was I bumped into Andrew Ing who's a Stanford faculty member and I in one of our micro kitchens and I said, "Oh, what are you doing here?" He's like, "I'm not sure yet." Uh because I just started a week ago.

[khịt mũi] Vậy, nguồn gốc của việc tôi quay lại làm việc với mạng nơ-ron tại Google là tôi tình cờ gặp Andrew Ing, một giảng viên tại Stanford, trong một trong những căn bếp nhỏ của chúng tôi và tôi nói, "Ồ, anh đang làm gì ở đây?" Anh ấy nói, "Tôi chưa chắc nữa." Ừm vì tôi mới bắt đầu được một tuần.

8:44

Um but my students at Stanford are doing uh interesting things with uh

Ừm nhưng sinh viên của tôi tại Stanford đang làm những điều thú vị với ừm

8:49

training uh neural networks for speech and vision.

Huấn luyện ừm mạng nơ-ron cho giọng nói và thị giác.

8:52

I'm like, "Oh, that's cool.

Tôi kiểu, "Ồ, hay đấy.

8:55

We should train really big neural networks." I said, "Uh, and so that was the origin because we actually had quite a lot of computers in those days." And I said, "Oh, why don't we try training very large neural networks?" Um, and so we built a software system that enabled us to express neural network and connectivity of those neural networks and do both model and uh data parallel

Chúng ta nên huấn luyện những mạng nơ-ron thực sự lớn." Tôi nói, "Ừm, và đó là nguồn gốc vì thực tế chúng tôi có khá nhiều máy tính vào thời đó." Và tôi nói, "Ồ, tại sao chúng ta không thử huấn luyện những mạng nơ-ron rất lớn?" Ừm, và vì vậy chúng tôi đã xây dựng một hệ thống phần mềm cho phép chúng tôi biểu diễn mạng nơ-ron và kết nối của những mạng nơ-ron đó và thực hiện cả huấn luyện song song theo mô hình và ừm theo dữ liệu

9:19

training across uh many computers.

Trên ừm nhiều máy tính.

9:23

Um and that enabled us to train neural networks that were 50 to 100 times larger than what we the largest ones we could find anyone talking about.

Ừm và điều đó cho phép chúng tôi huấn luyện các mạng nơ-ron lớn hơn 50 đến 100 lần so với những mạng lớn nhất mà chúng tôi có thể tìm thấy ai đó nói đến.

9:33

Um and uh we uh had a way of doing this where we had um actually many asynchronous replicas of the model uh cop getting updates of what the current parameters of the model were you know churning away on their local batch of

Ừm và ừm chúng tôi ừm có một cách làm điều này, nơi chúng tôi có ừm thực sự nhiều bản sao không đồng bộ của mô hình ừm nhận được cập nhật về các tham số hiện tại của mô hình, bạn biết đấy, miệt mài xử lý lô cục bộ của chúng

9:51

examples computing a gradient and sending it to this distributed set of parameter servers in order to update the parameters of the model.

Các ví dụ, tính toán gradient và gửi nó đến tập hợp các máy chủ tham số phân tán này để cập nhật các tham số của mô hình.

9:58

This is because it's asynchronous definitely not the right mathematical thing because in the meantime the model parameters have moved from the other replicas giving the parameter servers updates to the parameter model to the parameters.

Điều này là vì nó không đồng bộ, chắc chắn không phải là điều đúng về mặt toán học vì trong lúc đó các tham số mô hình đã thay đổi từ các bản sao khác, khiến các máy chủ tham số cập nhật các tham số của mô hình.

10:10

Ừm

10:11

but it seemed to work so we were sort of happy anyway despite it being sort of uh theoretically wrong.

Nhưng nó có vẻ hiệu quả nên dù sao chúng tôi cũng khá hài lòng mặc dù nó có phần sai về mặt lý thuyết.

10:19

Um, and one of the first things we trained was a very large model to do completely unsupervised learning on 10 million random YouTube frames.

Ừm, và một trong những thứ đầu tiên chúng tôi huấn luyện là một mô hình rất lớn để thực hiện học hoàn toàn không giám sát trên 10 triệu khung hình YouTube ngẫu nhiên.

10:30

Um, and interestingly, we had a kind of a locally connected u neural network for computer vision um that would use an a

Ừm, và thật thú vị, chúng tôi có một loại mạng nơ-ron kết nối cục bộ ừm cho thị giác máy tính ừm sử dụng một

10:40

reconstruction loss.

Mất mát tái tạo.

10:40

So we try to take a high level representation of the neurons at the highest level of the model and then try to reconstruct the pixels that have been uh given as input and um because that bottleneck layer uh forced the model to sort of learn higher level abstractions uh than the actual raw pixels.

Vì vậy, chúng tôi cố gắng lấy một biểu diễn cấp cao của các nơ-ron ở cấp cao nhất của mô hình và sau đó cố gắng tái tạo các pixel đã được ừm đưa vào làm đầu vào và ừm bởi vì lớp thắt cổ chai đó ừm đã buộc mô hình phải học các trừu tượng cấp cao hơn ừm so với các pixel thô thực tế.

11:00

Um, what we ended up finding was at the top level of this model,

Ừm, điều chúng tôi phát hiện ra là ở cấp cao nhất của mô hình này,

11:06

some of the neurons had learned to be sensitive to whether or not there was a face of a cat in the image.

Một số nơ-ron đã học được cách nhạy cảm với việc liệu có khuôn mặt mèo trong ảnh hay không.

11:13

Some of them learned to be sensitive to whether there was a face.

Một số trong số chúng học được cách nhạy cảm với việc liệu có khuôn mặt hay không.

11:17

Some were sensitive to the, you know, is this the outline of a person.

Một số nhạy cảm với việc, bạn biết đấy, đây có phải là đường viền của một người không.

11:21

Um, all without being told any of these images contained any of those kinds of objects.

Ừm, tất cả mà không được cho biết bất kỳ hình ảnh nào trong số này chứa bất kỳ loại đối tượng nào như vậy.

11:26

So it's uh kind of neat to see that you could learn these

Vì vậy, thật tuyệt khi thấy rằng bạn có thể học được những

11:31

high level abstractions and representations from a purely unsupervised objective.

Trừu tượng và biểu diễn cấp cao từ một mục tiêu hoàn toàn không giám sát.

11:35

Um what we could then do is use the initialization of this unsupervised training in order to train with a supervised method um to uh uh try to do computer vision uh image classification.

Ừm, điều chúng tôi có thể làm sau đó là sử dụng khởi tạo từ quá trình huấn luyện không giám sát này để huấn luyện với phương pháp có giám sát ừm để ừm ừm thử thực hiện thị giác máy tính ừm phân loại hình ảnh.

11:50

And we used the unfortunately we used the 22,000 category version of imageet which is a more thinly traded version than the 1000

Và chúng tôi đã sử dụng, thật không may, chúng tôi đã sử dụng phiên bản ImageNet có 22.000 danh mục, là một phiên bản ít phổ biến hơn so với phiên bản 1000

12:00

category one that most people are most familiar with.

Hạng mục một mà hầu hết mọi người đều quen thuộc nhất.

12:03

Um but we got a 70% relative improvement in imageet 22k state-of-the-art by initializing with our unsupervised uh model and then doing supervised learning on the um you know the training set for that for that data set which is quite a large relative improvement.

Ừm nhưng chúng tôi đã đạt được cải thiện tương đối 70% trên ImageNet 22k state-of-the-art bằng cách khởi tạo với mô hình không giám sát của chúng tôi và sau đó thực hiện học có giám sát trên ừm bạn biết đấy tập huấn luyện cho tập dữ liệu đó, đây là một cải thiện tương đối khá lớn.

12:21

So we were happy with that and we s saw that scale really mattered.

Vì vậy chúng tôi hài lòng với điều đó và chúng tôi thấy rằng quy mô thực sự quan trọng.

12:27

Um we also started to do a bunch of work in using neural networks for language tasks.

Ừm chúng tôi cũng bắt đầu thực hiện một loạt công việc trong việc sử dụng mạng nơ-ron cho các tác vụ ngôn ngữ.

12:34

And one of the things we found was that even relatively simple models where you have a vector-based representation of words or phrases um so that you have a nice you know thousand or five 500 dimensional representation of each word or token um and have relatively shallow models.

Và một trong những điều chúng tôi phát hiện là ngay cả những mô hình tương đối đơn giản nơi bạn có biểu diễn dựa trên vector của từ hoặc cụm từ ừm để bạn có một biểu diễn đẹp đẽ bạn biết đấy nghìn hoặc năm trăm chiều của mỗi từ hoặc token ừm và có các mô hình tương đối nông.

12:57

Vì vậy

12:58

in fact we had just the embedding vector and then we would use the embedding vector of the word to try to predict nearby words.

Trên thực tế chúng tôi chỉ có vector nhúng và sau đó chúng tôi sẽ sử dụng vector nhúng của từ để cố gắng dự đoán các từ gần đó.

13:06

That was one of the approaches we tried.

Đó là một trong những cách tiếp cận chúng tôi đã thử.

13:09

Uh and what we found was that if you apply this to lots of text uh and use this training objective, you end up with nearby words uh in the highdimensional space tend to be related ones.

Uh và những gì chúng tôi phát hiện là nếu bạn áp dụng điều này cho nhiều văn bản uh và sử dụng mục tiêu huấn luyện này, bạn sẽ có được các từ gần đó uh trong không gian nhiều chiều có xu hướng liên quan đến nhau.

13:21

So like cat and puma

Vì vậy như mèo và báo sư tử

13:23

and tiger are all low distance in the highdimensional space.

Và hổ đều có khoảng cách thấp trong không gian nhiều chiều.

13:27

And also that directions are meaningful.

Và cả các hướng đều có ý nghĩa.

13:29

Uh so you you go in the same direction to change the gender of a word in a gendered language uh as uh regardless of what word you start with.

Uh vì vậy bạn đi theo cùng một hướng để thay đổi giới tính của một từ trong ngôn ngữ có giới tính uh như uh bất kể từ bạn bắt đầu là gì.

13:41

King and queen versus man and woman.

Vua và nữ hoàng so với đàn ông và phụ nữ.

13:44

Uh a year or two later uh my three of my colleagues Ilia Sutzgver, Oral Vignyals and Quaclay uh this uh used a neural encoder using an LSTM to uh essentially be able to learn an encoder for one sequence and then a decoder for a different sequence.

Uh một hoặc hai năm sau uh ba đồng nghiệp của tôi Ilia Sutzgver, Oral Vignyals và Quaclay uh điều này uh đã sử dụng bộ mã hóa nơ-ron sử dụng LSTM để uh về cơ bản có thể học một bộ mã hóa cho một chuỗi và sau đó là bộ giải mã cho một chuỗi khác.

14:05

Um, and when you initialize the state of the LSTM by running the encoder, that ends up sort of capturing the things that have

Ừm, và khi bạn khởi tạo trạng thái của LSTM bằng cách chạy bộ mã hóa, điều đó sẽ nắm bắt được những thứ đã

14:16

occurred in that input sequence and enables the model to then use that initial state to then do a good job of predicting the target sequence.

Xảy ra trong chuỗi đầu vào đó và cho phép mô hình sau đó sử dụng trạng thái ban đầu đó để thực hiện tốt việc dự đoán chuỗi mục tiêu.

14:25

Uh so the canonical example use case of this is language translation where maybe you have a bunch of English French sentences uh pairs that mean the same thing and the input sentence is English and so when you're training you try to

Uh vì vậy ví dụ điển hình của việc này là dịch ngôn ngữ, nơi có thể bạn có một loạt câu tiếng Anh tiếng Pháp uh cặp có cùng ý nghĩa và câu đầu vào là tiếng Anh và vì vậy khi bạn đang huấn luyện bạn cố gắng

14:41

decode the French sentence and you get a supervised learning objective for every token or for every word and then when you're trying to translate a new sentence you just use the encoder to encode the rep the LSTM state and then decode from that state in order to produce the translated uh French sentence.

Giải mã câu tiếng Pháp và bạn nhận được mục tiêu học có giám sát cho mỗi token hoặc cho mỗi từ và sau đó khi bạn đang cố gắng dịch một câu mới bạn chỉ cần sử dụng bộ mã hóa để mã hóa đại diện trạng thái LSTM và sau đó giải mã từ trạng thái đó để tạo ra câu tiếng Pháp uh đã dịch.

15:04

So as we saw more and more success of neural networks and in particular scaling up neural networks for problems in computer vision, speech recognition and language, we were starting to both get excited but also a bit worried about how we would actually deploy these much better models.

Vì vậy khi chúng tôi thấy ngày càng nhiều thành công của mạng nơ-ron và đặc biệt là mở rộng quy mô mạng nơ-ron cho các vấn đề trong thị giác máy tính, nhận dạng giọng nói và ngôn ngữ, chúng tôi bắt đầu vừa hào hứng vừa hơi lo lắng về cách chúng tôi thực sự triển khai những mô hình tốt hơn nhiều này.

15:22

Um, so this is kind of the origin of how we started to create our own tensor processing unit

Ừm, vì vậy đây là nguồn gốc của cách chúng tôi bắt đầu tạo ra đơn vị xử lý tensor của riêng mình

15:30

chip uh program is I did this back of the envelope calculation and said okay we have this really nice high quality speech recognition model.

Chương trình chip uh là tôi đã thực hiện tính toán sơ bộ này và nói được rồi chúng tôi có mô hình nhận dạng giọng nói chất lượng cao thực sự tốt này.

15:39

It has the error rate for speech recognition which is a huge improvement.

Nó có tỷ lệ lỗi cho nhận dạng giọng nói, đây là một cải thiện lớn.

15:43

It's sort of equivalent to 20 years of speech research in like six months since we started the project by training just a very large you know particularly

Nó tương đương với 20 năm nghiên cứu giọng nói trong khoảng sáu tháng kể từ khi chúng tôi bắt đầu dự án bằng cách huấn luyện chỉ một mô hình rất lớn bạn biết đấy đặc biệt

15:54

sophisticated model architecture.

Kiến trúc mô hình tinh vi.

15:55

It's like a eight layer fully connected neural net uh just trained on a lot of data.

Nó giống như một mạng nơ-ron kết nối đầy đủ tám lớp uh chỉ được huấn luyện trên nhiều dữ liệu.

16:00

And that back of the envelope calculation said if we wanted to deploy this to a scenario where we had a billion users talking to this model 3 minutes a day, we would need to double the number of computers Google had.

Và tính toán sơ bộ đó nói rằng nếu chúng tôi muốn triển khai điều này đến một kịch bản nơi chúng tôi có một tỷ người dùng nói chuyện với mô hình này 3 phút mỗi ngày, chúng tôi sẽ cần tăng gấp đôi số lượng máy tính mà Google có.

16:14

And that didn't seem very tenable for

Và điều đó có vẻ không khả thi lắm cho

16:17

rolling out a better speech recognition system.

Triển khai một hệ thống nhận dạng giọng nói tốt hơn.

16:20

Um so that really convinced us that exploring uh you know much more specialized computational devices for doing neural network inference and later neural network training was going to be a fruitful path.

Ừm vì vậy điều đó thực sự thuyết phục chúng tôi rằng việc khám phá uh bạn biết đấy các thiết bị tính toán chuyên biệt hơn nhiều để thực hiện suy luận mạng nơ-ron và sau đó là huấn luyện mạng nơ-ron sẽ là một con đường hiệu quả.

16:34

Um and so in you know this sort of bootstrap got us to really approach that with conviction and started up a chip design team in order

Ừm và vì vậy trong bạn biết đấy kiểu khởi động này đã đưa chúng tôi đến việc thực sự tiếp cận điều đó với niềm tin và bắt đầu một nhóm thiết kế chip để

16:46

to build these chips.

Xây dựng những chip này.

16:47

And then the first chip emerged two years later as hardware projects tend to do.

Và sau đó chip đầu tiên xuất hiện hai năm sau như các dự án phần cứng thường làm.

16:53

They take a little while but we eventually produced the TPUv1 chip um which had took advantage of two really nice properties of neural networks.

Chúng mất một chút thời gian nhưng cuối cùng chúng tôi đã sản xuất chip TPUv1 ừm đã tận dụng hai đặc tính thực sự tốt của mạng nơ-ron.

17:04

The clears throat first is that reduced precision is fine especially for inference.

Đầu tiên là độ chính xác giảm là ổn đặc biệt là cho suy luận.

17:09

Um so uh you're perfectly happy with you know about seven or eight

Ừm vì vậy uh bạn hoàn toàn hài lòng với bạn biết đấy khoảng bảy hoặc tám

17:15

bits of precision not 16 or 32 or 64 as most people are thinking about in terms of comput floatingoint computation things.

Bit độ chính xác không phải 16 hoặc 32 hoặc 64 như hầu hết mọi người đang nghĩ về tính toán dấu phẩy động.

17:23

Uh and also that nearly all of the models we were exploring were made up of different combinations of a handful of specific kinds of uh linear algebra operations.

Uh và cũng gần như tất cả các mô hình chúng tôi đang khám phá đều được tạo thành từ các kết hợp khác nhau của một số loại phép toán đại số tuyến tính cụ thể.

17:35

you know things like um matrix multiplies are at the heart of them and then certain kinds of

Bạn biết đấy những thứ như ừm nhân ma trận là trung tâm của chúng và sau đó là một số loại

17:43

dotproducts and normalization and scaling.

Tích vô hướng và chuẩn hóa và chia tỷ lệ.

17:44

But if you think about most of the machine learning algorithms of today, different rearrangements of those kinds of operations mean that you can build an accelerator that is capable of, you know, very high performance reduced precision linear algebra and that can be applicable to a pretty wide range of neural networks.

Nhưng nếu bạn nghĩ về hầu hết các thuật toán học máy ngày nay, các sắp xếp khác nhau của những loại phép toán đó có nghĩa là bạn có thể xây dựng một bộ tăng tốc có khả năng, bạn biết đấy, đại số tuyến tính độ chính xác giảm hiệu suất rất cao và điều đó có thể áp dụng cho một loạt khá rộng các mạng nơ-ron.

18:05

And it's much more

Và nó hiệu quả hơn nhiều

18:07

efficient because that's all it needs to do.

Vì đó là tất cả những gì nó cần làm.

18:08

It doesn't need to do anything else.

Nó không cần làm bất cứ điều gì khác.

18:10

It doesn't need to run Microsoft Word or Chrome or anything else.

Nó không cần chạy Microsoft Word hay Chrome hay bất cứ thứ gì khác.

18:14

Uh and so TPUv1 turned out to be 15 to 30x faster than contemporary CPUs and GPUs and 30 to 80 times more energy efficient uh than contemporary CPUs and GPUs.

Uh và vì vậy TPUv1 hóa ra nhanh hơn 15 đến 30 lần so với CPU và GPU đương thời và tiết kiệm năng lượng hơn 30 đến 80 lần uh so với CPU và GPU đương thời.

18:27

Um and it's also now the most cited paper in ISK's 50-y year history.

Ừm và nó cũng hiện là bài báo được trích dẫn nhiều nhất trong lịch sử 50 năm của ISK.

18:33

Uh so we then uh turned the chip design team's attention to the training problem because uh we felt like being able to scale up training more than we were able to on CPUs and GPUs was going to be important.

Uh vì vậy sau đó chúng tôi uh chuyển sự chú ý của nhóm thiết kế chip sang vấn đề huấn luyện bởi vì uh chúng tôi cảm thấy rằng có thể mở rộng quy mô huấn luyện nhiều hơn so với những gì chúng tôi có thể làm trên CPU và GPU sẽ rất quan trọng.

18:48

And so this is where the uh focus has been for quite a while.

Và vì vậy đây là nơi uh trọng tâm đã được đặt trong một thời gian khá dài.

18:54

And we've now produced many generations of TPUs that are essentially uh machine learning supercomputers, right?

Và chúng tôi hiện đã sản xuất nhiều thế hệ TPU về cơ bản là uh siêu máy tính học máy, đúng không?

19:00

there uh it's more than just a single chip unlike TPUv1 instead it's lots and lots of chips connected with a custom high-speed interconnect um that enables us to you know distribute model training over those chips and communicate uh both uh activations and

Ở đó, nó không chỉ là một chip đơn lẻ như TPUv1 mà thay vào đó là rất nhiều chip được kết nối với một interconnect tốc độ cao tùy chỉnh, cho phép chúng ta phân phối việc huấn luyện mô hình trên các chip đó và truyền cả activations và

19:20

parameter updates and gradient updates across that custom interconnect.

Cập nhật tham số và cập nhật gradient qua interconnect tùy chỉnh đó.

19:25

Um, version four introduced this funky thing where we have an optical uh interconnect for racks of these accelerators.

Phiên bản bốn đã giới thiệu một thứ khá lạ, đó là chúng ta có một interconnect quang học cho các rack của những bộ tăng tốc này.

19:31

So, there's a rack of 64 accelerators and we can make it seem as though that rack of 64 accelerators is right next to another rack of 64 accelerators even though they're, you know, 100 meters across the data center floor.

Vì vậy, có một rack gồm 64 bộ tăng tốc và chúng ta có thể làm cho nó trông như thể rack 64 bộ tăng tốc đó nằm ngay cạnh một rack khác gồm 64 bộ tăng tốc, mặc dù chúng cách nhau, bạn biết đấy, 100 mét trên sàn trung tâm dữ liệu.

19:46

And if that rack fails, we can

Và nếu rack đó gặp sự cố, chúng ta có thể

19:49

swap in another rack and make it seem as though this rack is now right next to that one in terms of the net topology.

Thay thế bằng một rack khác và làm cho nó trông như thể rack này bây giờ nằm ngay cạnh rack kia về mặt cấu trúc liên kết mạng.

19:55

snorts Um, which is important.

[khịt mũi] Ừm, điều đó rất quan trọng.

19:56

As you get more and more scale, you end up with failures.

Khi bạn đạt được quy mô ngày càng lớn, bạn sẽ gặp phải các lỗi.

20:01

And so you want to be able to reconfigure things like that.

Và vì vậy bạn muốn có thể cấu hình lại mọi thứ như thế.

20:05

snorts And so we've seen, you know, continual uh hardware performance scaling.

[khịt mũi] Và vì vậy chúng ta đã thấy, bạn biết đấy, hiệu năng phần cứng không ngừng được mở rộng.

20:09

So if you look at TPUv4 here on the left column, you know, the peak flops per chip is about 275 teraflops.

Vì vậy, nếu bạn nhìn vào TPUv4 ở cột bên trái, bạn biết đấy, số flops đỉnh trên mỗi chip là khoảng 275 teraflops.

20:17

You know, the max pod size was uh 40 4,96 uh chips and now we're sort of at roughly double that pod size and a much more HPM memory and much more memory

Bạn biết đấy, kích thước pod tối đa là 4.096 chip và bây giờ chúng ta đại khái đã gấp đôi kích thước pod đó và có bộ nhớ HBM nhiều hơn nhiều và bộ nhớ

20:30

bandwidth and many more flops per chip.

Băng thông nhiều hơn và nhiều flops hơn trên mỗi chip.

20:33

Uh if you compare the performance peak performance per pod which is sort of the largest network configuration we have of the custom interconnect the TPUv2 pod is 1x and the most recent uh sort of v6 but now we've stopped numbering them sadly it's harder to keep track of but Ironwood is the sixth generation of FTPUs is about 3600

Nếu bạn so sánh hiệu năng đỉnh trên mỗi pod, tức là cấu hình mạng lớn nhất mà chúng ta có của interconnect tùy chỉnh, thì pod TPUv2 là 1x và gần đây nhất là v6, nhưng bây giờ chúng ta đã ngừng đánh số chúng một cách đáng buồn, khó theo dõi hơn, nhưng Ironwood là thế hệ thứ sáu của TPU, khoảng 3600

20:59

times the performance per pod FTP v2 and it's also much more energy efficient So about 30x better uh energy uh you know flops per watt which is what you ultimately care about in terms of u sort of energy cost.

Lần hiệu năng trên mỗi pod so với TPU v2 và nó cũng tiết kiệm năng lượng hơn nhiều, khoảng 30 lần tốt hơn về hiệu quả năng lượng, tức là flops trên watt, điều mà cuối cùng bạn quan tâm về chi phí năng lượng.

21:20

The other thing that has happened in the last 15 years is open source tools have really enabled the whole community to build using the same pieces of abstraction and software libraries and the community can work on sort of improving those tools as well.

Một điều khác đã xảy ra trong 15 năm qua là các công cụ mã nguồn mở đã thực sự cho phép toàn bộ cộng đồng xây dựng bằng cách sử dụng cùng các thành phần trừu tượng và thư viện phần mềm, và cộng đồng cũng có thể làm việc để cải thiện những công cụ đó.

21:36

So we developed a series uh a software called TensorFlow based on our initial lessons from the sort of 2011 to 2014

Vì vậy, chúng tôi đã phát triển một loạt phần mềm có tên TensorFlow dựa trên những bài học ban đầu của chúng tôi từ khoảng năm 2011 đến 2014

21:45

era with an internal uh software library that we were using to parallelize computations across um you know many computers and train large models and do inference.

Thời kỳ với một thư viện phần mềm nội bộ mà chúng tôi đang sử dụng để song song hóa các tính toán trên nhiều máy tính và huấn luyện các mô hình lớn cũng như thực hiện suy luận.

21:56

Um and so and then more recently uh various people at Meta and other elsewhere uh introduced PyTorch and then uh another group of people at Google have introduced a more functional uh style paradigm uh computation called Jax.

Và gần đây hơn, nhiều người tại Meta và những nơi khác đã giới thiệu PyTorch, và sau đó một nhóm người khác tại Google đã giới thiệu một mô hình tính toán theo phong cách hàm hơn gọi là Jax.

22:12

snorts

[khịt mũi]

22:13

Um all of these are great systems and you know we have been using Jax for our Gemini training uh and it's been great.

Tất cả những hệ thống này đều tuyệt vời và bạn biết đấy, chúng tôi đã sử dụng Jax cho việc huấn luyện Gemini của mình và nó rất tuyệt.

22:22

Um and then in 2017 a number of my colleagues uh worked on uh coming up with a better architecture than the sort of recurrent LSTMs that were kind of the the state-of-the-art models for language uh at the time.

Và sau đó vào năm 2017, một số đồng nghiệp của tôi đã làm việc để đưa ra một kiến trúc tốt hơn so với các LSTM hồi tiếp, vốn là những mô hình tiên tiến nhất cho ngôn ngữ vào thời điểm đó.

22:39

And the observation they had was really in an LSTM you have a vector of state uh of sort of the current representation of the state and then when you advance one word at a one

Và quan sát của họ thực sự là trong một LSTM, bạn có một vector trạng thái, tức là biểu diễn hiện tại của trạng thái, và sau đó khi bạn tiến một từ tại một

22:55

token at a time you update that state and there's a sophisticated uh thing that uh sort of updates the state and then you go on to the next word and you update the state again and so as you progress through say a hundred words of a sentence you update the state a 100 times.

Token tại một thời điểm, bạn cập nhật trạng thái đó và có một cơ chế phức tạp để cập nhật trạng thái, rồi bạn tiếp tục đến từ tiếp theo và bạn cập nhật trạng thái một lần nữa, và như vậy khi bạn tiến qua, ví dụ, một trăm từ của một câu, bạn cập nhật trạng thái 100 lần.

23:13

Um, and there's two problems with that.

Ừm, và có hai vấn đề với điều đó.

23:15

One is you have this sequential process.

Một là bạn có quá trình tuần tự này.

23:17

Every word you have to wait for

Mỗi từ bạn phải chờ

23:20

the up update of the state and there's a sequential dependency on that state being ready before you can go on to update the state for the next word.

Việc cập nhật trạng thái và có sự phụ thuộc tuần tự vào việc trạng thái phải sẵn sàng trước khi bạn có thể tiếp tục cập nhật trạng thái cho từ tiếp theo.

23:28

So, it's not very parallelizable.

Vì vậy, nó không thể song song hóa tốt.

23:30

Uh, which is not good on modern hardware.

Điều đó không tốt trên phần cứng hiện đại.

23:32

And the other thing is you're trying to force all the things you went through into a single vector that you have all the all the things you might want to remember

Và điều còn lại là bạn đang cố gắng ép tất cả những gì bạn đã trải qua vào một vector duy nhất mà bạn có tất cả những gì bạn có thể muốn ghi nhớ

23:42

from the things you went through uh in a single vector rather than just saving all the vectors you went through and then being able to look at them uh as you wish uh later in the sort of language modeling process.

Từ những gì bạn đã trải qua vào một vector duy nhất thay vì chỉ lưu tất cả các vector bạn đã trải qua và sau đó có thể nhìn vào chúng khi bạn muốn, sau này trong quá trình mô hình hóa ngôn ngữ.

23:57

So the key observation in the transformer model is let's save all those vectors or some representation of those vectors and then pay attention to them in a way where we have a learnable attention mechanism.

Vì vậy, quan sát then chốt trong mô hình transformer là hãy lưu tất cả các vector đó hoặc một số biểu diễn của chúng và sau đó chú ý đến chúng theo cách mà chúng ta có một cơ chế chú ý có thể học được.

24:09

snorts And what they were able to show was that compared to LSTMs of one, two or four layers in red there, uh the test loss on the y-axis um went down considerably using a transformer.

[khịt mũi] Và điều họ có thể chứng minh là so với các LSTM một, hai hoặc bốn lớp ở màu đỏ, thì mất mát kiểm tra trên trục y đã giảm đáng kể khi sử dụng transformer.

24:22

and and no matter what model scale you looked at.

Và bất kể quy mô mô hình bạn xem xét.

24:26

So sort of a 10 to 100x less compute and 10 times smaller model gave you uh with a transformer would give you roughly the same quality as you would

Vì vậy, đại khái là ít hơn 10 đến 100 lần tính toán và mô hình nhỏ hơn 10 lần sẽ cho bạn, với transformer, chất lượng gần tương đương với những gì bạn sẽ

24:37

get with an LCM that's much larger and much more computensive.

Có được với một LSTM lớn hơn nhiều và tốn nhiều tính toán hơn.

24:45

In 2018, you know, I think people really started to take seriously the idea, well, I guess in the word devec work, we were already sort of doing that.

Vào năm 2018, bạn biết đấy, tôi nghĩ mọi người thực sự bắt đầu coi trọng ý tưởng này, à, tôi đoán trong công việc word2vec, chúng tôi đã phần nào làm điều đó.

24:54

But in 2018, really looking at how could you do language modeling at scale with self-supervised data and just the observation there's a lot of text in the world.

Nhưng vào năm 2018, thực sự nhìn vào cách bạn có thể mô hình hóa ngôn ngữ ở quy mô lớn với dữ liệu tự giám sát và chỉ là quan sát rằng có rất nhiều văn bản trên thế giới.

25:04

And so self-supervised learning on this text can give you almost

Và vì vậy học tự giám sát trên văn bản này có thể cho bạn gần như

25:08

unlimited amounts of training data where you know the right answer, right?

Lượng dữ liệu huấn luyện vô hạn, nơi bạn biết câu trả lời đúng, phải không?

25:11

like you have text and then you hide the next word and you try to guess the next word and if you guess it correctly that gives you get a sort of a one and if you guess it wrong that gives you a clear error signal that you can propagate into improving the model so that uh in such settings you will guess better next time

Giống như bạn có văn bản và sau đó bạn che từ tiếp theo và bạn cố gắng đoán từ tiếp theo, nếu bạn đoán đúng thì bạn nhận được một loại điểm một, và nếu bạn đoán sai thì nó cho bạn một tín hiệu lỗi rõ ràng mà bạn có thể lan truyền để cải thiện mô hình, để trong những tình huống như vậy bạn sẽ đoán tốt hơn lần sau

25:31

and so this is really one of the major reasons that these chat and language models have gotten uh yeah I created a custom example for this week laughter Um, and so there are two kinds of training objectives that people typically use.

Và vì vậy đây thực sự là một trong những lý do chính khiến các mô hình chat và ngôn ngữ này đã trở nên, ừm, tôi đã tạo một ví dụ tùy chỉnh cho tuần này [tiếng cười] Ừm, và vì vậy có hai loại mục tiêu huấn luyện mà mọi người thường sử dụng.

25:48

One is called auto reggressive where you get to look at the prefix everything to the left uh and try to predict the next word.

Một loại được gọi là tự hồi quy, nơi bạn được nhìn vào tiền tố, mọi thứ ở bên trái, và cố gắng dự đoán từ tiếp theo.

25:55

So Princeton blank, you know, that that word is a little bit hard to predict.

Vì vậy, Princeton trống, bạn biết đấy, từ đó hơi khó dự đoán.

26:00

Could be Princeton New Jersey, could be Princeton University.

Có thể là Princeton New Jersey, có thể là Princeton University.

26:03

Um, you know, Princeton University blank.

Ừm, bạn biết đấy, Princeton University trống.

26:04

That one's hard to predict as well.

Cái đó cũng khó dự đoán.

26:06

Uh, is cold in the blank.

Ừm, is cold in the trống.

26:08

that BV is a

That BV là một

26:10

little easier to predict.

Dễ dự đoán hơn một chút.

26:11

Um so, uh that's auto reggressive and then fill in the blank uh is where you get to have a training objective where you just hide you get to look in both directions and you hide some of the words and you try to force the model to guess the missing words uh that you've hidden.

Ừm, vậy, đó là tự hồi quy và sau đó điền vào chỗ trống là nơi bạn có một mục tiêu huấn luyện mà bạn chỉ cần ẩn đi, bạn có thể nhìn theo cả hai hướng và bạn ẩn một số từ và bạn cố gắng buộc mô hình đoán những từ còn thiếu mà bạn đã ẩn.

26:33

And again, you get this nice uh sophisticated um you know uh very crisp uh error

Và một lần nữa, bạn nhận được tín hiệu lỗi tinh vi, rõ ràng này

26:40

signal that you can use to train the model.

mà bạn có thể sử dụng để huấn luyện mô hình.

26:42

And you can just train on lots and lots of text either e either of the objectives.

Và bạn có thể chỉ cần huấn luyện trên rất nhiều văn bản với một trong hai mục tiêu.

26:46

Um the fill-in- thelank one tends to be used to build representations that some that give you a good representation of a bunch of text, but you can't really use it for a chatbot because you don't have the things to the right.

Ừm, cái điền vào chỗ trống thường được dùng để xây dựng các biểu diễn cung cấp cho bạn một biểu diễn tốt về một đoạn văn bản, nhưng bạn thực sự không thể dùng nó cho chatbot vì bạn không có những thứ ở bên phải.

26:56

So uh you have to

Vậy nên bạn phải

26:58

sort of end up using mostly auto reggressive models for conversational applications but fill and blank also has some good uses.

kiểu như cuối cùng sử dụng chủ yếu các mô hình tự hồi quy cho các ứng dụng hội thoại, nhưng điền vào chỗ trống cũng có một số công dụng tốt.

27:06

Um in 2021 a number of other of my colleagues uh applied transformers to computer vision.

Ừm, vào năm 2021, một số đồng nghiệp khác của tôi đã áp dụng transformer cho thị giác máy tính.

27:12

At that time the sort of state-of-the-art was to use various kinds of convolutional models which have these kind of local receptive fields and then you build up and share the parameters among different positions in that uh in the U image.

Vào thời điểm đó, loại tiên tiến nhất là sử dụng nhiều loại mô hình tích chập khác nhau, chúng có các trường tiếp nhận cục bộ và sau đó bạn xây dựng lên và chia sẻ các tham số giữa các vị trí khác nhau trong hình ảnh đó.

27:28

Um and instead you can just apply a transformer uh

Ừm, và thay vào đó bạn có thể chỉ cần áp dụng một mô hình dựa trên transformer

27:32

based model to the same problem.

cho cùng một vấn đề.

27:36

And what they found was again you get a much better you know if you look at the TPU core days to reach certain levels of accuracy um the TPU core days are much lower and the accuracy is higher uh compared with say ResNet 152 which was kind of a good state-of-the-art model at that time.

Và những gì họ phát hiện là một lần nữa bạn nhận được kết quả tốt hơn nhiều, bạn biết đấy, nếu bạn nhìn vào số ngày TPU core để đạt được một mức độ chính xác nhất định, số ngày TPU core thấp hơn nhiều và độ chính xác cao hơn so với ResNet 152, vốn là một mô hình tiên tiến tốt vào thời điểm đó.

27:59

And the other nice thing is you can kind of see what the attention mechanism is paying attention to.

Và một điều thú vị khác là bạn có thể thấy cơ chế attention đang chú ý đến điều gì.

28:04

So it gives you a little bit of model interpretation of like what is it paying attention to in order to make a say a classification prediction that middle one is an airplane.

Vì vậy, nó cung cấp cho bạn một chút diễn giải mô hình về việc nó đang chú ý đến điều gì để đưa ra dự đoán phân loại, chẳng hạn như cái ở giữa là một chiếc máy bay.

28:14

clears throat Another area that we have done a bunch of work in including myself is in sparse models.

[xóa cổ họng] Một lĩnh vực khác mà chúng tôi đã làm rất nhiều việc, bao gồm cả bản thân tôi, là các mô hình thưa.

28:20

Uh you know in a dense model you have a bunch of parameters in the model and every inference or every token you activate the entire model in order to make the prediction for that example.

Bạn biết đấy, trong một mô hình dày đặc, bạn có một loạt tham số trong mô hình và mỗi lần suy luận hoặc mỗi token, bạn kích hoạt toàn bộ mô hình để đưa ra dự đoán cho ví dụ đó.

28:33

Um, and that seems kind of uh that's not how our brains work, right?

Ừm, và điều đó có vẻ hơi, đó không phải là cách bộ não của chúng ta hoạt động, đúng không?

28:38

We have very different pieces of

Chúng ta có những phần rất khác nhau của

28:40

our brains that are useful for different kinds of things.

bộ não hữu ích cho những loại việc khác nhau.

28:43

And we activate the right part.

Và chúng ta kích hoạt đúng phần.

28:45

So while I'm, you know, worried about the garbage truck backing up at my car, some parts of my brain are active and the part that thinks about Shakespearean poetry is not active.

Vì vậy, trong khi tôi đang lo lắng về chiếc xe tải rác đang lùi vào xe của mình, một số phần trong não tôi đang hoạt động và phần nghĩ về thơ Shakespeare thì không hoạt động.

28:56

So spar with sparse models the idea is we want to have different pieces of the model that are good at different kinds of things.

Vậy với các mô hình thưa, ý tưởng là chúng ta muốn có các phần khác nhau của mô hình giỏi những loại việc khác nhau.

29:04

Um and then be able to automatically learn not just those experts but also learn the routing mechanism to learn which pieces of the model to actually activate for those different examples.

Ừm, và sau đó có thể tự động học không chỉ những chuyên gia đó mà còn học cơ chế định tuyến để học phần nào của mô hình thực sự được kích hoạt cho những ví dụ khác nhau đó.

29:16

And so it gives the model much larger capacity but still

Và vì vậy nó cung cấp cho mô hình dung lượng lớn hơn nhiều nhưng vẫn

29:20

Keeps the inference cost relatively low because you're only activating, you know, a small number of the parameters in the model.

giữ chi phí suy luận tương đối thấp vì bạn chỉ kích hoạt một số lượng nhỏ tham số trong mô hình.

29:27

And importantly, it gives you an 8x reduction in training compute for the same accuracy.

Và quan trọng là, nó giảm 8 lần chi phí tính toán huấn luyện cho cùng độ chính xác.

29:32

That's uh choice A there.

Đó là lựa chọn A ở đó.

29:33

Or you could choose to spend the same amount on training the model - snorts - uh and clears throat get a much better

Hoặc bạn có thể chọn chi cùng số tiền để huấn luyện mô hình - [khịt mũi] - ừm và [xóa cổ họng] nhận được một

29:42

model, right?

mô hình tốt hơn nhiều, đúng không?

29:42

Same amount of compute.

Cùng lượng tính toán.

29:44

That would be choice B there.

Đó sẽ là lựa chọn B ở đó.

29:45

And often these kinds of things you choose a bit of A and B and end up kind of somewhere there.

Và thường thì với những loại việc này, bạn chọn một chút A và B và cuối cùng ở đâu đó ở giữa.

29:52

Um but this has been a really important tool for making our model better and better over time is having sparity be part of the mix.

Ừm, nhưng đây là một công cụ thực sự quan trọng để làm cho mô hình của chúng tôi ngày càng tốt hơn theo thời gian, đó là có tính thưa là một phần của hỗn hợp.

29:59

Uh there's a whole litany of work that uh both I and so and my colleagues have done in this general area looking at

Ừm, có cả một danh sách dài các công trình mà cả tôi và các đồng nghiệp của tôi đã thực hiện trong lĩnh vực chung này, xem xét

30:07

various aspects of how to do the routing you know how many experts do you activate um and so on.

các khía cạnh khác nhau của cách thực hiện định tuyến, bạn biết đấy, bạn kích hoạt bao nhiêu chuyên gia, v.v.

30:17

- clears throat - Another thing we've been working on is building up uh abstractions for distributed ML computations.

- [xóa cổ họng] - Một điều khác chúng tôi đang nghiên cứu là xây dựng các trừu tượng cho tính toán ML phân tán.

30:24

So, Pathways is a system we started working on quite a while ago that really wants to abstract away this pile of accelerators underneath your computation and give you the sort of researcher the illusion that you just have a giant computer with tens of thousands of chips

Vậy, Pathways là một hệ thống chúng tôi bắt đầu nghiên cứu từ khá lâu, thực sự muốn trừu tượng hóa đống tăng tốc bên dưới tính toán của bạn và mang lại cho bạn, nhà nghiên cứu, ảo giác rằng bạn chỉ có một máy tính khổng lồ với hàng chục nghìn chip

30:43

attached to it and you can mostly just focus on the machine learning computations you're trying to express.

gắn vào và bạn hầu như chỉ có thể tập trung vào các tính toán học máy mà bạn đang cố gắng diễn đạt.

30:49

And underneath the covers, Pathways does a bunch of work to manage how to communicate uh the machine learning computation you've expressed uh amongst all these chips.

Và bên dưới, Pathways thực hiện một loạt công việc để quản lý cách truyền đạt tính toán học máy mà bạn đã diễn đạt giữa tất cả các chip này.

31:00

And so it will for example use within one of these pods, it will use the custom TPU interconnect.

Và vì vậy, ví dụ, nó sẽ sử dụng trong một trong các pod này, nó sẽ sử dụng kết nối TPU tùy chỉnh.

31:08

When you go across the pod boundary in the same data center building, it will use the data center network.

Khi bạn vượt qua ranh giới pod trong cùng một tòa nhà trung tâm dữ liệu, nó sẽ sử dụng mạng trung tâm dữ liệu.

31:15

uh when you go across buildings in the same data center campus, it will use the purple network link.

Ừm, khi bạn vượt qua các tòa nhà trong cùng một khuôn viên trung tâm dữ liệu, nó sẽ sử dụng liên kết mạng màu tím.

31:22

And when you go across, you know, perhaps widely distributed metro regions, it will use the um sort of wide area network uh links.

Và khi bạn vượt qua, bạn biết đấy, có thể là các vùng đô thị phân tán rộng khắp, nó sẽ sử dụng các liên kết mạng diện rộng.

31:31

And clears throat then when you actually put jacks on top of pathways, what that means is that we can drive the entire training process from a single Python process on one host.

Và [xóa cổ họng] sau đó khi bạn thực sự đặt jacks lên trên pathways, điều đó có nghĩa là chúng ta có thể điều khiển toàn bộ quá trình huấn luyện từ một tiến trình Python duy nhất trên một máy chủ.

31:42

So that Python process says, "Oh great, I have access to you know these many thousands of TPU chips and um I can run this computation and pathways kind of deals with what happens when different

Vậy tiến trình Python đó nói, "Ồ tuyệt, tôi có quyền truy cập vào hàng nghìn chip TPU này và ừm tôi có thể chạy tính toán này và pathways xử lý những gì xảy ra khi các

31:54

pieces of the system fail uh and swapping in new parts uh new hardware under the covers.

phần khác nhau của hệ thống gặp lỗi ừm và thay thế các bộ phận mới, phần cứng mới bên dưới.

32:04

Uh, another thing that tends to happen when you run at increasingly large scale is sadly not all chips or machines or network cards or cables work as designed.

Ừm, một điều khác thường xảy ra khi bạn chạy ở quy mô ngày càng lớn là đáng buồn thay, không phải tất cả chip hoặc máy móc hoặc card mạng hoặc cáp đều hoạt động như thiết kế.

32:15

That's a very sad but true state of the world.

Đó là một trạng thái rất buồn nhưng có thật của thế giới.

32:19

Um, and in particular, some of them don't just fail in ways that you can just like detect them immediately and replace them.

Ừm, và đặc biệt, một số trong chúng không chỉ hỏng theo cách mà bạn có thể phát hiện ngay lập tức và thay thế chúng.

32:29

they sometimes non-deterministically sort of produce incorrect results um silently and sometimes that's related to dynamic conditions like the temperature of the rack at that particular moment.

Đôi khi chúng tạo ra kết quả không chính xác một cách không xác định và âm thầm, và đôi khi điều đó liên quan đến các điều kiện động như nhiệt độ của giá rack tại thời điểm cụ thể đó.

32:42

Um, this is really challenging when you're running independent compute on these things, but it's really worse when you're trying to have all these chips perform as a single orchestrated uh, you know, machine learning uh, training computation where everything is synchronous and this can quickly spread bad results.

Ừm, điều này thực sự khó khăn khi bạn đang chạy tính toán độc lập trên những thứ này, nhưng nó còn tệ hơn khi bạn đang cố gắng để tất cả các chip này hoạt động như một cỗ máy học tập được dàn dựng duy nhất, bạn biết đấy, tính toán huấn luyện nơi mọi thứ đồng bộ và điều này có thể nhanh chóng lan truyền kết quả xấu.

32:59

So like if one of these things flips one of the bits in the

Vì vậy, giống như nếu một trong những thứ này lật một trong các bit trong

33:05

exponent field of your gradient all of a sudden you'll get you know 10 to the 20th propagating as a gradient instead of 02 and that makes you very sad.

Trường số mũ của gradient của bạn, đột nhiên bạn sẽ nhận được 10 mũ 20 lan truyền như một gradient thay vì 02 và điều đó khiến bạn rất buồn.

33:15

clears throat Um and so we monitor during the training process all kinds of metrics about the health of our model.

[xóa cổ họng] Ừm và vì vậy chúng tôi giám sát trong quá trình huấn luyện tất cả các loại số liệu về sức khỏe của mô hình của chúng tôi.

33:22

And in particular, you can look at, for example, the norm of the gradient at every layer of the model and see are you seeing spikes in that.

Và đặc biệt, bạn có thể xem, ví dụ, chuẩn của gradient tại mỗi lớp của mô hình và xem liệu bạn có thấy đỉnh trong đó không.

33:31

So here's an example of a spike uh due to one of these silent data corruption things.

Vì vậy, đây là một ví dụ về một đỉnh do một trong những vấn đề hỏng dữ liệu âm thầm này.

33:37

Um now not all spikes

Ừm bây giờ không phải tất cả các đỉnh

33:39

are necessarily due to these kinds of machine issues.

Đều nhất thiết là do những loại vấn đề máy móc này.

33:43

Here's another spike.

Đây là một đỉnh khác.

33:45

There is no SDC.

Không có SDC.

33:46

This is just some particular batch of examples that contain something that caused a very large gradient uh to occur.

Đây chỉ là một số lô ví dụ cụ thể chứa một cái gì đó gây ra một gradient rất lớn xảy ra.

33:53

Um, and it's a little hard to discern those things.

Ừm, và thật khó để phân biệt những thứ đó.

33:57

Um, so one of the ways we do this is we have deterministic replay that we trigger automatically.

Ừm, vì vậy một trong những cách chúng tôi làm điều này là chúng tôi có phát lại xác định mà chúng tôi kích hoạt tự động.

34:03

So if we see a gradient spike, then we will effectively replay that step or the last few steps and see if we get the same answer.

Vì vậy, nếu chúng tôi thấy một đỉnh gradient, thì chúng tôi sẽ thực sự phát lại bước đó hoặc vài bước cuối cùng và xem liệu chúng tôi có nhận được cùng một câu trả lời không.

34:12

And if we get the same answer, we conclude, well, that's probably okay.

Và nếu chúng tôi nhận được cùng một câu trả lời, chúng tôi kết luận, tốt, điều đó có lẽ ổn.

34:16

That was probably due to the data, not due to hardware errors.

Điều đó có lẽ là do dữ liệu, không phải do lỗi phần cứng.

34:20

But if the hardware

Nhưng nếu phần cứng

34:22

errors are uh you know causing the issue then hopefully we get a different answer the next time we replay it.

Lỗi là ừm bạn biết đấy gây ra vấn đề thì hy vọng chúng tôi nhận được một câu trả lời khác vào lần tới khi chúng tôi phát lại nó.

34:34

And you can also have cases where we don't get a gradient spike uh but there is actually silent data corruption happening um but it doesn't cause a very large spike in the gradient and so that is sort of benign to the model even though we didn't detect it.

Và bạn cũng có thể có trường hợp chúng tôi không nhận được đỉnh gradient ừm nhưng thực sự có hỏng dữ liệu âm thầm xảy ra ừm nhưng nó không gây ra một đỉnh rất lớn trong gradient và vì vậy điều đó lành tính đối với mô hình mặc dù chúng tôi không phát hiện ra nó.

34:51

So all kinds of things can happen.

Vì vậy, tất cả các loại điều có thể xảy ra.

34:54

It's very fun.

Nó rất thú vị.

34:56

Uh the pathway system is part of the way in which we transparently handle these things.

Ừm hệ thống pathway là một phần của cách chúng tôi xử lý minh bạch những thứ này.

35:02

So for example, let's say these blue uh pods or slices of pods are currently part of our synchronous training jobs.

Vì vậy, ví dụ, giả sử những pod hoặc lát pod màu xanh này hiện là một phần của công việc huấn luyện đồng bộ của chúng tôi.

35:11

We have these seven blue things.

Chúng tôi có bảy thứ màu xanh này.

35:14

Um, we have a hot spare in gray and then we have another uh hot spare and we're running a SDC checker.

Ừm, chúng tôi có một dự phòng nóng màu xám và sau đó chúng tôi có một dự phòng nóng khác và chúng tôi đang chạy một trình kiểm tra SDC.

35:23

So, we have a, you know, a continuous thing

Vì vậy, chúng tôi có một, bạn biết đấy, một thứ liên tục

35:27

that we're running even on the idle chips in order to try to weed out bad hardware uh before we're actually starting to use it.

Mà chúng tôi đang chạy ngay cả trên các chip nhàn rỗi để cố gắng loại bỏ phần cứng xấu trước khi chúng tôi thực sự bắt đầu sử dụng nó.

35:36

Um, the defective machine causes one of these silent data corruptions.

Ừm, máy bị lỗi gây ra một trong những hỏng dữ liệu âm thầm này.

35:40

The uh SDC checker identifies this because we replayed and detected that um there was a mismatch in the answers when we ran them twice.

Trình kiểm tra SDC xác định điều này vì chúng tôi đã phát lại và phát hiện rằng có sự không khớp trong câu trả lời khi chúng tôi chạy chúng hai lần.

35:49

Uh and we can pinpoint which uh which

Ừm và chúng tôi có thể xác định chính xác đó là

35:53

pod it is and which chips.

Pod nào và chip nào.

35:55

We can evict that thing and then use the hot spare uh to now replace it transparently in the training process and continue on our merry way.

Chúng tôi có thể loại bỏ thứ đó và sau đó sử dụng dự phòng nóng để thay thế nó một cách minh bạch trong quá trình huấn luyện và tiếp tục con đường vui vẻ của chúng tôi.

36:06

send that uh that thing to our repairs team and hopefully they can figure out in more detail what's going on with it.

Gửi thứ đó đến nhóm sửa chữa của chúng tôi và hy vọng họ có thể tìm ra chi tiết hơn về những gì đang xảy ra với nó.

36:16

snorts Okay.

[khịt mũi] Được rồi.

36:17

In 2022, uh thinking longer at inference time became more of a thing.

Vào năm 2022, ừm suy nghĩ lâu hơn tại thời điểm suy luận đã trở thành một điều phổ biến hơn.

36:22

uh and in

Ừm và trong

36:24

particular the observation was that if you prompt the model to show more of its work um on an example problem and then ask it to solve a similar kind of problem.

Cụ thể, quan sát là nếu bạn nhắc mô hình hiển thị nhiều công việc hơn ừm trên một bài toán ví dụ và sau đó yêu cầu nó giải một loại bài toán tương tự.

36:33

You know, if you just asked the answer, please give me the an model just give me the answer.

Bạn biết đấy, nếu bạn chỉ hỏi câu trả lời, làm ơn cho tôi câu trả lời mô hình chỉ cho tôi câu trả lời.

36:39

You know, in this example, you gave you prompted the model with one example problem and you said the answer is nine.

Bạn biết đấy, trong ví dụ này, bạn đã nhắc mô hình với một bài toán ví dụ và bạn nói câu trả lời là chín.

36:45

And then you gave it

Và sau đó bạn đưa cho nó

36:47

the problem you really care about and the model will sort of model that behavior and say that the answer is 50 and it actually gets this problem wrong.

Bài toán bạn thực sự quan tâm và mô hình sẽ mô phỏng hành vi đó và nói rằng câu trả lời là 50 và thực sự làm sai bài toán này.

36:56

But if you give the model a worked out example, then the model uh will tend to work out in the same similar way the individual steps to get through the actual problem solving process and give you be more likely to give you the correct answer, right?

Nhưng nếu bạn đưa cho mô hình một ví dụ đã được giải, thì mô hình sẽ có xu hướng giải theo cách tương tự các bước riêng lẻ để vượt qua quá trình giải quyết vấn đề thực tế và có nhiều khả năng đưa ra câu trả lời đúng cho bạn, phải không?

37:12

Which is kind of nice.

Điều đó khá tốt.

37:13

This is what your fourth grade math teacher told you and it's nice to see that ML models behave the same way.

Đây là điều mà giáo viên toán lớp bốn của bạn đã nói với bạn và thật tốt khi thấy rằng các mô hình ML cũng hành xử như vậy.

37:21

Um and uh one way to view this is you're actually giving the model more compute to think at inference time, right?

Ừm và ừm một cách để xem điều này là bạn thực sự đang cho mô hình nhiều tính toán hơn để suy nghĩ tại thời điểm suy luận, phải không?

37:30

Because every token it needs to generate is a pass through the model.

Bởi vì mỗi token nó cần tạo ra là một lần truyền qua mô hình.

37:34

And so you can think of the length of the answer as some proportional aspect of how much uh computed devoted to producing the answer.

Và vì vậy bạn có thể nghĩ về độ dài của câu trả lời như một khía cạnh tỷ lệ thuận với lượng tính toán dành cho việc tạo ra câu trả lời.

37:43

Uh and what you see is that as the model gets to a certain scale, when you allow it to do chain of thought, you you encourage it with chain of thought prompting, you know, you get pretty

Ừm và những gì bạn thấy là khi mô hình đạt đến một quy mô nhất định, khi bạn cho phép nó thực hiện chuỗi suy nghĩ, bạn khuyến khích nó bằng cách nhắc chuỗi suy nghĩ, bạn biết đấy, bạn nhận được khá

37:56

interest large increases in the solving rate of GSMK.

Sự gia tăng lớn thú vị trong tỷ lệ giải quyết của GSMK.

37:58

Remember, this is like eighth grade math problems like the ones here.

Hãy nhớ, đây giống như các bài toán lớp tám như những bài ở đây.

38:02

John, you know, John has five rabbits.

John, bạn biết đấy, John có năm con thỏ.

38:04

He gets two more.

Anh ấy có thêm hai con nữa.

38:06

Uh maybe that's not eighth grade, that should more like fifth grade or second grade.

Ừ, có lẽ đó không phải là lớp tám, mà nên là lớp năm hoặc lớp hai.

38:11

But anyway, um, you know, these are pretty simple problems, but we were very excited in 2022 about high rates of accuracy improvements on those kinds of problems.

Nhưng dù sao, ừm, bạn biết đấy, đây là những bài toán khá đơn giản, nhưng chúng tôi đã rất hào hứng vào năm 2022 về tỷ lệ cải thiện độ chính xác cao đối với những loại bài toán đó.

38:23

Remember that.

Hãy nhớ điều đó.

38:24

snorts Another thing we worked on uh was distillation where you can effectively use a powerful teacher model to make a smaller and cheaper student model from the uh you know the more sophisticated

[khịt mũi] Một điều khác chúng tôi đã làm việc là chưng cất, nơi bạn có thể sử dụng hiệu quả một mô hình giáo viên mạnh mẽ để tạo ra một mô hình học sinh nhỏ hơn và rẻ hơn từ những dự đoán tinh vi hơn

38:40

predictions that the larger model can make.

mà mô hình lớn hơn có thể đưa ra.

38:42

Um and in particular like if you're doing language modeling perform the conerto for blank right so the true answer in this case was violin.

Ừm và đặc biệt, nếu bạn đang làm mô hình ngôn ngữ, hãy thực hiện bản concerto cho chỗ trống, vậy câu trả lời đúng trong trường hợp này là violin.

38:51

um and that's what your training methodology would use as the signal to give you a supervised learning signal.

Ừm và đó là những gì phương pháp huấn luyện của bạn sẽ sử dụng làm tín hiệu để cung cấp cho bạn tín hiệu học có giám sát.

38:58

But if you have a really good model already, what that teacher model can give you is a probability

Nhưng nếu bạn đã có một mô hình thực sự tốt, điều mà mô hình giáo viên đó có thể cung cấp cho bạn là một phân phối xác suất

39:05

distribution over the word the likely next words.

trên các từ, những từ tiếp theo có khả năng xảy ra.

39:07

So it could be violin, could be piano, could be trumpet.

Vậy nó có thể là violin, có thể là piano, có thể là trumpet.

39:11

It's almost certainly not airplane, right?

Gần như chắc chắn không phải là máy bay, đúng không?

39:13

Unless there's new concertos I don't know about.

Trừ khi có những bản concerto mới mà tôi không biết.

39:16

Um, and so that gives that gives a really rich gradient signal at the very top of the model that gives it much more information than just did you get violin or not.

Ừm, và vì vậy điều đó mang lại một tín hiệu gradient thực sự phong phú ở phần trên cùng của mô hình, cung cấp nhiều thông tin hơn nhiều so với việc chỉ cho biết bạn có đạt được violin hay không.

39:28

Uh, which is what the

Ừ, đó là những gì

39:30

sort of nondistilled uh, loss would give you.

kiểu mất mát không chưng cất sẽ cung cấp cho bạn.

39:32

And so this enables you to get a lot of the capability of a very large model into a much smaller model and also to do so with much less data perhaps.

Và vì vậy điều này cho phép bạn đưa nhiều khả năng của một mô hình rất lớn vào một mô hình nhỏ hơn nhiều và cũng có thể làm như vậy với ít dữ liệu hơn có lẽ.

39:44

So in the initial experiments in the paper, we were looking at a speech uh recognition problem.

Vậy trong các thí nghiệm ban đầu trong bài báo, chúng tôi đang xem xét một bài toán nhận dạng giọng nói.

39:49

And so we had a baseline where we used 100% of the training set and got a training frame accuracy of 63.4% and a test frame accuracy of 58.9%.

Và vì vậy chúng tôi có một đường cơ sở nơi chúng tôi sử dụng 100% tập huấn luyện và đạt được độ chính xác khung huấn luyện là 63,4% và độ chính xác khung kiểm tra là 58,9%.

40:00

But snorts if you drop the baseline to use just 3% of the training data, then you overfit on that.

Nhưng [khịt mũi] nếu bạn giảm đường cơ sở xuống chỉ sử dụng 3% dữ liệu huấn luyện, thì bạn sẽ quá khớp trên đó.

40:08

So you have 67% training frame accuracy but your test frame accuracy plummets to 44.5%.

Vậy bạn có độ chính xác khung huấn luyện là 67% nhưng độ chính xác khung kiểm tra của bạn giảm mạnh xuống 44,5%.

40:14

Um but if you use the soft targets with distillation you get uh you know quite a nice uh training frame accuracy actually even better than the baseline on the 100% of the training data with just 3% of the training data and your test frame accuracy is nearly as good as the full model trained on 100% 100% of the data.

Ừm nhưng nếu bạn sử dụng các mục tiêu mềm với chưng cất, bạn sẽ có được độ chính xác khung huấn luyện khá tốt, thực sự thậm chí tốt hơn cả đường cơ sở trên 100% dữ liệu huấn luyện chỉ với 3% dữ liệu huấn luyện và độ chính xác khung kiểm tra của bạn gần như tốt như mô hình đầy đủ được huấn luyện trên 100% 100% dữ liệu.

40:34

So this is a really key technique for effectively enabling you to uh morph any shaped model into another shape model often a larger model into a smaller model.

Vì vậy đây là một kỹ thuật thực sự quan trọng để cho phép bạn biến đổi bất kỳ mô hình có hình dạng nào thành một mô hình có hình dạng khác, thường là một mô hình lớn hơn thành một mô hình nhỏ hơn.

40:46

This is for example what we use in Gemini to go from the pros scale model into a flashcale model that is almost as good as the proscale model.

Đây là ví dụ những gì chúng tôi sử dụng trong Gemini để đi từ mô hình quy mô pro sang mô hình quy mô flash gần như tốt như mô hình quy mô pro.

40:58

And then in the last you know four or five years I would say uh reinforcement learning has become much more important in eliciting the desired properties that these models have.

Và sau đó trong bốn hoặc năm năm qua, tôi có thể nói rằng học tăng cường đã trở nên quan trọng hơn nhiều trong việc khơi gợi các thuộc tính mong muốn mà các mô hình này có.

41:08

Um and so given a pre-trained model where you've just uh exposed it to a whole bunch of training data of text um that model has a bunch of uh capabilities in it but they often you want to help steer the capabilities

Ừm và vì vậy với một mô hình đã được huấn luyện trước, nơi bạn chỉ đưa nó tiếp xúc với một loạt dữ liệu huấn luyện văn bản, mô hình đó có một loạt khả năng trong đó nhưng bạn thường muốn giúp định hướng các khả năng

41:24

of these models a bit.

của những mô hình này một chút.

41:25

So in particular, you want to maybe encourage behaviors that you want in the way in which the model responds.

Vì vậy đặc biệt, bạn có thể muốn khuyến khích các hành vi mà bạn muốn trong cách mô hình phản hồi.

41:31

You might like a certain style of it uh of response.

Bạn có thể thích một phong cách phản hồi nhất định.

41:35

You might like to prefer certain length responses for certain kinds of things.

Bạn có thể muốn ưu tiên các phản hồi có độ dài nhất định cho một số loại điều nhất định.

41:39

You might want safety properties to be uh put into the model.

Bạn có thể muốn các thuộc tính an toàn được đưa vào mô hình.

41:43

So don't engage in these kinds of topics or say something like

Vậy đừng tham gia vào những loại chủ đề này hoặc nói điều gì đó như

41:47

this in these set scenarios.

thế này trong những tình huống đã định.

41:48

And you also want to enhance the capabilities by showing the model how to tackle more complex problems.

Và bạn cũng muốn nâng cao khả năng bằng cách cho mô hình thấy cách giải quyết các vấn đề phức tạp hơn.

41:54

And so one of the key cr questions when you use uh reinforcement learning is where does the reward signal come from?

Và vì vậy một trong những câu hỏi quan trọng khi bạn sử dụng học tăng cường là tín hiệu phần thưởng đến từ đâu?

42:02

Um but these do dramatically improve the model capability in a lot of domains.

Ừm nhưng những điều này cải thiện đáng kể khả năng của mô hình trong nhiều lĩnh vực.

42:06

And the reward signals turns out can come from

Và các tín hiệu phần thưởng hóa ra có thể đến từ

42:10

lots of different places.

nhiều nơi khác nhau.

42:11

So one is you can use human feedback.

Vậy một là bạn có thể sử dụng phản hồi của con người.

42:14

you know, do you like A or B as an answer for this kind of question and have humans evaluate that and give a reward and then have the model um or is this a good answer for this question?

Bạn biết đấy, bạn thích A hay B làm câu trả lời cho loại câu hỏi này và để con người đánh giá điều đó và đưa ra phần thưởng và sau đó để mô hình ừm hoặc đây có phải là câu trả lời tốt cho câu hỏi này không?

42:28

Uh they can say yes or no.

Ừ, họ có thể nói có hoặc không.

42:30

Those kinds of things can be very effective at making the model's behavior u change pretty dramatically with even

Những loại điều đó có thể rất hiệu quả trong việc làm cho hành vi của mô hình thay đổi khá đáng kể ngay cả với

42:37

relatively few examples.

tương đối ít ví dụ.

42:38

You can also use uh reinforcement learning from machine feedback where you have machine feedback from a different model.

Bạn cũng có thể sử dụng học tăng cường từ phản hồi của máy, nơi bạn có phản hồi của máy từ một mô hình khác.

42:44

So often called a reward model maybe you can prompt the reward model saying please say whether you prefer response A or B for question Q and then you generate two responses from your base model and then you ask the reward model

Vậy thường được gọi là mô hình phần thưởng, có lẽ bạn có thể nhắc mô hình phần thưởng rằng hãy nói xem bạn thích phản hồi A hay B cho câu hỏi Q và sau đó bạn tạo hai phản hồi từ mô hình cơ sở của bạn và sau đó bạn hỏi mô hình phần thưởng

43:00

which one do you like better and that gives you a reward signal.

cái nào bạn thích hơn và điều đó mang lại cho bạn một tín hiệu phần thưởng.

43:04

Um you can also do RL and verifiable domains like math or coding and you can for example generate proofs or solutions to be checked with the theorem prover that give and give a positive reward when the model you know uh produces a correct proof for the problem you're trying to solve.

Ừm bạn cũng có thể làm RL trong các lĩnh vực có thể xác minh như toán học hoặc lập trình và bạn có thể ví dụ tạo ra các chứng minh hoặc giải pháp để được kiểm tra bằng trình chứng minh định lý, điều này mang lại phần thưởng tích cực khi mô hình bạn biết đấy tạo ra một chứng minh đúng cho vấn đề bạn đang cố giải quyết.

43:20

You can generate code for coding

Bạn có thể tạo mã để lập trình

43:22

things where you now have a reward for does the code even compile?

Những thứ mà bây giờ bạn có phần thưởng cho việc liệu mã có biên dịch được không?

43:26

Um does the code compile and pass the unit test?

Ừm, mã có biên dịch được và vượt qua bài kiểm tra đơn vị không?

43:29

You get more reward.

Bạn nhận được nhiều phần thưởng hơn.

43:30

Um these kinds of things.

Ừm, những loại thứ như thế này.

43:31

So these really help a lot in both math and math and coding but also in kind of adjacent areas like more sophisticated reasoning and planning in um you know adjacent domains.

Vì vậy, những điều này thực sự giúp ích rất nhiều trong cả toán học và toán học và lập trình, mà còn trong các lĩnh vực liên quan như lý luận và lập kế hoạch phức tạp hơn trong các lĩnh vực liên quan mà bạn biết đấy.

43:41

Um I think there's a nice open research question of

Ừm, tôi nghĩ có một câu hỏi nghiên cứu mở thú vị về

43:45

how do you improve the effectiveness of RL in non-verifiable domains and where do you get interesting reward signals from?

Làm thế nào để bạn cải thiện hiệu quả của RL trong các lĩnh vực không thể xác minh và bạn lấy tín hiệu phần thưởng thú vị từ đâu?

43:52

Uh those are those are things that I think are pretty open and ripe for lots of cool approaches.

Uh, đó là những thứ mà tôi nghĩ là khá mở và chín muồi cho nhiều cách tiếp cận thú vị.

44:00

clears throat In 2023, a few of my colleagues came up with this really nice method for doing spec making inference faster.

[hắng giọng] Vào năm 2023, một vài đồng nghiệp của tôi đã nghĩ ra phương pháp rất hay để thực hiện suy luận spec making nhanh hơn.

44:07

Um one of the problems with the auto reggressive decoding is in order to have the attention mechanism have the state it needs when you're when you're prefilling.

Ừm, một trong những vấn đề với giải mã tự hồi quy là để cơ chế chú ý có trạng thái cần thiết khi bạn đang điền trước.

44:17

So if you have an input of a thousand tokens that you can do completely in parallel.

Vì vậy, nếu bạn có đầu vào gồm một nghìn token, bạn có thể làm hoàn toàn song song.

44:24

But now if

Nhưng bây giờ nếu

44:25

you're going to try to start generating a response, you generate the first token and then when you finish generating the first token, you can now look at that token and be able to now generate the next token because you need the attention state for that previous token in order to actually generate the next token.

Bạn định bắt đầu tạo phản hồi, bạn tạo token đầu tiên và khi bạn hoàn thành việc tạo token đầu tiên, bây giờ bạn có thể nhìn vào token đó và có thể tạo token tiếp theo vì bạn cần trạng thái chú ý cho token trước đó để thực sự tạo token tiếp theo.

44:42

So it's a very again a sequential process a little bit like the

Vì vậy, đây lại là một quá trình tuần tự, hơi giống như

44:46

problem we had with LSTM's where you have this sequential decoding phase.

Vấn đề chúng ta gặp với LSTM khi bạn có giai đoạn giải mã tuần tự này.

44:50

Um and so speculative decoding is a nice uh approach and you change only the decoding algorithm.

Ừm, và vì vậy giải mã suy đoán là một cách tiếp cận hay và bạn chỉ thay đổi thuật toán giải mã.

44:56

You don't have to retrain your model.

Bạn không cần huấn luyện lại mô hình của mình.

44:58

You have no architecture changes, no retraining and you're guaranteed to have the identical output distribution.

Bạn không có thay đổi kiến trúc, không huấn luyện lại và bạn được đảm bảo có phân phối đầu ra giống hệt.

45:04

Okay.

Được rồi.

45:05

So the observation is decoding from very large

Vì vậy, quan sát là giải mã từ các mô hình Transformer rất lớn

45:08

transformer models is memory bound.

bị giới hạn bởi bộ nhớ.

45:09

So the hardware can do way more floatingoint operations than it can do transfer all the weights of your model into the MX into the multiplier unit in order to do the single token of decoding you want to be able to do.

Vì vậy, phần cứng có thể thực hiện nhiều phép toán dấu phẩy động hơn nhiều so với việc truyền tất cả trọng số của mô hình vào MX vào đơn vị nhân để thực hiện một token giải mã mà bạn muốn làm.

45:23

Uh observation two is that some tokens are a lot easier to predict than others.

Uh, quan sát thứ hai là một số token dễ dự đoán hơn nhiều so với những token khác.

45:28

Um so can you tell me what the square root

Ừm, vậy bạn có thể cho tôi biết căn bậc hai

45:32

of seven?

của bảy là bao nhiêu không?

45:32

Sure the square root of seven is blank.

Chắc chắn rồi, căn bậc hai của bảy là trống.

45:35

Right?

Đúng không?

45:35

That last token is really hard for the model to predict.

Token cuối cùng đó thực sự khó để mô hình dự đoán.

45:39

But a lot of the other ones are very easy for the model to predict.

Nhưng nhiều token khác lại rất dễ để mô hình dự đoán.

45:44

Like after the question mark, it can probably make a prediction of four or five tokens and get uh some of them uh correct.

Giống như sau dấu hỏi, nó có thể dự đoán bốn hoặc năm token và đúng được một số trong đó.

45:51

In particular, some prefix of them correct.

Cụ thể là một số tiền tố của chúng đúng.

45:54

And so the idea is you have a fast drafter model where you don't need the full sophistication of a much larger model and you can quickly generate the next say eight tokens and then have the target large model check them in parallel.

Và vì vậy ý tưởng là bạn có một mô hình phác thảo nhanh, nơi bạn không cần độ phức tạp đầy đủ của một mô hình lớn hơn nhiều và bạn có thể nhanh chóng tạo ra, giả sử, tám token tiếp theo và sau đó để mô hình lớn mục tiêu kiểm tra chúng song song.

46:08

This effectively gives you a batch size now of instead of one a batch size of eight.

Điều này thực sự cho bạn kích thước lô bây giờ thay vì một là tám.

46:14

And if you accept on average four and a half of those eight

Và nếu bạn chấp nhận trung bình bốn phẩy năm trong số tám token đó,

46:19

tokens, then you've made your uh sort of um compute efficiency much better.

thì bạn đã làm cho hiệu quả tính toán của mình tốt hơn nhiều.

46:26

Um so here's an animation of how this works.

Ừm, vậy đây là một hoạt ảnh về cách nó hoạt động.

46:28

If you just try decoding with a large slow model at the top, you're decoding one token at a time.

Nếu bạn chỉ thử giải mã với một mô hình lớn chậm ở trên cùng, bạn đang giải mã từng token một.

46:35

And instead if you have a small model at the bottom that's drafting you know sequences of four tokens at a time uh and then the larger model I'm going to run that again.

Và thay vào đó, nếu bạn có một mô hình nhỏ ở dưới đang phác thảo, bạn biết đấy, các chuỗi bốn token một lúc, uh và sau đó mô hình lớn hơn, tôi sẽ chạy lại cái đó.

46:45

Okay.

Được rồi.

46:45

So now watch the bottom thing.

Vậy bây giờ hãy xem thứ ở dưới cùng.

46:47

The drafter is gen

Mô hình phác thảo đang tạo

46:49

iterating the yellow things and then the uh the upper model is accepting the one the prefix of them that is correct according to what it wanted to generate based on its own probability distribution.

lặp lại những thứ màu vàng và sau đó mô hình phía trên đang chấp nhận một tiền tố của chúng đúng theo những gì nó muốn tạo dựa trên phân phối xác suất của chính nó.

47:08

So this actually helps quite a lot in you know improving the efficiency of inference in these models.

Vì vậy, điều này thực sự giúp ích khá nhiều trong việc cải thiện hiệu quả suy luận trong các mô hình này.

47:15

Okay.

Được rồi.

47:15

So a whole bunch of things have come together in order to actually do uh make these uh modern models work well.

Vì vậy, một loạt thứ đã kết hợp lại để thực sự làm cho những mô hình hiện đại này hoạt động tốt.

47:24

Uh you know lots of innovations in the inference algorithms in the training algorithms, model architecture, software abstractions and in the hardware.

Uh, bạn biết đấy, rất nhiều đổi mới trong thuật toán suy luận, thuật toán huấn luyện, kiến trúc mô hình, trừu tượng phần mềm và phần cứng.

47:34

Okay.

Được rồi.

47:34

So now we get to Gemini.

Vậy bây giờ chúng ta đến với Gemini.

47:39

So we actually the sort of origin of Gemini was he actually had multiple separate groups at Google looking at language models looking at sort of creating multimmodal models of various kinds and I sort of said this is stupid why don't we all work together and have instead of fragmenting our compute and our ideas let's all work together and build a single kind of

Vậy thực ra nguồn gốc của Gemini là ông ấy có nhiều nhóm riêng biệt tại Google đang nghiên cứu mô hình ngôn ngữ, nghiên cứu việc tạo ra các mô hình đa phương thức khác nhau và tôi đã nói điều này thật ngớ ngẩn, tại sao chúng ta không cùng làm việc với nhau và thay vì phân mảnh tính toán và ý tưởng của mình, hãy cùng nhau xây dựng một loại

48:04

model that is multimmodal that uh has you know a lot comput investment behind a more singular effort and that's the sort of origin of the Gemini project and so we started this in February 2023 with a bunch of collaborators from Google DeepMind Google Research and the rest of Google um and our goal is really train the world's best multimodal models and use them in all the places we can uh and

mô hình đa phương thức, uh, có bạn biết đấy, rất nhiều đầu tư tính toán đằng sau một nỗ lực thống nhất hơn và đó là nguồn gốc của dự án Gemini và vì vậy chúng tôi bắt đầu điều này vào tháng 2 năm 2023 với một nhóm cộng tác viên từ Google DeepMind, Google Research và phần còn lại của Google, ừm và mục tiêu của chúng tôi thực sự là huấn luyện các mô hình đa phương thức tốt nhất thế giới và sử dụng chúng ở mọi nơi chúng tôi có thể, uh và

48:30

so we've produced uh in that time a number of different sort of iterations of Gemini generations one 1.5 two, 2.5, and most recently three.

Vậy là trong khoảng thời gian đó, chúng tôi đã tạo ra một số phiên bản khác nhau của các thế hệ Gemini: một, 1.5, hai, 2.5, và gần đây nhất là ba.

48:39

Um, and one of the things we wanted was for the model to be multimodal from the start.

Ừm, và một trong những điều chúng tôi muốn là mô hình phải đa phương thức ngay từ đầu.

48:46

Uh, in particular, we think it's really important that it deal with language, with audio, with images, and with video.

Ừ, đặc biệt, chúng tôi nghĩ rằng điều thực sự quan trọng là nó xử lý được ngôn ngữ, âm thanh, hình ảnh và video.

48:54

uh as well as other nonhuman

Ừ, cũng như các phương thức phi con người khác

48:57

modalities like um in more recent Gemini versions we've been including some small amounts of say LAR data or robotic control data because you want to at least expose the model to the idea that these kinds of data exist and then uh initially in the early Gemini versions we had an image decoder and a text decoder uh more recently we've added audio decoders and video video decoders

Các phương thức như ừm trong các phiên bản Gemini gần đây hơn, chúng tôi đã bao gồm một lượng nhỏ dữ liệu LAR hoặc dữ liệu điều khiển robot vì bạn muốn ít nhất cho mô hình tiếp xúc với ý tưởng rằng những loại dữ liệu này tồn tại, và sau đó ừ ban đầu trong các phiên bản Gemini đầu tiên, chúng tôi có một bộ giải mã hình ảnh và một bộ giải mã văn bản, ừ gần đây hơn chúng tôi đã thêm bộ giải mã âm thanh và bộ giải mã video

49:25

so that we have a single unified model that can reason over input sequences that are mixes of any of these modalities.

Vì vậy, chúng tôi có một mô hình thống nhất duy nhất có thể suy luận trên các chuỗi đầu vào là hỗn hợp của bất kỳ phương thức nào trong số này.

49:31

So you can give it like an image and some text that describes the image or what you want the model to pay attention to and maybe you have video and some audio and you can also produce any of those things as output um in an interleved way if you want.

Vì vậy, bạn có thể đưa cho nó một hình ảnh và một số văn bản mô tả hình ảnh hoặc những gì bạn muốn mô hình chú ý đến, và có thể bạn có video và một số âm thanh, và bạn cũng có thể tạo ra bất kỳ thứ nào trong số đó làm đầu ra ừm theo cách xen kẽ nếu bạn muốn.

49:47

Um and as I said we're basically building on lots of these different advances.

Ừm, và như tôi đã nói, về cơ bản chúng tôi đang xây dựng dựa trên rất nhiều tiến bộ khác nhau này.

49:52

So we use TPUs, we use model parallel and data parallel training and cross data center training.

Vì vậy, chúng tôi sử dụng TPU, chúng tôi sử dụng huấn luyện song song mô hình và song song dữ liệu, và huấn luyện xuyên trung tâm dữ liệu.

49:58

We have fast and automated detection of the STC errors, we use pathways, we use jacks, we use distributed representation of words similar to wordtovec or the sequence of sequence work.

Chúng tôi có phát hiện nhanh và tự động các lỗi STC, chúng tôi sử dụng pathways, chúng tôi sử dụng jacks, chúng tôi sử dụng biểu diễn phân tán của từ tương tự như wordtovec hoặc công trình sequence to sequence.

50:09

We use

Chúng tôi sử dụng

50:10

transformers.

Transformers.

50:10

We our models are sparse typically.

Các mô hình của chúng tôi thường thưa.

50:12

We distill uh from larger models into smaller models.

Chúng tôi chưng cất ừ từ các mô hình lớn hơn thành các mô hình nhỏ hơn.

50:15

We use chain of thought decoding and more sophisticated versions of that.

Chúng tôi sử dụng giải mã chuỗi suy nghĩ và các phiên bản tinh vi hơn của nó.

50:20

uh speculative decoding is really important.

Ừ, giải mã suy đoán thực sự quan trọng.

50:22

We use SFT and various kinds of RL uh and a bunch of other uh things I didn't have time to talk about.

Chúng tôi sử dụng SFT và nhiều loại RL khác nhau ừ và một loạt những thứ khác ừ mà tôi không có thời gian để nói đến.

50:31

Um one of the things we've been uh working on for a while is making our context length uh large because we think the information in the context window for the model is really useful.

Ừm, một trong những điều chúng tôi đã ừ làm việc trong một thời gian là làm cho độ dài ngữ cảnh ừ lớn, vì chúng tôi nghĩ thông tin trong cửa sổ ngữ cảnh của mô hình thực sự hữu ích.

50:42

You know it unlike m uh tokens in the training data where you've sort of taken trillions of tokens of training data and stirred them together into hundreds of billions of parameters but it's all a

Bạn biết đấy, không giống như ừm các token trong dữ liệu huấn luyện, nơi bạn đã lấy hàng nghìn tỷ token dữ liệu huấn luyện và trộn chúng lại với nhau thành hàng trăm tỷ tham số, nhưng tất cả đều

50:54

little bit muddled and fuzzy.

Hơi lộn xộn và mờ nhạt.

50:55

The information in the context window of the model the input that you give it is very crisp because you haven't mixed it with anything else.

Thông tin trong cửa sổ ngữ cảnh của mô hình, đầu vào mà bạn cung cấp cho nó, rất rõ ràng vì bạn chưa trộn nó với bất cứ thứ gì khác.

51:03

is sort of like I see these 900 pages of text you gave me and I can like look at different parts of it and summarize and combine and pull out little pieces of it when I'm decoding.

Giống như kiểu tôi thấy 900 trang văn bản bạn đưa cho tôi và tôi có thể xem các phần khác nhau của nó, tóm tắt, kết hợp và trích xuất những mảnh nhỏ khi tôi giải mã.

51:15

And so uh extending the context window to very large lengths has been something we've been uh working on and we think is important.

Và vì vậy ừ, mở rộng cửa sổ ngữ cảnh đến độ dài rất lớn là điều chúng tôi đã ừ làm việc và chúng tôi nghĩ nó quan trọng.

51:23

Um, you know, one of the things we've tried to keep up with in every uh release of Gemini since the earliest ones is that we want our we have different scales of models.

Ừm, bạn biết đấy, một trong những điều chúng tôi cố gắng duy trì trong mỗi ừ bản phát hành Gemini kể từ những phiên bản đầu tiên là chúng tôi muốn có các quy mô mô hình khác nhau.

51:35

We have a pros scale model which is the most the highest quality model.

Chúng tôi có mô hình quy mô pro, là mô hình chất lượng cao nhất.

51:40

Um, and then we have a flash scale model that is ideally uh as close to that proscale model as we can get it.

Ừm, và sau đó chúng tôi có mô hình quy mô flash, lý tưởng là ừ càng gần với mô hình quy mô pro đó càng tốt.

51:47

Uh and in particular, we also want that flash scale model to be better than the previous generations pro model, right?

Ừ, và đặc biệt, chúng tôi cũng muốn mô hình quy mô flash đó tốt hơn mô hình pro của thế hệ trước, đúng không?

51:54

Uh and so we've been able to keep that up for three, four generations now, which we're pretty happy with.

Ừ, và vì vậy chúng tôi đã có thể duy trì điều đó trong ba, bốn thế hệ, điều mà chúng tôi khá hài lòng.

52:01

Uh because it means that the highest end thing that is perhaps slower and more expensive for a lot of use cases suddenly becomes more affordable six months from now uh because it now has that capability in the flash scale model.

Ừ, vì điều đó có nghĩa là thứ cao cấp nhất, có thể chậm hơn và đắt hơn cho nhiều trường hợp sử dụng, đột nhiên trở nên hợp túi tiền hơn sau sáu tháng ừ vì giờ nó có khả năng đó trong mô hình quy mô flash.

52:16

um you know Gemini 2.5 Pro uh we released in March I guess uh with um quite good results um we've also been working on you know mathematical problem solving and in July of last year we competed in the international mathematical olympi the IMO um and we got five out of six problems correct which is a gold medal score we were quite happy with that Um and we did it uh we competed the

Ừm, bạn biết đấy, Gemini 2.5 Pro ừ chúng tôi phát hành vào tháng Ba tôi nghĩ vậy ừ với ừm kết quả khá tốt ừm chúng tôi cũng đã làm việc về ừm giải quyết vấn đề toán học và vào tháng Bảy năm ngoái, chúng tôi đã thi đấu trong Olympic Toán học Quốc tế IMO ừm và chúng tôi đã giải đúng năm trong sáu bài toán, đó là điểm huy chương vàng, chúng tôi khá hài lòng với điều đó Ừm và chúng tôi đã làm điều đó ừ chúng tôi đã thi đấu

52:48

previous year with a more sophisticated kind of juryrigged mathematically specialized model that used lean and theorem provers and various things like that.

Năm trước với một loại mô hình chuyên biệt về toán học tinh vi hơn được chế tạo tạm thời, sử dụng lean và các trình chứng minh định lý và nhiều thứ tương tự.

52:57

Um for this year we used just an out-of-the-box Gemini pro scale model with a high inference thinking time budget in order to tackle these problems.

Ừm, cho năm nay, chúng tôi chỉ sử dụng một mô hình quy mô pro Gemini nguyên bản với ngân sách thời gian suy luận cao để giải quyết những bài toán này.

53:08

So we were pretty happy that you know we didn't have the sort of uh

Vì vậy, chúng tôi khá hài lòng rằng bạn biết đấy, chúng tôi không có kiểu ừ

53:15

and we also had in the previous year we had a different model for geometry problems and things like that.

Và chúng tôi cũng đã có, trong năm trước, chúng tôi có một mô hình khác cho các bài toán hình học và những thứ tương tự.

53:20

Um so we were happy to have a single general purpose model that is the same one we offered to users um was able to solve uh and get a gold medal at the IMO.

Ừm, vì vậy chúng tôi rất vui khi có một mô hình đa năng duy nhất, cũng chính là mô hình chúng tôi cung cấp cho người dùng ừm, có thể giải được ừ và giành huy chương vàng tại IMO.

53:31

just to give you a sense of, you know, how far we've come in mathematics.

Chỉ để cho bạn thấy, bạn biết đấy, chúng tôi đã tiến xa đến mức nào trong toán học.

53:35

Remember back to Fred had five rabbits and then he got

Hãy nhớ lại Fred có năm con thỏ và sau đó anh ấy có thêm

53:39

two more.

Hai con nữa.

53:40

Okay, so this is one of the IMO problems.

Được rồi, vậy đây là một trong những bài toán IMO.

53:45

Um, and you can see all the five correct solutions of the problems we did there.

Ừm, và bạn có thể thấy tất cả năm lời giải đúng của các bài toán chúng tôi đã làm ở đó.

53:51

Uh, but this is one of the problems.

Ừ, nhưng đây là một trong những bài toán.

53:55

And so this is the output of our model.

Và đây là đầu ra của mô hình của chúng tôi.

54:00

And you can see this is sort of fairly sophisticated mathematical style writing and formatting of proofs and so on.

Và bạn có thể thấy đây là kiểu viết và định dạng chứng minh toán học khá tinh vi và vân vân.

54:08

And we uh established an upper bound.

Và chúng tôi ừ đã thiết lập một cận trên.

54:11

We had another lema.

Chúng tôi có một bổ đề khác.

54:12

We constructed and made a lower bound.

Chúng tôi đã xây dựng và tạo ra một cận dưới.

54:16

And then we proved that f of n is less than or equal to 4n for all bonso functions which was part of the introduction of the problem.

Và sau đó chúng tôi đã chứng minh rằng f của n nhỏ hơn hoặc bằng 4n với mọi hàm bonso, điều này là một phần của phần giới thiệu bài toán.

54:28

So like this is now quite a bit beyond GSM8K I would say.

Vì vậy, điều này giờ đã vượt xa GSM8K khá nhiều, tôi có thể nói vậy.

54:34

snorts I mean it's not research level mathematics yet but you can see the slope is quite large in two years.

[khịt mũi] Ý tôi là nó chưa phải là toán học cấp nghiên cứu, nhưng bạn có thể thấy độ dốc khá lớn trong hai năm.

54:43

Um and then our Gemini 3 model release uh happened in November uh of this year where we were pretty happy with a lot of the benchmark results.

Ừm, và sau đó là bản phát hành mô hình Gemini 3 của chúng tôi ừ đã diễn ra vào tháng Mười Một ừ năm nay, nơi chúng tôi khá hài lòng với nhiều kết quả đánh giá.

54:53

Um but also we have some uh you know we were happy with where it landed in you know one of the ways that you evaluate these models in the wild is you can use this uh setup called Ella Marina where people see snorts responses from two anonymized models and

Ừm nhưng chúng tôi cũng có một số ừ bạn biết đấy chúng tôi hài lòng với vị trí của nó trong bạn biết đấy một trong những cách bạn đánh giá những mô hình này trong thực tế là bạn có thể sử dụng thiết lập này gọi là Ella Marina nơi mọi người thấy [khịt mũi] phản hồi từ hai mô hình ẩn danh và

55:12

then they say which one is better and from lots of pairwise for their particular prompt right like people can go say can you please help me solve this uh mathematical problem or can you help me produce a recipe for my you know French onion soup or something and uh then people grade A or A or B which is better like going to the opthalmologist uh and through a lot of those

Sau đó họ nói cái nào tốt hơn và từ nhiều cặp đối với lời nhắc cụ thể của họ đúng như mọi người có thể nói làm ơn giúp tôi giải bài toán này ừ hoặc bạn có thể giúp tôi tạo công thức cho món súp hành kiểu Pháp của tôi hay gì đó và ừ sau đó mọi người chấm điểm A hoặc A hoặc B cái nào tốt hơn giống như đi khám bác sĩ mắt ừ và qua nhiều lần

55:37

evaluations you can get a sense of the relative strength of different models uh and that's where you get an ELO score a little bit like a chess ranking um so one of the things we've been working on is uh search and AI mode.

Đánh giá bạn có thể có cảm nhận về sức mạnh tương đối của các mô hình khác nhau ừ và đó là nơi bạn nhận được điểm ELO hơi giống xếp hạng cờ vua ừ vậy một trong những thứ chúng tôi đang làm là ừ tìm kiếm và chế độ AI.

55:53

We actually want these models to be able to produce the UI that the user will see.

Chúng tôi thực sự muốn những mô hình này có thể tạo ra giao diện người dùng mà người dùng sẽ thấy.

55:59

Uh, I'm not sure this is going to work.

Ừ, tôi không chắc điều này sẽ hoạt động.

56:01

Am I on the Wi-Fi?

Tôi có đang kết nối Wi-Fi không?

56:02

I might not be on the Wi-Fi.

Có thể tôi không kết nối Wi-Fi.

56:05

This is going to make me sad.

Điều này sẽ làm tôi buồn.

56:08

All right, let's enable the hotspot.

Được rồi, hãy bật điểm phát sóng.

56:11

That's probably easier than logging into the Princeton guest network, isn't it?

Điều đó có lẽ dễ hơn so với đăng nhập vào mạng khách của Princeton, phải không?

56:19

One moment.

Một lát.

56:21

Sorry.

Xin lỗi.

56:23

Okay, now we're gonna wait for that.

Được rồi, bây giờ chúng ta sẽ chờ điều đó.

56:29

Come on.

Nào.

56:29

Oh, there we go.

Ồ, được rồi.

56:31

Okay, great.

Được rồi, tuyệt.

56:32

Awesome.

Tuyệt vời.

56:33

Now, we're going to try it.

Bây giờ, chúng ta sẽ thử nó.

56:40

Go there.

Đến đó.

56:41

Go there.

Đến đó.

56:43

Yay.

56:44

Thank you, T-Mobile.

Cảm ơn T-Mobile.

56:45

Okay.

Được rồi.

56:45

laughter All right.

[tiếng cười] Được rồi.

56:47

So this is basically they put in a sort of researchy textbooky thing about uh some biological thing and now they said show me how this works and what it's done is created an interactive visualization of the material there and you can use sliders to control the visualization and get a sense of the topics you're trying to learn about

Vậy đây cơ bản là họ đưa vào một thứ kiểu sách giáo khoa nghiên cứu về ừ một thứ sinh học nào đó và bây giờ họ nói cho tôi thấy cách nó hoạt động và những gì nó làm là tạo ra một hình ảnh trực quan tương tác của tài liệu ở đó và bạn có thể dùng thanh trượt để điều khiển hình ảnh trực quan và có cảm nhận về các chủ đề bạn đang cố học

57:16

which is pretty nice.

Điều đó khá hay.

57:18

You can see how this would be really useful for educational things.

Bạn có thể thấy điều này sẽ thực sự hữu ích cho các thứ giáo dục.

57:24

Um, here's another example.

Ừm, đây là một ví dụ khác.

57:26

What this couple has is a bunch of recipes in English and Korean in their in handwritten pieces of their Oh, I will actually since we have closed captions, I will speed this up to 0.25.

Những gì cặp đôi này có là một loạt công thức bằng tiếng Anh và tiếng Hàn trong những mảnh giấy viết tay của họ Ồ, tôi sẽ thực sự vì chúng ta có phụ đề, tôi sẽ tăng tốc độ này lên 0,25.

57:44

Uh, and so they basically are taking things like that.

Ừ, và vậy họ cơ bản đang lấy những thứ như thế.

57:48

They're asking Gemini to take all those recipes and say translate and transcribe them in English and Korean.

Họ đang yêu cầu Gemini lấy tất cả những công thức đó và nói dịch và chép lại chúng bằng tiếng Anh và tiếng Hàn.

57:56

And then it has any Korean speakers can maybe validate um, English translate.

Và sau đó nó có bất kỳ người nói tiếng Hàn nào có thể xác nhận ừm, dịch tiếng Anh.

58:01

Okay, so now they're going to say, "Please create me a bilingual website using these recipes." Okay, so there we go.

Được rồi, vậy bây giờ họ sẽ nói, "Làm ơn tạo cho tôi một trang web song ngữ sử dụng những công thức này." Được rồi, vậy đó.

58:10

And then we added some automatically generated images and this is a website that was created from that.

Và sau đó chúng tôi thêm một số hình ảnh được tạo tự động và đây là một trang web được tạo ra từ đó.

58:17

So I mean I think one of the things about this is that this kind

Vậy ý tôi là tôi nghĩ một trong những điều về điều này là loại

58:24

of sophisticated model will enable a lot of people who maybe don't have the skills to write software to get things that they want in software form.

Mô hình tinh vi này sẽ cho phép nhiều người có thể không có kỹ năng viết phần mềm có được những thứ họ muốn dưới dạng phần mềm.

58:32

So I think we're going to have a lot more software in the world than we have now.

Vậy tôi nghĩ chúng ta sẽ có nhiều phần mềm trên thế giới hơn hiện tại.

58:38

Um, just kind of a cute example, but I think it's good to pay attention to what these models can do and the sophistication level of the coding and and uh problem solving they can do.

Ừm, chỉ là một ví dụ dễ thương, nhưng tôi nghĩ tốt khi chú ý đến những gì những mô hình này có thể làm và mức độ tinh vi của việc lập trình và và ừ giải quyết vấn đề mà chúng có thể làm.

58:51

Um, I mean, I'll skip that.

Ừm, ý tôi là, tôi sẽ bỏ qua cái đó.

58:54

Uh, generative models for images and for video have also been uh um improving quite rapidly I would say.

Ừ, các mô hình tạo sinh cho hình ảnh và video cũng đã ừ ừm cải thiện khá nhanh tôi phải nói.

59:02

Um so we had a initial release of something called nanoanana uh and then we made a much more computationally expensive but higher quality version called nanobanana pro u and so as examples of things you know you can start with that blueprint and say please make a realistic 3D image

Ừm vậy chúng tôi đã có một bản phát hành ban đầu của thứ gọi là nanoanana ừ và sau đó chúng tôi làm một phiên bản tốn nhiều tính toán hơn nhưng chất lượng cao hơn gọi là nanobanana pro u và vậy như ví dụ về những thứ bạn biết bạn có thể bắt đầu với bản thiết kế đó và nói làm ơn tạo một hình ảnh 3D thực tế

59:25

from the blueprint.

Từ bản thiết kế.

59:26

You can see how this would be quite useful for visualizing different architectural things.

Bạn có thể thấy điều này sẽ khá hữu ích cho việc hình dung các thứ kiến trúc khác nhau.

59:31

um you can say please annotate the original transformer architectural diagram with the important things that happen in different parts of the diagram.

Ừm bạn có thể nói làm ơn chú thích sơ đồ kiến trúc transformer gốc với những thứ quan trọng xảy ra ở các phần khác nhau của sơ đồ.

59:41

You can see if you're reading a research paper um getting a visualization of that uh could be pretty useful.

Bạn có thể thấy nếu bạn đang đọc một bài báo nghiên cứu ừm có được hình ảnh trực quan về nó ừ có thể khá hữu ích.

59:49

Um you can actually view thinking in pixel space.

Ừm bạn thực sự có thể xem suy nghĩ trong không gian pixel.

59:52

So here the input image is um you know this sort of ball and ramp problem and tell me which bucket the ball lands in use images to solve it step by step right so you can now actually see the model will generate a series of images of its reasoning.

Vậy ở đây hình ảnh đầu vào là ừm bạn biết đấy kiểu bài toán quả bóng và dốc này và nói cho tôi biết quả bóng rơi vào xô nào sử dụng hình ảnh để giải từng bước đúng vậy bây giờ bạn thực sự có thể thấy mô hình sẽ tạo ra một loạt hình ảnh về lý luận của nó.

1:00:13

So it goes from there.

Vậy nó đi từ đó.

1:00:15

Step one, ball rolls there.

Bước một, quả bóng lăn đến đó.

1:00:16

Step two, the ball rolls on to three.

Bước hai, quả bóng lăn đến ba.

1:00:18

And then uh step three, the ball rolls on to five.

Và rồi bước ba, quả bóng lăn đến số năm.

1:00:22

And then step four, it ends up in bucket B.

Và rồi bước bốn, nó kết thúc trong xô B.

1:00:25

And so you can sort of see how your own problem solving probably makes these mental images of what's going to happen.

Và bạn có thể phần nào thấy cách quá trình giải quyết vấn đề của chính bạn có thể tạo ra những hình ảnh tinh thần về những gì sắp xảy ra.

1:00:32

And the model is able to do that and actually render that.

Và mô hình có thể làm được điều đó và thực sự hiển thị nó.

1:00:37

Um this is like an example.

Ừm, đây là một ví dụ.

1:00:39

You can annotate Orville Wright's airplane with different stats.

Bạn có thể chú thích máy bay của Orville Wright với các số liệu khác nhau.

1:00:44

I guess 605 pounds.

Tôi đoán là 605 pound.

1:00:46

That's interesting.

Điều đó thật thú vị.

1:00:47

Didn't realize it was quite so heavy.

Không ngờ nó lại nặng đến vậy.

1:00:51

Um, you know, I tweeted this out as an example of what it can do.

Ừm, bạn biết đấy, tôi đã tweet điều này như một ví dụ về những gì nó có thể làm.

1:00:57

When we initially launched Nanomana Pro and a bunch of people got very sad.

Khi chúng tôi ra mắt Nanomana Pro lần đầu, một số người đã rất buồn.

1:01:03

laughter So, no Pluto, where Pluto?

[tiếng cười] Vậy, không có Sao Diêm Vương, Sao Diêm Vương đâu?

1:01:06

So, I said, "Okay, okay.

Vậy, tôi nói, "Được rồi, được rồi.

1:01:09

- snorts - I too am a child of the nine planet era.

- [khịt mũi] - Tôi cũng là một đứa trẻ của thời đại chín hành tinh.

1:01:12

Um make this image 219 to add Pluto and add a humorous comment.

Ừm, hãy làm cho hình ảnh này thành 219 để thêm Sao Diêm Vương và thêm một bình luận hài hước.

1:01:17

So it decided to add the quote former planet got demoted to dwarf planet status still grumpy about it.

Vậy nó quyết định thêm câu trích dẫn: cựu hành tinh bị giáng cấp xuống trạng thái hành tinh lùn, vẫn còn bực bội về điều đó.

1:01:26

And he said perfect we are so back.

Và anh ấy nói hoàn hảo, chúng ta đã trở lại.

1:01:28

laughter snorts Okay, I want to touch a little bit on how we organize a big effort like Gemini.

[tiếng cười] [khịt mũi] Được rồi, tôi muốn nói một chút về cách chúng tôi tổ chức một nỗ lực lớn như Gemini.

1:01:37

Uh, and in particular, um, this is a large effort.

Ừ, và đặc biệt, ừm, đây là một nỗ lực lớn.

1:01:43

I'm now a co-author on a paper with, you know, more than a thousand authors.

Bây giờ tôi là đồng tác giả của một bài báo với, bạn biết đấy, hơn một nghìn tác giả.

1:01:50

Uh, our reports are long.

Ừ, các báo cáo của chúng tôi rất dài.

1:01:53

Even just listing the authors takes quite a lot of pages.

Ngay cả việc chỉ liệt kê các tác giả cũng chiếm khá nhiều trang.

1:01:59

- snorts - We always try to spell something funny in the first few words of the of the author names.

- [khịt mũi] - Chúng tôi luôn cố gắng đánh vần một điều gì đó hài hước trong vài từ đầu tiên của tên các tác giả.

1:02:07

Um, so when you have that many people trying to work together on something, you need a little bit of structure.

Ừm, vậy khi bạn có nhiều người như vậy cùng cố gắng làm việc với nhau trong một dự án, bạn cần một chút cấu trúc.

1:02:14

So we have overall leads, we have program management and product management that help kind of assess, you know, help us be organized, but also help us figure out from a product standpoint, what do we want our next generation models to do?

Vậy chúng tôi có các trưởng nhóm tổng thể, chúng tôi có quản lý chương trình và quản lý sản phẩm để giúp đánh giá, bạn biết đấy, giúp chúng tôi có tổ chức, nhưng cũng giúp chúng tôi xác định từ góc độ sản phẩm, chúng tôi muốn các mô hình thế hệ tiếp theo của mình làm gì?

1:02:28

Um and then we have a bunch of

Ừm và sau đó chúng tôi có một loạt

1:02:31

different sub areas that are really really critical to making Gemini work well.

Các lĩnh vực phụ khác nhau thực sự rất quan trọng để Gemini hoạt động tốt.

1:02:35

So one is you know model development.

Vậy một là, bạn biết đấy, phát triển mô hình.

1:02:38

So in terms of both pre-training and post-training and RL uh things like that we have a version of Gemini that runs on device on our pixel phones.

Vậy về cả tiền huấn luyện và hậu huấn luyện và RL, ừm, những thứ như vậy, chúng tôi có một phiên bản Gemini chạy trên thiết bị trên điện thoại Pixel của chúng tôi.

1:02:48

So that has somewhat different characteristics and somewhat different aspects of training data and capabilities needed.

Vậy nó có những đặc điểm hơi khác và những khía cạnh hơi khác của dữ liệu huấn luyện và khả năng cần thiết.

1:02:54

Uh in terms of

Ừ, về mặt

1:02:56

capabilities, we have a bunch of areas like safety and vision, audio, code, agents, internationalization that we care a lot about.

Các khả năng, chúng tôi có một loạt lĩnh vực như an toàn và thị giác, âm thanh, mã, tác nhân, quốc tế hóa mà chúng tôi rất quan tâm.

1:03:02

And then core areas like what data should we train on?

Và sau đó là các lĩnh vực cốt lõi như chúng ta nên huấn luyện trên dữ liệu nào?

1:03:06

How can we get the highest quality data we can for the token budget we have for training our next model of owls?

Làm thế nào chúng ta có thể có được dữ liệu chất lượng cao nhất có thể cho ngân sách token mà chúng ta có để huấn luyện mô hình cú tiếp theo của mình?

1:03:13

How do we know if we're doing a good job across lots of different uh capabilities?

Làm thế nào chúng ta biết liệu mình có đang làm tốt công việc trên nhiều khả năng khác nhau không?

1:03:19

Infrastructure, which is like how do we make the training process work well?

Cơ sở hạ tầng, giống như làm thế nào để chúng ta làm cho quá trình huấn luyện hoạt động tốt?

1:03:23

How do we make the serving infrastructure work well?

Làm thế nào để chúng ta làm cho cơ sở hạ tầng phục vụ hoạt động tốt?

1:03:27

Um the codebase and then longer term research that is meant to feed in good ideas for Gemini N plus2 or Gemini N plus3 that will intersect the um sort of at the right time.

Ừm, cơ sở mã và sau đó là nghiên cứu dài hạn nhằm cung cấp những ý tưởng hay cho Gemini N+2 hoặc Gemini N+3 sẽ giao thoa ừm, vào đúng thời điểm.

1:03:40

Uh and we have people spread out all over the world.

Ừ và chúng tôi có người rải rác khắp nơi trên thế giới.

1:03:43

So we have about a third of the people in the Bay Area, a third in London and a third in many other places.

Vậy chúng tôi có khoảng một phần ba số người ở Bay Area, một phần ba ở London và một phần ba ở nhiều nơi khác.

1:03:51

So, uh, New York City, Paris, Boston, Zurich, Bangalore.

Vậy, ừ, Thành phố New York, Paris, Boston, Zurich, Bangalore.

1:03:54

Um, time zones are super annoying.

Ừm, múi giờ thực sự rất khó chịu.

1:03:56

Not much we can do about it.

Không có nhiều điều chúng ta có thể làm về nó.

1:03:59

But the golden hours between California, West Coast, and London, Europe are there's about three

Nhưng những giờ vàng giữa California, Bờ Tây và London, Châu Âu là có khoảng ba

1:04:04

hours a day that are not too terrible for anyone.

Giờ mỗi ngày không quá tệ với bất kỳ ai.

1:04:07

Um, and so that's kind of nice.

Ừm, và điều đó khá tốt.

1:04:10

Uh, but that does mean you have to have asynchronous ways of working, uh, that work well.

Ừ, nhưng điều đó có nghĩa là bạn phải có những cách làm việc bất đồng bộ, ừ, hoạt động tốt.

1:04:16

Uh and so there lots and lots of large and small discussion groups uh chat rooms, Google chat spaces.

Ừ và vì vậy có rất nhiều nhóm thảo luận lớn nhỏ, ừ, phòng trò chuyện, không gian Google chat.

1:04:23

So I'm in 200 of these.

Vậy tôi ở trong 200 trong số này.

1:04:25

clears throat Uh we have a request for comment kind of internal document or tech reporty like thing.

[hắng giọng] Ừ, chúng tôi có một loại tài liệu nội bộ yêu cầu bình luận hoặc thứ giống báo cáo kỹ thuật.

1:04:31

Uh which is a semiformal way of getting feedback.

Uh, đó là một cách bán chính thức để nhận phản hồi.

1:04:34

You know, knowing what other people are working on, jotting down an idea.

Bạn biết đấy, biết người khác đang làm gì, ghi chú lại một ý tưởng.

1:04:39

They range in sophistication from early stage idea I'm thinking about I want comments on to I've done you know an exhaustive exploration of 10 different variants of

Chúng có mức độ phức tạp khác nhau, từ ý tưởng giai đoạn đầu mà tôi đang nghĩ đến và muốn nhận xét, đến việc tôi đã thực hiện một cuộc khám phá toàn diện về 10 biến thể khác nhau của

1:04:50

this idea which one should we put in the next version of Gemini.

Ý tưởng này, chúng ta nên đưa cái nào vào phiên bản tiếp theo của Gemini.

1:04:54

They're numbered sequentially and I just looked we now have more than 5,000 of these.

Chúng được đánh số tuần tự và tôi vừa xem qua, hiện chúng tôi đã có hơn 5.000 cái như vậy.

1:04:59

So there's quite a lot of internal requests for comments that are uh um you know ranging in uh complexity from a single page thing to a something that would be a tech report or a paper.

Vì vậy, có khá nhiều yêu cầu nội bộ về nhận xét, uh um, bạn biết đấy, có độ phức tạp từ một trang đến một thứ gì đó giống như báo cáo kỹ thuật hoặc bài báo.

1:05:11

Um and then leaderboards and common baselines enable

Um và sau đó là bảng xếp hạng và các đường cơ sở chung cho phép

1:05:14

us to make datadriven decisions about how do we improve the model.

Chúng tôi đưa ra quyết định dựa trên dữ liệu về cách cải thiện mô hình.

1:05:17

So we have lots of rounds of experimentation.

Vì vậy, chúng tôi có nhiều vòng thử nghiệm.

1:05:20

you do many more experiments at small scale and only progress things that seem promising to medium and large scale.

Bạn thực hiện nhiều thí nghiệm hơn ở quy mô nhỏ và chỉ tiến triển những thứ có vẻ hứa hẹn lên quy mô trung bình và lớn.

1:05:27

Um every so often we incorporate say successful experiments demonstrated at larger scale into a new candidate baseline and then we repeat um and that seems to have worked pretty well.

Um, thỉnh thoảng chúng tôi kết hợp các thí nghiệm thành công được chứng minh ở quy mô lớn hơn vào một đường cơ sở ứng viên mới và sau đó lặp lại, um và điều đó có vẻ đã hoạt động khá tốt.

1:05:39

Uh sorry uh few forward-looking thoughts.

Uh xin lỗi, uh vài suy nghĩ hướng tới tương lai.

1:05:42

I mean I think one area that's going to be really important is how do humans and AI agents collaborate to get stuff done right like currently a lot of the uses

Ý tôi là, tôi nghĩ một lĩnh vực thực sự quan trọng là làm thế nào con người và các tác nhân AI cộng tác để hoàn thành công việc đúng cách, giống như hiện tại rất nhiều cách sử dụng

1:05:55

of these models are you have a single person sitting down with an interactive you know uh chatbot interface doing stuff but in the future it seems like more work is going to happen where the human coordinating the activities of a dozen or hundred AI agents doing stuff on their behalf where they've probably the human is probably weekly specified what it is they want.

Các mô hình này là bạn có một người ngồi xuống với giao diện chatbot tương tác, bạn biết đấy, uh, để làm mọi thứ, nhưng trong tương lai có vẻ như nhiều công việc hơn sẽ diễn ra, nơi con người điều phối các hoạt động của hàng tá hoặc hàng trăm tác nhân AI làm mọi thứ thay mặt họ, nơi mà con người có lẽ chỉ cần chỉ định một cách yếu ớt những gì họ muốn.

1:06:17

How does the you

Làm thế nào để bạn

1:06:19

know how can we give um the right HCI paradigm for managing a team of 50 of these virtual assistants?

Biết làm thế nào chúng ta có thể đưa ra mô hình HCI phù hợp để quản lý một nhóm gồm 50 trợ lý ảo này?

1:06:26

How can the agents themselves cooperate to accomplish things?

Làm thế nào các tác nhân có thể hợp tác với nhau để hoàn thành mọi việc?

1:06:29

What will this enable?

Điều này sẽ cho phép những gì?

1:06:30

I think these are all pretty interesting uh directions.

Tôi nghĩ đây đều là những hướng khá thú vị, uh.

1:06:34

Um I think one the million tokens of context is quite useful and that gives you know a thousand pages of text or you know hours of video or whatever.

Um, tôi nghĩ một triệu token ngữ cảnh là khá hữu ích và nó cho bạn, bạn biết đấy, một nghìn trang văn bản hoặc bạn biết đấy, hàng giờ video hoặc bất cứ thứ gì.

1:06:44

Um but it seems like it'd be even more useful to be able to attend to a trillion tokens of stuff rather than a million.

Um, nhưng có vẻ như sẽ hữu ích hơn nếu có thể chú ý đến một nghìn tỷ token thay vì một triệu.

1:06:52

Um, and so I think hybrid systems with learned retrieval algorithms over large corpora and then

Um, và vì vậy tôi nghĩ các hệ thống lai với thuật toán truy xuất học được trên các kho ngữ liệu lớn và sau đó

1:06:58

maybe lightweight models that can be used to assess how relevant are these 30,000 documents I retrieved uh to the thing I'm trying to do and then put the you know maybe hundred things you actually think are really important into the context window and maybe premputation from a computer systems uh perspective to make this all efficient and fast.

Có thể là các mô hình nhẹ có thể được sử dụng để đánh giá mức độ liên quan của 30.000 tài liệu tôi đã truy xuất, uh, đối với việc tôi đang cố gắng làm, và sau đó đưa, bạn biết đấy, có thể hàng trăm thứ bạn thực sự nghĩ là quan trọng vào cửa sổ ngữ cảnh và có thể tính toán trước từ góc độ hệ thống máy tính, uh, để làm cho tất cả điều này hiệu quả và nhanh chóng.

1:07:19

I think there'd be a

Tôi nghĩ sẽ có rất nhiều

1:07:21

lot of uses for this personalized Gemini.

Công dụng cho Gemini được cá nhân hóa này.

1:07:23

I'd love it if I could attend to all of my email state and photos and so on with my permission of course.

Tôi rất thích nếu tôi có thể chú ý đến tất cả email, trạng thái và ảnh của mình, v.v., tất nhiên là với sự cho phép của tôi.

1:07:30

Uh web search, you know, multimodal search and retrieval like searching all the YouTube videos, coding agents, like every coding agent at Google.

Uh, tìm kiếm web, bạn biết đấy, tìm kiếm và truy xuất đa phương thức như tìm kiếm tất cả video YouTube, tác nhân viết mã, giống như mọi tác nhân viết mã tại Google.

1:07:38

It'd be nice if it attended to the whole Google codebase for every Google developer.

Sẽ thật tuyệt nếu nó chú ý đến toàn bộ cơ sở mã Google cho mọi nhà phát triển Google.

1:07:43

Um and then forward-looking, I think inference efficiency is going to be really critical, right?

Um và sau đó hướng tới tương lai, tôi nghĩ hiệu quả suy luận sẽ thực sự quan trọng, đúng không?

1:07:47

like the training cost of these models is very large and you need a lot of chips.

Giống như chi phí huấn luyện các mô hình này rất lớn và bạn cần rất nhiều chip.

1:07:52

But going forward more and more inference is going to happen and more and more agents using these things in sophisticated ways and interacting with other agents that themselves are doing inference.

Nhưng trong tương lai, ngày càng nhiều suy luận sẽ diễn ra và ngày càng nhiều tác nhân sử dụng những thứ này theo những cách tinh vi và tương tác với các tác nhân khác, những người cũng đang thực hiện suy luận.

1:08:02

Vì vậy

1:08:03

specialized hardware design purely for inference is going to be important.

Thiết kế phần cứng chuyên dụng chỉ cho suy luận sẽ rất quan trọng.

1:08:06

Again, I think um model and algorithmic improvements for efficient inference are going to be important.

Một lần nữa, tôi nghĩ um những cải tiến về mô hình và thuật toán cho suy luận hiệu quả sẽ rất quan trọng.

1:08:12

Low latency for these inference cases is a huge plus.

Độ trễ thấp cho các trường hợp suy luận này là một điểm cộng lớn.

1:08:16

It's just much more enjoyable to use something that responds in 100 milliseconds than 5 seconds.

Sử dụng thứ gì đó phản hồi trong 100 mili giây thú vị hơn nhiều so với 5 giây.

1:08:21

Um, and I believe in the future that AI applied to automating chip design is going to be one of the ways in which we get much more efficient inference hardware.

Um, và tôi tin rằng trong tương lai, AI được áp dụng để tự động hóa thiết kế chip sẽ là một trong những cách giúp chúng ta có phần cứng suy luận hiệu quả hơn nhiều.

1:08:31

I have a whole talk on this, but essentially it's use learning as much as possible uh and RL.

Tôi có cả một bài nói về điều này, nhưng về cơ bản là sử dụng học tập càng nhiều càng tốt, uh, và RL.

1:08:37

Um, okay.

Um, được rồi.

1:08:38

Uh, I have sorry I'm running over.

Uh, tôi xin lỗi, tôi đang vượt thời gian.

1:08:40

I have two more slides here.

Tôi còn hai slide nữa ở đây.

1:08:42

Uh, one of the other things that we I uh did in the last couple years is we got together a group of co-authors thinking about what are the impacts of AI in many different domains of the world of the world not just computer science.

Uh, một trong những điều khác mà chúng tôi, tôi, uh, đã làm trong vài năm qua là chúng tôi tập hợp một nhóm đồng tác giả để suy nghĩ về những tác động của AI trong nhiều lĩnh vực khác nhau của thế giới, không chỉ khoa học máy tính.

1:08:57

Um, and we wanted to like look at what these uh, you know, impacts might be both positive and

Um, và chúng tôi muốn xem xét những tác động này, bạn biết đấy, có thể là cả tích cực và

1:09:04

negative.

Tiêu cực.

1:09:04

And so we identified seven domains we thought would be pretty dramatically impacted by AI.

Và vì vậy chúng tôi đã xác định bảy lĩnh vực mà chúng tôi nghĩ sẽ bị ảnh hưởng khá mạnh mẽ bởi AI.

1:09:10

So employment, education, healthcare, misinformation, media, entertainment, governance and national security and AI for science.

Đó là việc làm, giáo dục, chăm sóc sức khỏe, thông tin sai lệch, truyền thông, giải trí, quản trị và an ninh quốc gia, và AI cho khoa học.

1:09:16

Um and then we went out and we interviewed a bunch of domain experts in these areas.

Um và sau đó chúng tôi đã ra ngoài và phỏng vấn một loạt chuyên gia trong các lĩnh vực này.

1:09:23

Uh and in particular, you know, tried to find people we

Uh và đặc biệt, bạn biết đấy, cố gắng tìm những người mà chúng tôi

1:09:28

thought would have interesting perspectives on one or more of these uh domain areas.

Nghĩ rằng sẽ có quan điểm thú vị về một hoặc nhiều lĩnh vực, uh, này.

1:09:33

Uh and then we wrote up what we learned from chatting with the uh the domain experts as well as our own thoughts.

Uh và sau đó chúng tôi đã viết ra những gì chúng tôi học được từ việc trò chuyện với các chuyên gia, uh, cũng như những suy nghĩ của riêng chúng tôi.

1:09:43

Um and so we produced a long archive paper which uh not that many people have read.

Ừm và vì vậy chúng tôi đã tạo ra một bài báo lưu trữ dài mà ừm không nhiều người đã đọc.

1:09:50

Uh so we have a shorter version in Kacum and Dave Patterson, one of the co-authors, wrote a nice one-page editorial on the economist.

Ừm vậy chúng tôi có một phiên bản ngắn hơn ở Kacum và Dave Patterson, một trong những đồng tác giả, đã viết một bài xã luận một trang hay trên tờ economist.

1:09:58

Um and this is all available on shapingai.com.

Ừm và tất cả những điều này đều có sẵn trên shapingai.com.

1:10:01

I think this is a pretty interesting paper.

Tôi nghĩ đây là một bài báo khá thú vị.

1:10:04

I think it has some good insights into what will the impact of AI beyond say employment and technology transitions.

Tôi nghĩ nó có một số hiểu biết sâu sắc về tác động của AI ngoài ví dụ như việc làm và chuyển đổi công nghệ.

1:10:11

Uh as one example, it's the

Ừm như một ví dụ, đó là

1:10:13

only paper I have with its own website.

Bài báo duy nhất tôi có với trang web riêng của nó.

1:10:17

Okay.

Được rồi.

1:10:17

In conclusion, I think AI models like Gemini and products built with them are these are becoming really important and powerful tools for the things we try to do every day.

Tóm lại, tôi nghĩ các mô hình AI như Gemini và các sản phẩm được xây dựng với chúng đang trở thành những công cụ thực sự quan trọng và mạnh mẽ cho những việc chúng ta cố gắng làm hàng ngày.

1:10:27

Um further research and innovation is going to improve continue this trend.

Ừm nghiên cứu và đổi mới sâu hơn sẽ cải thiện tiếp tục xu hướng này.

1:10:31

It's going to have a dramatic impact in many of the areas that I just mentioned in the shaping AI paper, you know, uh, healthcare,

Nó sẽ có tác động mạnh mẽ trong nhiều lĩnh vực mà tôi vừa đề cập trong bài báo shaping AI, bạn biết đấy, ừm, chăm sóc sức khỏe,

1:10:39

education, science, all kinds of things.

Giáo dục, khoa học, đủ loại thứ.

1:10:42

Uh, it potentially makes really deep expertise like these models are really good in some areas and it makes that available to many people all over the world, which is a pretty powerful uh, capability and done well, I think our AI assisted future is going to be really bright.

Ừm, nó có khả năng làm cho chuyên môn thực sự sâu sắc như những mô hình này thực sự giỏi trong một số lĩnh vực và nó làm cho điều đó có sẵn cho nhiều người trên khắp thế giới, đó là một khả năng khá mạnh mẽ ừm, và nếu được thực hiện tốt, tôi nghĩ tương lai được hỗ trợ bởi AI của chúng ta sẽ thực sự tươi sáng.

1:11:02

All right.

Được rồi.

1:11:03

applause Thank you.

[vỗ tay] Cảm ơn.

1:11:20

clears throat question.

[hắng giọng] câu hỏi.

1:11:28

- What's your biggest fear about AI?

- Nỗi sợ lớn nhất của bạn về AI là gì?

1:11:31

- My biggest fear of AI?

- Nỗi sợ lớn nhất của tôi về AI?

1:11:32

I mean, I think there's a whole range of views on safety of AI systems and so on.

Ý tôi là, tôi nghĩ có cả một loạt quan điểm về an toàn của các hệ thống AI và vân vân.

1:11:38

You know, I'm sort of the view that those are a little overblown.

Bạn biết đấy, tôi thuộc quan điểm rằng những điều đó hơi bị phóng đại.

1:11:42

I think like careful engineering of what we allow AI systems to do will enable us to have like safe deployment of these systems even though they are quite capable.

Tôi nghĩ rằng việc kỹ thuật cẩn thận những gì chúng ta cho phép các hệ thống AI làm sẽ cho phép chúng ta triển khai an toàn các hệ thống này mặc dù chúng khá có năng lực.

1:11:52

You know, I think um misinformation is one that I'm

Bạn biết đấy, tôi nghĩ ừm thông tin sai lệch là một trong những điều tôi

1:11:55

worried about in the nearer term because that seems like now we can create incredibly realistic video and audio uh things that are hard to distinguish even for super sophisticated people and with a lot of time to look at them.

Lo lắng trong ngắn hạn vì điều đó có vẻ như bây giờ chúng ta có thể tạo ra video và âm thanh cực kỳ chân thực ừm những thứ khó phân biệt ngay cả đối với những người cực kỳ tinh vi và có nhiều thời gian để xem chúng.

1:12:09

So that seems like one area that you know I think will be a worry and I think also just how do we manage uh you know the impact of AI being able to

Vì vậy, đó có vẻ là một lĩnh vực mà bạn biết đấy tôi nghĩ sẽ là một mối lo ngại và tôi cũng nghĩ làm thế nào chúng ta quản lý ừm bạn biết đấy tác động của AI có thể

1:12:21

do things that previously it wasn't able to do and how do we make sure that people are prepared for those transitions and can learn to use these new tools and can be more productive and more effective using these tools uh than um you know what could happen which is you know all of a sudden people suddenly can't can't do that because it's been able automated.

Làm những việc mà trước đây nó không thể làm và làm thế nào chúng ta đảm bảo rằng mọi người được chuẩn bị cho những chuyển đổi đó và có thể học cách sử dụng những công cụ mới này và có thể năng suất hơn và hiệu quả hơn khi sử dụng những công cụ này ừm so với ừm bạn biết đấy điều có thể xảy ra đó là bạn biết đấy đột nhiên mọi người đột nhiên không thể không thể làm điều đó vì nó đã được tự động hóa.

1:12:47

- I'm Joey.

- Tôi là Joey.

1:12:48

I'm a senior in computer science.

Tôi là sinh viên năm cuối ngành khoa học máy tính.

1:12:51

I had a question about hallucinations and specifically like long behavior especially as we're getting more workflows and like longer contexts.

Tôi có một câu hỏi về ảo giác và cụ thể là hành vi dài đặc biệt là khi chúng ta có nhiều quy trình làm việc hơn và ngữ cảnh dài hơn.

1:12:58

We know that like even though um past models claim to have one million context window at the limits of that 1 million context window the retention and like quality of responses um beyond simply adding search into the language model.

Chúng ta biết rằng mặc dù ừm các mô hình trước đây tuyên bố có cửa sổ ngữ cảnh một triệu ở giới hạn của cửa sổ ngữ cảnh một triệu đó việc giữ lại và chất lượng phản hồi ừm ngoài việc chỉ thêm tìm kiếm vào mô hình ngôn ngữ.

1:13:14

What are other ways that Gemini has been priorizing decreasing especially more like critical clears throat applications like - yeah I mean I would say one of the key techniques is instead of just generating a single answer having multiple rollouts of potential answers and then having the model itself look at those uh rollouts and assess which one it thinks is mo or

Những cách khác mà Gemini đã ưu tiên giảm đặc biệt là các ứng dụng quan trọng hơn như [hắng giọng] - vâng ý tôi là tôi sẽ nói một trong những kỹ thuật chính là thay vì chỉ tạo ra một câu trả lời duy nhất có nhiều lần triển khai các câu trả lời tiềm năng và sau đó để mô hình tự xem xét những ừm lần triển khai đó và đánh giá cái nào nó nghĩ là hơn hoặc

1:13:39

which pieces of them it thinks are most likely correct.

Những phần nào của chúng nó nghĩ có khả năng đúng nhất.

1:13:42

that essentially is using much more inference time compute uh or chain of thought style thinking those kinds of things can be uh you know definitely decrease the rate of hallucinations and make the I mean that's sort of the kind of approach we use in some of the IMO work where you really can't afford to hallucinate

Về cơ bản đó là sử dụng nhiều tính toán thời gian suy luận hơn ừm hoặc kiểu suy nghĩ chuỗi suy nghĩ những loại điều đó có thể ừm bạn biết đấy chắc chắn giảm tỷ lệ ảo giác và làm cho tôi ý tôi là đó là kiểu cách tiếp cận chúng tôi sử dụng trong một số công việc IMO nơi bạn thực sự không thể afford để ảo giác

1:14:01

because you need to prove this problem this one of these six problems correct um and so that has been quite a quite a good tool to rely on but that also brings back the question of inference efficiency because for you'd really like for every answer to produce 16 answers and look at them and decide which ones uh or which ones you want to throw out and which ones you want to keep deep keep

Bởi vì bạn cần chứng minh bài toán này một trong sáu bài toán này đúng ừm và vì vậy đó là một công cụ khá khá tốt để dựa vào nhưng điều đó cũng mang lại câu hỏi về hiệu quả suy luận bởi vì bạn thực sự muốn mỗi câu trả lời tạo ra 16 câu trả lời và xem xét chúng và quyết định cái nào ừm hoặc cái nào bạn muốn loại bỏ và cái nào bạn muốn giữ sâu giữ

1:14:27

- I'm curious what's your what's your point of view of LMS versus the emerging world models that are coming up clears throat or being worked on from a research - yeah I mean I think uh world models are really just do you understand, you know, multiple modalities and how the world works from a, you know, a physics perspective and so on.

- Tôi tò mò quan điểm của bạn về LMS so với thế giới mô hình đang nổi lên đang được nghiên cứu [hắng giọng] hoặc đang được làm việc - vâng ý tôi là tôi nghĩ ừm mô hình thế giới thực sự chỉ là bạn hiểu, bạn biết đấy, nhiều phương thức và cách thế giới hoạt động từ góc độ vật lý và vân vân.

1:14:48

Um, you know, I think a lot of our Gemini models are

Ừm, bạn biết đấy, tôi nghĩ nhiều mô hình Gemini của chúng tôi

1:14:53

actually pretty good at doing world models.

Thực sự khá giỏi trong việc làm mô hình thế giới.

1:14:55

You know, if you think if you look at the uh Genie 3 releases, those are built on top of Gemini models and enable you to generate uh sort of fairly sophisticated uh imaginary worlds with text prompts and then control interaction in that world.

Bạn biết đấy, nếu bạn nghĩ nếu bạn nhìn vào các bản phát hành ừm Genie 3, chúng được xây dựng trên các mô hình Gemini và cho phép bạn tạo ra ừm kiểu thế giới tưởng tượng khá tinh vi ừm với lời nhắc văn bản và sau đó kiểm soát tương tác trong thế giới đó.

1:15:13

So you can move left, move right, jump, move forward and move back.

Vì vậy, bạn có thể di chuyển sang trái, sang phải, nhảy, tiến và lùi.

1:15:19

And it maintains consistency with the world

Và nó duy trì tính nhất quán với thế giới

1:15:22

that it has created.

Mà nó đã tạo ra.

1:15:23

And if you turn left and then turn back right, the things that were there are still there.

Và nếu bạn quay trái rồi quay lại phải, những thứ ở đó vẫn ở đó.

1:15:28

Um, so that's an important thing.

Ừm, vì vậy đó là một điều quan trọng.

1:15:30

You know, we're actually collaborating with our Whimo colleagues because that enables them to create longtail training cases in simulation.

Bạn biết đấy, chúng tôi thực sự đang hợp tác với các đồng nghiệp Whimo vì điều đó cho phép họ tạo ra các trường hợp huấn luyện đuôi dài trong mô phỏng.

1:15:36

So you can say, please make a scenario where an elephant appears in the middle of the road and that enables you to like create, you know, dozens and dozens of test cases that are really hard to actually have

Vì vậy, bạn có thể nói, làm ơn tạo một kịch bản nơi một con voi xuất hiện giữa đường và điều đó cho phép bạn tạo ra, bạn biết đấy, hàng chục và hàng chục trường hợp thử nghiệm thực sự khó có

1:15:50

occur in the real world.

Xảy ra trong thế giới thực.

1:15:51

And you can see how the car behaves and it actually even synthesizes the LAR data that you the the system would would have enabling you to get better uh you know safety properties.

Và bạn có thể thấy cách chiếc xe hoạt động và nó thậm chí tổng hợp dữ liệu LAR mà bạn hệ thống sẽ có cho phép bạn có được các thuộc tính an toàn tốt hơn ừm bạn biết đấy.

1:16:04

- Maybe one more question Jeff you can laughter pressure all right not high not low but middle.

- Có lẽ thêm một câu hỏi nữa Jeff bạn có thể [tiếng cười] gây áp lực được rồi không cao không thấp mà trung bình.

1:16:14

Hi.

Chào.

1:16:14

Um, I guess like the last question research.

Ừm, tôi đoán như câu hỏi cuối cùng nghiên cứu.

1:16:16

I'm kind of curious what kind of what type of research you think we should work on about a thousand TPUs because a few of the directions we talked about are like pretty data inensive.

Tôi hơi tò mò loại nghiên cứu nào bạn nghĩ chúng ta nên làm việc với khoảng một nghìn TPU vì một vài hướng chúng ta đã nói đến khá là đòi hỏi dữ liệu.

1:16:28

- Yeah.

- Ừ.

1:16:29

- What do you think we can do to help the AI forward?

- Bạn nghĩ chúng ta có thể làm gì để giúp AI tiến lên?

1:16:32

- Yeah.

- Ừ.

1:16:32

I mean, I think a lot of the kinds of work we do from a research perspective start as investigations at very small scale, right?

Ý tôi là, tôi nghĩ nhiều loại công việc chúng ta làm từ góc độ nghiên cứu bắt đầu như những cuộc điều tra ở quy mô rất nhỏ, đúng không?

1:16:42

And so I think where you can be quite effective is trying lots of different things that uh you maybe you're not training on a thousand accelerators but you're demonstrating at small scale this idea has legs right like there's all kinds of

Và vì vậy tôi nghĩ nơi bạn có thể khá hiệu quả là thử nhiều thứ khác nhau mà uh có thể bạn không huấn luyện trên một nghìn bộ tăng tốc nhưng bạn đang chứng minh ở quy mô nhỏ rằng ý tưởng này có triển vọng, đúng như có đủ loại

1:16:59

problems in say continual learning or different model architectures where I think at smallcale and in particular one of the things we do is we run extremely extremely small, extremely small, and small.

Các vấn đề trong ví dụ như học liên tục hoặc các kiến trúc mô hình khác nhau mà tôi nghĩ ở quy mô nhỏ và đặc biệt một trong những việc chúng tôi làm là chúng tôi chạy cực kỳ cực kỳ nhỏ, cực kỳ nhỏ, và nhỏ.

1:17:12

And we look at the trend of those things because that trend is often more indicative of importance than exactly where it falls relative to the current baseline state-of-the-art of our extra

Và chúng tôi nhìn vào xu hướng của những thứ đó bởi vì xu hướng đó thường chỉ ra tầm quan trọng hơn là chính xác vị trí nó nằm so với trạng thái tiên tiến nhất cơ sở hiện tại của chúng tôi thêm

1:17:25

extra small or extra small or small model.

Mô hình cực nhỏ hoặc cực nhỏ hoặc nhỏ.

1:17:27

Right?

Đúng không?

1:17:28

If the slope, if it's below the baseline, but the slope looks good, that's a really interesting idea.

Nếu độ dốc, nếu nó dưới đường cơ sở, nhưng độ dốc trông tốt, đó là một ý tưởng thực sự thú vị.

1:17:34

If it's above the baseline at the absolute smallest scale but rapidly plummeting below the baseline even at the the ex the small scale that's less interesting and so I think where people who don't have access to large scale compute can really do a great job is focusing on problem uh you know solutions that are quite different and quite interesting and not stress about

Nếu nó trên đường cơ sở ở quy mô nhỏ nhất tuyệt đối nhưng nhanh chóng giảm xuống dưới đường cơ sở ngay cả ở quy mô nhỏ thì điều đó ít thú vị hơn và vì vậy tôi nghĩ nơi những người không có quyền truy cập vào tính toán quy mô lớn thực sự có thể làm rất tốt là tập trung vào vấn đề uh bạn biết đấy các giải pháp khá khác biệt và khá thú vị và không căng thẳng về

1:18:02

getting state-of-the-art results and I think we as a community also should say this is very different and unique and doesn't achieve state-of-the-art results but it looks interesting at small scale like we should as you know conference reviewers or whatever celebrate that kind of thing than something that gets an incremental improvement on state-of-the-art by tweaking one little

Việc đạt được kết quả tiên tiến nhất và tôi nghĩ chúng ta với tư cách là một cộng đồng cũng nên nói điều này rất khác biệt và độc đáo và không đạt được kết quả tiên tiến nhất nhưng nó trông thú vị ở quy mô nhỏ, chúng ta nên với tư cách là những người đánh giá hội nghị hay gì đó tôn vinh loại điều đó hơn là thứ đạt được cải tiến tăng dần trên trạng thái tiên tiến nhất bằng cách tinh chỉnh một chút

1:18:22

thing that is actually not that interesting question okay applause thank you.

Điều thực sự không thú vị lắm, câu hỏi được rồi [vỗ tay] cảm ơn.

1:18:33

music

[nhạc]

Transcript

Hiển thị

AI Progress Through Scale and Algorithms

Jeff Dean's colloquium examines how machine learning has transformed computing over the past decade. Progress stems from the combined effect of increasing scale in compute, data, and model size alongside algorithmic and architectural improvements. Neural networks and gradient descent remain foundational building blocks for intelligent systems.

Bài giảng của Jeff Dean xem xét cách học máy đã biến đổi điện toán trong thập kỷ qua. Tiến bộ đến từ hiệu ứng kết hợp của việc tăng quy mô tính toán, dữ liệu và kích thước mô hình cùng với cải tiến thuật toán và kiến trúc. Mạng nơ-ron và hạ gradient vẫn là những khối xây dựng nền tảng cho các hệ thống thông minh.