Yann LeCun contrasts machine learning with human and animal learning, highlighting the Moravec paradox and the difficulty of handling continuous, noisy real-world data. He argues that intelligence is adaptivity, not accumulated knowledge, and that AGI is a meaningless concept.
Yann LeCun đối chiếu học máy với học tập của con người và động vật, nhấn mạnh nghịch lý Moravec và khó khăn trong việc xử lý dữ liệu thực tế liên tục, nhiễu. Ông lập luận rằng trí thông minh là khả năng thích nghi, không phải kiến thức tích lũy, và AGI là một khái niệm vô nghĩa.
Yeah, I'll talk about world models.
Vâng, tôi sẽ nói về các mô hình thế giới.
Uh, possibly the enabler for the next AR revolution.
Ừ, có thể là yếu tố tạo điều kiện cho cuộc cách mạng AR tiếp theo.
So, there's a lot of machine learning people, I think, in the room, perhaps.
Vậy, tôi nghĩ trong phòng này có lẽ có nhiều người làm về học máy.
Uh, I have bad news for you.
Ừ, tôi có tin xấu cho các bạn.
Machine learning sucks.
Học máy thật tệ.
Uh, you know, basically, if when we compare the learning abilities of uh machines with humans and animals, uh clearly there is a big gap.
Ừ, bạn biết đấy, về cơ bản, khi chúng ta so sánh khả năng học của máy móc với con người và động vật, rõ ràng có một khoảng cách lớn.
Um, you know, people and animals can learn new tasks uh extremely quickly and with very few trials, very few samples.
Ừm, bạn biết đấy, con người và động vật có thể học các nhiệm vụ mới cực kỳ nhanh chóng và với rất ít lần thử, rất ít mẫu.
Uh, people have common sense, animals too, physical common sense.
Ừ, con người có lẽ thông thường, động vật cũng vậy, lẽ thông thường về vật lý.
There's a lot of tasks that we can accomplish zero shot even if we've never faced them before.
Có rất nhiều nhiệm vụ mà chúng ta có thể hoàn thành ngay lập tức (zero-shot) ngay cả khi chưa từng gặp chúng trước đây.
Um, and how do we do this with machines?
Ừm, và làm thế nào chúng ta làm điều này với máy móc?
How and you know, we have very powerful AI techniques that everybody is using, but they don't really handle the real world.
Làm thế nào và bạn biết đấy, chúng ta có những kỹ thuật AI rất mạnh mẽ mà mọi người đang sử dụng, nhưng chúng không thực sự xử lý được thế giới thực.
They don't handle continuous, high-dimensional, noisy data.
Chúng không xử lý được dữ liệu liên tục, đa chiều, nhiễu.
Language is easy by comparison.
Ngôn ngữ thì dễ hơn khi so sánh.
And so, uh the real world is messy.
Và vì vậy, thế giới thực thì lộn xộn.
Language is simple.
Ngôn ngữ thì đơn giản.
That and you know, this connects with what you know, Vladlen said earlier and uh Jitendra as well, uh the Moravec paradox that you know, things that are simple are difficult for computers and things that are complicated for humans turn out to not be that difficult for computers.
Điều đó và bạn biết đấy, điều này liên quan đến những gì bạn biết, Vladlen đã nói trước đó và cả Jitendra nữa, nghịch lý Moravec rằng bạn biết đấy, những thứ đơn giản thì khó đối với máy tính và những thứ phức tạp đối với con người hóa ra lại không quá khó đối với máy tính.
Uh like
Ừ như
playing chess, computing integrals symbolically, and you know, solving equations, proving math theorems, etc.
Chơi cờ vua, tính tích phân bằng ký hiệu, và bạn biết đấy, giải phương trình, chứng minh định lý toán học, v.v.
Uh, so, you know, how is it that a 10-year-old can uh basically do what you would like a domestic robot to do and do most of those tasks without actually being trained to do them the first time you ask them, they can do it.
Ừ, vậy, bạn biết đấy, làm thế nào mà một đứa trẻ 10 tuổi về cơ bản có thể làm những gì bạn muốn một robot gia đình làm và làm hầu hết các nhiệm vụ đó mà không thực sự được huấn luyện để làm chúng ngay lần đầu tiên bạn yêu cầu, chúng có thể làm được.
They may not want to do it, but they can.
Chúng có thể không muốn làm, nhưng chúng có thể.
Uh, how come, you know, any teenager can learn to drive a car in a few hours of practice, yet the self-driving car companies have literally millions of hours of training data, and despite that, they can't use those millions of hours of training data to get a machine to just imitating uh humans to uh to drive at the at the same level of uh
Ừ, làm thế nào mà, bạn biết đấy, bất kỳ thiếu niên nào cũng có thể học lái xe trong vài giờ luyện tập, vậy mà các công ty xe tự lái có hàng triệu giờ dữ liệu huấn luyện, và mặc dù vậy, họ không thể sử dụng hàng triệu giờ dữ liệu huấn luyện đó để khiến một cỗ máy chỉ bắt chước con người để lái ở cùng mức độ
reliability.
Độ tin cậy.
Otherwise, we'll have level five self-driving cars, and we don't, we don't have them.
Nếu không, chúng ta sẽ có xe tự lái cấp độ năm, và chúng ta không có, chúng ta không có chúng.
At best, in the consumer car business, we have level two or three, and uh the robo-taxis are engineered, you know, very heavily engineered with various uh sensors and other things.
Tốt nhất, trong ngành xe hơi tiêu dùng, chúng ta có cấp độ hai hoặc ba, và ừ, robot taxi được thiết kế, bạn biết đấy, được thiết kế rất kỹ lưỡng với nhiều cảm biến và những thứ khác.
So, you know, we keep bumping into this Moravec paradox, and we really have to go beyond this if you believe that a intelligence requires grounding.
Vậy, bạn biết đấy, chúng ta cứ va phải nghịch lý Moravec này, và chúng ta thực sự phải vượt qua điều này nếu bạn tin rằng trí tuệ cần có nền tảng.
Of course, some philosophers, and certainly
Tất nhiên, một số triết gia, và chắc chắn
some language people, don't believe that's necessary, but I think it is.
Một số người làm về ngôn ngữ, không tin điều đó là cần thiết, nhưng tôi nghĩ là cần.
Uh, so, like uh Vladlen, we're in Switzerland outside Jean Piaget.
Ừ, vậy, giống như Vladlen, chúng ta đang ở Thụy Sĩ, bên ngoài Jean Piaget.
He was a big influence on me.
Ông ấy có ảnh hưởng lớn đến tôi.
Uh, he had a debate with uh Noam Chomsky uh in France in the late 1970s, where um you know, they were debating whether language was innate or learned, and uh the trans- you know, there was transcriptions of that debate with, you know, people participating in it, and one of them was Jean uh was uh um uh was uh a guy who had worked with Jean Piaget, who was a professor at MIT,
Ừ, ông ấy đã có một cuộc tranh luận với Noam Chomsky ở Pháp vào cuối những năm 1970, nơi ừm bạn biết đấy, họ tranh luận liệu ngôn ngữ là bẩm sinh hay học được, và ừ, bản- bạn biết đấy, có bản ghi lại cuộc tranh luận đó với, bạn biết đấy, những người tham gia, và một trong số họ là Jean ừ là ừm ừ là ừ một người đã làm việc với Jean Piaget, là giáo sư tại MIT,
and was talking about the perceptron, uh kind of saying, you know, there's those simple machine learning models that are you know, capable of uh learning surprisingly complex uh tasks, and uh uh you know, that may be kind of evidence for fact that learning is possible, contrary to what Chomsky was saying.
Và đang nói về perceptron, ừ kiểu như nói rằng, bạn biết đấy, có những mô hình học máy đơn giản đó mà bạn biết đấy, có khả năng học những nhiệm vụ phức tạp đáng ngạc nhiên, và ừ ừ bạn biết đấy, đó có thể là bằng chứng cho thấy việc học là có thể, trái với những gì Chomsky đang nói.
Um, this guy was Seymour Papert.
Ừm, người này là Seymour Papert.
He was professor at MIT, and 10 years before that, he had written a book that basically killed the entire field of neural net, including the this basically pointing out the limitation of the perceptron.
Ông ấy là giáo sư tại MIT, và 10 năm trước đó, ông ấy đã viết một cuốn sách về cơ bản đã giết chết toàn bộ lĩnh vực mạng nơ-ron, bao gồm việc cơ bản chỉ ra hạn chế của perceptron.
But here he was, 10 years later, arguing for the fact that those things were actually interesting to study.
Nhưng ở đây, 10 năm sau, ông ấy lại lập luận rằng những thứ đó thực sự thú vị để nghiên cứu.
But anyway, so Jean Piaget says,
Nhưng dù sao, Jean Piaget nói,
"Intelligence is not what you know, it's what you do when you don't know." In fact, he never actually said this.
"Trí tuệ không phải là những gì bạn biết, mà là những gì bạn làm khi bạn không biết." Thực ra, ông ấy chưa bao giờ thực sự nói điều này.
This is apocryphal.
Đây là ngụy thư.
Uh, but there are other psychologists who basically kind of distilled his thinking into this sentence, which he never said.
Ừ, nhưng có những nhà tâm lý học khác về cơ bản đã chắt lọc suy nghĩ của ông ấy thành câu này, mà ông ấy chưa bao giờ nói.
Um, so he's kind of quoted as saying that.
Ừm, vậy ông ấy được trích dẫn như đã nói điều đó.
Uh, so intelligence is not an accumulation of declarative knowledge.
Ừ, vậy trí tuệ không phải là sự tích lũy kiến thức khai báo.
LLMs are an accumulation of declarative knowledge, not just, but the main reason they're useful is because they can accumulate a lot of declarative knowledge.
LLM là sự tích lũy kiến thức khai báo, không chỉ vậy, nhưng lý do chính khiến chúng hữu ích là vì chúng có thể tích lũy rất nhiều kiến thức khai báo.
Uh, intelligence is not a collection of skills.
Ừ, trí tuệ không phải là một tập hợp các kỹ năng.
Uh, you can probably build a machine to accomplish sort of any task if you spend enough resources on it, including things like self-driving.
Ừ, bạn có thể xây dựng một cỗ máy để hoàn thành bất kỳ nhiệm vụ nào nếu bạn dành đủ nguồn lực cho nó, bao gồm cả những thứ như tự lái.
But that's not really what intelligence is.
Nhưng đó không thực sự là trí tuệ.
Intelligence is the ability to learn to drive in about 20 hours.
Trí tuệ là khả năng học lái xe trong khoảng 20 giờ.
Or to learn, you know, learn any new task with very little training, or accomplish new tasks in a zero-shot.
Hoặc để học, bạn biết đấy, học bất kỳ nhiệm vụ mới nào với rất ít huấn luyện, hoặc hoàn thành nhiệm vụ mới ngay lập tức (zero-shot).
Uh, that's really what intelligence is, and that's really what Jean Piaget means.
Ừ, đó thực sự là trí tuệ, và đó thực sự là ý của Jean Piaget.
What that means is that we're not going to have any simple measures uh of intelligence because uh because again, any particular task, you can always, you know, if you spend enough effort and time, you can always kind of crack it.
Điều đó có nghĩa là chúng ta sẽ không có bất kỳ thước đo đơn giản nào về trí tuệ bởi vì ừ bởi vì một lần nữa, bất kỳ nhiệm vụ cụ thể nào, bạn luôn có thể, bạn biết đấy, nếu bạn dành đủ nỗ lực và thời gian, bạn luôn có thể giải quyết nó.
So it's more, you know, how adaptive you are.
Vậy nó thiên về, bạn biết đấy, mức độ thích nghi của bạn.
Um, and, you know, this connects to something that Bled and said, like the notion of AGI is complete nonsense.
Ừm, và, bạn biết đấy, điều này liên quan đến điều mà Bled đã nói, như khái niệm AGI là hoàn toàn vô nghĩa.
Uh, human intelligence is specialized.
Ờ, trí tuệ con người là chuyên biệt hóa.
The characterization of human intelligence is that it's very quickly adaptive and we can learn new task.
Đặc điểm của trí tuệ con người là nó thích nghi rất nhanh và chúng ta có thể học các nhiệm vụ mới.
We all of us know different sets of uh knowledge and have different skills.
Tất cả chúng ta đều biết những bộ kiến thức khác nhau và có những kỹ năng khác nhau.
Uh, and so it's because we've been exposed to, you know, different environments and we we've had to solve different problems.
Ờ, và đó là bởi vì chúng ta đã được tiếp xúc với, bạn biết đấy, những môi trường khác nhau và chúng ta đã phải giải quyết những vấn đề khác nhau.
Uh, we're adaptive.
Ờ, chúng ta có khả năng thích nghi.
That's really what intelligence is.
Đó thực sự là bản chất của trí tuệ.
Okay, so how do you uh how do humans learn and animals for that uh there's a lot of uh learning that takes place in the early months of life mostly by observation.
Được rồi, vậy làm thế nào để con người học và cả động vật nữa, có rất nhiều việc học diễn ra trong những tháng đầu đời, chủ yếu là qua quan sát.
Uh, so, you know, two-month-old baby, you know, can just take a rate so can develop a dynamical model of its own limbs but basically cannot affect the world.
Ờ, ví dụ, một đứa trẻ hai tháng tuổi, bạn biết đấy, chỉ có thể tiếp nhận thông tin để phát triển một mô hình động về các chi của chính mình nhưng về cơ bản không thể tác động đến thế giới.
You know, it
Bạn biết đấy, nó
can't move an object or anything.
Không thể di chuyển một vật thể hay bất cứ thứ gì.
Uh, but it does it, you know, can learn a lot of things about the world.
Ờ, nhưng nó, bạn biết đấy, có thể học được rất nhiều điều về thế giới.
One thing a baby can learn really quickly is that the world is three-dimensional.
Một điều mà em bé có thể học rất nhanh là thế giới có ba chiều.
Why?
Tại sao?
Because the fact that an object has a distance every every uh point in the world has a distance from us is the best way to explain how our view of the world changes when we move our head.
Bởi vì việc một vật thể có khoảng cách, mỗi điểm trong thế giới đều có khoảng cách với chúng ta, là cách tốt nhất để giải thích cách mà tầm nhìn của chúng ta về thế giới thay đổi khi chúng ta di chuyển đầu.
And of course babies don't move necessarily their head but they are being moved so they this see parallax and sort of they derive from this the fact that the world is three-dimensional.
Và tất nhiên em bé không nhất thiết phải tự di chuyển đầu nhưng chúng được di chuyển, nên chúng thấy được thị sai và từ đó chúng rút ra được sự thật rằng thế giới có ba chiều.
We can do this with learning machines today.
Chúng ta có thể làm điều này với các máy học ngày nay.
They learn that that the world is three-dimensional only by being exposed passively to uh videos.
Chúng học được rằng thế giới có ba chiều chỉ bằng cách được tiếp xúc một cách thụ động với các video.
Uh, so that's that's uh an interesting uh thing.
Ờ, vậy đó là một điều thú vị.
And I'm going to silence my phone because it's actually okay.
Và tôi sẽ tắt tiếng điện thoại của mình vì thực ra không sao cả.
So um, so, basic concepts like object permanence is this is learned really quickly.
Vậy ừm, vậy, những khái niệm cơ bản như sự tồn tại vĩnh viễn của vật thể được học rất nhanh.
Uh, notions of stability, rigidity, and things like that.
Ờ, những khái niệm về sự ổn định, sự cứng nhắc, và những thứ tương tự.
But then, uh what we would consider intuitive physics, uh things like uh inertia, gravity, that actually takes 9 months for uh human infants.
Nhưng sau đó, ờ, cái mà chúng ta coi là vật lý trực giác, ờ, những thứ như ờ quán tính, trọng lực, thực ra phải mất 9 tháng đối với ờ trẻ sơ sinh con người.
Shorter for most animals.
Ngắn hơn đối với hầu hết các loài động vật.
And if you put a 8-month-old on a high chair and you put a bunch of toys, uh 8 or 9 months old, the child will most likely systematically take all the toys and throw them on the floor and watch the result.
Và nếu bạn đặt một đứa trẻ 8 tháng tuổi lên ghế cao và bạn đặt một đống đồ chơi, ờ, 8 hoặc 9 tháng tuổi, đứa trẻ rất có thể sẽ có hệ thống lấy tất cả đồ chơi và ném chúng xuống sàn và quan sát kết quả.
They're doing the experiment that gravity actually applies to everything.
Chúng đang làm thí nghiệm rằng trọng lực thực sự áp dụng cho mọi thứ.
Uh, so, that takes a long time.
Ờ, vậy, việc đó mất một thời gian dài.
How does that happen?
Điều đó diễn ra như thế nào?
What type of learning is taking place there?
Loại học tập nào đang diễn ra ở đó?
They're doing the experiment, but they can learn about gravity just by observation as well.
Chúng đang làm thí nghiệm, nhưng chúng cũng có thể học về trọng lực chỉ qua quan sát.
Uh, so, if you if you show the scenario here at the bottom, where a car is on a platform, you push it off the platform, it appears to float in the air, uh a 6-month-old will barely pay attention, hasn't learned about gravity yet.
Ờ, vậy, nếu bạn cho thấy tình huống ở đây ở phía dưới, nơi một chiếc xe ở trên một nền tảng, bạn đẩy nó ra khỏi nền tảng, nó có vẻ lơ lửng trong không khí, ờ một đứa trẻ 6 tháng tuổi sẽ hầu như không chú ý, chưa học về trọng lực.
Uh, a 10-month-old will go very surprised, like the little girl.
Ờ, một đứa trẻ 10 tháng tuổi sẽ rất ngạc nhiên, giống như cô bé.
Uh, and that's actually how psychologists measure uh whether a baby has learned a particular concept about the world, uh which is a the violation of expectation.
Ờ, và đó thực ra là cách các nhà tâm lý học đo lường ờ liệu một em bé đã học được một khái niệm cụ thể nào đó về thế giới hay chưa, ờ đó là sự vi phạm kỳ vọng.
Um, we actually we can actually use those techniques to test whether machine learning system has have acquired some, you know, some notion of common sense.
Ừm, chúng ta thực ra có thể sử dụng những kỹ thuật đó để kiểm tra liệu hệ thống học máy đã tiếp thu được một số, bạn biết đấy, một số khái niệm về lẽ thường hay chưa.
Uh, so, there's uh a lot that can be said about this.
Ờ, vậy, có rất nhiều điều có thể nói về vấn đề này.
Uh
Ờ
Uh, Jitendra and I uh collaborated on a paper here, mostly written by Emmanuel Dupoux, actually.
Ờ, Jitendra và tôi ờ đã hợp tác trong một bài báo ở đây, thực ra phần lớn được viết bởi Emmanuel Dupoux.
And Jitendra I very little uh contributions to it on on this whole kind of set of questions.
Và Jitendra và tôi đóng góp rất ít ờ vào nó về toàn bộ loại câu hỏi này.
Okay, well, what is really what is intelligence is if it's not an accumulation of uh of skills and not an accumulation accumulation of declarative knowledge is the ability to accomplish new tasks as I said, solve new problems with without prior training.
Được rồi, vậy điều thực sự là trí tuệ là gì nếu nó không phải là sự tích lũy ờ các kỹ năng và không phải là sự tích lũy kiến thức khai báo, mà là khả năng hoàn thành các nhiệm vụ mới như tôi đã nói, giải quyết các vấn đề mới mà không cần huấn luyện trước.
Uh, and again AGI has no makes no sense as a as a as a phrase.
Ờ, và một lần nữa AGI không có ý nghĩa gì như một ờ như một cụm từ.
Uh, human intelligence is specialized and the question is not do you know how to do everything?
Ờ, trí tuệ con người là chuyên biệt hóa và câu hỏi không phải là bạn có biết cách làm mọi thứ không?
Is it can you learn quickly how to do anything?
Mà là bạn có thể học nhanh cách làm bất cứ điều gì không?
Or a wide spectrum of things.
Hoặc một phổ rộng các thứ.
Uh, there's a little kind of somewhat philosophical paper here at the bottom uh written by some of my young colleagues.
Ờ, có một bài báo nhỏ mang tính triết học ở đây ở phía dưới ờ được viết bởi một số đồng nghiệp trẻ của tôi.
So, um, here is a simple calculation.
Vậy, ừm, đây là một phép tính đơn giản.
There's still a lot of people particularly on the west coast of the US uh who believes that uh we're going to reach what they call AGI, okay?
Vẫn còn rất nhiều người đặc biệt là ở bờ biển phía tây nước Mỹ ờ những người tin rằng ờ chúng ta sẽ đạt được cái mà họ gọi là AGI, được chứ?
Uh, by scaling up LLMs uh maybe training them on synthetic data, maybe you know, using a few tricks and post training and reinforcement learning.
Ờ, bằng cách mở rộng quy mô các LLM ờ có thể huấn luyện chúng trên dữ liệu tổng hợp, có thể bạn biết đấy, sử dụng một vài thủ thuật và huấn luyện sau cùng với học tăng cường.
And I think that's impossible.
Và tôi nghĩ điều đó là không thể.
Uh, I'm a believer in sort of grounded uh intelligence if you want, but you can do the simple calculation.
Ờ, tôi là người tin vào loại trí tuệ ờ có nền tảng nếu bạn muốn, nhưng bạn có thể làm phép tính đơn giản.
Uh, an LLM you know, typical LLM of today is trained on something like uh 20 trillion words but that corresponds to about 30 trillion tokens.
Ờ, một LLM bạn biết đấy, LLM điển hình ngày nay được huấn luyện trên khoảng ờ 20 nghìn tỷ từ nhưng tương ứng với khoảng 30 nghìn tỷ token.
And each token is 3 bytes, something like that.
Và mỗi token là 3 byte, đại loại như vậy.
Um, so, the data volume is about 10 to the 14 bytes.
Ừm, vậy, khối lượng dữ liệu khoảng 10 mũ 14 byte.
This would take about 400,000 years for any human to read.
Điều này sẽ mất khoảng 400.000 năm để bất kỳ người nào đọc.
Uh, then compare this with what a 4-year-old has seen during his or her life.
Uh, sau đó so sánh điều này với những gì một đứa trẻ 4 tuổi đã thấy trong suốt cuộc đời của mình.
That's about 16 hours of wake time.
Đó là khoảng 16 giờ thời gian thức.
And uh which by the way the small amount of video is about 30 minutes of YouTube uploads.
Và uh, nhân tiện, lượng video nhỏ khoảng 30 phút tải lên YouTube.
And uh we have 2 million optic nerve fibers carrying about 1 byte per second each.
Và uh, chúng ta có 2 triệu sợi thần kinh thị giác mang khoảng 1 byte mỗi giây mỗi sợi.
So, the data volume uh that for your world I see through vision and probably through touch as well is about 10 to the 14 bytes.
Vậy, khối lượng dữ liệu uh mà đối với thế giới của bạn, tôi thấy qua thị giác và có lẽ qua xúc giác nữa, là khoảng 10 mũ 14 byte.
So, for your world through vision, same amount of data as 400,000 years through text.
Vậy, đối với thế giới của bạn qua thị giác, lượng dữ liệu tương đương với 400.000 năm qua văn bản.
With all the human produced text available on the publicly on the internet.
Với tất cả văn bản do con người tạo ra có sẵn công khai trên internet.
Uh, we're not going to get to anything like human-like intelligence by just training on text.
Uh, chúng ta sẽ không đạt được bất cứ thứ gì giống như trí tuệ con người chỉ bằng cách huấn luyện trên văn bản.
It's just not going to happen.
Điều đó sẽ không xảy ra.
Um, so of course you're going to say, well, video is much more redundant than text.
Ừm, vậy tất nhiên bạn sẽ nói, à, video thì dư thừa hơn nhiều so với văn bản.
But in fact, that's a feature not a bug.
Nhưng thực tế, đó là một tính năng chứ không phải lỗi.
If you want to train a system, particularly using self-supervised learning, you need redundancy in the in the data.
Nếu bạn muốn huấn luyện một hệ thống, đặc biệt là sử dụng học tự giám sát, bạn cần sự dư thừa trong dữ liệu.
If you don't have redundancy, you can't learn anything.
Nếu bạn không có sự dư thừa, bạn không thể học được gì.
So, redundancy is a good thing.
Vậy, dư thừa là một điều tốt.
You don't want too much of it though.
Tuy nhiên, bạn không muốn quá nhiều.