0:00

17:11

Notational Intelligence, Linus Lee | Compile 26

Cursor·17:11·Technology·C1

Chương · 4

Chương 1·Introduction to Notational Intelligence

Hiển thị

Tiếng ViệtAuto-scroll

0:00

Um, I want to begin with an observation.

Ừm, tôi muốn bắt đầu bằng một nhận xét.

0:03

The observation is that in this venue there's probably in the order of a thousand, maybe a couple thousand computers.

Nhận xét đó là trong địa điểm này có khoảng một nghìn, có thể vài nghìn máy tính.

0:10

There's some in your pockets.

Có một số trong túi của bạn.

0:12

You brought some with you.

Bạn đã mang theo một số.

0:13

There's computers running various systems in the buildings or a few thousand computers.

Có những máy tính chạy các hệ thống khác nhau trong các tòa nhà, tổng cộng vài nghìn máy.

0:17

But if you think about instances of notations of symbols, graphics, signage, maps, things that people have written down, notes in your notebook, they're probably at least a hundred times, if not a thousand times more instances of notations of ways that you write things down to communicate, to remember things, to work on them in this venue.

Nhưng nếu bạn nghĩ về các trường hợp ký hiệu, biểu tượng, đồ họa, bảng chỉ dẫn, bản đồ, những thứ mọi người viết ra, ghi chú trong sổ tay của bạn, có lẽ có ít nhất một trăm lần, nếu không muốn nói là một nghìn lần nhiều hơn các trường hợp ký hiệu về cách bạn viết ra để giao tiếp, ghi nhớ, làm việc với chúng trong địa điểm này.

0:38

And my observation is that even though we may not be

Và nhận xét của tôi là mặc dù chúng ta có thể không

0:43

conscious of it all times, the impact of notations, how we write things down to communicate and represent things is potentially greater than the impact of machines that we build to augment our intelligence.

Luôn ý thức về điều đó, tác động của các ký hiệu, cách chúng ta viết ra để giao tiếp và biểu diễn mọi thứ có thể lớn hơn tác động của những cỗ máy chúng ta xây dựng để tăng cường trí thông minh của mình.

0:58

They're both ways to make us smarter, make us more effective at what we want to do.

Cả hai đều là cách để làm cho chúng ta thông minh hơn, hiệu quả hơn trong những gì chúng ta muốn làm.

1:02

But notations possibly has a greater impact even though we may not be and not be conscious of it.

Nhưng các ký hiệu có thể có tác động lớn hơn mặc dù chúng ta có thể không và không ý thức về nó.

1:07

And I call this idea notational intelligence.

Và tôi gọi ý tưởng này là trí thông minh ký hiệu.

1:09

And for the rest of our time together today, I want to talk through first what makes good notations, why do some ways of writing things down feel more satisfying

Và trong thời gian còn lại hôm nay, tôi muốn thảo luận trước hết về điều gì tạo nên các ký hiệu tốt, tại sao một số cách viết ra lại cảm thấy thỏa mãn hơn

1:17

and more useful?

Và hữu ích hơn?

1:17

Uh and dive into some attributes of good notations.

Ừm và đi sâu vào một số thuộc tính của các ký hiệu tốt.

1:20

And then I want to think through how we might be able to use some other modern tools of deep learning to think about new kinds of notations we can create.

Và sau đó tôi muốn suy nghĩ về cách chúng ta có thể sử dụng một số công cụ hiện đại khác của học sâu để nghĩ về các loại ký hiệu mới mà chúng ta có thể tạo ra.

1:28

A great example of what I call notational intelligence is when you do long edition.

Một ví dụ tuyệt vời về cái tôi gọi là trí thông minh ký hiệu là khi bạn thực hiện phép cộng dài.

1:31

If I ask you to add, you know, three numbers of four-digit numbers,

Nếu tôi yêu cầu bạn cộng, bạn biết đấy, ba số có bốn chữ số,

1:35

let's say 217 and 8, you know, 68, maybe some of you can do it in your head.

Giả sử 217 và 8, bạn biết đấy, 68, có thể một số bạn có thể làm trong đầu.

1:41

I can't really do it that fast in your head, but then you do this.

Tôi thực sự không thể làm nhanh như vậy trong đầu, nhưng sau đó bạn làm điều này.

1:46

You can move some numbers around.

Bạn có thể di chuyển một số con số xung quanh.

1:49

I hope I'm not making a mistake.

Tôi hy vọng tôi không phạm sai lầm.

1:51

That's embarrassing.

Điều đó thật xấu hổ.

1:52

Um, it's not this, it's this.

Ừm, không phải cái này, mà là cái này.

1:54

Okay.

Được rồi.

1:54

And in this calculation, I didn't really do the calculation purely in my head.

Và trong phép tính này, tôi thực sự không thực hiện phép tính hoàn toàn trong đầu.

1:59

It's not just that I became more intelligent to

Không chỉ là tôi trở nên thông minh hơn để

2:03

my brain.

Bộ não của tôi.

2:03

It's also not that the chalkboard is a machine or a calculator.

Cũng không phải là bảng đen là một cỗ máy hay máy tính.

2:06

There's no, you know, there's nothing behind this.

Không có, bạn biết đấy, không có gì đằng sau điều này.

2:08

It's there's something in the way that we represent information that allows us the combined system of my brain and the things that I'm writing down, the shapes that I'm putting on the board to be smarter.

Có một cái gì đó trong cách chúng ta biểu diễn thông tin cho phép hệ thống kết hợp giữa bộ não của tôi và những thứ tôi đang viết ra, những hình dạng tôi đặt lên bảng trở nên thông minh hơn.

2:17

And so that's what I call notational intelligence.

Và đó là cái tôi gọi là trí thông minh ký hiệu.

2:19

And there are different kinds of notation.

Và có nhiều loại ký hiệu khác nhau.

2:21

I want to just walk through uh a few

Tôi muốn điểm qua một vài

2:24

desirable properties that I think make certain kinds of notation useful and satisfying.

Thuộc tính mong muốn mà tôi nghĩ làm cho một số loại ký hiệu trở nên hữu ích và thỏa mãn.

2:31

And the first is abstraction.

Và đầu tiên là sự trừu tượng hóa.

2:35

Abstraction is the idea that you can write down one symbol or one kind of shape and it can stand for a whole set of things that have similar properties.

Trừu tượng hóa là ý tưởng rằng bạn có thể viết một ký hiệu hoặc một loại hình dạng và nó có thể đại diện cho một tập hợp các thứ có tính chất tương tự.

2:43

So a good example of this is in algebra.

Một ví dụ điển hình là trong đại số.

2:44

You might say, you know, y equals mx plus b.

Bạn có thể nói, bạn biết đấy, y bằng mx cộng b.

2:46

And b is not just a single object.

Và b không chỉ là một đối tượng duy nhất.

2:49

B stands for a whole set of things.

B đại diện cho một tập hợp các thứ.

2:51

Maybe it's a set of integers.

Có thể nó là một tập hợp các số nguyên.

2:53

Maybe it's a set of reals.

Có thể nó là một tập hợp các số thực.

2:54

All of these variables are individual symbols that we can manipulate.

Tất cả các biến này là các ký hiệu riêng lẻ mà chúng ta có thể thao tác.

2:57

So, I can move this term to the left and really I'm manipulating a whole family of relationships between numbers or family of ideas.

Vì vậy, tôi có thể chuyển số hạng này sang bên trái và thực sự tôi đang thao tác một họ các mối quan hệ giữa các số hoặc một họ các ý tưởng.

3:04

Um, and that is really powerful because you can start to manipulate larger objects, uh, potentially entire families of equations or relationships by just moving symbols

Ừm, và điều đó thực sự mạnh mẽ vì bạn có thể bắt đầu thao tác các đối tượng lớn hơn, có thể là toàn bộ họ phương trình hoặc mối quan hệ chỉ bằng cách di chuyển các ký hiệu

3:12

around on the board.

Xung quanh trên bảng.

3:14

The second and third properties that make great notation are suggestiveness and what our favorite mathematician Terry Tao calls natural transformations and they're related kind of abstract ideas.

Thuộc tính thứ hai và thứ ba tạo nên ký hiệu tuyệt vời là tính gợi ý và cái mà nhà toán học yêu thích của chúng ta Terry Tao gọi là biến đổi tự nhiên, và chúng là những ý tưởng trừu tượng có liên quan.

3:30

So I'll try to first state it and then I'll give you an example.

Vì vậy, tôi sẽ cố gắng trình bày trước và sau đó đưa ra một ví dụ.

3:38

Suggestiveness is the idea that if two things when you write them down look the same then they probably share some property that is implied by the similarity of the shapes and natural transformation is a related idea that when you could apply some operation to the shapes in the space of writing graphical space that they have some corresponding meaning in what you're

Tính gợi ý là ý tưởng rằng nếu hai thứ khi bạn viết ra trông giống nhau thì chúng có thể chia sẻ một số thuộc tính được ngụ ý bởi sự tương đồng của các hình dạng, và biến đổi tự nhiên là một ý tưởng liên quan rằng khi bạn có thể áp dụng một số thao tác lên các hình dạng trong không gian viết, không gian đồ họa, chúng có một số ý nghĩa tương ứng trong những gì bạn đang

3:57

doing with the underlying ideas.

Làm với các ý tưởng cơ bản.

3:58

So what does that mean?

Vậy điều đó có nghĩa là gì?

4:00

A good example of this comes from two different ways that early inventors of calculus wrote down the idea of derivatives.

Một ví dụ điển hình về điều này đến từ hai cách khác nhau mà các nhà phát minh đầu tiên của giải tích đã viết ra ý tưởng về đạo hàm.

4:07

um linenets and Newton linenets was coming from more mathematical pure mathematical background he wrote down derivatives as such you do like a dy over dx and this is a ratio of differentials it's the

Ừm, Leibniz và Newton. Leibniz xuất thân từ nền tảng toán học thuần túy hơn, ông viết đạo hàm như thế này: bạn làm dy/dx, và đây là tỷ lệ của các vi phân, đó là

4:20

ratio of a tiny movement in x to a tiny movement in y right remember this from high school and you can manipulate this in a few different ways you can maybe you know multiply it by other ratio of differentials you can you can take squares of things and um although there are rigorous ways you can manipulate You can also just kind of eyeball certain things and you can operate

tỷ lệ giữa một chuyển động nhỏ trong x và một chuyển động nhỏ trong y, phải không? Nhớ điều này từ thời trung học. Và bạn có thể thao tác nó theo một vài cách khác nhau, bạn có thể nhân nó với tỷ lệ vi phân khác, bạn có thể lấy bình phương của các thứ, và mặc dù có những cách chặt chẽ để thao tác, bạn cũng có thể ước lượng bằng mắt một số thứ và vận hành

4:40

mechanically on the symbols in a way that means something in the space of ideas.

một cách cơ học trên các ký hiệu theo cách có ý nghĩa trong không gian ý tưởng.

4:43

Whereas Newton coming from a physics background would say something like, oh, I only really care about derivatives over time, about how fast things are moving and accelerating.

Trong khi đó, Newton xuất thân từ nền tảng vật lý sẽ nói điều gì đó như, ồ, tôi chỉ thực sự quan tâm đến đạo hàm theo thời gian, về tốc độ và gia tốc của vật thể.

4:50

So he'd say something like, you know, there's position and maybe the first derivative is like a dot over the value

Vì vậy, ông ấy sẽ nói điều gì đó như, bạn biết đấy, có vị trí và có thể đạo hàm bậc nhất là một dấu chấm trên giá trị

4:56

and the second derivative of acceleration is like two dots over the value.

Và đạo hàm bậc hai của gia tốc là hai dấu chấm trên giá trị.

4:59

And this is from an abstraction perspective, it's really nice.

Và từ góc độ trừu tượng, điều này thực sự tốt.

5:02

It's a lot simpler, but you can't really operate on these things in a way that makes any sense.

Nó đơn giản hơn nhiều, nhưng bạn không thể thực sự thao tác những thứ này theo cách có ý nghĩa.

5:07

There's not that much mathematical implied by the shape of the of the notations.

Không có nhiều ý nghĩa toán học được ngụ ý bởi hình dạng của các ký hiệu.

5:10

And so in practice, we find of course that this is a more

Và vì vậy trong thực tế, chúng ta thấy rằng đây là một cách

5:14

common way to work with derivatives in mathematics literature because the lieness notation is both more suggestive and more immutable to natural transformations.

phổ biến hơn để làm việc với đạo hàm trong tài liệu toán học vì ký hiệu Leibniz vừa gợi ý hơn vừa bất biến hơn đối với các phép biến đổi tự nhiên.

5:23

And then finally, the fourth family of properties that we really care about for good notations is that they take advantage that they are graphical.

Và cuối cùng, nhóm thuộc tính thứ tư mà chúng ta thực sự quan tâm cho các ký hiệu tốt là chúng tận dụng lợi thế rằng chúng là đồ họa.

5:34

To be graphical means to take advantage of the implicit biases that we have in our visual perception system to make sure that whenever we operate on things in these two dimensions that they are kind of naturally intuitive because of the way that our brain works and our perception system works.

Để mang tính đồ họa có nghĩa là tận dụng các thiên kiến tiềm ẩn mà chúng ta có trong hệ thống nhận thức thị giác để đảm bảo rằng bất cứ khi nào chúng ta thao tác trên các thứ trong hai chiều này, chúng đều trực quan một cách tự nhiên vì cách bộ não và hệ thống nhận thức của chúng ta hoạt động.

5:47

One way that this is the case is that notations that we work with here and in the venue and

Một cách mà điều này xảy ra là các ký hiệu mà chúng ta làm việc ở đây, trong địa điểm và

5:52

in the signages are all flat.

trong các biển báo đều phẳng.

5:53

They could be threedimensional.

Chúng có thể là ba chiều.

5:54

You could imagine ways of writing things down involve CAD models and videos and other kinds of dimensions.

Bạn có thể tưởng tượng các cách viết mọi thứ liên quan đến mô hình CAD, video và các loại chiều khác.

5:59

But flat notations are useful because we can move them around.

Nhưng ký hiệu phẳng rất hữu ích vì chúng ta có thể di chuyển chúng.

6:03

They're mobile.

Chúng có tính di động.

6:03

You can scale them up and down really easily.

Bạn có thể phóng to thu nhỏ chúng rất dễ dàng.

6:06

So you can take notations that describe really complex, really large objects and really small objects like bacteria and you can bring to bear the same tools of geometry like arrows and shapes and measurement and ratios onto all of these notations, different kinds of maps and and graphs and plots because they ultimately

Vì vậy, bạn có thể lấy các ký hiệu mô tả các đối tượng thực sự phức tạp, thực sự lớn và các đối tượng thực sự nhỏ như vi khuẩn và áp dụng cùng các công cụ hình học như mũi tên, hình dạng, đo lường và tỷ lệ lên tất cả các ký hiệu này, các loại bản đồ, đồ thị và biểu đồ khác nhau bởi vì cuối cùng chúng

6:23

boil down to 2D shapes that are flat that you can move around and you can copy and you can print out.

quy về các hình dạng 2D phẳng mà bạn có thể di chuyển, sao chép và in ra.

6:28

A really great example of graphical notation is uh the coordinate plane.

Một ví dụ thực sự tuyệt vời về ký hiệu đồ họa là mặt phẳng tọa độ.

6:31

So we could take something like y= mx plus b and we could just say okay we'll draw a y- axis here x axis here and maybe this is like the line that we want to represent with this equation and this is useful for

Vì vậy, chúng ta có thể lấy một thứ như y = mx + b và chỉ cần nói, được rồi, chúng ta sẽ vẽ trục y ở đây, trục x ở đây, và có thể đây là đường mà chúng ta muốn biểu diễn bằng phương trình này, và điều này hữu ích cho

6:43

manipulating uh numbers and algebraic terms but this is really what gets us to understand the relationship between numbers right like if I if I move the value of v up and down maybe it means that the line moves up and down because it's moving the y intercept or maybe the slope is m and so it represents something physical and so the coordinate plane is a really useful notation

việc thao tác các số và các số hạng đại số, nhưng điều này thực sự giúp chúng ta hiểu mối quan hệ giữa các số, phải không? Giống như nếu tôi di chuyển giá trị của b lên xuống, có thể nó có nghĩa là đường thẳng di chuyển lên xuống vì nó thay đổi tung độ gốc, hoặc có thể độ dốc là m và nó đại diện cho một cái gì đó vật lý, và vì vậy mặt phẳng tọa độ là một ký hiệu thực sự hữu ích

7:02

for us because it allows us to take advantage of the implicit kind of visual understanding that we have as humans kind of just moving around our space.

cho chúng ta bởi vì nó cho phép chúng ta tận dụng sự hiểu biết trực quan tiềm ẩn mà chúng ta có như con người khi di chuyển trong không gian của mình.

7:10

Another uh example of really great visual notation that is one of my favorite examples because of how surprising it is the arrow.

Một ví dụ khác về ký hiệu trực quan thực sự tuyệt vời, một trong những ví dụ yêu thích của tôi vì nó đáng ngạc nhiên, đó là mũi tên.

7:16

Like we have arrows here, we have arrows.

Giống như chúng ta có mũi tên ở đây, chúng ta có mũi tên.

7:19

Every I think pretty much every speaker that we've had today has drawn an arrow at some pointing to something or gesturing in a direction of movement.

Tôi nghĩ hầu như mọi diễn giả hôm nay đều đã vẽ một mũi tên chỉ vào thứ gì đó hoặc ra hiệu theo hướng chuyển động.

7:27

Um so it's it's really kind of we're fishing the

Ừm, vì vậy nó thực sự giống như chúng ta đang câu cá trong

7:30

water.

nước.

7:30

to reduce the idea of arrows.

Để thu hẹp ý tưởng về mũi tên.

7:32

How old do you think this arrow symbol is in recorded history?

Bạn nghĩ biểu tượng mũi tên này đã bao nhiêu tuổi trong lịch sử được ghi chép?

7:36

What do you think is the earliest example of the arrow symbol we can find?

Bạn nghĩ ví dụ sớm nhất về biểu tượng mũi tên mà chúng ta có thể tìm thấy là gì?

7:40

It turns out that the earliest example of arrows that we can find is about 300 years old.

Hóa ra ví dụ sớm nhất về mũi tên mà chúng ta có thể tìm thấy có khoảng 300 năm tuổi.

7:46

It's from That's pretty wild, right?

Nó từ... Điều đó khá điên rồ, phải không?

7:48

Before that, if you wanted to draw something and you want to point at something, you had to

Trước đó, nếu bạn muốn vẽ thứ gì đó và chỉ vào thứ gì đó, bạn phải

7:54

draw like a hand pointing at the thing, which is pretty crazy.

vẽ một bàn tay chỉ vào thứ đó, điều này khá điên rồ.

7:57

And so even though even something as basic as a coordinate plane or even the arrow symbol, somebody had to think of and invent and that invention allows us to work with these uh other kinds of notations uh much more easily.

Và vì vậy, ngay cả một thứ cơ bản như mặt phẳng tọa độ hay biểu tượng mũi tên, ai đó đã phải nghĩ ra và phát minh ra, và phát minh đó cho phép chúng ta làm việc với các loại ký hiệu khác dễ dàng hơn nhiều.

8:11

Another great kind of notation that we are all used to as programmers and practitioners in computer science is programming languages.

Một loại ký hiệu tuyệt vời khác mà tất cả chúng ta đều quen thuộc với tư cách là lập trình viên và học viên trong khoa học máy tính là ngôn ngữ lập trình.

8:17

Programming languages uh describe a totally new family of ideas.

Ngôn ngữ lập trình mô tả một họ ý tưởng hoàn toàn mới.

8:20

The idea of programs didn't really exist when a lot of this work was done.

Ý tưởng về chương trình thực sự không tồn tại khi phần lớn công việc này được thực hiện.

8:24

And yet programming languages are a kind of notation, a thing that you write down on paper on a

Và ngôn ngữ lập trình là một loại ký hiệu, một thứ bạn viết ra trên giấy hoặc trên

8:30

computer screen to talk about a family of concepts that are programs that are this kind of complex dynamic objects that allow computers to be turned into useful machines and programming languages of all these elements.

màn hình máy tính để nói về một họ khái niệm là các chương trình, là loại đối tượng động phức tạp cho phép máy tính biến thành máy móc hữu ích, và ngôn ngữ lập trình có tất cả các yếu tố này.

8:41

They use abstractions.

Chúng sử dụng sự trừu tượng.

8:42

I for abstraction and that you have variables and functions that uh that abstract over uh important concepts.

Tôi cho sự trừu tượng và bạn có các biến và hàm trừu tượng hóa các khái niệm quan trọng.

8:48

They are suggestive and

Chúng gợi ý và

8:50

immutable to natural transformation that if you're refactoring programs, you'll often take a term, take a function, replace the term with a function.

bất biến đối với phép biến đổi tự nhiên, rằng nếu bạn đang tái cấu trúc chương trình, bạn thường lấy một thuật ngữ, lấy một hàm, thay thế thuật ngữ bằng một hàm.

8:57

You're moving values around and you're performing actions in the space of written programs, in the space of symbols that have corresponding meaning in the space of actual programs, this abstract object that exists inside a

9:08

computer, right?

9:08

And then finally, they're maybe more graphical than you might initially think because when you indent code, when you syntax highlight code, you are using the implicit biases that we have as humans of how we perceive color and how we perceive space to denote useful ideas in the space of programs like variable scope.

9:26

So these are these are how we get um good notations.

9:30

So now we're in 2026, we don't have to just invent arrows anymore.

9:35

we can bring the more powerful tools that we have at our disposal like deep learning to try to think about how we might kind of more intentionally invent new kinds of abstractions for new kinds of ideas.

9:51

When we build these models um as some of the folks talked about previously, we have models

9:58

learning these new kinds of weird ideas.

9:59

When you look inside a model, maybe they learn features that are not really interpretable to us.

10:04

Uh maybe if you look inside a model and apply interpretability techniques, you get things like Laura layers and strange new features that we don't really have words for.

10:13

But if we could somehow figure out how to mechanize the process of getting good notation, maybe we can massproduce

10:19

new kinds of ways to write down ideas that we don't yet have words for or yet have notations for.

10:22

And so how do we invent new notations with deep learning?

10:25

There's actually some prior art in this space in the field of cognitive science.

10:29

A lot of people use deep learning models, things like comnets and resnet to as kind of laboratory models for human perception to try to imagine what the evolution of uh written language may have looked like.

10:39

So they use uh neural networks as a proxy for how humans see the world and then try to use that to imagine how we may have evolved from things like pictograms to model

10:50

language.

10:50

That's not exactly what we're going to do here.

10:52

We're going to instead try to use the same tools of deep learning to try to imagine what totally new uh notations unconstrained from natural notations we've learned about so far might look like and try to actually uh use a produce a toy model of like inventing a new kind of notation.

11:07

So when you want to invent a new notation

11:10

you need two things.

11:11

First thing you need is you need to decide on an input domain.

11:18

What do you want to represent with the annotation?

11:22

And the second thing you need is the constraints that are that are inherent to the medium that you're working in.

11:32

So the constraints of the medium, for example.

11:34

So if I if I'm trying to write things on a chalkboard, the constraints of the medium are not just that it's flat, but also that maybe you need high contrast.

11:42

Maybe I can't do shading super well, so it needs to be just pure black and white.

11:46

um maybe it needs to be made of strokes instead of pixels because I'm writing with

11:51

something that generates lines.

11:52

But if you're using a model that's generating raster images, maybe your medium actually can allow for pixel images and raster images and we'll say see exactly that.

12:00

And so just to produce a toy model of inventing an annotation with deep learning.

12:04

Let's say we're going to pick a really simple input domain which is just uh a vector of size

12:10

n where only one of the values can be one and the rest has to be zero.

12:14

So imagine like uh you know maybe it's like 0 1 0 0 and this is like a vector of size five where exactly one value is one right?

12:22

So we call it one hot vector and let's say that's like vector n and we have n values.

12:27

Another way to think about this object is it's like an alphabet like the English alphabet has

12:32

26 letters.

12:32

Uh each letter can only be one letter.

12:34

A letter can't be like a and b.

12:37

And so we're going to try to kind of train a model to learn a new alphabet that is n letters big.

12:43

So we have this input that's just a vector.

12:45

We put this first into an image generator model G.

12:48

And this is going to generate some kind of an image.

12:52

In our case, this is a ResNet style convolutional model in my little toy model.

12:57

And so maybe it generates like a 32x32 image.

13:00

And then we're going to have a different model try to read what this model wrote down to represent this idea.

13:06

So this is a generator.

13:07

It's writing something down.

13:08

We have a decoder that's trying to decode this back into what the decoder thinks the generator tried to write down which we call v prime n and it's a it's the same size right and so we optimize this whole thing end to end with

13:22

gradient descent to try to make sure there's another arrow try to make sure that the generin decoder kind of learn to talk to each other in other words when we take some vector put it through the generator to produce an image put it through a decoder to prod to try to figure out what it meant Hopefully the values v prime n and vn are similar.

13:40

We try to minimize the

Chúng tôi cố gắng giảm thiểu sự

13:42

difference and at this point we have a handout that we'll start handing out.

khác biệt và tại thời điểm này, chúng tôi có một tài liệu phát tay mà chúng tôi sẽ bắt đầu phát.

13:46

And if you if you don't want to uh if you don't we don't have enough handouts for everybody.

Và nếu bạn không muốn, uh nếu bạn không, chúng tôi không có đủ tài liệu cho tất cả mọi người.

13:51

If you don't see if you don't get a handout you can also go to the URL linus.zone and you'll see the same thing.

Nếu bạn không thấy, nếu bạn không nhận được tài liệu, bạn cũng có thể truy cập URL linus.zone và bạn sẽ thấy nội dung tương tự.

13:58

The handout shows you kind of two interesting things.

Tài liệu phát tay cho bạn thấy hai điều thú vị.

14:01

The first the first page is in the process of training this

Trang đầu tiên là quá trình huấn luyện

14:05

thing where we have in our in the case of the experiment that you're looking at there, it's a vector of size 1024.

thứ này, trong trường hợp thí nghiệm bạn đang xem, nó là một vector có kích thước 1024.

14:11

So the model is learning an alphabet that is 1024 kind of characters or letters big.

Vì vậy, mô hình đang học một bảng chữ cái gồm 1024 loại ký tự hoặc chữ cái.

14:16

It's learning 1024 different symbols.

Nó đang học 1024 ký hiệu khác nhau.

14:17

It has to learn to distinguish a thousand different concepts.

Nó phải học cách phân biệt một nghìn khái niệm khác nhau.

14:20

It's doing that in a 32x 32 grayscale uh pixel space.

Nó làm điều đó trong không gian pixel xám 32x32.

14:23

And you'll see that the

Và bạn sẽ thấy rằng

14:25

first page is kind of the outcome.

trang đầu tiên là kết quả.

14:26

So it's what do these letters look like that these models have made up in their own space unconstrained from uh human perception.

Vì vậy, đó là những chữ cái trông như thế nào mà các mô hình này đã tạo ra trong không gian riêng của chúng, không bị ràng buộc bởi nhận thức của con người.

14:32

In one of the pages it's that in the other page it's a sequence of learning.

Trong một trang là điều đó, trang còn lại là một chuỗi học tập.

14:37

Well you see that in the in the beginning you're kind of starting with noise and the model learns basic ideas like kind of black and white

Bạn thấy rằng lúc đầu bạn bắt đầu với nhiễu và mô hình học các ý tưởng cơ bản như đen và trắng

14:44

and then over time it learns more and more complex shapes which is pretty interesting to see.

Và theo thời gian, nó học được các hình dạng phức tạp hơn, điều này khá thú vị để xem.

14:47

The last trick that I forgot to mention in in building this thing is that if you if you just train this naively, the model is going to learn some really basic hacks like maybe the first letter is the first pixel being on, second letter is the second pixel being on, and so on and so

Thủ thuật cuối cùng mà tôi quên đề cập trong việc xây dựng thứ này là nếu bạn chỉ huấn luyện một cách ngây thơ, mô hình sẽ học một số thủ thuật cơ bản như có thể chữ cái đầu tiên là pixel đầu tiên bật, chữ cái thứ hai là pixel thứ hai bật, v.v.

15:01

forth.

Chúng tôi không thực sự muốn điều đó vì nó không có ý nghĩa gì đối với con người.

15:01

We don't really want that because that doesn't really mean anything to humans.

Vì vậy, chúng tôi phải quay lại các thiên kiến ngầm về đồ họa của nhận thức thị giác con người và nói, những loại bất biến nào chúng ta muốn áp đặt lên phương tiện?

15:04

So, we have to go back to our our graphical uh implicit biases of the human visual perception and say, what kinds of invarian do we want to impose in the medium?

Ví dụ, chúng ta muốn các ký hiệu có cùng ý nghĩa dù lớn hay nhỏ.

15:12

For example, we want symbols to kind of mean the same thing whether they're big or small.

Và vì vậy chúng ta áp đặt bất biến tỷ lệ, chúng ta đảm bảo

15:16

And so we impose a scale invariant, we make sure

rằng khi chúng ta có một hình ảnh được tạo ra từ bộ sinh, có thể chúng ta làm nó nhỏ hơn và đảm bảo rằng một ký hiệu nhỏ hơn giải mã cùng một thứ.

15:19

that when we get a generator image out of the generator, maybe we make it smaller and make sure that a smaller symbol decodes of the same thing.

Chúng ta tạo ra bất biến xoay.

15:25

We make it rotational invariance.

Nếu bạn lấy một chữ cái mà thứ này đã học và xoay nó, nó vẫn có cùng ý nghĩa.

15:26

If you take a letter that this thing is learned and turn it around, it still kind of means the same idea.

Và vì vậy chúng ta có bất biến xoay, bất biến tỷ lệ.

15:32

And so we have rotational invariance, scale invariance.

Chúng ta cũng thay đổi màu sắc một chút.

15:34

We also vary the color a little bit.

Vì vậy, một phiên bản sáng hơn hoặc tối hơn của cùng một ký hiệu gần như có cùng ý nghĩa.

15:35

So a brighter or a darker version of the same symbol roughly means the same idea.

Và nếu bạn huấn luyện hệ thống này, loại autoencoder với một hình ảnh ở giữa với các bất biến này, mô hình hóa ra học cách mã hóa một họ ý tưởng hoặc miền ý tưởng trong không gian thị giác riêng của nó.

15:39

And so if you train this system, this kind of autoenccoder with an image in the middle uh with these invariants, the model it turns out learns to encode a family of ideas or domain of ideas in its own kind of visual space.

Về bản chất, nó đã học được cách biểu diễn đồ họa riêng của các ý tưởng.

15:50

In essence, it's it's learned kind of its own graphical representation of ideas.

Lý do tôi chia bảng này làm đôi như thế này là ở phía bên trái là thế giới của chúng ta.

15:54

The reason I've divided this board here in two like this is that on the left side is our world.

Đó là những thứ mà chúng ta, qua văn hóa, qua cộng đồng thực hành, đã phát minh ra để hỗ trợ chúng ta và chúng đã tiến hóa một cách hữu cơ, phải không?

15:59

It's the things that we've kind of by culture, by communities of practice invented to support us and they've kind of evolved really organically, right?

Và ở bên phải là thế giới hoàn toàn xa lạ này, nơi chúng ta coi một mô hình không chỉ là cách để học những gì đã có, mà còn là một

16:06

And in the right is this totally alien world where we've taken a model not just as a way to learn what's already out there, but as a

trình mô phỏng có thể mô phỏng bất cứ thứ gì và học bất cứ thứ gì.

16:14

simulator that can simulate anything and learn anything.

Chúng không nhất thiết phải học chỉ các định luật vật lý tồn tại trong thế giới của chúng ta.

16:15

They don't have to be learning just the laws of physics that exist in our world.

Chúng không nhất thiết phải học chỉ các ngôn ngữ mà chúng ta đã biết.

16:19

They don't have to just learn the languages that we already know.

Thay vào đó, chúng ta có thể sử dụng chúng để tưởng tượng ra những loại ngôn ngữ mới, những cách viết mới, những định luật vật lý mới.

16:21

We can instead use these to try to imagine new kinds of languages, new kinds of ways of writing things down, new laws of physics.

Và tôi nghĩ ý tưởng coi máy tính và

16:27

And I think this idea of thinking of a computer and a

mô hình như một trình mô phỏng cho bất cứ thứ gì, không chỉ là trình mô phỏng cho thế giới và trải nghiệm cụ thể của chúng ta, thực sự rất mạnh mẽ.

16:30

model as a simulator for anything, not just as a simulator for our specific world and experience and way of being is really powerful.

Ừm, và trong khi chúng ta thu được nhiều giá trị từ việc mô phỏng những thứ tồn tại trong thế giới của chúng ta, tôi nghĩ có lẽ thú vị hơn nhiều khi cố gắng sử dụng các mô hình như một phòng thí nghiệm để tưởng tượng ra những cách tồn tại khác, những cách tưởng tượng khác, những

16:37

Um, and while we get a lot of value out of simulating things that exist in our world, I think it's maybe much more interesting to try to use models as a laboratory for imagining other kinds of being, other ways of imagining things, other

khái niệm khác, những cách viết khác.

16:50

concepts, other ways of writing things down.

Ừm, và đây thực sự là điều tôi đã suy nghĩ rất lâu và tôi muốn thúc đẩy tất cả mọi người ở đây với tất cả các công cụ mới và bàn phím mới của các bạn suy nghĩ về cách chúng ta sử dụng các mô hình mà chúng ta biết và yêu thích không chỉ để mô hình hóa thế giới hiện tại mà còn để nói về những ý tưởng không thể diễn tả và để thấy những gì chúng ta thực sự chưa thể tưởng tượng ra

16:51

Um, and then this was really what I what I thought for a long time about and I would push everyone here with all of your new tools and new keyboards to think about is how do we use models that we know and love to not just model the current world but to speak of unspeakable ideas and to see what we really can't imagine yet that

có thể đến trong tương lai.

17:08

might come in the future.

Cảm ơn các bạn rất nhiều và chúc hội nghị tuyệt vời.

17:09

Thank you so much guys and have a wonderful conference.

Transcript

Hiển thị

Introduction to Notational Intelligence

The speaker introduces the concept of notational intelligence, arguing that the way we write down and represent information (notations) can have a greater impact on augmenting human intelligence than machines. He observes that in any venue, there are far more instances of notations (symbols, graphics, notes) than computers. He defines notational intelligence as the combined system of the brain and written symbols that makes us smarter, using long addition as an example.

Diễn giả giới thiệu khái niệm trí tuệ ký hiệu, lập luận rằng cách chúng ta viết và biểu diễn thông tin (ký hiệu) có thể có tác động lớn hơn đến việc tăng cường trí tuệ con người so với máy móc. Ông quan sát thấy rằng trong bất kỳ địa điểm nào, số lượng ký hiệu (biểu tượng, đồ họa, ghi chú) nhiều hơn nhiều so với máy tính. Ông định nghĩa trí tuệ ký hiệu là hệ thống kết hợp giữa não bộ và các ký hiệu viết giúp chúng ta thông minh hơn, sử dụng phép cộng dài làm ví dụ.