0:00

39:23

Andrej Karpathy: Software Is Changing (Again)

Y Combinator·39:23·Technology·C2

Chương · 6

Chương 1·Three Eras of Software

Hiển thị

Tiếng ViệtAuto-scroll

0:01

Please welcome former director of AI Tesla Andre Carpathy.

Xin chào mừng cựu giám đốc AI của Tesla, Andre Carpathy.

0:07

Music Hello.

[Nhạc] Xin chào.

0:15

Music Wow, a lot of people here.

[Nhạc] Wow, nhiều người ở đây quá.

0:22

Hello.

Xin chào.

0:23

Um, okay.

Ừm, được rồi.

0:23

Yeah.

Vâng.

0:23

So I'm excited to be here today to talk to you about software in the era of AI.

Vậy tôi rất hào hứng khi ở đây hôm nay để nói với các bạn về phần mềm trong kỷ nguyên AI.

0:28

And I'm told that many of you are students like bachelors, masters, PhD and so on.

Và tôi được biết rằng nhiều bạn là sinh viên như cử nhân, thạc sĩ, tiến sĩ v.v.

0:33

And you're about to enter the industry.

Và các bạn sắp bước vào ngành công nghiệp.

0:35

And I think it's actually like an extremely unique and very interesting time to enter the industry right now.

Và tôi nghĩ thực sự đây là một thời điểm cực kỳ độc đáo và rất thú vị để bước vào ngành công nghiệp ngay bây giờ.

0:40

And I think fundamentally the reason for that is

Và tôi nghĩ về cơ bản lý do cho điều đó là

0:43

that um software is changing uh again.

Phần mềm đang thay đổi một lần nữa.

0:48

And I say again because I actually gave this talk already.

Và tôi nói một lần nữa vì tôi thực sự đã có bài nói này rồi.

0:51

Um but the problem is that software keeps changing.

Ừm nhưng vấn đề là phần mềm cứ thay đổi mãi.

0:53

So I actually have a lot of material to create new talks and I think it's changing quite fundamentally.

Vì vậy tôi thực sự có rất nhiều tài liệu để tạo các bài nói mới và tôi nghĩ nó đang thay đổi khá căn bản.

0:58

I think roughly speaking software has not changed much on such a fundamental level for 70 years.

Tôi nghĩ nói chung phần mềm đã không thay đổi nhiều ở mức cơ bản trong suốt 70 năm.

1:03

And then it's changed I think about twice quite rapidly in the

Và sau đó nó đã thay đổi, tôi nghĩ khoảng hai lần khá nhanh chóng trong

1:07

last few years.

Vài năm qua.

1:07

And so there's just a huge amount of work to do a huge amount of software to write and rewrite.

Và vì vậy có rất nhiều việc phải làm, rất nhiều phần mềm phải viết và viết lại.

1:12

So let's take a look at maybe the realm of software.

Vậy hãy nhìn vào lĩnh vực phần mềm.

1:14

So if we kind of think of this as like the map of software this is a really cool tool called map of GitHub.

Nếu chúng ta nghĩ về điều này như bản đồ phần mềm, đây là một công cụ rất thú vị gọi là map of GitHub.

1:20

Um this is kind of like all the software that's written.

Ừm đây giống như tất cả phần mềm đã được viết.

1:22

Uh these are instructions to the computer for carrying out tasks in the digital space.

Đây là các hướng dẫn cho máy tính để thực hiện các tác vụ trong không gian kỹ thuật số.

1:26

So if you zoom in here, these are all different kinds of repositories and this is all the code that has been written.

Vì vậy nếu bạn phóng to, đây là tất cả các loại kho lưu trữ khác nhau và đây là tất cả mã đã được viết.

1:32

And a few years ago I kind of observed that um software was kind of changing and there was kind of like a new type of software around and I called this software 2.0 at the time and the idea here was that software 1.0 is the code you write for the computer.

Vài năm trước, tôi nhận thấy rằng phần mềm đang thay đổi và có một loại phần mềm mới xuất hiện, tôi gọi nó là Software 2.0 vào thời điểm đó, và ý tưởng ở đây là Software 1.0 là mã bạn viết cho máy tính.

1:46

Software 2.0 know are basically neural networks and in particular the weights of a neural network and you're not writing this code

Software 2.0 về cơ bản là mạng nơ-ron và đặc biệt là các trọng số của mạng nơ-ron, và bạn không viết mã này

1:53

directly you are most you are more kind of like tuning the data sets and then you're running an optimizer to create to create the parameters of this neural net and I think like at the time neural nets were kind of seen as like just a different kind of classifier like a decision tree or something like that and so I think it was kind of like um I think this framing was a lot more

Trực tiếp, bạn chủ yếu điều chỉnh các tập dữ liệu và sau đó chạy một bộ tối ưu hóa để tạo ra các tham số của mạng nơ-ron này, và tôi nghĩ vào thời điểm đó mạng nơ-ron được xem như một loại bộ phân loại khác như cây quyết định, và tôi nghĩ cách đặt vấn đề này phù hợp hơn nhiều.

2:10

appropriate and now actually what we have is kind of like an equivalent of GitHub in the realm of software 2.0 And I think the hugging face is basically equivalent of GitHub in software 2.0.

Và bây giờ thực sự chúng ta có một thứ tương đương với GitHub trong lĩnh vực Software 2.0. Và tôi nghĩ Hugging Face về cơ bản là tương đương với GitHub trong Software 2.0.

2:21

And there's also model atlas and you can visualize all the code written there.

Và cũng có Model Atlas và bạn có thể hình dung tất cả mã được viết ở đó.

2:24

In case you're curious, by the way, the giant circle, the point in the middle, uh these are the parameters of flux, the image generator.

Nhân tiện, nếu bạn tò mò, vòng tròn khổng lồ, điểm ở giữa, đây là các tham số của Flux, trình tạo hình ảnh.

2:31

And so anytime someone tunes a on top of a flux model, you basically create a git commit uh in this space and uh you create a different kind of a image generator.

Và bất cứ khi nào ai đó tinh chỉnh trên mô hình Flux, về cơ bản bạn tạo một git commit trong không gian này và bạn tạo ra một loại trình tạo hình ảnh khác.

2:41

So basically what

Vậy về cơ bản những gì

2:42

we have is software 1.0 is the computer code that programs a computer.

Chúng ta có là Software 1.0 là mã máy tính lập trình máy tính.

2:46

Software 2.0 are the weights which program neural networks.

Software 2.0 là các trọng số lập trình mạng nơ-ron.

2:50

Uh and here's an example of Alexet image recognizer neural network.

Và đây là một ví dụ về mạng nơ-ron nhận dạng hình ảnh AlexNet.

2:54

Now so far all of the neural networks that we've been familiar with until recently where kind of like fixed function computers image to categories or something like that.

Cho đến nay, tất cả các mạng nơ-ron mà chúng ta quen thuộc cho đến gần đây đều giống như các máy tính chức năng cố định, hình ảnh đến danh mục hoặc thứ gì đó tương tự.

3:03

And I think what's changed and I think is a quite fundamental change is that neural networks became programmable with large language models.

Và tôi nghĩ điều đã thay đổi và là một thay đổi khá căn bản là mạng nơ-ron đã trở nên có thể lập trình được với các mô hình ngôn ngữ lớn.

3:10

And so I see this as quite new, unique.

Và vì vậy tôi thấy điều này khá mới, độc đáo.

3:13

It's a new kind of a

Đó là một loại máy tính mới và trong tâm trí tôi, nó đáng được đặt tên mới là Software 3.0.

3:15

computer and uh so in my mind it's uh worth giving it a new designation of software 3.0.

Và về cơ bản, các prompt của bạn bây giờ là các chương trình lập trình LLM.

3:21

And basically your prompts are now programs that program the LLM.

Và đáng chú ý, các prompt này được viết bằng tiếng Anh.

3:26

And uh remarkably uh these uh prompts are written in English.

Vì vậy, nó là một loại ngôn ngữ lập trình rất thú vị.

3:30

So it's kind of a very interesting programming language.

Ừm, vậy để tóm tắt sự khác biệt, nếu bạn đang thực hiện phân loại cảm xúc chẳng hạn, bạn có thể tưởng tượng viết một lượng Python để thực hiện phân loại cảm xúc, hoặc bạn có thể huấn luyện một mạng nơ-ron, hoặc bạn có thể prompt một mô hình ngôn ngữ lớn.

3:34

Um so maybe uh to summarize the difference if you're doing sentiment classification for example you can imagine writing some uh amount of Python to basically do sentiment classification or you can train a neural net or you can prompt a large language model.

Vậy đây là một prompt ngắn và bạn có thể tưởng tượng thay đổi nó và lập trình máy tính theo một cách hơi khác.

3:46

Uh so here this is a few short prompt and you can imagine changing it and programming the computer in a

Vậy về cơ bản chúng ta có Software 1.0, Software 2.0 và tôi nghĩ chúng ta đang thấy, có thể bạn đã thấy rất nhiều mã GitHub không chỉ là mã nữa.

3:53

slightly different way.

Có một loạt tiếng Anh xen kẽ với mã, và vì vậy tôi nghĩ có một loại mã mới đang phát triển.

3:53

So basically we have software 1.0 software 2.0 and I think we're seeing maybe you've seen a lot of GitHub code is not just like code anymore.

Vì vậy không chỉ là một mô hình lập trình mới, mà còn đáng chú ý với tôi rằng nó bằng ngôn ngữ mẹ đẻ của chúng ta là tiếng Anh.

4:01

there's a bunch of like English interspersed with code and so I think kind of there's a growing category of new kind of code.

4:07

So not only is it a new programming paradigm, it's also remarkable to me that it's in our native

4:13

language of English.

4:13

And so when this blew my mind a few uh I guess years ago now I tweeted this and um I think it captured the attention of a lot of people and this is my currently pinned tweet uh is that remarkably we're now programming computers in English.

Và vì vậy, khi điều này làm tôi kinh ngạc vài năm trước, tôi đã tweet nó và tôi nghĩ nó đã thu hút sự chú ý của nhiều người, và đây là tweet được ghim hiện tại của tôi, rằng đáng chú ý là chúng ta đang lập trình máy tính bằng tiếng Anh.

4:28

Now, when I was at uh Tesla, um we were working on the uh autopilot and uh we were trying to get the car to drive and

Bây giờ, khi tôi ở Tesla, chúng tôi đang làm việc trên hệ thống lái tự động và chúng tôi đang cố gắng để xe tự lái và

4:37

I sort of showed this slide at the time where you can imagine that the inputs to the car are on the bottom and they're going through a software stack to produce the steering and acceleration and I made the observation at the time that there was a ton of C++ code around in the autopilot which was the software 1.0 code and then there was some neural nets in there doing image recognition

Tôi đã trình bày slide này vào thời điểm đó, nơi bạn có thể tưởng tượng rằng đầu vào cho xe ở phía dưới và chúng đi qua một ngăn xếp phần mềm để tạo ra lái và tăng tốc, và tôi đã nhận xét rằng có rất nhiều mã C++ trong hệ thống lái tự động, đó là mã phần mềm 1.0, và sau đó có một số mạng nơ-ron thực hiện nhận dạng hình ảnh

4:57

and uh I kind of observed that over time as we made the autopilot better basically the neural network grew in capability and size and in addition to that all the C++ code was being deleted and kind of like was um and a lot of the kind of capabilities and functionality that was originally written in 1.0 was migrated to 2.0.

Và tôi nhận thấy rằng theo thời gian khi chúng tôi cải thiện hệ thống lái tự động, về cơ bản mạng nơ-ron phát triển về khả năng và kích thước, và ngoài ra, tất cả mã C++ đã bị xóa và nhiều khả năng và chức năng ban đầu được viết bằng 1.0 đã được chuyển sang 2.0.

5:17

So as an example, a lot of the stitching up of information

Ví dụ, rất nhiều việc ghép nối thông tin

5:21

across images from the different cameras and across time was done by a neural network and we were able to delete a lot of code and so the software 2.0 stack quite literally ate through the software stack of the autopilot.

qua các hình ảnh từ các camera khác nhau và qua thời gian được thực hiện bởi một mạng nơ-ron và chúng tôi đã có thể xóa rất nhiều mã, và do đó ngăn xếp phần mềm 2.0 đã thực sự ăn qua ngăn xếp phần mềm của hệ thống lái tự động.

5:32

So I thought this was really remarkable at the time and I think we're seeing the same thing again where uh basically we have a new kind of software and it's eating through

Vì vậy, tôi nghĩ điều này thực sự đáng chú ý vào thời điểm đó và tôi nghĩ chúng ta đang thấy điều tương tự một lần nữa, về cơ bản chúng ta có một loại phần mềm mới và nó đang ăn qua

5:41

the stack.

ngăn xếp.

5:41

We have three completely different programming paradigms and I think if you're entering the industry it's a very good idea to be fluent in all of them because they all have slight pros and cons and you may want to program some functionality in 1.0 or 2.0 or 3.0.

Chúng ta có ba mô hình lập trình hoàn toàn khác nhau và tôi nghĩ nếu bạn đang bước vào ngành, đó là một ý tưởng rất tốt để thành thạo tất cả chúng vì mỗi cái đều có ưu và nhược điểm nhẹ và bạn có thể muốn lập trình một số chức năng trong 1.0, 2.0 hoặc 3.0.

5:52

Are you going to train neurallet?

Bạn sẽ huấn luyện mạng nơ-ron?

5:53

Are you going to just prompt an LLM?

Bạn sẽ chỉ nhắc LLM?

5:55

Should this be a piece of code

Đây có nên là một đoạn mã

5:57

that's explicit etc.

rõ ràng, v.v.

5:57

So we all have to make these decisions and actually potentially uh fluidly trans transition between these paradigms.

Vì vậy, tất cả chúng ta phải đưa ra những quyết định này và thực sự có thể chuyển đổi linh hoạt giữa các mô hình này.

6:03

So what I wanted to get into now is first I want to in the first part talk about LLMs and how to kind of like think of this new paradigm and the ecosystem and what that looks like.

Vì vậy, điều tôi muốn nói đến bây giờ là trước hết tôi muốn nói về LLM và cách suy nghĩ về mô hình mới này và hệ sinh thái trông như thế nào.

6:15

Uh like what are what is this new computer?

Máy tính mới này là gì?

6:17

What does it look

Nó trông như thế nào

6:19

like and what does the ecosystem look like?

và hệ sinh thái trông như thế nào?

6:21

Um I was struck by this quote from Anduring actually uh many years ago now I think and I think Andrew is going to be speaking right after me.

Tôi đã bị ấn tượng bởi câu nói này của Andrew Ng thực ra nhiều năm trước và tôi nghĩ Andrew sẽ phát biểu ngay sau tôi.

6:30

Uh but he said at the time AI is the new electricity and I do think that it um kind of captures something very interesting in that LLMs certainly feel like they have properties of utilities right now.

Nhưng ông ấy đã nói vào thời điểm đó AI là điện mới và tôi nghĩ nó nắm bắt được điều gì đó rất thú vị ở chỗ LLM chắc chắn có cảm giác như có các thuộc tính của tiện ích ngay bây giờ.

6:41

Vì vậy,

6:42

um LLM labs like OpenAI, Gemini, Enthropic etc.

Các phòng thí nghiệm LLM như OpenAI, Gemini, Anthropic, v.v.

6:44

They spend capex to train the LLMs and this is kind of equivalent to building out a grid and then there's opex to serve that intelligence over APIs to all of us and this is done through metered access where we pay per million tokens or something like that and we have a lot of demands that are very utility- like demands out of this

Họ chi tiêu vốn để huấn luyện LLM và điều này tương đương với việc xây dựng lưới điện, và sau đó có chi phí vận hành để phục vụ trí thông minh đó qua API cho tất cả chúng ta và điều này được thực hiện thông qua truy cập đo đếm, nơi chúng ta trả tiền cho mỗi triệu token hoặc tương tự, và chúng ta có nhiều yêu cầu rất giống tiện ích từ API này

7:04

API we demand low latency high uptime consistent quality etc.

API, chúng tôi yêu cầu độ trễ thấp, thời gian hoạt động cao, chất lượng nhất quán, v.v.

7:07

In electricity, you would have a transfer switch.

Trong điện, bạn sẽ có một công tắc chuyển đổi.

7:09

So you can transfer your electricity source from like grid and solar or battery or generator.

Vì vậy, bạn có thể chuyển nguồn điện của mình từ lưới điện và năng lượng mặt trời hoặc pin hoặc máy phát điện.

7:15

In LLM, we have maybe open router and easily switch between the different types of LLMs that exist.

Trong LLM, chúng ta có thể có open router và dễ dàng chuyển đổi giữa các loại LLM khác nhau tồn tại.

7:21

Because the LLM are software, they don't compete for physical space.

Bởi vì LLM là phần mềm, chúng không cạnh tranh về không gian vật lý.

7:24

So it's okay to have basically like six electricity providers and you can switch between them, right?

Vì vậy, việc có sáu nhà cung cấp điện là ổn và bạn có thể chuyển đổi giữa chúng, phải không?

7:28

Because they don't compete in such a direct way.

Bởi vì chúng không cạnh tranh một cách trực tiếp như vậy.

7:31

And I think what's also a little fascinating and we saw this in the last few days actually a lot of the LLMs went down and people were kind of like stuck and unable to work.

Và tôi nghĩ điều cũng hơi thú vị là chúng ta đã thấy điều này trong vài ngày qua, thực tế nhiều LLM đã ngừng hoạt động và mọi người bị mắc kẹt và không thể làm việc.

7:41

And uh I think it's kind of fascinating to me that when the state-of-the-art LLMs go down, it's actually kind of like an intelligence brownout in the world.

Và tôi nghĩ thật thú vị với tôi rằng khi các LLM tiên tiến nhất ngừng hoạt động, nó thực sự giống như một sự cố mất điện trí tuệ trên thế giới.

7:48

It's kind of like when the voltage is unreliable in the grid and uh the planet just gets dumber the more reliance we have on these models, which already is like really dramatic and I think will continue to grow.

Nó giống như khi điện áp không ổn định trong lưới điện và hành tinh trở nên ngu ngốc hơn khi chúng ta càng phụ thuộc vào các mô hình này, điều đã thực sự đáng kể và tôi nghĩ sẽ tiếp tục tăng lên.

8:00

But LLM's don't only have properties of utilities.

Nhưng LLM không chỉ có các thuộc tính của tiện ích.

8:02

I think it's also fair to say that they have some properties of fabs.

Tôi nghĩ cũng công bằng khi nói rằng chúng có một số thuộc tính của nhà máy sản xuất chip.

8:06

And the reason for this is that the capex required for

Và lý do cho điều này là chi phí vốn cần thiết để

8:10

building LLM is actually quite large.

xây dựng LLM thực sự khá lớn.

8:11

Uh it's not just like building some uh power station or something like that, right?

Nó không chỉ giống như xây dựng một nhà máy điện hay gì đó, phải không?

8:16

You're investing a huge amount of money and I think the tech tree and uh for the technology is growing quite rapidly.

Bạn đang đầu tư một số tiền rất lớn và tôi nghĩ cây công nghệ và công nghệ đang phát triển khá nhanh.

8:23

So we're in a world where we have sort of deep tech trees, research and development secrets that are centralizing inside the LLM labs.

Vì vậy, chúng ta đang ở trong một thế giới nơi chúng ta có những cây công nghệ sâu, bí mật nghiên cứu và phát triển đang tập trung bên trong các phòng thí nghiệm LLM.

8:31

Um and

Và

8:32

but I think the analogy muddies a little bit also because as I mentioned this is software and software is a bit less defensible because it is so malleable.

Nhưng tôi nghĩ sự tương tự hơi mờ nhạt một chút vì như tôi đã đề cập, đây là phần mềm và phần mềm ít có khả năng phòng thủ hơn vì nó rất dễ uốn nắn.

8:41

And so um I think it's just an interesting kind of thing to think about potentially.

Và vì vậy, tôi nghĩ đó chỉ là một điều thú vị để suy nghĩ.

8:45

There's many analogy analogies you can make like a 4 nanometer process node maybe is something like a cluster with certain max flops.

Có nhiều sự tương tự bạn có thể tạo ra, ví dụ như nút quy trình 4 nanomet có thể giống như một cụm với số flops tối đa nhất định.

8:50

You can think about when you're use when you're using Nvidia GPUs and you're only doing the software and you're not doing the hardware.

Bạn có thể nghĩ về khi bạn sử dụng GPU Nvidia và chỉ làm phần mềm mà không làm phần cứng.

8:56

That's kind of like the fabless model.

Đó giống như mô hình không có nhà máy.

8:58

But if

Nhưng nếu

8:59

you're actually also building your own hardware and you're training on TPUs if you're Google, that's kind of like the Intel model where you own your fab.

bạn thực sự cũng đang xây dựng phần cứng của riêng mình và bạn đang huấn luyện trên TPU nếu bạn là Google, đó giống như mô hình Intel nơi bạn sở hữu nhà máy của mình.

9:06

So I think there's some analogies here that make sense.

Vì vậy, tôi nghĩ có một số sự tương tự ở đây có ý nghĩa.

9:08

But actually I think the analogy that makes the most sense perhaps is that in my mind LLM have very strong kind of analogies to operating systems.

Nhưng thực sự, tôi nghĩ sự tương tự có ý nghĩa nhất có lẽ là trong tâm trí tôi, LLM có những sự tương tự rất mạnh mẽ với hệ điều hành.

9:16

Uh in that this is not just

Ừ, điều này không chỉ là

9:18

electricity or water.

Điện hoặc nước.

9:18

It's not something that comes out of the tap as a commodity.

Nó không phải là thứ chảy ra từ vòi như một hàng hóa.

9:22

uh this is these are now increasingly complex software ecosystems right so uh they're not just like simple commodities like electricity and it's kind of interesting to me that the ecosystem is shaping in a very similar kind of way where you have a few closed source providers like Windows or Mac OS

Ừ, đây là những hệ sinh thái phần mềm ngày càng phức tạp, phải không? Vì vậy, chúng không chỉ là những hàng hóa đơn giản như điện, và thật thú vị với tôi rằng hệ sinh thái đang hình thành theo một cách rất giống nhau, nơi bạn có một vài nhà cung cấp mã nguồn đóng như Windows hoặc Mac OS

9:39

and then you have an open source alternative like Linux and I think for u neural for LLMs as well we have a kind of a few competing closed source providers and then maybe the llama ecosystem is currently like maybe a close approximation to something that may grow into something like Linux.

Và sau đó bạn có một giải pháp thay thế mã nguồn mở như Linux, và tôi nghĩ đối với mạng nơ-ron, đối với LLM, chúng ta cũng có một vài nhà cung cấp mã nguồn đóng cạnh tranh, và sau đó hệ sinh thái LLaMA hiện tại có lẽ giống như một sự xấp xỉ gần với thứ có thể phát triển thành thứ gì đó giống như Linux.

9:55

Again, I think it's still very early because these are just simple LLMs, but we're starting to see that these are going to get a lot more complicated.

Một lần nữa, tôi nghĩ vẫn còn rất sớm vì đây chỉ là những LLM đơn giản, nhưng chúng ta đang bắt đầu thấy rằng chúng sẽ trở nên phức tạp hơn nhiều.

10:01

It's not just about the LLM itself.

Nó không chỉ là về bản thân LLM.

10:02

It's about all the tool use and the multiodalities and how all of that works.

Nó còn là về tất cả việc sử dụng công cụ và đa phương thức và cách tất cả hoạt động.

10:06

And so when I sort of had this realization a while back, I tried to sketch it out and it kind of seemed to me like LLMs are kind of like a new operating system, right?

Và vì vậy, khi tôi có nhận thức này cách đây một thời gian, tôi đã cố gắng phác thảo nó và dường như với tôi rằng LLM giống như một hệ điều hành mới, phải không?

10:15

So the LLM is a new kind of a computer.

Vậy LLM là một loại máy tính mới.

10:17

It's sitting it's kind of like the CPU equivalent.

Nó giống như tương đương với CPU.

10:19

Ừm

10:20

the context windows are kind of like the memory and then the LLM is orchestrating memory and compute uh for problem solving um using all of these uh capabilities here and so definitely if you look at it looks very much like operating system from that perspective.

Các cửa sổ ngữ cảnh giống như bộ nhớ, và sau đó LLM điều phối bộ nhớ và tính toán để giải quyết vấn đề, sử dụng tất cả các khả năng này, và chắc chắn nếu bạn nhìn vào, nó trông rất giống một hệ điều hành từ góc độ đó.

10:36

Um, a few more analogies.

Ừm, thêm một vài phép so sánh.

10:37

For example, if you want to download an app, say I go to VS Code and I go to download, you can download VS Code and you can run it on Windows, Linux or Mac in the same way as you can take an LLM app like cursor and you can run it on GPT or cloud or Gemini series, right?

Ví dụ, nếu bạn muốn tải một ứng dụng, chẳng hạn tôi vào VS Code và tôi đi tải xuống, bạn có thể tải VS Code và chạy nó trên Windows, Linux hoặc Mac, giống như bạn có thể lấy một ứng dụng LLM như Cursor và chạy nó trên GPT, Claude hoặc Gemini, phải không?

10:56

It's just a drop down.

Nó chỉ là một menu thả xuống.

10:57

So, it's kind of like similar in that way as well.

Vì vậy, nó cũng tương tự theo cách đó.

11:01

uh more analogies that I think strike me is that we're kind of like in this 1960sish era where LLM compute is still very expensive for this new kind of a computer and that forces the LLMs to be centralized in the cloud and we're all just uh sort of thing clients that interact with it over the network and none of us have full utilization of these computers and therefore it makes

Thêm những phép so sánh mà tôi nghĩ là nổi bật là chúng ta đang ở trong thời đại giống như những năm 1960, nơi tính toán LLM vẫn còn rất đắt đỏ cho loại máy tính mới này, và điều đó buộc các LLM phải tập trung trên đám mây, và tất cả chúng ta chỉ là những máy khách tương tác với nó qua mạng, và không ai trong chúng ta sử dụng hết công suất của những máy tính này, và do đó nó tạo ra

11:24

sense to use time sharing where we're all just you know a dimension of the batch when they're running the computer in the cloud.

ý nghĩa khi sử dụng chia sẻ thời gian, nơi tất cả chúng ta chỉ là một chiều của lô khi họ chạy máy tính trên đám mây.

11:30

And this is very much what computers used to look like at during this time.

Và điều này rất giống với những gì máy tính từng trông như thế trong thời gian đó.

11:34

The operating systems were in the cloud.

Các hệ điều hành ở trên đám mây.

11:36

Everything was streamed around and there was batching.

Mọi thứ đều được truyền phát và có xử lý theo lô.

11:39

And so the p the personal computing revolution hasn't happened yet because it's just

Và cuộc cách mạng máy tính cá nhân vẫn chưa xảy ra bởi vì nó chỉ

11:43

not economical.

không kinh tế.

11:43

It doesn't make sense.

Nó không hợp lý.

11:45

But I think some people are trying.

Nhưng tôi nghĩ một số người đang cố gắng.

11:46

And it turns out that Mac minis, for example, are a very good fit for some of the LLMs because it's all if you're doing batch one inference, this is all super memory bound.

Và hóa ra Mac mini, ví dụ, rất phù hợp cho một số LLM vì nếu bạn đang thực hiện suy luận theo lô, tất cả đều bị giới hạn bộ nhớ.

11:56

So this actually works.

Vì vậy, điều này thực sự hiệu quả.

11:57

And uh I think these are some early indications maybe of personal computing.

Và tôi nghĩ đây là một số dấu hiệu ban đầu của máy tính cá nhân.

12:00

Uh but this hasn't really happened yet.

Ừ, nhưng điều này vẫn chưa thực sự xảy ra.

12:02

It's not clear what this looks like.

Không rõ điều này trông như thế nào.

12:04

Maybe some of you get to invent what what this is or how it works or uh what this should what this should be.

Có lẽ một số bạn sẽ phát minh ra cái này là gì hoặc nó hoạt động như thế nào hoặc nó nên là gì.

12:10

Maybe one more analogy that I'll mention is whenever I talk to Chach or some LLM directly in text, I feel like I'm talking to an operating system through the terminal.

Có lẽ một phép so sánh nữa mà tôi sẽ đề cập là bất cứ khi nào tôi nói chuyện với ChatGPT hoặc một LLM nào đó trực tiếp bằng văn bản, tôi cảm thấy như mình đang nói chuyện với một hệ điều hành qua terminal.

12:19

Like it's just it's it's text.

Nó chỉ là văn bản.

12:21

It's direct access to the operating system.

Đó là truy cập trực tiếp vào hệ điều hành.

12:23

And I think a guey

Và tôi nghĩ một GUI

12:25

hasn't yet really been invented in like a general way like should chatt have a guey like different than just a tech bubbles.

vẫn chưa thực sự được phát minh một cách tổng quát, như liệu ChatGPT có nên có GUI khác ngoài các bong bóng văn bản không.

12:32

Uh certainly some of the apps that we're going to go into in a bit have guey but there's no like guey across all the tasks if that makes sense.

Chắc chắn một số ứng dụng mà chúng ta sẽ xem xét sau có GUI, nhưng không có GUI nào cho tất cả các tác vụ nếu bạn hiểu ý tôi.

12:41

Um there are some ways in which LLMs are different from kind of operating systems in some fairly unique

Có một số cách mà LLM khác với các hệ điều hành theo một cách khá độc đáo

12:47

way and from early computing.

và so với máy tính thời kỳ đầu.

12:49

And I wrote about uh this one particular property that strikes me as very different uh this time around.

Và tôi đã viết về một đặc tính cụ thể mà tôi thấy rất khác biệt lần này.

12:56

It's that LLMs like flip they flip the direction of technology diffusion uh that is usually uh present in technology.

Đó là LLM đảo ngược hướng lan tỏa công nghệ thường thấy trong công nghệ.

13:04

So for example with electricity, cryptography, computing, flight, internet, GPS, lots of new transformative technologies that

Ví dụ, với điện, mật mã, máy tính, bay, internet, GPS, nhiều công nghệ biến đổi mới mà

13:11

have not been around.

chưa từng tồn tại.

13:12

Typically it is the government and corporations that are the first users because it's new and expensive etc.

Thông thường, chính phủ và tập đoàn là những người dùng đầu tiên vì nó mới và đắt đỏ, v.v.

13:17

and it only later diffuses to consumer.

Và chỉ sau đó mới lan đến người tiêu dùng.

13:19

Uh, but I feel like LLMs are kind of like flipped around.

Ừ, nhưng tôi cảm thấy LLM thì ngược lại.

13:22

So maybe with early computers, it was all about ballistics and military use, but with LLMs, it's all about how do you boil an egg or something like

Vì vậy, có thể với máy tính thời kỳ đầu, tất cả đều về đạn đạo và sử dụng quân sự, nhưng với LLM, tất cả đều về cách luộc trứng hay gì đó

13:30

that.

như thế.

13:30

This is certainly like a lot of my use.

Đây chắc chắn là phần lớn cách sử dụng của tôi.

13:32

And so it's really fascinating to me that we have a new magical computer and it's like helping me boil an egg.

Và vì vậy, thật thú vị với tôi khi chúng ta có một chiếc máy tính kỳ diệu mới và nó đang giúp tôi luộc một quả trứng.

13:37

It's not helping the government do something really crazy like some military ballistics or some special technology.

Nó không giúp chính phủ làm điều gì đó thực sự điên rồ như đạn đạo quân sự hay công nghệ đặc biệt nào đó.

13:41

Indeed, corporations are governments are lagging behind the adoption of all of us, of all of these technologies.

Thực tế, các tập đoàn và chính phủ đang tụt hậu trong việc áp dụng tất cả chúng ta, tất cả những công nghệ này.

13:46

So, it's just backwards and I think it informs maybe some of the uses of how we want to use this technology or like where are some of the first apps and so on.

Vì vậy, nó thật ngược đời và tôi nghĩ nó có thể cho thấy một số cách sử dụng công nghệ này hoặc đâu là một số ứng dụng đầu tiên, v.v.

13:56

So, in summary so far, LLM labs LLMs.

Tóm lại, LLM labs LLMs.

13:59

I think it's accurate language to use, but LLMs are complicated operating systems.

Tôi nghĩ đó là ngôn ngữ chính xác để sử dụng, nhưng LLM là các hệ điều hành phức tạp.

14:06

They're circa 1960s in computing and we're redoing computing all over again.

Chúng giống như máy tính những năm 1960 và chúng ta đang làm lại toàn bộ máy tính một lần nữa.

14:10

and they're currently available via time sharing and distributed like a utility.

Và hiện tại chúng có sẵn thông qua chia sẻ thời gian và phân phối như một tiện ích.

14:14

What is new and unprecedented is that they're not in the hands of a few governments and corporations.

Điều mới mẻ và chưa từng có là chúng không nằm trong tay một số ít chính phủ và tập đoàn.

14:18

They're in the hands of all of us because we all have a computer and it's all just software and Chaship was beamed down to our computers like billions of people like instantly and overnight and this is insane.

Chúng nằm trong tay tất cả chúng ta vì tất cả chúng ta đều có máy tính và tất cả chỉ là phần mềm, và Chaship đã được truyền xuống máy tính của chúng ta như hàng tỷ người ngay lập tức và qua đêm, và điều này thật điên rồ.

14:28

Uh and it's kind of insane to me that this is the case and now it is our

Và thật điên rồ với tôi khi điều này xảy ra và bây giờ là

14:33

time to enter the industry and program these computers.

Thời gian của chúng ta để bước vào ngành và lập trình những chiếc máy tính này.

14:35

This is crazy.

Thật điên rồ.

14:36

So I think this is quite remarkable.

Vì vậy, tôi nghĩ điều này thực sự đáng chú ý.

14:38

Before we program LLMs, we have to kind of like spend some time to think about what these things are.

Trước khi lập trình LLM, chúng ta phải dành thời gian suy nghĩ về những thứ này là gì.

14:44

And I especially like to kind of talk about their psychology.

Và tôi đặc biệt thích nói về tâm lý học của chúng.

14:48

So the way I like to think about LLMs is that they're kind of like people spirits.

Vì vậy, cách tôi thích nghĩ về LLM là chúng giống như linh hồn con người.

14:53

Um they are stoastic simulations of people.

Chúng là những mô phỏng ngẫu nhiên của con người.

14:55

Um and the simulator in this case happens to be an auto reggressive transformer.

Và bộ mô phỏng trong trường hợp này là một bộ biến đổi tự hồi quy.

14:59

So transformer is a neural net.

Vậy transformer là một mạng nơ-ron.

15:01

Uh it's and it just kind of like is goes on the level of tokens.

Và nó hoạt động ở cấp độ token.

15:05

It goes chunk chunk chunk.

Nó xử lý từng đoạn, từng đoạn.

15:06

And there's an almost equal amount of compute for every single

Và có một lượng tính toán gần như bằng nhau cho mỗi

15:10

chunk.

Đoạn.

15:10

Um and um this simulator of course is just is basically there's some weights involved and we fit it to all of text that we have on the internet and so on.

Và bộ mô phỏng này tất nhiên chỉ là có một số trọng số liên quan và chúng ta khớp nó với tất cả văn bản có trên internet, v.v.

15:20

And you end up with this kind of a simulator and because it is trained on humans, it's got this emergent psychology that is humanlike.

Và bạn có được loại bộ mô phỏng này và vì nó được huấn luyện trên con người, nó có tâm lý nổi trội giống con người.

15:28

So the first thing you'll notice is of course uh LLM have encyclopedic knowledge and

Vì vậy, điều đầu tiên bạn sẽ nhận thấy là LLM có kiến thức bách khoa và

15:33

memory.

Trí nhớ.

15:33

uh and they can remember lots of things, a lot more than any single individual human can because they read so many things.

Và chúng có thể nhớ rất nhiều thứ, nhiều hơn bất kỳ con người nào vì chúng đã đọc rất nhiều thứ.

15:39

It's it actually kind of reminds me of this movie Rainman, which I actually really recommend people watch.

Điều này thực sự làm tôi nhớ đến bộ phim Rainman, mà tôi thực sự khuyên mọi người nên xem.

15:44

It's an amazing movie.

Đó là một bộ phim tuyệt vời.

15:45

I love this movie.

Tôi yêu bộ phim này.

15:46

Um and Dustin Hoffman here is an autistic savant who has almost perfect memory.

Và Dustin Hoffman ở đây là một người tự kỷ thiên tài có trí nhớ gần như hoàn hảo.

15:50

So, he can read a he can

Vì vậy, anh ấy có thể đọc một

15:52

read like a phone book and remember all of the names and phone numbers.

Đọc như một cuốn danh bạ điện thoại và nhớ tất cả tên và số điện thoại.

15:55

And I kind of feel like LM are kind of like very similar.

Và tôi cảm thấy LLM cũng khá giống vậy.

15:59

They can remember Shaw hashes and lots of different kinds of things very easily.

Chúng có thể nhớ các hàm băm Shaw và nhiều loại thứ khác rất dễ dàng.

16:02

So they certainly have superpowers in some set in some respects.

Vì vậy, chúng chắc chắn có siêu năng lực trong một số khía cạnh.

16:05

But they also have a bunch of I would say cognitive deficits.

Nhưng chúng cũng có một loạt các khiếm khuyết nhận thức.

16:09

So they hallucinate quite a bit.

Vì vậy, chúng ảo giác khá nhiều.

16:10

Um and they kind of make up stuff and don't have a very good uh sort of internal model of self-nowledge, not sufficient at least.

Và chúng bịa đặt mọi thứ và không có mô hình nội tại tốt về tự nhận thức, ít nhất là không đủ.

16:17

And this has gotten better but not perfect.

Và điều này đã được cải thiện nhưng chưa hoàn hảo.

16:20

They display jagged intelligence.

Chúng thể hiện trí thông minh lởm chởm.

16:21

So they're going to be superhuman in some problems solving domains.

Vì vậy, chúng sẽ siêu phàm trong một số lĩnh vực giải quyết vấn đề.

16:24

And then they're going to make mistakes that basically no human will

Và sau đó chúng sẽ mắc những sai lầm mà về cơ bản không con người nào mắc phải

16:28

make.

Phải.

16:28

like you know they will insist that 9.11 is greater than 9.9 or that there are two Rs in strawberry these are some famous examples but basically there are rough edges that you can trip on so that's kind of I think also kind of unique um they also kind of suffer from entrograde amnesia um so uh and I think I'm alluding to the fact that if you have a co-orker who joins your

Như bạn biết, chúng sẽ khẳng định rằng 9.11 lớn hơn 9.9 hoặc có hai chữ R trong strawberry, đó là một số ví dụ nổi tiếng, nhưng về cơ bản có những góc cạnh thô mà bạn có thể vấp phải, vì vậy tôi nghĩ điều đó cũng khá độc đáo. Chúng cũng bị chứng mất trí nhớ ngược, và tôi nghĩ tôi đang ám chỉ thực tế rằng nếu bạn có một đồng nghiệp tham gia

16:49

organization this co-orker will over time learn your organization and uh they will understand and gain like a huge amount of context on the organization and they go home and they sleep and they consolidate knowledge and they develop expertise over time.

Tổ chức của bạn, đồng nghiệp này sẽ dần dần học hỏi tổ chức của bạn và họ sẽ hiểu và tích lũy một lượng lớn ngữ cảnh về tổ chức, và họ về nhà, ngủ, củng cố kiến thức và phát triển chuyên môn theo thời gian.

17:01

LLMs don't natively do this and this is not something that has really been solved in the R&D of LLM.

LLM không làm điều này một cách tự nhiên và đây không phải là điều đã thực sự được giải quyết trong R&D của LLM.

17:07

I think um and so context windows

Tôi nghĩ vậy và vì vậy, cửa sổ ngữ cảnh

17:09

are really kind of like working memory and you have to sort of program the working memory quite directly because they don't just kind of like get smarter by uh by default and I think a lot of people get tripped up by the analogies uh in this way.

Chúng thực sự giống như bộ nhớ làm việc và bạn phải lập trình bộ nhớ làm việc khá trực tiếp vì chúng không tự động thông minh hơn theo mặc định, và tôi nghĩ nhiều người bị nhầm lẫn bởi các phép loại suy theo cách này.

17:21

Uh in popular culture I recommend people watch these two movies uh Momento and 51st dates.

Trong văn hóa đại chúng, tôi khuyên mọi người nên xem hai bộ phim này: Memento và 50 First Dates.

17:26

In both of these movies, the protagonists, their

Trong cả hai bộ phim này, các nhân vật chính, trọng số của họ

17:28

weights are fixed and their context windows gets wiped every single morning and it's really problematic to go to work or have relationships when this happens and this happens to all the time.

được cố định và cửa sổ ngữ cảnh của họ bị xóa sạch mỗi sáng, và điều này thực sự có vấn đề khi đi làm hoặc có các mối quan hệ khi điều này xảy ra, và điều này xảy ra mọi lúc.

17:37

I guess one more thing I would point to is security kind of related limitations of the use of LLM.

Tôi đoán còn một điều nữa tôi muốn chỉ ra là những hạn chế liên quan đến bảo mật của việc sử dụng LLM.

17:43

So for example, LLMs are quite gullible.

Ví dụ, LLM khá là cả tin.

17:46

Uh they are susceptible to prompt injection

Chúng dễ bị tấn công bằng prompt injection

17:48

risks.

rủi ro.

17:48

They might leak your data etc.

Chúng có thể rò rỉ dữ liệu của bạn, v.v.

17:51

And so um and there's many other considerations uh security related.

Và có nhiều cân nhắc khác liên quan đến bảo mật.

17:54

So, so basically long story short, you have to load your you have to load your you have to simultaneously think through this superhuman thing that has a bunch of cognitive deficits and issues.

Vì vậy, nói ngắn gọn, bạn phải đồng thời suy nghĩ về thứ siêu phàm này nhưng lại có một loạt các khiếm khuyết và vấn đề về nhận thức.

18:04

How do we and yet they are extremely like useful and so how do we program them and how do we work around their deficits and

Làm thế nào để chúng ta, và chúng cực kỳ hữu ích, vậy làm thế nào để lập trình chúng và làm thế nào để khắc phục những khiếm khuyết của chúng và

18:12

enjoy their superhuman powers.

tận hưởng sức mạnh siêu phàm của chúng.

18:16

So what I want to switch to now is talk about the opportunities of how do we use these models and what are some of the biggest opportunities.

Vì vậy, điều tôi muốn chuyển sang bây giờ là nói về các cơ hội: làm thế nào để sử dụng các mô hình này và đâu là những cơ hội lớn nhất.

18:22

This is not a comprehensive list just some of the things that I thought were interesting for this talk.

Đây không phải là danh sách đầy đủ, chỉ là một số điều tôi nghĩ là thú vị cho bài nói này.

18:27

The first thing I'm kind of excited about is what I would call partial autonomy apps.

Điều đầu tiên tôi khá hào hứng là cái tôi gọi là các ứng dụng tự chủ một phần.

18:31

So for example, let's work with the example of coding.

Ví dụ, hãy làm việc với ví dụ về lập trình.

18:34

You can certainly go to chacht directly and you can start copy pasting code around and copyping bug reports and stuff around and getting code and copy pasting everything around.

Bạn chắc chắn có thể vào trực tiếp ChatGPT và bắt đầu sao chép mã, sao chép báo cáo lỗi và lấy mã và sao chép mọi thứ.

18:42

Why would you why would you do that?

Tại sao bạn lại làm vậy?

18:44

Why would you go directly to the operating system?

Tại sao bạn lại đi trực tiếp đến hệ điều hành?

18:46

It makes a lot more sense to have an app dedicated for this.

Sẽ hợp lý hơn nhiều nếu có một ứng dụng dành riêng cho việc này.

18:50

And so I think many of you uh use uh cursor.

Và tôi nghĩ nhiều bạn sử dụng Cursor.

18:52

I do as well.

Tôi cũng vậy.

18:54

And uh cursor is kind of like the thing you want instead.

Và Cursor giống như thứ bạn muốn thay vào đó.

18:57

You don't want to just directly go to the chash apt.

Bạn không muốn chỉ trực tiếp vào ChatGPT.

18:59

And I think cursor is a very good example of an early LLM app that has a bunch of properties that I think are um useful across all the LLM apps.

Và tôi nghĩ Cursor là một ví dụ rất tốt về một ứng dụng LLM sớm có một loạt các thuộc tính mà tôi nghĩ hữu ích cho tất cả các ứng dụng LLM.

19:07

So in particular, you will notice that we have a traditional interface that allows a human to go in and do all the work

Cụ thể, bạn sẽ nhận thấy rằng chúng ta có một giao diện truyền thống cho phép con người vào và làm tất cả công việc

19:14

manually just as before.

thủ công như trước đây.

19:15

But in addition to that, we now have this LLM integration that allows us to go in bigger chunks.

Nhưng ngoài ra, chúng ta hiện có tích hợp LLM cho phép chúng ta làm việc với các khối lớn hơn.

19:20

And so some of the properties of LLM apps that I think are shared and useful to point out.

Và một số thuộc tính của các ứng dụng LLM mà tôi nghĩ là chung và hữu ích để chỉ ra.

19:26

Number one, the LLMs basically do a ton of the context management.

Thứ nhất, LLM về cơ bản làm rất nhiều việc quản lý ngữ cảnh.

19:29

Um, number two, they orchestrate multiple calls to LLMs, right?

Thứ hai, chúng điều phối nhiều lời gọi đến LLM, phải không?

19:32

So in the case of cursor, there's

Trong trường hợp của Cursor, có

19:35

under the hood embedding models for all your files, the actual chat models, models that apply diffs to the code, and this is all orchestrated for you.

bên dưới các mô hình nhúng cho tất cả các tệp của bạn, các mô hình trò chuyện thực tế, các mô hình áp dụng diff cho mã, và tất cả điều này được điều phối cho bạn.

19:43

A really big one that uh I think also maybe not fully appreciated always is application specific uh GUI and the importance of it.

Một điểm rất quan trọng mà tôi nghĩ có thể chưa được đánh giá đầy đủ là GUI dành riêng cho ứng dụng và tầm quan trọng của nó.

19:51

Um because you don't just want to talk to the operating system directly in text.

Bởi vì bạn không chỉ muốn nói chuyện với hệ điều hành trực tiếp bằng văn bản.

19:56

Text is very

Văn bản rất

19:57

hard to read, interpret, understand and also like you don't want to take some of these actions natively in text.

khó đọc, diễn giải, hiểu và bạn cũng không muốn thực hiện một số hành động này bằng văn bản.

20:02

So it's much better to just see a diff as like red and green change and you can see what's being added is subtracted.

Vì vậy, tốt hơn nhiều khi chỉ thấy một diff dưới dạng thay đổi màu đỏ và xanh lá cây và bạn có thể thấy những gì được thêm vào hoặc bị loại bỏ.

20:08

It's much easier to just do command Y to accept or command N to reject.

Sẽ dễ dàng hơn nhiều khi chỉ cần nhấn Command Y để chấp nhận hoặc Command N để từ chối.

20:12

I shouldn't have to type it in text, right?

Tôi không nên phải gõ nó bằng văn bản, phải không?

20:14

So, a guey allows a human to

Vì vậy, GUI cho phép con người

20:16

audit the work of these fallible systems and to go faster.

kiểm tra công việc của các hệ thống dễ sai sót này và làm việc nhanh hơn.

20:18

I'm going to come back to this point a little bit uh later as well.

Tôi sẽ quay lại điểm này một chút sau.

20:22

And the last kind of feature I want to point out is that there's what I call the autonomy slider.

Và tính năng cuối cùng tôi muốn chỉ ra là cái tôi gọi là thanh trượt tự chủ.

20:27

So, for example, in cursor, you can just do tap completion.

Ví dụ, trong Cursor, bạn có thể chỉ cần hoàn thành tab.

20:30

You're mostly in charge.

Bạn chủ yếu là người điều khiển.

20:31

You can select a chunk of code and command K to change just that chunk of code.

Bạn có thể chọn một đoạn mã và Command K để thay đổi chỉ đoạn mã đó.

20:35

You

Bạn

20:36

can do command L to change the entire file.

có thể Command L để thay đổi toàn bộ tệp.

20:38

Or you can do command I which just you know let it rip do whatever you want in the entire repo and that's the sort of full autonomy agent agentic version and so you are in charge of the autonomy slider and depending on the complexity of the task at hand you can uh tune the amount of autonomy that you're willing to give up uh for that task maybe to

Hoặc bạn có thể dùng lệnh I, chỉ cần để nó tự do làm bất cứ điều gì bạn muốn trong toàn bộ repo, và đó là phiên bản tác nhân tự động hoàn toàn. Và như vậy, bạn nắm quyền điều chỉnh thanh trượt tự động, tùy thuộc vào độ phức tạp của nhiệm vụ, bạn có thể điều chỉnh mức độ tự động mà bạn sẵn sàng từ bỏ cho nhiệm vụ đó.

20:57

show one more example of a fairly successful LLM app uh perplexity um it also has very similar features to what I've just pointed out to in cursor uh it packages up a lot of the information.

Đưa ra một ví dụ khác về ứng dụng LLM khá thành công, Perplexity. Nó cũng có các tính năng rất giống với những gì tôi vừa chỉ ra trong Cursor. Nó đóng gói rất nhiều thông tin.

21:08

It orchestrates multiple LLMs.

Nó điều phối nhiều LLM.

21:09

It's got a GUI that allows you to audit some of its work.

Nó có giao diện đồ họa cho phép bạn kiểm tra một số công việc của nó.

21:13

So, for example, it will site sources and you can imagine inspecting them.

Ví dụ, nó sẽ trích dẫn nguồn và bạn có thể kiểm tra chúng.

21:17

And it's got an autonomy slider.

Và nó có thanh trượt tự động.

21:19

You can either just do a quick search or you can do research or you can do deep research and come back 10 minutes later.

Bạn có thể chỉ tìm kiếm nhanh, hoặc nghiên cứu, hoặc nghiên cứu sâu và quay lại sau 10 phút.

21:24

So, this is all just varying levels of autonomy that you give up to the tool.

Vì vậy, tất cả chỉ là các mức độ tự động khác nhau mà bạn trao cho công cụ.

21:28

So, I guess my question is I feel like a lot of software will become partially autonomous.

Vậy câu hỏi của tôi là, tôi nghĩ rất nhiều phần mềm sẽ trở nên bán tự động.

21:32

I'm trying to think through like what does that look like?

Tôi đang cố gắng suy nghĩ xem điều đó sẽ như thế nào?

21:35

And for many of you who maintain products and services, how are you going to make your products and services partially autonomous?

Và đối với nhiều người trong số các bạn đang duy trì sản phẩm và dịch vụ, làm thế nào để bạn làm cho sản phẩm và dịch vụ của mình trở nên bán tự động?

21:40

Can an LLM see everything that a human can see?

Liệu LLM có thể thấy mọi thứ mà con người thấy không?

21:43

Can an LLM act in all the ways that a human could act?

Liệu LLM có thể hành động theo mọi cách mà con người có thể hành động không?

21:46

And

Và

21:47

can humans supervise and stay in the loop of this activity?

Liệu con người có thể giám sát và theo dõi hoạt động này không?

21:50

Because again, these are fallible systems that aren't yet perfect.

Bởi vì một lần nữa, đây là những hệ thống có thể sai sót và chưa hoàn hảo.

21:53

And what does a diff look like in Photoshop or something like that?

Và một bản diff trong Photoshop hoặc tương tự trông như thế nào?

21:56

You know, and also a lot of the traditional software right now, it has all these switches and all this kind of stuff that's all designed for human.

Bạn biết đấy, và hiện tại rất nhiều phần mềm truyền thống có tất cả các công tắc và những thứ tương tự được thiết kế cho con người.

22:04

All of this has to change and become accessible to LLMs.

Tất cả điều này phải thay đổi và trở nên khả dụng cho LLM.

22:08

So, one thing I want to stress with a lot of these LLM apps that I'm not sure gets as much attention as it should is um we're now kind of like cooperating with AIS and usually they are doing the generation and we as humans are doing the verification.

Vì vậy, một điều tôi muốn nhấn mạnh với nhiều ứng dụng LLM này mà tôi không chắc có được sự chú ý xứng đáng, đó là chúng ta đang hợp tác với AI và thường chúng thực hiện việc tạo ra, còn chúng ta là con người thực hiện việc xác minh.

22:20

It is in our interest to make this loop go as fast as possible.

Chúng ta có lợi khi làm cho vòng lặp này diễn ra nhanh nhất có thể.

22:24

So, we're getting a lot of work done.

Vì vậy, chúng ta đang hoàn thành rất nhiều công việc.

22:26

There are two major ways that

Có hai cách chính mà

22:28

I think uh this can be done.

tôi nghĩ điều này có thể được thực hiện.

22:30

Number one, you can speed up verification a lot.

Thứ nhất, bạn có thể tăng tốc độ xác minh rất nhiều.

22:32

Um, and I think guies, for example, are extremely important to this because a guey utilizes your computer vision GPU in all of our head.

Và tôi nghĩ GUI, ví dụ, cực kỳ quan trọng cho việc này vì GUI sử dụng GPU thị giác máy tính trong đầu tất cả chúng ta.

22:39

Reading text is effortful and it's not fun, but looking at stuff is fun and it's it's just a kind of like a highway to your brain.

Đọc văn bản rất tốn sức và không vui, nhưng nhìn vào mọi thứ thì vui và nó giống như một đường cao tốc vào não bạn.

22:47

So, I think GUIs are very useful for auditing systems and visual representations in general.

Vì vậy, tôi nghĩ GUI rất hữu ích cho việc kiểm tra hệ thống và các biểu diễn trực quan nói chung.

22:51

And number two, I would say is we have to keep the AI on the leash.

Và thứ hai, tôi cho rằng chúng ta phải giữ AI trong tầm kiểm soát.

22:56

I think a lot of people are getting way over excited with AI agents and it's not useful to me to get a diff of 10,000 lines of code to my repo.

Tôi nghĩ nhiều người đang quá phấn khích về các tác nhân AI và việc nhận được một diff 10.000 dòng mã cho repo của tôi là không hữu ích.

23:05

Like I have to, I'm still the bottleneck, right?

Tôi vẫn là nút thắt cổ chai, phải không?

23:08

Even though that

Mặc dù 10.000 dòng xuất hiện ngay lập tức, tôi phải đảm bảo rằng nó không giới thiệu lỗi.

23:09

10,000 lines come out instantly, I have to make sure that this thing is not introducing bugs.

Và rằng nó đang làm đúng việc, phải không?

23:14

It's just like and that it's doing the correct thing, right?

Và không có vấn đề bảo mật, v.v.

23:17

And that there's no security issues and so on.

Vì vậy, tôi nghĩ về cơ bản, chúng ta phải làm cho dòng chảy của hai điều này diễn ra rất nhanh và bằng cách nào đó giữ AI trong tầm kiểm soát.

23:20

So I think that yeah basically you, we have to sort of like it's in our interest to make the flow of these two go very fast and we have to somehow keep the AI on

Bởi vì nó trở nên quá phản ứng thái quá.

23:32

the leash because it gets way too overreactive.

Nó đại loại như thế này.

23:34

It's kind of like this.

Đây là cảm giác của tôi khi làm mã hóa có sự hỗ trợ của AI.

23:35

This is how I feel when I do AI assisted coding.

Nếu tôi chỉ lập trình theo cảm hứng thì mọi thứ đều tốt đẹp, nhưng nếu tôi thực sự cố gắng hoàn thành công việc thì không tuyệt lắm khi có một tác nhân phản ứng thái quá làm đủ thứ.

23:38

If I'm just vibe coding everything is nice and great but if I'm actually trying to get work done it's not so great to have an overreactive agent doing all this kind of stuff.

Slide này không tốt lắm.

23:46

So this slide is not very good.

Tôi xin lỗi, nhưng tôi đang cố gắng phát triển một số cách sử dụng các tác nhân này trong quy trình làm việc lập trình của mình và để làm mã hóa có sự hỗ trợ của AI.

23:48

I'm sorry, but I guess I'm trying to develop like

Và trong công việc của mình, tôi luôn sợ nhận được các diff quá lớn.

23:51

many of you some ways of utilizing these agents in my coding workflow and to do AI assisted coding.

Tôi luôn làm theo từng phần nhỏ tăng dần.

23:56

And in my own work, I'm always scared to get way too big diffs.

Tôi muốn đảm bảo mọi thứ đều tốt.

24:00

I always go in small incremental chunks.

Tôi muốn xoay vòng lặp này rất nhanh và tôi làm việc trên các phần nhỏ của một việc cụ thể duy nhất.

24:02

I want to make sure that everything is good.

Và vì vậy tôi nghĩ nhiều người trong số các bạn có thể đang phát triển các cách làm việc tương tự với LLM.

24:05

I want to spin this loop very fast and I sort of work on small chunks of single concrete thing.

Tôi cũng thấy một số bài blog cố gắng phát triển các thực hành tốt nhất để làm việc với LLM.

24:11

And so I think many of you

24:13

probably are developing similar ways of working with the LLMs.

24:18

I also saw a number of blog posts that try to develop these best practices for working with LLMs.

24:22

And here's one that I read recently and I thought was quite good.

Và đây là một cuốn tôi đọc gần đây và tôi thấy khá hay.

24:25

And it kind of discussed some techniques and some of them have to do with how you keep the AI on the leash.

Nó thảo luận về một số kỹ thuật, và một số trong đó liên quan đến cách bạn giữ AI trong tầm kiểm soát.

24:31

And so, as an example, if you are prompting, if your prompt is vague, then the AI might not do exactly what you

Ví dụ, nếu bạn đưa ra lời nhắc mơ hồ, AI có thể không làm chính xác những gì bạn

24:37

wanted and in that case, verification will fail.

muốn, và trong trường hợp đó, việc xác minh sẽ thất bại.

24:38

You're going to ask for something else.

Bạn sẽ yêu cầu một điều gì đó khác.

24:40

If a verification fails, then you're going to start spinning.

Nếu xác minh thất bại, bạn sẽ bắt đầu quay vòng.

24:42

So it makes a lot more sense to spend a bit more time to be more concrete in your prompts which increases the probability of successful verification and you can move forward.

Vì vậy, sẽ hợp lý hơn nhiều nếu dành thêm một chút thời gian để cụ thể hóa lời nhắc của bạn, điều này làm tăng xác suất xác minh thành công và bạn có thể tiến lên.

24:50

And so I think a lot of us are going to end up finding kind of

Và tôi nghĩ nhiều người trong chúng ta sẽ tìm ra những

24:54

techniques like this.

kỹ thuật như thế này.

24:54

I think in my own work as well I'm currently interested in what education looks like together with kind of like now that we have AI and LLMs what does education look like?

Tôi nghĩ trong công việc của mình, tôi cũng đang quan tâm đến việc giáo dục sẽ như thế nào khi chúng ta có AI và LLM.

25:03

And I think a large amount of thought for me goes into how we keep AI on the leash.

Và tôi dành nhiều suy nghĩ cho việc làm thế nào để giữ AI trong tầm kiểm soát.

25:09

I don't think it just works to go to chat and be like, "Hey, teach me physics." I don't think this

Tôi không nghĩ chỉ cần vào chat và nói "Này, dạy tôi vật lý" là hiệu quả.

25:15

works because the AI gets lost in the woods.

Điều đó không hiệu quả vì AI sẽ bị lạc.

25:17

And so for me, this is actually two separate apps.

Vì vậy, đối với tôi, đây thực sự là hai ứng dụng riêng biệt.

25:20

For example, there's an app for a teacher that creates courses and then there's an app that takes courses and serves them to students.

Ví dụ, có một ứng dụng dành cho giáo viên để tạo khóa học, và một ứng dụng khác nhận khóa học và phục vụ học sinh.

25:26

And in both cases, we now have this intermediate artifact of a course that is auditable and we can make sure it's good.

Trong cả hai trường hợp, chúng ta có một tạo phẩm trung gian là khóa học có thể kiểm tra được và chúng ta có thể đảm bảo nó tốt.

25:32

We can make sure it's

Chúng ta có thể đảm bảo nó

25:34

consistent.

nhất quán.

25:34

And the AI is kept on the leash with respect to a certain syllabus, a certain progression of projects and so on.

Và AI được giữ trong tầm kiểm soát đối với một giáo trình nhất định, một tiến trình dự án nhất định, v.v.

25:40

And so this is one way of keeping the AI on leash and I think has a much higher likelihood of working and the AI is not getting lost in the woods.

Và đây là một cách để giữ AI trong tầm kiểm soát và tôi nghĩ nó có khả năng thành công cao hơn nhiều, AI sẽ không bị lạc.

25:50

One more kind of analogy I wanted to sort of allude to is I'm no stranger to partial autonomy and I kind of worked on this I think for five years at Tesla and this is also a partial autonomy product and shares a lot of the features like for example right there in the instrument panel is the GUI of the autopilot so it's showing me what the neural network sees and so on

Một phép loại suy nữa tôi muốn đề cập là tôi không xa lạ gì với tự động hóa một phần, tôi đã làm việc về điều này khoảng năm năm tại Tesla và đây cũng là một sản phẩm tự động hóa một phần, chia sẻ nhiều tính năng, ví dụ như ngay trên bảng điều khiển là giao diện của autopilot, hiển thị những gì mạng nơ-ron nhìn thấy, v.v.

26:09

and we have the autonomy slider where over the course of my tenure there we did more and more autonomous tasks for the user and maybe the story that I wanted to tell very briefly is actually the first time I drove a self-driving vehicle was in 2013 and I had a friend who worked at Waymo and he offered to give me a drive around Palo Alto.

Và chúng tôi có thanh trượt tự động hóa, trong suốt thời gian làm việc ở đó, chúng tôi đã thực hiện ngày càng nhiều tác vụ tự động cho người dùng, và câu chuyện tôi muốn kể ngắn gọn là lần đầu tiên tôi lái xe tự hành là vào năm 2013, tôi có một người bạn làm việc tại Waymo và anh ấy đề nghị chở tôi đi một vòng quanh Palo Alto.

26:30

I took this picture using

Tôi đã chụp bức ảnh này bằng

26:32

Google Glass at the time and many of you are so young that you might not even know what that is.

Google Glass lúc đó, và nhiều bạn còn trẻ đến nỗi có thể không biết đó là gì.

26:37

But yeah, this was like all the rage at the time.

Nhưng vâng, đó là thứ rất thịnh hành vào thời điểm đó.

26:40

And we got into this car and we went for about a 30-minute drive around Palo Alto highways, streets and so on.

Và chúng tôi lên xe và lái khoảng 30 phút quanh Palo Alto, trên đường cao tốc, đường phố, v.v.

26:45

And this drive was perfect.

Và chuyến đi này thật hoàn hảo.

26:47

There was zero interventions and this was 2013 which is now 12 years ago.

Không có bất kỳ sự can thiệp nào, và đó là năm 2013, cách đây 12 năm.

26:50

And it kind of struck

Và điều đó đã làm tôi

26:52

me because at the time when I had this perfect drive, this perfect demo, I felt like, wow, self-driving is imminent because this just worked.

ngạc nhiên vì khi có chuyến đi hoàn hảo, bản demo hoàn hảo này, tôi cảm thấy như, wow, xe tự lái sắp thành hiện thực vì nó hoạt động tốt quá.

27:00

This is incredible.

Thật không thể tin được.

27:01

But here we are 12 years later and we are still working on autonomy.

Nhưng 12 năm sau, chúng ta vẫn đang làm việc về tự động hóa.

27:05

We are still working on driving agents and even now we haven't actually really solved the problem.

Chúng ta vẫn đang làm việc về các tác nhân lái xe, và thậm chí bây giờ chúng ta vẫn chưa thực sự giải quyết được vấn đề.

27:11

Like you may see Waymos going around and they look driverless but you know there's still a lot of teleoperation and a lot of human in the loop of a lot of this driving so we still haven't even declared success but I think it's definitely going to succeed at this point but it just took a long time and so I think this software is really tricky.

Bạn có thể thấy Waymo chạy quanh và trông không người lái, nhưng vẫn còn nhiều điều khiển từ xa và nhiều con người trong vòng lặp của việc lái xe này, vì vậy chúng ta vẫn chưa tuyên bố thành công, nhưng tôi nghĩ nó chắc chắn sẽ thành công vào lúc này, nhưng nó mất rất nhiều thời gian, và tôi nghĩ phần mềm này thực sự khó.

27:30

I think in the same way

Tôi nghĩ theo cách tương tự,

27:32

that driving is tricky and so when I see things like oh 2025 is the year of agents I get very concerned and I kind of feel like you know this is the decade of agents and this is going to be quite some time.

việc lái xe rất khó, và vì vậy khi tôi thấy những điều như "2025 là năm của các tác nhân", tôi rất lo lắng và tôi cảm thấy như, bạn biết đấy, đây là thập kỷ của các tác nhân và sẽ mất khá nhiều thời gian.

27:44

We need humans in the loop.

Chúng ta cần con người trong vòng lặp.

27:46

We need to do this carefully.

Chúng ta cần làm điều này một cách cẩn thận.

27:47

This is software.

Đây là phần mềm.

27:48

Let's be serious here.

Hãy nghiêm túc ở đây.

27:49

One more kind of analogy that I always think through is the Iron Man suit.

Một phép loại suy nữa tôi luôn nghĩ đến là bộ giáp Iron Man.

27:54

I think this is I always love Iron Man.

Tôi nghĩ tôi luôn yêu thích Iron Man.

27:57

I think it's so correct in a bunch of ways with respect to technology and how it will play out.

Tôi nghĩ nó rất đúng theo nhiều cách liên quan đến công nghệ và cách nó sẽ phát triển.

28:02

And what I love about the Iron Man suit is that it's both an augmentation and Tony Stark can drive it

Và điều tôi thích ở bộ giáp Iron Man là nó vừa là sự tăng cường, Tony Stark có thể lái nó,

28:09

and it's also an agent.

và nó cũng là một tác nhân.

28:10

And in some of the movies, the Iron Man suit is quite autonomous and can fly around and find Tony and all this kind of stuff.

Trong một số bộ phim, bộ giáp Iron Man khá tự động, có thể bay quanh và tìm Tony, v.v.

28:16

And so this is the autonomy slider: we can build augmentations or we can build agents and we kind of want to do a bit of both.

Và đây là thanh trượt tự động hóa: chúng ta có thể xây dựng các tăng cường hoặc xây dựng các tác nhân, và chúng ta muốn làm cả hai.

28:23

But at this stage I would say working with fallible LLMs and so on.

Nhưng ở giai đoạn này, tôi sẽ nói làm việc với các LLM dễ sai sót, v.v.

28:27

I would say you know it's less Iron

Tôi sẽ nói, bạn biết đấy, đó ít là robot Iron

28:29

Man robots and more Iron Man suits that you want to build.

Man hơn là bộ giáp Iron Man mà bạn muốn xây dựng.

28:32

It's less like building flashy demos of autonomous agents and more building partial autonomy products.

Nó không giống như xây dựng các bản demo hào nhoáng về tác nhân tự động, mà là xây dựng các sản phẩm tự động hóa một phần.

28:37

And these products have custom GUIs and UIUX.

Và những sản phẩm này có giao diện người dùng và trải nghiệm người dùng tùy chỉnh.

28:40

And we're trying to and this is done so that the generation verification loop of the human is very fast.

Và chúng tôi đang cố gắng, và điều này được thực hiện để vòng lặp tạo ra và xác minh của con người diễn ra rất nhanh.

28:46

But we are not losing sight of the fact that it is

Nhưng chúng tôi không quên rằng về nguyên tắc,

28:50

in principle possible to automate this work.

có thể tự động hóa công việc này.

28:52

And there should be an autonomy slider in your product.

Và nên có một thanh trượt tự động hóa trong sản phẩm của bạn.

28:54

And you should be thinking about how you can slide that autonomy slider and make your product more autonomous over time.

Và bạn nên suy nghĩ về cách bạn có thể trượt thanh trượt tự động hóa đó và làm cho sản phẩm của bạn tự động hơn theo thời gian.

29:01

But this is kind of how I think there's lots of opportunities in these kinds of products.

Nhưng đây là cách tôi nghĩ có rất nhiều cơ hội trong những loại sản phẩm này.

29:05

I want to now switch gears a little bit and talk about one other dimension that I think is very unique.

Tôi muốn chuyển hướng một chút và nói về một khía cạnh khác mà tôi nghĩ là rất độc đáo.

29:10

Not only is there a new type of programming language that allows for autonomy in software but also as I mentioned it's programmed in English which is this natural interface and suddenly everyone is a programmer because everyone speaks natural language like English.

Không chỉ có một loại ngôn ngữ lập trình mới cho phép tự động hóa trong phần mềm, mà còn như tôi đã đề cập, nó được lập trình bằng tiếng Anh, một giao diện tự nhiên, và đột nhiên mọi người đều là lập trình viên vì ai cũng nói ngôn ngữ tự nhiên như tiếng Anh.

29:22

So this is extremely bullish and very interesting to me and also completely unprecedented.

Vì vậy, điều này cực kỳ lạc quan và rất thú vị đối với tôi, và cũng hoàn toàn chưa từng có tiền lệ.

29:26

I would say it used to be the case that you

Tôi có thể nói rằng trước đây bạn cần

29:30

need to spend five to 10 years studying something to be able to do something in software.

phải dành năm đến mười năm để học một thứ gì đó để có thể làm được điều gì đó trong phần mềm.

29:33

This is not the case anymore.

Điều đó không còn đúng nữa.

29:35

So, I don't know if by any chance anyone has heard of vibe coding.

Vì vậy, tôi không biết có ai đã từng nghe đến vibe coding chưa.

29:41

This is the tweet that kind of introduced this, but I'm told that this is now like a major meme.

Đây là dòng tweet đã giới thiệu khái niệm này, nhưng tôi được biết rằng bây giờ nó đã trở thành một meme lớn.

29:46

Fun story about this is that I've been on Twitter for like 15 years or something like that at this point and I still have no clue which tweet will become viral and which tweet fizzles and no one cares.

Câu chuyện thú vị về điều này là tôi đã ở trên Twitter khoảng 15 năm rồi, và tôi vẫn không biết tweet nào sẽ trở nên lan truyền và tweet nào sẽ chết và không ai quan tâm.

29:57

And I thought that this tweet was going to be the latter.

Và tôi đã nghĩ rằng tweet này sẽ là loại thứ hai.

30:00

I don't know.

Tôi không biết.

30:01

Nó

30:02

was just like a shower of thoughts.

chỉ giống như một dòng suy nghĩ.

30:04

But this became like a total meme and I really just can't tell.

Nhưng nó đã trở thành một meme hoàn chỉnh và tôi thực sự không thể nói trước.

30:07

But I guess it struck a chord and it gave a name to something that everyone was feeling but couldn't quite say in words.

Nhưng tôi đoán nó đã chạm đúng dây và đặt tên cho một thứ mà mọi người đều cảm thấy nhưng không thể diễn tả bằng lời.

30:14

So now there's a Wikipedia page and everything.

Vì vậy, bây giờ có cả một trang Wikipedia và mọi thứ.

30:17

This is like Applause yeah this is like a major contribution now or something like that.

Đây giống như [Vỗ tay] yeah, đây giống như một đóng góp lớn bây giờ hay gì đó.

30:26

So, Tom Wolf from HuggingFace shared this beautiful video that I really love.

Vì vậy, Tom Wolf từ HuggingFace đã chia sẻ video tuyệt đẹp này mà tôi thực sự yêu thích.

30:35

These are kids vibe coding.

Đây là những đứa trẻ đang vibe coding.

30:43

And I find that this is such a wholesome video.

Và tôi thấy đây là một video rất lành mạnh.

30:46

Like, I love this video.

Giống như, tôi yêu video này.

30:47

Like, how can you look at this video and feel bad about the future?

Giống như, làm sao bạn có thể nhìn video này và cảm thấy tồi tệ về tương lai?

30:51

The future is great.

Tương lai thật tuyệt vời.

30:53

I think this will end up being like a gateway drug to software development.

Tôi nghĩ điều này cuối cùng sẽ giống như một cánh cửa dẫn đến phát triển phần mềm.

30:57

I'm not a doomer about the future of the generation and I think yeah, I love this video.

Tôi không phải là người bi quan về tương lai của thế hệ và tôi nghĩ yeah, tôi yêu video này.

31:02

So, I tried vibe coding a little bit as well because it's so fun.

Vì vậy, tôi cũng đã thử vibe coding một chút vì nó rất vui.

31:06

So, vibe coding is so great when you want to build something super duper custom that doesn't appear to exist and you just want to wing it because it's a Saturday or something like that.

Vì vậy, vibe coding thật tuyệt vời khi bạn muốn xây dựng một thứ gì đó cực kỳ tùy chỉnh mà dường như chưa tồn tại và bạn chỉ muốn làm theo cảm hứng vì đó là thứ Bảy hay gì đó.

31:16

So, I built this iOS app and I don't

Vì vậy, tôi đã xây dựng ứng dụng iOS này và tôi không

31:19

can't actually program in Swift, but I was really shocked that I was able to build like a super basic app and I'm not going to explain it.

thực sự không thể lập trình bằng Swift, nhưng tôi đã rất ngạc nhiên khi có thể xây dựng một ứng dụng cơ bản và tôi sẽ không giải thích nó.

31:25

It's really dumb, but I kind of like this was just like a day of work and this was running on my phone later that day and I was like, "Wow, this is amazing." I didn't have to read through Swift for like five days or something

Nó thực sự ngớ ngẩn, nhưng tôi thích điều này chỉ là một ngày làm việc và nó đã chạy trên điện thoại của tôi vào cuối ngày hôm đó và tôi đã nghĩ, "Wow, thật tuyệt vời." Tôi không phải đọc qua Swift trong năm ngày hay gì đó

31:36

to get started.

để bắt đầu.

31:36

I also vibe coded this app called Menu Genen.

Tôi cũng đã vibe code ứng dụng này có tên Menu Genen.

31:39

And this is live.

Và nó đang hoạt động.

31:40

You can try it at menu.app.

Bạn có thể thử nó tại menu.app.

31:41

And I basically had this problem where I show up at a restaurant, I read through the menu, and I have no idea what any of the things are.

Và về cơ bản tôi có vấn đề này: khi tôi đến nhà hàng, tôi đọc thực đơn và không biết món nào là gì.

31:49

And I need pictures.

Và tôi cần hình ảnh.

31:50

So this doesn't exist.

Vì vậy, điều này không tồn tại.

31:51

So I was like, "Hey, I'm going to vibe code it." So, this is what it looks like.

Vì vậy tôi đã nghĩ, "Này, tôi sẽ vibe code nó." Vì vậy, đây là những gì nó trông như thế nào.

31:56

You go to menu.app, and you take a picture of a menu and then menu generates the images and everyone gets $5 in credits for free when you sign up.

Bạn vào menu.app, chụp ảnh thực đơn và menu sẽ tạo ra hình ảnh, và mọi người nhận được 5 đô la tín dụng miễn phí khi đăng ký.

32:08

And therefore, this is a major cost center in my life.

Và do đó, đây là một trung tâm chi phí lớn trong cuộc sống của tôi.

32:13

So, this is a negative negative revenue app for me right now.

Vì vậy, đây là một ứng dụng doanh thu âm đối với tôi ngay bây giờ.

32:18

I've lost a huge amount of money on menu.

Tôi đã mất một số tiền lớn cho menu.

32:21

Okay.

Được rồi.

32:21

But the fascinating thing about menu genen for me is that the code of the vibe coding part, the code was actually the easy part of vibe coding menu and most of it actually was when I tried to make it real so that you can actually have authentication and payments and the domain name and overall deployment.

Nhưng điều thú vị về menu genen đối với tôi là phần code của vibe coding, code thực ra là phần dễ nhất của vibe coding menu và hầu hết thời gian thực sự là khi tôi cố gắng làm cho nó trở nên thực tế để bạn có thể có xác thực, thanh toán, tên miền và triển khai tổng thể.

32:39

This was really hard and all of this was not code.

Điều này thực sự khó và tất cả những thứ này không phải là code.

32:42

All of this devops

Tất cả những thứ devops

32:44

stuff was me in the browser clicking stuff and this was extremely slow and took another week.

này là tôi đang ở trong trình duyệt nhấp vào các thứ và điều này cực kỳ chậm và mất thêm một tuần.

32:49

So it was really fascinating that I had the menu genen demo working on my laptop in a few hours and then it took me a week because I was trying to make it real and the reason for this is this was just really annoying.

Vì vậy, thực sự thú vị khi tôi có bản demo menu genen chạy trên laptop trong vài giờ và sau đó mất một tuần vì tôi cố gắng làm cho nó thực tế và lý do là điều này thực sự khó chịu.

33:03

So for example, if you try to add Google login to your web

Ví dụ, nếu bạn cố gắng thêm đăng nhập Google vào trang web

33:07

page, I know this is very small, but just a huge amount of instructions of this clerk library telling me how to integrate this.

của mình, tôi biết điều này rất nhỏ, nhưng chỉ là một lượng lớn hướng dẫn từ thư viện clerk này bảo tôi cách tích hợp.

33:13

And this is crazy.

Và điều này thật điên rồ.

33:14

Like it's telling me go to this URL, click on this dropdown, choose this, go to this, and click on that.

Nó bảo tôi truy cập URL này, nhấp vào dropdown này, chọn cái này, đi đến đây và nhấp vào cái kia.

33:20

And it's like telling me what to do.

Và nó như đang bảo tôi phải làm gì.

33:23

Like a computer is telling me the actions I should be taking.

Giống như một máy tính đang bảo tôi những hành động tôi nên thực hiện.

33:26

Like you do it.

Như thể bạn làm điều đó.

33:27

Why am I doing this?

Tại sao tôi lại làm điều này?

33:29

What the hell?

Cái quái gì thế?

33:32

I had to follow all these instructions.

Tôi đã phải làm theo tất cả những hướng dẫn này.

33:34

This was crazy.

Điều này thật điên rồ.

33:35

So I think the last part of my talk therefore focuses on can we just build for agents?

Vì vậy, tôi nghĩ phần cuối của bài nói của tôi tập trung vào việc liệu chúng ta có thể xây dựng cho các tác nhân không?

33:41

I don't want to do this work.

Tôi không muốn làm công việc này.

33:44

Can agents do this?

Các tác nhân có thể làm điều này không?

33:45

Thank you.

Cảm ơn bạn.

33:46

Okay.

Được rồi.

33:46

So roughly speaking, I think there's a new category of consumer and manipulator of digital information.

Nói một cách tổng quát, tôi nghĩ có một loại người tiêu dùng và người thao tác thông tin kỹ thuật số mới.

33:51

It used to be just humans through GUIs or computers through APIs.

Trước đây chỉ có con người qua GUI hoặc máy tính qua API.

33:55

And now we have a completely new thing and agents are they're computers but they are humanlike kind of right they're people spirits, there's people spirits on the internet and they need to interact with our

Và bây giờ chúng ta có một thứ hoàn toàn mới và các tác nhân là chúng là máy tính nhưng chúng giống con người, đúng vậy, chúng là linh hồn con người, có linh hồn con người trên internet và chúng cần tương tác với cơ sở hạ tầng phần mềm của chúng ta.

34:07

software infrastructure like can we build for them it's a new thing.

Liệu chúng ta có thể xây dựng cho chúng không? Đó là một điều mới.

34:10

So as an example you can have robots.txt on your domain and you can instruct or advise I suppose web crawlers on how to behave on your website.

Ví dụ, bạn có thể có robots.txt trên tên miền của mình và bạn có thể hướng dẫn hoặc khuyên các trình thu thập web cách hành xử trên trang web của bạn.

34:18

In the same way you can have maybe lm.txt file which is just a simple markdown that's telling LLMs what this domain is about and this is very readable to an

Tương tự, bạn có thể có tệp lm.txt chỉ là một markdown đơn giản nói cho LLM biết tên miền này nói về gì và điều này rất dễ đọc đối với

34:28

LLM.

34:28

If it had to instead get the HTML of your web page and try to parse it, this is very error prone and difficult and will screw it up and it's not going to work.

Nếu thay vào đó nó phải lấy HTML của trang web của bạn và cố gắng phân tích cú pháp, điều này rất dễ xảy ra lỗi và khó khăn và sẽ làm hỏng nó và sẽ không hoạt động.

34:37

So we can just directly speak to the LLM.

Vì vậy, chúng ta có thể nói chuyện trực tiếp với LLM.

34:40

It's worth it.

Điều đó đáng giá.

34:41

A huge amount of documentation is currently written for people.

Một lượng lớn tài liệu hiện đang được viết cho con người.

34:43

So you will see things like lists and bold and pictures and this is not directly

Vì vậy, bạn sẽ thấy những thứ như danh sách, chữ đậm và hình ảnh và điều này không trực tiếp

34:48

accessible by an LLM.

truy cập được bởi LLM.

34:49

So I see some of the services now are transitioning a lot of their docs to be specifically for LLMs.

Vì vậy, tôi thấy một số dịch vụ hiện đang chuyển đổi nhiều tài liệu của họ để dành riêng cho LLM.

34:56

So Vercel and Stripe as an example are early movers here but there are a few more that I've seen already and they offer their documentation in markdown.

Ví dụ, Vercel và Stripe là những người tiên phong ở đây nhưng còn một số nữa mà tôi đã thấy và họ cung cấp tài liệu của họ ở định dạng markdown.

35:06

Markdown is super easy for LLMs to understand.

Markdown rất dễ hiểu đối với LLM.

35:08

This is great.

Điều này thật tuyệt.

35:09

Maybe one simple example from my

Có lẽ một ví dụ đơn giản từ

35:12

experience as well.

kinh nghiệm của tôi.

35:13

Maybe some of you know 3Blue1Brown.

Có thể một số bạn biết 3Blue1Brown.

35:15

He makes beautiful animation videos on YouTube.

Anh ấy làm những video hoạt hình đẹp trên YouTube.

35:19

Applause Yeah, I love this library.

[Vỗ tay] Vâng, tôi yêu thư viện này.

35:20

So that he wrote Manim and I wanted to make my own and there's extensive documentation on how to use Manim and so I didn't want to actually read through it.

Anh ấy đã viết Manim và tôi muốn tự làm một cái và có tài liệu hướng dẫn sử dụng Manim rất chi tiết và tôi không muốn đọc hết.

35:30

So I copy pasted the whole thing to an LLM and I described what I wanted and it just worked out of the box like LLM just vibe coded me an animation exactly what I wanted and I was like wow

Vì vậy, tôi đã copy paste toàn bộ vào LLM và mô tả những gì tôi muốn và nó hoạt động ngay lập tức, LLM đã vibe code cho tôi một hoạt ảnh chính xác như tôi muốn và tôi đã nghĩ wow

35:43

this is amazing.

Điều này thật tuyệt vời.

35:43

So if we can make docs legible to LLMs, it's going to unlock a huge amount of use and I think this is wonderful and should happen more.

Vì vậy, nếu chúng ta có thể làm cho tài liệu dễ đọc đối với LLM, nó sẽ mở ra một lượng lớn sử dụng và tôi nghĩ điều này thật tuyệt vời và nên xảy ra nhiều hơn.

35:51

The other thing I wanted to point out is that you do unfortunately have to it's not just about taking your docs and making them appear in markdown.

Một điều khác tôi muốn chỉ ra là bạn không may phải, không chỉ là lấy tài liệu của bạn và làm cho chúng xuất hiện dưới dạng markdown.

35:59

That's the easy part.

Đó là phần dễ.

36:00

We actually have to change the

Chúng ta thực sự phải thay đổi

36:02

docs because anytime your docs say click this is bad.

tài liệu vì bất cứ khi nào tài liệu của bạn nói 'nhấp vào' là không tốt.

36:05

An LLM will not be able to natively take this action right now.

Một LLM sẽ không thể tự nhiên thực hiện hành động này ngay bây giờ.

36:09

So, Vercel, for example, is replacing every occurrence of click with an equivalent curl command that your LLM agent could take on your behalf.

Vì vậy, Vercel chẳng hạn, đang thay thế mọi lần xuất hiện của 'nhấp' bằng một lệnh curl tương đương mà tác nhân LLM của bạn có thể thực hiện thay bạn.

36:16

And so I think this is very interesting.

Và tôi nghĩ điều này rất thú vị.

36:18

And then, of course, there's the Model Context Protocol from Anthropic.

Và tất nhiên, còn có Giao thức Ngữ cảnh Mô hình từ Anthropic.

36:22

And this is

Và đây là

36:23

also another way, it's a protocol of speaking directly to agents as this new consumer and manipulator of digital information.

Một cách khác, đó là một giao thức để nói chuyện trực tiếp với các tác nhân như một người tiêu dùng và người thao tác thông tin số mới này.

36:29

So, I'm very bullish on these ideas.

Vì vậy, tôi rất lạc quan về những ý tưởng này.

36:31

The other thing I really like is a number of little tools here and there that are helping ingest data in very LLM friendly formats.

Điều khác tôi thực sự thích là một số công cụ nhỏ ở đây và đó đang giúp đưa dữ liệu vào các định dạng thân thiện với LLM.

36:39

So for example, when I go to a GitHub repo like my nanoGPT repo, I can't feed this to an LLM and ask questions about it because this is a human interface on GitHub.

Ví dụ, khi tôi vào một kho GitHub như kho nanoGPT của tôi, tôi không thể đưa nó cho LLM và đặt câu hỏi về nó vì đây là giao diện con người trên GitHub.

36:48

So when you just change the URL from GitHub to get ingest then this will actually concatenate all the files into a single giant text and it will create a directory structure etc.

Vì vậy, khi bạn chỉ cần thay đổi URL từ GitHub thành get ingest, nó sẽ thực sự nối tất cả các tệp thành một văn bản lớn duy nhất và tạo ra cấu trúc thư mục, v.v.

36:57

And this is

Và điều này

36:58

ready to be copy pasted into your favorite LLM and you can do stuff.

Sẵn sàng để sao chép và dán vào LLM yêu thích của bạn và bạn có thể làm mọi thứ.

37:02

Maybe even more dramatic example of this is deep wiki where it's not just the raw content of these files.

Một ví dụ thậm chí còn ấn tượng hơn là deep wiki, nơi không chỉ là nội dung thô của các tệp này.

37:08

This is from Devon but also they have Devon basically do analysis of the GitHub repo and Devon basically builds up a whole docs pages just for your repo and you can imagine that this is even more

Cái này đến từ Devon nhưng họ cũng có Devon về cơ bản thực hiện phân tích kho GitHub và Devon về cơ bản xây dựng toàn bộ trang tài liệu chỉ cho kho của bạn và bạn có thể tưởng tượng rằng điều này thậm chí còn

37:20

helpful to copy paste into your LLM.

Hữu ích hơn để sao chép và dán vào LLM của bạn.

37:21

So I love all the little tools that basically where you just change the URL and it makes something accessible to an LLM.

Vì vậy, tôi yêu tất cả các công cụ nhỏ mà về cơ bản bạn chỉ cần thay đổi URL và nó làm cho thứ gì đó có thể truy cập được cho LLM.

37:27

So this is all well and great and I think there should be a lot more of it.

Vậy tất cả điều này đều tốt và tuyệt vời và tôi nghĩ nên có nhiều hơn nữa.

37:32

One more note I wanted to make is that it is absolutely possible that in the future LLMs will be able to this is not even future this is today they'll be

Một lưu ý nữa tôi muốn đưa ra là hoàn toàn có thể trong tương lai LLM sẽ có thể—thậm chí không phải tương lai, đây là hôm nay—chúng sẽ

37:40

able to go around and they'll be able to click stuff and so on but I still think it's very worth meeting LLM halfway and making it easier for them to access all this information because this is still fairly expensive I would say to use and a lot more difficult and so I do think that lots of software there will be a long tail where it won't adapt

Có thể đi vòng quanh và chúng sẽ có thể nhấp vào các thứ, v.v., nhưng tôi vẫn nghĩ rất đáng để gặp LLM nửa đường và làm cho việc truy cập tất cả thông tin này dễ dàng hơn vì điều này vẫn còn khá đắt đỏ, tôi phải nói, để sử dụng và khó khăn hơn nhiều, và vì vậy tôi nghĩ rằng nhiều phần mềm sẽ có một đuôi dài nơi nó sẽ không thích ứng

38:01

apps because these are not like live player sort of repositories or digital infrastructure and we will need these tools.

Các ứng dụng vì đây không phải là các kho lưu trữ hoặc cơ sở hạ tầng số kiểu người chơi trực tiếp và chúng ta sẽ cần những công cụ này.

38:07

But I think for everyone else I think it's very worth meeting in some middle point.

Nhưng tôi nghĩ đối với mọi người khác, tôi nghĩ rất đáng để gặp nhau ở một điểm trung gian nào đó.

38:12

So I'm bullish on both if that makes sense.

Vì vậy, tôi lạc quan về cả hai nếu điều đó có ý nghĩa.

38:15

So in summary, what an amazing time to get into the industry.

Tóm lại, thật là một thời điểm tuyệt vời để bước vào ngành.

38:18

We need to rewrite a ton of code.

Chúng ta cần viết lại rất nhiều mã.

38:20

A ton of code will be written by professionals and by coders.

Rất nhiều mã sẽ được viết bởi các chuyên gia và lập trình viên.

38:24

These LLMs are kind of like utilities, kind of like fabs, but they're kind of especially like operating systems.

Những LLM này giống như các tiện ích, giống như các fab, nhưng chúng đặc biệt giống như các hệ điều hành.

38:29

But it's so early.

Nhưng nó còn quá sớm.

38:31

It's like 1960s of operating systems and I think a lot of the analogies cross over.

Nó giống như những năm 1960 của hệ điều hành và tôi nghĩ nhiều phép loại suy có thể áp dụng.

38:36

And these LLMs are kind of like these fallible people spirits that we have to learn to work with.

Và những LLM này giống như những linh hồn con người dễ sai lầm mà chúng ta phải học cách làm việc cùng.

38:42

And in order to do that properly, we need to adjust our infrastructure towards it.

Và để làm điều đó đúng cách, chúng ta cần điều chỉnh cơ sở hạ tầng của mình theo hướng đó.

38:47

So when you're building these LLM apps, I describe some of the ways of working effectively with these

Vì vậy, khi bạn xây dựng các ứng dụng LLM này, tôi mô tả một số cách làm việc hiệu quả với những

38:53

LLMs and some of the tools that make that possible and how you can spin this loop very quickly and basically create partial autonomy products and then yeah, a lot of code has to also be written for the agents more directly.

LLM và một số công cụ giúp điều đó khả thi và cách bạn có thể xoay vòng lặp này rất nhanh và về cơ bản tạo ra các sản phẩm tự chủ một phần, và sau đó, vâng, rất nhiều mã cũng phải được viết trực tiếp hơn cho các tác nhân.

39:05

But in any case, going back to the Iron Man suit analogy, I think what we'll see over the next decade roughly is we're going to take

Nhưng dù sao đi nữa, quay lại phép loại suy bộ giáp Iron Man, tôi nghĩ những gì chúng ta sẽ thấy trong khoảng một thập kỷ tới là chúng ta sẽ di chuyển

39:13

the slider from left to right.

Thanh trượt từ trái sang phải.

39:14

And it's very interesting.

Và nó rất thú vị.

39:15

It's going to be very interesting to see what that looks like.

Sẽ rất thú vị để xem điều đó trông như thế nào.

39:19

And I can't wait to build it with all of you.

Và tôi rất nóng lòng được xây dựng nó cùng với tất cả các bạn.

39:22

Thank you.

Cảm ơn.

Transcript

Hiển thị

Three Eras of Software

Andrej Karpathy introduces three paradigms of software: Software 1.0 (explicit code), Software 2.0 (neural network weights), and Software 3.0 (prompts for LLMs). He explains how LLMs are becoming a programmable utility, with companies providing metered API access similar to electricity. At Tesla, Software 2.0 replaced much of the C++ code in autopilot. LLMs are programmable in English, making prompts a new programming language.

Andrej Karpathy giới thiệu ba mô hình phần mềm: Phần mềm 1.0 (mã rõ ràng), Phần mềm 2.0 (trọng số mạng nơ-ron) và Phần mềm 3.0 (lời nhắc cho LLM). Ông giải thích cách LLM đang trở thành một tiện ích có thể lập trình, với các công ty cung cấp quyền truy cập API theo đồng hồ đo tương tự như điện. Tại Tesla, Phần mềm 2.0 đã thay thế phần lớn mã C++ trong hệ thống lái tự động. LLM có thể lập trình bằng tiếng Anh, biến lời nhắc thành một ngôn ngữ lập trình mới.