0:00

29:43

Andrej Karpathy: From Vibe Coding to Agentic Engineering w/ Stephanie Zhan

Sequoia Capital·29:43·Technology·C1

Chương · 5

Chương 1·The Rise of Software 3.0

Hiển thị

Tiếng ViệtAuto-scroll

0:02

We're so excited for our very first special guest.

Chúng tôi rất hào hứng với vị khách mời đặc biệt đầu tiên của mình.

0:06

He has helped build modern AI, then explain modern AI, and then occasionally rename modern AI.

Anh ấy đã giúp xây dựng AI hiện đại, sau đó giải thích AI hiện đại, và thỉnh thoảng lại đổi tên AI hiện đại.

0:15

He actually helped co-found OpenAI right inside of this office, was the one who actually got autopilot working at Tesla back in the day.

Anh ấy thực sự đã đồng sáng lập OpenAI ngay trong văn phòng này, là người đã làm cho tính năng tự lái hoạt động tại Tesla hồi đó.

0:22

And he has a rare gift of making the most complex technical shifts feel both accessible and inevitable.

Và anh ấy có một tài năng hiếm có là làm cho những thay đổi kỹ thuật phức tạp nhất trở nên dễ tiếp cận và tất yếu.

0:30

You all know him for having coined the term vibe coding last year, but just in the last few months he said something even more startling, that he's never felt more behind as a programmer.

Mọi người đều biết anh ấy là người đặt ra thuật ngữ "vibe coding" năm ngoái, nhưng chỉ vài tháng trước anh ấy đã nói một điều còn đáng ngạc nhiên hơn, rằng anh ấy chưa bao giờ cảm thấy mình tụt hậu hơn với tư cách một lập trình viên.

0:41

That's where we're starting today.

Đó là nơi chúng ta bắt đầu hôm nay.

0:42

Thank you, Andre, for joining us.

Cảm ơn Andre đã tham gia cùng chúng tôi.

0:44

Yeah, hello.

Vâng, xin chào.

0:45

I'm excited to be here and to kick us off.

Tôi rất hào hứng được ở đây và bắt đầu buổi nói chuyện.

0:47

Okay, so just a couple months ago you said that you've never felt more behind as a programmer.

Được rồi, chỉ vài tháng trước bạn nói rằng bạn chưa bao giờ cảm thấy mình tụt hậu hơn với tư cách một lập trình viên.

0:52

That's startling to hear from you of all people.

Điều đó thật đáng ngạc nhiên khi nghe từ bạn, trong số tất cả mọi người.

0:55

Um can you help us unpack that?

Ừm, bạn có thể giúp chúng tôi giải thích điều đó không?

0:58

Was that feeling exhilarating or unsettling?

Cảm giác đó là phấn khích hay bất an?

1:00

Uh yeah, mixture of both for sure.

Ừ, chắc chắn là cả hai.

1:02

Uh well, first of all, um I guess like as many of you I've been using agentic tools like Alpha code adjacent things uh for a while, maybe over the last year as it came out.

Ừm, trước hết, tôi đoán như nhiều người, tôi đã sử dụng các công cụ tác nhân như Alpha code và những thứ tương tự trong một thời gian, có lẽ hơn một năm qua khi nó ra mắt.

1:10

And it was very good at, you know, chunks of code.

Và nó rất giỏi trong việc xử lý các đoạn mã.

1:13

And sometimes it would mess up and you have to edit them, and it was kind of helpful.

Đôi khi nó mắc lỗi và bạn phải sửa chúng, và nó khá hữu ích.

1:17

And then I would say December was this uh clear point where

Và sau đó tôi cho rằng tháng 12 là một thời điểm rõ ràng khi

1:20

for me uh I was on a break, so I had a bit more time.

Đối với tôi, tôi đang trong kỳ nghỉ, vì vậy tôi có nhiều thời gian hơn.

1:23

I think many other people were similar.

Tôi nghĩ nhiều người khác cũng tương tự.

1:24

And uh I just start to notice that with the latest models uh the chunks just came out fine.

Và tôi bắt đầu nhận thấy rằng với các mô hình mới nhất, các đoạn mã được tạo ra hoàn hảo.

1:28

And then I kept asking for more, and just came out fine.

Và sau đó tôi tiếp tục yêu cầu thêm, và chúng vẫn hoàn hảo.

1:31

And then I can't remember the last time I corrected it.

Và tôi không nhớ lần cuối tôi phải sửa nó.

1:33

And then I was I just uh you know, trusted the system more and more.

Và rồi tôi bắt đầu tin tưởng hệ thống ngày càng nhiều.

1:36

And then I was vibe coding.

Và sau đó tôi đã "vibe coding".

1:38

- laughter - And uh so it was kind of a I do think that it was a very stark transition.

- [cười] - Và ừ, đó là một sự chuyển đổi rất rõ rệt.

1:43

I think that a lot of people actually I tried to I tried to stress this on uh Twitter and or X because I think a lot of people experienced AI uh last year as ChatGPT adjacent thing, uh but you really had to look again, and you had to look as of December uh because things have changed

Tôi nghĩ rằng nhiều người thực sự đã trải nghiệm AI năm ngoái như một thứ gì đó liên quan đến ChatGPT, nhưng bạn thực sự phải nhìn lại, và phải nhìn từ tháng 12 vì mọi thứ đã thay đổi

1:58

fundamentally and uh especially on this like agentic coherent workflow that really started to actually work.

Một cách cơ bản và đặc biệt là về quy trình làm việc tác nhân mạch lạc này thực sự bắt đầu hoạt động.

2:03

Um and so I would say that um yeah, it was just that realization that really uh had me um go down the whole rabbit hole of just, you know, infinity side project.

Ừm, và tôi sẽ nói rằng đó chính là nhận thức đó đã khiến tôi đi sâu vào cái hố thỏ, bạn biết đấy, vô số dự án phụ.

2:14

Uh my side projects folder is like extremely full with lots of random things and uh just I've been coding all

Thư mục dự án phụ của tôi cực kỳ đầy ắp với rất nhiều thứ ngẫu nhiên và tôi đã code suốt

2:22

the time.

Thời gian.

2:22

Uh so uh yeah, that kind of happened in December, I would say.

Ừ, vậy điều đó đã xảy ra vào tháng 12, tôi nghĩ vậy.

2:25

And I was looking at the repercussions of that since.

Và tôi đã xem xét những tác động của nó kể từ đó.

2:28

Um you've talked a lot about this idea of LLMs as a new computer.

Ừm, bạn đã nói rất nhiều về ý tưởng LLM như một máy tính mới.

2:33

Um that it isn't just better software, it's a whole new computing paradigm.

Ừm, nó không chỉ là phần mềm tốt hơn, mà là một mô hình điện toán hoàn toàn mới.

2:38

And um software 1.0 was explicit rules, software 2.0 was learned weights, software 3.0 is this.

Và phần mềm 1.0 là các quy tắc rõ ràng, phần mềm 2.0 là các trọng số học được, phần mềm 3.0 là cái này.

2:44

Um if that's actually true, what does a team build differently the day they actually believe this?

Ừm, nếu điều đó thực sự đúng, thì một đội ngũ sẽ xây dựng khác đi như thế nào ngay khi họ thực sự tin vào điều này?

2:51

Right.

Đúng vậy.

2:51

So uh yeah, exactly.

Vậy ừ, chính xác.

2:52

So software 1.0 I'm writing code, software 2.0 I'm actually programming by creating data sets and training uh training neural networks.

Vậy phần mềm 1.0 tôi viết mã, phần mềm 2.0 tôi thực sự lập trình bằng cách tạo tập dữ liệu và huấn luyện mạng nơ-ron.

2:58

So the programming is kind of like arranging data sets and maybe some objectives and neural network architectures.

Vậy lập trình giống như sắp xếp các tập dữ liệu và có thể một số mục tiêu và kiến trúc mạng nơ-ron.

3:04

And then what happened is that basically if you train one of these GPT models or LLMs on a sufficiently

Và sau đó điều đã xảy ra là về cơ bản nếu bạn huấn luyện một trong những mô hình GPT hoặc LLM trên một tập hợp đủ lớn

3:10

large set of tasks implicit basically implicitly because by training on the internet you have to multitask all the things that are in the data set.

Các nhiệm vụ, về cơ bản là ngầm, bởi vì khi huấn luyện trên internet, bạn phải đa nhiệm tất cả mọi thứ có trong tập dữ liệu.

3:17

Uh these actually become kind of like a programmable computer in a certain sense.

Ừm, những thứ này thực sự trở thành một loại máy tính có thể lập trình theo một nghĩa nào đó.

3:20

So software 3.0 is kind of about uh you know, your programming now turns to prompting and what's in the context window is your lever over the

Vậy phần mềm 3.0 là về việc lập trình của bạn bây giờ chuyển thành prompting và những gì trong cửa sổ ngữ cảnh là đòn bẩy của bạn đối với

3:28

interpreter that is the LLM that is kind of like interpreting your context and uh performing computation in the digital digital information space.

Trình thông dịch là LLM, nó giống như diễn giải ngữ cảnh của bạn và thực hiện tính toán trong không gian thông tin kỹ thuật số.

3:34

So I guess um yeah, that's kind of the transition and I think there's a few examples of that really drove it home for me and maybe that might be instructive.

Vậy tôi đoán ừ, đó là sự chuyển đổi và tôi nghĩ có một vài ví dụ thực sự đã làm rõ điều đó cho tôi và có thể điều đó sẽ hữu ích.

3:44

Uh so for example, when you when Open Claw came out when you want to install Open Claw, you

Ừ, ví dụ, khi Open Claw ra mắt, khi bạn muốn cài đặt Open Claw, bạn

3:50

would expect that normally this is a bash script like a shell script.

Sẽ mong đợi bình thường đây là một tập lệnh bash, một tập lệnh shell.

3:53

So, run the shell script to run uh to install OpenClaw.

Vậy, chạy tập lệnh shell để cài đặt OpenClaw.

3:56

Um but the thing is that in order to target lots of different platforms and lots of different types of computers you might run an OpenClaw, uh this these shell scripts usually ballooned up and become extremely complex.

Ừ nhưng vấn đề là để nhắm đến nhiều nền tảng khác nhau và nhiều loại máy tính khác nhau, bạn có thể chạy OpenClaw, uh những script shell này thường phình to ra và trở nên cực kỳ phức tạp.

4:04

But the thing is you're still stuck in a software 1.0 universe of wanting to write the code.

Nhưng vấn đề là bạn vẫn bị mắc kẹt trong vũ trụ phần mềm 1.0 với mong muốn viết mã.

4:09

And actually the OpenClaw installation is a is a copy-paste of a bunch of text that you're supposed to give to your agent.

Và thực ra, việc cài đặt OpenClaw chỉ là sao chép một đống văn bản mà bạn được cho là sẽ đưa cho agent của mình.

4:14

Uh so, basically it's it's a little skill of uh you know, copy-paste this and give it to your agent and it will install OpenClaw.

Ừ, về cơ bản đó là một kỹ năng nhỏ kiểu như, sao chép cái này và đưa cho agent của bạn và nó sẽ cài đặt OpenClaw.

4:20

And the reason this is a lot more powerful is you're working now in the software 3.0 paradigm where you don't have to precisely uh

Và lý do điều này mạnh mẽ hơn nhiều là bạn đang làm việc trong mô hình phần mềm 3.0, nơi bạn không cần phải mô tả chính xác

4:26

spell out, you know, all the individual details of that setup.

từng chi tiết riêng lẻ của quá trình thiết lập đó.

4:28

The agent has its own intelligence that it packages up and then it kind of like follows the instructions and it looks at your environment, your computer, and it kind of like performs intelligent actions to make things work and debugs things in the loop.

Agent có trí thông minh riêng, nó đóng gói lại và sau đó nó làm theo hướng dẫn, nhìn vào môi trường của bạn, máy tính của bạn, và nó thực hiện các hành động thông minh để mọi thứ hoạt động và tự sửa lỗi trong quá trình.

4:39

And it's just like so much more powerful, right?

Và nó mạnh mẽ hơn rất nhiều, phải không?

4:42

So, I think that's

Vì vậy, tôi nghĩ đó là

4:43

a very different kind of like way of thinking about it.

một cách suy nghĩ rất khác về vấn đề này.

4:45

It's just like, what is the piece of text to copy-paste to your agent?

Nó giống như, đoạn văn bản nào để sao chép và đưa cho agent của bạn?

4:49

That's the programming paradigm now.

Đó là mô hình lập trình bây giờ.

4:50

I think one more maybe uh example that comes to mind that is even more extreme than that is when I was building um MenuGen.

Tôi nghĩ thêm một ví dụ nữa có thể xuất hiện trong đầu, thậm chí còn cực đoan hơn, là khi tôi xây dựng MenuGen.

4:57

So, MenuGen is this idea where you um you come to a restaurant, they give you a menu, there's no pictures

Vậy, MenuGen là ý tưởng này: bạn đến một nhà hàng, họ đưa cho bạn thực đơn, không có hình ảnh

5:03

usually, so I don't know what any of these things are.

Thông thường, vì vậy tôi không biết bất kỳ món nào trong số này là gì.

5:05

Uh usually I like 30% of the things I don't have no idea what they are, 50%.

Ừ thường thì 30% những thứ tôi không biết chúng là gì, 50%.

5:09

So, I wanted to take a photo of the restaurant menu and to get pictures of what those things might look like in a generic sense.

Vì vậy, tôi muốn chụp ảnh thực đơn nhà hàng và lấy hình ảnh về những món đó một cách tổng quát.

5:16

And so, I built I built coded this app that basically lets you upload a photo and it does all this stuff and it runs on Vercel and uh it basically re-renders the menu and it gives you like all the items and it gives you a picture that it uses an image um you know, generator uh for to basically OCR all the different titles, uh use the image generator to get pictures of them and then shows it

Và tôi đã xây dựng ứng dụng này về cơ bản cho phép bạn tải lên một bức ảnh và nó làm tất cả những thứ này, chạy trên Vercel và uh nó về cơ bản hiển thị lại thực đơn, đưa cho bạn tất cả các mục và đưa cho bạn một bức ảnh mà nó sử dụng một trình tạo hình ảnh để OCR tất cả các tiêu đề khác nhau, dùng trình tạo hình ảnh để lấy hình ảnh của chúng và sau đó hiển thị nó

5:37

to you.

cho bạn.

5:38

And then I saw the software 3.0 version of this, which is which blew my mind, which is literally just take your photo, give it to Gemini, and say use Nano Banana to overlay the things onto the menu." Uh and Nana Banana basically returned an image that is exactly the picture of the menu that I took, but it actually put into the pixels, it rendered the different things in the menu.

Và sau đó tôi thấy phiên bản phần mềm 3.0 của việc này, điều đã làm tôi kinh ngạc, đó chỉ đơn giản là chụp ảnh của bạn, đưa cho Gemini, và nói "dùng Nano Banana để chồng các thứ lên thực đơn." Và Nana Banana về cơ bản trả về một hình ảnh chính xác là bức ảnh thực đơn tôi đã chụp, nhưng nó thực sự đặt vào các pixel, nó hiển thị các món khác nhau trong thực đơn.

6:00

And this blew my mind because actually all of my menu gen is spurious.

Và điều này làm tôi kinh ngạc vì thực ra toàn bộ menu gen của tôi là vô dụng.

6:04

It's working in the old paradigm that app shouldn't exist.

Nó đang hoạt động trong mô hình cũ, ứng dụng đó không nên tồn tại.

6:06

Uh and uh yeah, the software 3.0 paradigm is a lot more kind of raw.

Ừ và yeah, mô hình phần mềm 3.0 thô sơ hơn nhiều.

6:11

It just um your neural network is doing more and more of the work, and your prompt or context is just the image, and the output is an image, and there's no need to have any of the app in between.

Nó chỉ là mạng nơ-ron của bạn đang làm ngày càng nhiều công việc, và prompt hoặc ngữ cảnh của bạn chỉ là hình ảnh, đầu ra là hình ảnh, và không cần bất kỳ ứng dụng nào ở giữa.

6:23

Um so, I think that people have to kind of like reframe, you know, not to work in the existing paradigm of what things existed and just think about it as a speed up of what exists.

Ừm, vì vậy tôi nghĩ mọi người cần phải suy nghĩ lại, bạn biết đấy, đừng làm việc trong mô hình hiện tại của những thứ đã tồn tại và chỉ nghĩ về nó như một sự tăng tốc của những gì đang có.

6:33

It's actually like new things are available now.

Thực ra bây giờ có những thứ mới khả dụng.

6:36

And going back to your programming question, it's not even I think that's also an example of working in the in the old mindset because it's not just about programming and programming becoming faster.

Và quay lại câu hỏi về lập trình của bạn, tôi nghĩ đó cũng là một ví dụ về việc làm việc trong tư duy cũ vì nó không chỉ về lập trình và lập trình trở nên nhanh hơn.

6:44

This is more general information processing that is automatable now.

Đây là xử lý thông tin tổng quát hơn mà bây giờ có thể tự động hóa.

6:47

So, um it's not just even about code.

Vì vậy, ừm, nó không chỉ về mã.

6:49

So, previous code worked over a kind of like structured data, right?

Vậy, mã trước đây hoạt động trên một loại dữ liệu có cấu trúc, phải không?

6:52

And uh you write

Và uh bạn viết

6:53

code over structured data.

mã trên dữ liệu có cấu trúc.

6:54

But like for example with my LLM knowledge bases project, um uh basically you get LLMs to create wikis for your organization or for you in person, etc.

Nhưng ví dụ với dự án cơ sở tri thức LLM của tôi, ừm uh về cơ bản bạn có LLM tạo wiki cho tổ chức của bạn hoặc cho cá nhân bạn, v.v.

7:01

This is not even a program.

Đây thậm chí không phải là một chương trình.

7:02

This is not something that could exist before because there was no there was no code that would create a knowledge base based on a bunch of facts.

Đây không phải là thứ có thể tồn tại trước đây vì không có mã nào có thể tạo cơ sở tri thức dựa trên một loạt sự kiện.

7:09

But now you can just take these documents and

Nhưng bây giờ bạn có thể lấy những tài liệu này và

7:12

uh basically uh recompile them in a different way, and uh reorder them, and create something that is uh new and interesting uh as a reframing of the data.

Ừ về cơ bản biên dịch lại chúng theo một cách khác, và sắp xếp lại chúng, và tạo ra thứ gì đó mới và thú vị như một sự tái cấu trúc dữ liệu.

7:20

And so, these are new things that weren't possible.

Và vì vậy, đây là những điều mới mà trước đây không thể.

7:22

Uh and so, I think this is uh something that I keep trying to get back to as to not only what can we do that existed that is faster now, but I think there's new opportunities of

Ừ và vì vậy, tôi nghĩ đây là điều tôi luôn cố gắng quay lại, không chỉ những gì chúng ta có thể làm nhanh hơn, mà tôi nghĩ có những cơ hội mới

7:33

just things that couldn't be possible before.

về những thứ trước đây không thể.

7:35

And I almost think that's more exciting.

Và tôi gần như nghĩ điều đó thú vị hơn.

7:37

I love the menu gen progression and dichotomy that you laid out, and I think even I'm sure many folks here followed your own progression of programming from last October to early January, February this year.

Tôi thích sự tiến triển và sự phân đôi của menu gen mà bạn đã trình bày, và tôi nghĩ nhiều người ở đây cũng theo dõi sự tiến triển lập trình của bạn từ tháng 10 năm ngoái đến đầu tháng 1, tháng 2 năm nay.

7:50

If you extrapolate that further, what is the 2026 equivalent for building websites in the '90s, building mobile apps in the 2010s, building SaaS in the last cloud era?

Nếu bạn ngoại suy xa hơn, điều gì sẽ tương đương với việc xây dựng website vào những năm 90, xây dựng ứng dụng di động vào những năm 2010, xây dựng SaaS trong kỷ nguyên đám mây trước đây vào năm 2026?

8:02

What will look completely obvious in hindsight that is still mostly unbuilt today?

Điều gì sẽ hoàn toàn hiển nhiên khi nhìn lại mà hầu hết vẫn chưa được xây dựng ngày hôm nay?

8:08

Um - clears throat - Well, going with the example of MenuGen, I guess.

Ừm - [hắng giọng] - Chà, theo ví dụ về MenuGen, tôi đoán vậy.

8:11

So, a lot of this code shouldn't exist and it's just neural networks doing most of the work.

Vậy, rất nhiều mã này không nên tồn tại và chỉ có mạng nơ-ron làm hầu hết công việc.

8:16

Um I do think that the extrapolation looks very weird because you could basically imagine I don't think I Yeah, so you could imagine completely neural computers in a certain sense.

Ừm tôi nghĩ sự ngoại suy trông rất kỳ lạ vì về cơ bản bạn có thể tưởng tượng, tôi không nghĩ tôi Ừ, bạn có thể tưởng tượng những máy tính hoàn toàn là nơ-ron theo một nghĩa nào đó.

8:25

Uh you feed a raw videos like imagine a device that takes raw videos or audio into basically what's a neural net and uses diffusion to render a UI that is kind of like, you know, unique for that moment in a certain

Ừ bạn đưa vào video thô, hãy tưởng tượng một thiết bị nhận video hoặc âm thanh thô vào về cơ bản là một mạng nơ-ron và sử dụng diffusion để hiển thị một giao diện người dùng độc đáo cho khoảnh khắc đó theo một

8:38

sense.

nghĩa nào đó.

8:38

And um I kind of feel like in the early days of computing actually, people were a little bit confused as to whether computers would look like calculators or computers would look like neural nets.

Và ừm tôi cảm thấy rằng trong những ngày đầu của máy tính, thực ra mọi người hơi bối rối liệu máy tính sẽ giống máy tính bỏ túi hay máy tính sẽ giống mạng nơ-ron.

8:47

And in '50s and '60s, it was not really obvious which way would go.

Và vào những năm 50 và 60, không thực sự rõ ràng hướng đi nào sẽ được chọn.

8:50

And of course, we went down the calculator path and ended up building classical computing and then

Và tất nhiên, chúng ta đã đi theo con đường máy tính và cuối cùng xây dựng nên máy tính cổ điển, và sau đó

8:55

neural nets are currently running virtualized on existing computers.

Mạng nơ-ron hiện đang chạy ảo hóa trên các máy tính hiện có.

8:57

But you could imagine I think that a lot of this will flip and that the neural net becomes kind of like the host process.

Nhưng bạn có thể tưởng tượng, tôi nghĩ rằng nhiều điều sẽ đảo ngược và mạng nơ-ron sẽ trở thành một loại tiến trình chủ.

9:04

And the CPUs become kind of like the co-processor.

Và CPU trở thành một loại bộ đồng xử lý.

9:06

So, we saw the diagram of, you know, intelligence compute is going to neural networks is going to take over and become the dominant spend of flops.

Vì vậy, chúng ta đã thấy sơ đồ, bạn biết đấy, tính toán thông minh sẽ chuyển sang mạng nơ-ron và sẽ chiếm lĩnh, trở thành chi phí flops chủ đạo.

9:14

So, you could imagine something really weird and foreign when where neural nets are doing most of the heavy lifting, they're using tool use as just like, you know, historical appendage for some kinds of like deterministic tasks.

Vì vậy, bạn có thể tưởng tượng một điều gì đó thực sự kỳ lạ và xa lạ khi mạng nơ-ron làm hầu hết các công việc nặng nhọc, chúng sử dụng công cụ như một phần phụ lịch sử cho một số loại tác vụ xác định.

9:24

But what's really running the show is these neural nets that are networked in a certain way.

Nhưng thứ thực sự điều khiển chương trình là các mạng nơ-ron được kết nối theo một cách nhất định.

9:29

Um so, you can imagine something extremely foreign as the

Ừm, vì vậy bạn có thể tưởng tượng một điều gì đó cực kỳ xa lạ như là

9:32

extrapolation, but I think we're going to probably get there sort of piece by piece.

Sự ngoại suy, nhưng tôi nghĩ chúng ta có thể sẽ đạt được điều đó từng bước một.

9:37

And I don't Yeah, I don't that progression is TBD, I would say.

Và tôi không, ừ, tôi không nghĩ sự tiến triển đó là TBD, tôi sẽ nói vậy.

9:41

- snorts - I'd love to talk a little bit about um, uh, this concept of verifiability.

- [khịt mũi] - Tôi muốn nói một chút về khái niệm khả năng kiểm chứng này.

9:46

The fact that AI will automate faster and more easily domains where the output can be verified.

Thực tế là AI sẽ tự động hóa nhanh hơn và dễ dàng hơn các lĩnh vực mà đầu ra có thể được kiểm chứng.

9:51

Um, if that framework is right, what work is about to move much faster than people realize?

Ừm, nếu khuôn khổ đó đúng, công việc nào sắp diễn ra nhanh hơn nhiều so với mọi người nghĩ?

9:57

And what professions do we have that people actually think are safe, but they're actually highly verifiable?

Và những ngành nghề nào mà mọi người thực sự nghĩ là an toàn, nhưng thực ra lại có tính kiểm chứng cao?

10:03

Uh, yes, so I spent uh, some time writing about verifiability and um, basically like traditional computers can easily automate what you can specify in code.

Ừ, vâng, tôi đã dành một thời gian viết về khả năng kiểm chứng và về cơ bản, máy tính truyền thống có thể dễ dàng tự động hóa những gì bạn có thể chỉ định trong mã.

10:10

And uh, kind of this latest round of LLMs can easily automate what you can uh, verify in a certain in a certain sense.

Và ừ, loạt LLM mới nhất này có thể dễ dàng tự động hóa những gì bạn có thể kiểm chứng theo một nghĩa nào đó.

10:18

Uh, because the way this works is that when frontier labs are training these LLMs, these are giant reinforcement learning

Ừ, bởi vì cách thức hoạt động là khi các phòng thí nghiệm tiên phong huấn luyện các LLM này, đây là những môi trường học tăng cường khổng lồ

10:24

environments.

Môi trường.

10:24

So, they are given a verification rewards.

Vì vậy, chúng được đưa ra phần thưởng kiểm chứng.

10:26

And then because of the way that these models are trained, they end up basically uh, progressing and creating these like jagged entities that really peak in capability in kind of like verifiable domains like math and code and adjacent.

Và sau đó, do cách các mô hình này được huấn luyện, cuối cùng chúng tiến triển và tạo ra các thực thể lởm chởm này thực sự đạt đỉnh về khả năng trong các lĩnh vực có thể kiểm chứng như toán học và mã và các lĩnh vực liên quan.

10:39

And kind of like stagnate and are a little bit um, you know, rougher on the edges when uh, things are not kind of like in that in that space.

Và gần như trì trệ và hơi, bạn biết đấy, thô ráp hơn ở các cạnh khi mọi thứ không nằm trong không gian đó.

10:45

So, I think the reason I wrote about verifiability is I'm trying to understand why these things are so jagged.

Vì vậy, tôi nghĩ lý do tôi viết về khả năng kiểm chứng là tôi đang cố gắng hiểu tại sao những thứ này lại lởm chởm như vậy.

10:50

Um, and some of it has to do with how the labs train the models, but I think some of it also has to do with um, the focus of the labs and what they happen to put into the data distribution.

Ừm, và một phần có liên quan đến cách các phòng thí nghiệm huấn luyện mô hình, nhưng tôi nghĩ một phần cũng liên quan đến trọng tâm của các phòng thí nghiệm và những gì họ tình cờ đưa vào phân phối dữ liệu.

10:59

Uh, because some things basically are significantly more valuable in economy and end up creating more environments because the labs wanted to work in those settings.

Ừ, bởi vì một số thứ về cơ bản có giá trị hơn đáng kể trong nền kinh tế và cuối cùng tạo ra nhiều môi trường hơn vì các phòng thí nghiệm muốn làm việc trong những bối cảnh đó.

11:05

So, I think code is a good

Vì vậy, tôi nghĩ mã là một ví dụ

11:07

example of that.

tốt về điều đó.

11:07

There's probably lots of verifiable environments they could think about that happen not to make it into the mix because they're just not that useful to have the capability around.

Có lẽ có rất nhiều môi trường có thể kiểm chứng mà họ có thể nghĩ đến nhưng không được đưa vào hỗn hợp vì chúng không hữu ích lắm để có khả năng đó.

11:15

Um, but I think to me the big um, I guess like the big mystery is uh, the favorite example for a while was that how many letters are in a strawberry?

Ừm, nhưng tôi nghĩ đối với tôi, bí ẩn lớn là, ừ, ví dụ yêu thích trong một thời gian là có bao nhiêu chữ cái trong từ 'strawberry'?

11:23

And the models would famously get this wrong and it's an example of jaggedness.

Và các mô hình nổi tiếng là trả lời sai và đó là một ví dụ về tính lởm chởm.

11:26

Uh, the models now patch this, I think, but the new one is I want to go to a car wash to wash my car, and it's 50 m away, should I drive

Ừ, các mô hình bây giờ đã vá lỗi này, tôi nghĩ vậy, nhưng cái mới là tôi muốn đến tiệm rửa xe để rửa xe, và nó cách 50 m, tôi nên lái xe

11:35

or should I walk?

hay nên đi bộ?

11:36

And state-of-the-art models today will tell you to walk because it's so close.

Và các mô hình tiên tiến nhất hiện nay sẽ bảo bạn đi bộ vì nó quá gần.

11:41

How is it possible that state-of-the-art Opus 4.7 will simultaneously refactor a 100,000 like - laughter - code base a line code base or find zero-day vulnerabilities and yet tells me to walk to this car wash?

Làm thế nào mà Opus 4.7 tiên tiến nhất có thể đồng thời tái cấu trúc một cơ sở mã 100.000 dòng như - [cười] - hoặc tìm lỗ hổng zero-day nhưng lại bảo tôi đi bộ đến tiệm rửa xe?

11:54

This is insane.

Điều này thật điên rồ.

11:56

And to whatever extent these models are remain jagged, it's an

Và ở mức độ nào đó các mô hình này vẫn còn lởm chởm, đó là

12:00

indication that number one, maybe something slightly off.

dấu hiệu cho thấy thứ nhất, có thể có điều gì đó hơi sai.

12:03

Or number two, you need to actually be in the loop a little bit and you need to treat them as tools and you do have to kind of stay in touch with what they're doing.

Hoặc thứ hai, bạn cần thực sự tham gia một chút và bạn cần coi chúng như công cụ và bạn phải theo dõi những gì chúng đang làm.

12:12

And so I think all of my writing, long story short, about verifiability is just trying to understand um why these things are jagged, is there any pattern to it?

Và vì vậy tôi nghĩ tất cả bài viết của tôi, nói ngắn gọn, về khả năng kiểm chứng chỉ là cố gắng hiểu tại sao những thứ này lại lởm chởm, có mô hình nào không?

12:20

And I think it's a some kind of combination of verifiable

Và tôi nghĩ đó là sự kết hợp nào đó của khả năng kiểm chứng

12:23

plus labs care.

cộng với sự quan tâm của phòng thí nghiệm.

12:24

Maybe one more anecdote that is instructive is from GPT-3.5 to GPT-4, people noticed that chess improved a lot and I think a lot of people thought, oh well, it's just a progression of the capabilities.

Có thể thêm một giai thoại nữa mang tính hướng dẫn là từ GPT-3.5 đến GPT-4, mọi người nhận thấy cờ vua cải thiện rất nhiều và tôi nghĩ nhiều người nghĩ, ồ, đó chỉ là sự tiến triển của các khả năng.

12:36

But actually it's it's more that I think this is public information, I think I saw it on the internet.

Nhưng thực ra, tôi nghĩ đây là thông tin công khai, tôi nghĩ tôi đã thấy nó trên internet.

12:41

Um a huge amount of like data of chess made it into the pre-training set.

Ừm, một lượng lớn dữ liệu cờ vua đã được đưa vào tập tiền huấn luyện.

12:45

And just because it's in the data distribution, basically the model improved a lot more than it would just by default.

Và chỉ vì nó nằm trong phân phối dữ liệu, về cơ bản mô hình đã cải thiện nhiều hơn so với mặc định.

12:51

So someone at OpenAI decided to add this data and now you have a capability that just peaked a lot more.

Vì vậy, ai đó tại OpenAI đã quyết định thêm dữ liệu này và bây giờ bạn có một khả năng vừa đạt đỉnh cao hơn nhiều.

12:56

And so that's why I think I'm stressing this dimension of it as we are slightly at the mercy of whatever the labs are doing, whatever they happen to put into the mix and you have to actually explore this thing that they give you that has no manual and it works in certain

Và đó là lý do tại sao tôi nhấn mạnh khía cạnh này: chúng ta hơi phụ thuộc vào những gì các phòng thí nghiệm đang làm, bất cứ thứ gì họ tình cờ đưa vào hỗn hợp và bạn phải thực sự khám phá thứ họ đưa cho bạn mà không có hướng dẫn sử dụng và nó hoạt động trong một số

13:11

settings but maybe not in some settings and you have to kind of explore it a little bit and if you're in the circuits that were part of the RL, you fly and if you're in the circuits that are out of the data distribution, you're going to struggle and you have to kind of figure out which circuits you're in your application.

bối cảnh nhưng có thể không trong một số bối cảnh khác và bạn phải khám phá nó một chút, và nếu bạn ở trong các mạch là một phần của RL, bạn sẽ bay, còn nếu bạn ở ngoài phân phối dữ liệu, bạn sẽ gặp khó khăn và bạn phải tìm ra mạch nào bạn đang ở trong ứng dụng của mình.

13:26

And if you and if you're not in the circuits, then you

Và nếu bạn không ở trong các mạch đó, thì bạn

13:29

have to really look at fine-tuning and doing some of your own work because it's not going to necessarily come out of the LLM out of the box.

phải thực sự xem xét tinh chỉnh và tự làm một số công việc vì nó sẽ không nhất thiết ra khỏi LLM ngay lập tức.

13:37

I'd love to come back to the concept of jagged intelligence in a little bit.

Tôi muốn quay lại khái niệm về trí thông minh lởm chởm một chút.

13:41

Um if you were a founder today and thinking about building a company, you are trying to solve a problem that you think is tractable, something that uh is a domain that is verifiable, but you look around and you think, "Oh my gosh, well the labs have really started uh got getting to escape velocity and the

Ừm, nếu bạn là một nhà sáng lập ngày nay và đang nghĩ đến việc xây dựng một công ty, bạn đang cố gắng giải quyết một vấn đề mà bạn cho là có thể giải quyết được, một lĩnh vực có thể kiểm chứng, nhưng bạn nhìn quanh và nghĩ, "Trời ơi, các phòng thí nghiệm đã bắt đầu đạt đến vận tốc thoát và

13:58

ones that seem most obvious, math, coding, and others." What would your advice be to the founders in the audience?

Những lĩnh vực rõ ràng nhất, toán học, lập trình, và những lĩnh vực khác." Lời khuyên của bạn dành cho các nhà sáng lập trong khán giả là gì?

14:06

Um So, I think maybe that comes to the previous question of I do think that verifiability because it um Let me think.

Ừm, tôi nghĩ có lẽ điều đó liên quan đến câu hỏi trước về tính kiểm chứng bởi vì nó... Để tôi suy nghĩ.

14:13

So, verifiability makes something tractable in the current paradigm because you can throw huge amount of RL at it.

Vì vậy, tính kiểm chứng làm cho một vấn đề trở nên khả thi trong mô hình hiện tại vì bạn có thể áp dụng một lượng lớn RL vào nó.

14:19

Um So, maybe one way to see it is that uh that remains true even if the labs are not focusing on it directly.

Ừm, có lẽ một cách nhìn là điều đó vẫn đúng ngay cả khi các phòng thí nghiệm không trực tiếp tập trung vào nó.

14:27

So, if you are in a verifiable setting where you

Vì vậy, nếu bạn đang ở trong một môi trường có thể kiểm chứng nơi bạn

14:31

could create these RL environments or examples, then that actually sets you up to potentially do your own fine-tuning and you might benefit from that.

Có thể tạo ra các môi trường RL hoặc các ví dụ, thì điều đó thực sự giúp bạn có khả năng tự tinh chỉnh và bạn có thể hưởng lợi từ điều đó.

14:37

But, that is fundamentally technology that just works.

Nhưng về cơ bản, đó là công nghệ hoạt động.

14:39

You can pull a lever.

Bạn có thể kéo một cần gạt.

14:40

If you have huge amount of diverse data sets of RL environments, etc., uh you can use your favorite fine-tuning framework and um and uh

Nếu bạn có một lượng lớn các bộ dữ liệu đa dạng về môi trường RL, v.v., bạn có thể sử dụng khung tinh chỉnh yêu thích của mình và

14:47

pull the lever and get something that actually uh works pretty well.

Kéo cần gạt và nhận được thứ gì đó thực sự hoạt động khá tốt.

14:49

So, um I don't know what the examples of this might be.

Vì vậy, tôi không biết ví dụ về điều này có thể là gì.

14:52

Um but I do think there are some very valuable uh reinforcement learning environments that people could think of that I think are not part of the Yeah, I don't want to give away the answer, but there is one domain that I think is very uh Oh, okay.

Ừm, nhưng tôi nghĩ có một số môi trường học tăng cường rất có giá trị mà mọi người có thể nghĩ đến mà tôi nghĩ không phải là một phần của... Vâng, tôi không muốn tiết lộ câu trả lời, nhưng có một lĩnh vực mà tôi nghĩ rất... Ồ, được rồi.

15:04

Sorry.

Xin lỗi.

15:04

Tôi

15:05

don't mean to vague post on the stage, but uh there are some examples of this.

Không có ý nói mơ hồ trên sân khấu, nhưng có một số ví dụ về điều này.

15:10

On the flip side, what do you think still feels automatable only from a distance?

Mặt khác, bạn nghĩ điều gì vẫn có vẻ tự động hóa được chỉ từ xa?

15:15

I do think that ultimately almost everything can be made uh verifiable to some extent, some things easier than others.

Tôi nghĩ cuối cùng hầu như mọi thứ đều có thể được làm cho có thể kiểm chứng ở một mức độ nào đó, một số thứ dễ hơn những thứ khác.

15:21

Um because even for like things that are like writing or so on, you can imagine having a council of LLM judges and probably get to some get something reasonable out of the from this kind of an approach.

Ừm, bởi vì ngay cả đối với những thứ như viết lách, bạn có thể tưởng tượng có một hội đồng các thẩm phán LLM và có thể đạt được một kết quả hợp lý từ cách tiếp cận này.

15:33

So, it's more about what's easy or hard.

Vì vậy, vấn đề là cái gì dễ hay khó.

15:36

Um So, I do think that ultimately um Uh yeah, I think uh Everything.

Ừm, vì vậy tôi nghĩ cuối cùng... Ừ, tôi nghĩ... Mọi thứ.

15:43

- laughter - Everything is automatable.

- [cười] - Mọi thứ đều có thể tự động hóa.

15:46

Amazing.

Tuyệt vời.

15:46

Okay.

Được rồi.

15:46

Um so, last year you coined the term vibe coding and today we're in a world that feels a little bit more serious, more agentic engineering.

Ừm, năm ngoái bạn đã đặt ra thuật ngữ "vibe coding" và hôm nay chúng ta đang ở trong một thế giới có vẻ nghiêm túc hơn, mang tính kỹ thuật tác tử hơn.

15:53

What do you think is the difference between the two and what would you actually call what we're in today?

Bạn nghĩ sự khác biệt giữa hai điều này là gì và bạn thực sự sẽ gọi thời điểm hiện tại là gì?

15:57

Uh yeah, so I would say vibe coding is about raising the floor for everyone in terms of what they can do in software.

Ừ, vâng, tôi sẽ nói vibe coding là về việc nâng cao nền tảng cho mọi người về những gì họ có thể làm trong lĩnh vực phần mềm.

16:03

So, the floor rises, everyone can vibe code anything, and that's amazing, incredible.

Vì vậy, nền tảng được nâng lên, mọi người đều có thể vibe code bất cứ thứ gì, và điều đó thật tuyệt vời, không thể tin được.

16:07

But then I would say agentic engineering is about preserving the quality bar of what existed before in professional software.

Nhưng sau đó tôi sẽ nói kỹ thuật tác tử là về việc duy trì chất lượng của những gì đã tồn tại trước đây trong phần mềm chuyên nghiệp.

16:13

So, you're not allowed to introduce uh vulnerabilities due to vibe coding.

Vì vậy, bạn không được phép đưa ra các lỗ hổng do vibe coding.

16:17

Um you are um you're still responsible for your software just as before, but can you go faster?

Ừm, bạn vẫn chịu trách nhiệm về phần mềm của mình như trước đây, nhưng bạn có thể làm nhanh hơn không?

16:22

And

Và

16:23

spoiler is you can, but how do you how do you do that properly?

Spoiler là bạn có thể, nhưng làm thế nào để làm điều đó một cách đúng đắn?

16:26

And so, to me agentic engineering when I call it that because I do think it's kind of like an engineering discipline.

Và vì vậy, đối với tôi, kỹ thuật tác tử khi tôi gọi nó như vậy bởi vì tôi nghĩ nó giống như một ngành kỹ thuật.

16:31

You have these agents which are these like spiky entities, they're a bit fallible, a little bit stochastic, but they are extremely powerful.

Bạn có những tác tử này, chúng giống như những thực thể lởm chởm, hơi dễ sai, hơi ngẫu nhiên, nhưng chúng cực kỳ mạnh mẽ.

16:36

And it's how do you how do you coordinate them to go faster

Và làm thế nào để bạn phối hợp chúng để đi nhanh hơn

16:39

without sacrificing your quality bar?

Mà không hy sinh chất lượng?

16:42

And doing that well and correctly um is the realm of agentic engineering.

Và làm điều đó tốt và chính xác là lĩnh vực của kỹ thuật tác tử.

16:48

Um so, I kind of see them as different.

Ừm, vì vậy tôi coi chúng là khác nhau.

16:50

Like one is about maybe raising the raising the floor, and the other is about um you know, extrapolating.

Giống như một cái là về việc nâng cao nền tảng, và cái kia là về việc ngoại suy.

16:55

And what I'm seeing I think is there is a very high ceiling on agent engineer uh capability.

Và những gì tôi thấy, tôi nghĩ có một trần rất cao về khả năng của kỹ thuật tác tử.

17:00

And you know, people used to talk about the 10x engineer previously.

Và bạn biết đấy, mọi người từng nói về kỹ sư 10x trước đây.

17:04

I think that this is uh magnified a lot more.

Tôi nghĩ điều này được khuếch đại nhiều hơn nữa.

17:06

Uh 10x is uh

10x không phải là

17:08

is not uh the speed up you gain.

Không phải là tốc độ tăng bạn đạt được.

17:10

Um and I think uh it does seem to me like people who are very good at this um peak a lot more than 10x uh from my perspective right now.

Ừm, và tôi nghĩ đối với tôi, những người rất giỏi việc này dường như đạt đỉnh cao hơn nhiều so với 10x từ góc nhìn hiện tại của tôi.

17:18

I really like that framing.

Tôi thực sự thích cách diễn đạt đó.

17:20

Um one thing that when Sam Altman came to AI sent last year, one memorable thing he said was that people of different generations use ChatGPT differently.

Ừm, một điều khi Sam Altman đến AI sent năm ngoái, một điều đáng nhớ ông ấy nói là mọi người ở các thế hệ khác nhau sử dụng ChatGPT khác nhau.

17:27

So, if you're in your 30s, you use it as a

Vì vậy, nếu bạn ở độ tuổi 30, bạn sử dụng nó như một

17:31

Google search replacement, but if you're in your teens, ChatGPT is your gateway to the internet.

Thay thế cho Google Search, nhưng nếu bạn ở tuổi teen, ChatGPT là cổng vào internet của bạn.

17:36

What is the parallel here in coding today?

Điểm tương đồng trong lập trình ngày nay là gì?

17:39

If we were to watch two people code using open claw, cloud code, codex, one you'd consider mediocre at it and one you would consider fully AI native, how would you describe the difference?

Nếu chúng ta xem hai người lập trình sử dụng open claw, cloud code, codex, một người bạn cho là tầm thường và một người bạn cho là hoàn toàn AI native, bạn sẽ mô tả sự khác biệt như thế nào?

17:51

I clears throat mean, I think it's just trying to get the most out of the tools that are available, utilizing all of their features, investing into your own kind of setup.

Tôi [hắng giọng] nghĩ rằng đó là cố gắng tận dụng tối đa các công cụ có sẵn, sử dụng tất cả các tính năng của chúng, đầu tư vào thiết lập riêng của bạn.

18:00

So, just like previously, all the engineers are used to basically getting the most out of the tools you use, either it's Vim or VS Code or now it's you know, cloud code or codex or so on.

Vì vậy, giống như trước đây, tất cả các kỹ sư đều quen với việc tận dụng tối đa các công cụ bạn sử dụng, dù là Vim hay VS Code, hay bây giờ là cloud code hoặc codex, v.v.

18:11

So, um just investing into your setup

Vì vậy, chỉ cần đầu tư vào thiết lập của bạn

18:13

and utilizing a lot of the, you know, tools that are available to you.

Và sử dụng nhiều công cụ có sẵn cho bạn.

18:18

Um and I think it just kind of looks like that.

Và tôi nghĩ nó trông như vậy.

18:22

I do think that maybe related thought is um a lot of people are maybe hiring for this, right?

Tôi nghĩ có một suy nghĩ liên quan là nhiều người có thể đang tuyển dụng cho điều này, phải không?

18:29

Because they want to hire strong agentic engineers.

Bởi vì họ muốn tuyển những kỹ sư có năng lực tác nhân mạnh.

18:32

I do think that what I'm seeing is that the, you know, most people are still not refactored their their hiring process for agentic engineer capability, right?

Tôi nghĩ điều tôi thấy là hầu hết mọi người vẫn chưa thay đổi quy trình tuyển dụng của họ cho năng lực tác nhân kỹ sư, phải không?

18:43

Like if

Giống như nếu

18:44

you're giving out puzzles to solve, then this is still the old paradigm.

Bạn đưa ra các câu đố để giải, thì đó vẫn là mô hình cũ.

18:48

I would say that hiring have to has to look like give me a really big project and see someone implement that big project.

Tôi sẽ nói rằng tuyển dụng phải trông như thế này: hãy cho tôi một dự án lớn và xem ai đó triển khai dự án lớn đó.

18:55

Like let's write, say a Twitter clone for agents and then make it really good, make it really secure, and then have some agents simulate some activity on this Twitter.

Ví dụ, hãy viết một bản sao Twitter cho các tác nhân, làm cho nó thực sự tốt, thực sự an toàn, và sau đó có một số tác nhân mô phỏng hoạt động trên Twitter này.

19:05

And then I'm going to use

Và sau đó tôi sẽ sử dụng

19:07

codex 5.4 x high to try to break your break your this website that you deployed and they're going to try to basically break it and they should not be able to break it.

Codex 5.4 x high để cố gắng phá vỡ trang web bạn đã triển khai và chúng sẽ cố gắng phá vỡ nó và chúng không thể phá vỡ nó.

19:17

And so maybe it looks like that, right?

Và vì vậy, có thể nó trông như thế, phải không?

19:20

And so yeah, watching people in that setting and building some bigger projects and utilize utilizing the tooling is maybe what I would look at for the most part.

Và vâng, xem mọi người trong bối cảnh đó và xây dựng một số dự án lớn hơn và sử dụng các công cụ có lẽ là điều tôi sẽ chú ý nhất.

19:29

And as agents do more, what human skill do you think becomes more valuable, not less?

Và khi các tác nhân làm được nhiều hơn, kỹ năng nào của con người trở nên có giá trị hơn, không phải ít đi?

19:35

Also, yeah, it's a good question.

Ừ, đó là một câu hỏi hay.

19:37

I think um Well, right now the answer is that the agents are catalog these internal entities, right?

Tôi nghĩ hiện tại câu trả lời là các tác nhân đang phân loại các thực thể nội bộ này, phải không?

19:42

So it's remarkable um you basically still have to be in charge of the aesthetics, the judgment, the taste, and a little bit of oversight.

Vì vậy, thật đáng chú ý là bạn vẫn phải chịu trách nhiệm về thẩm mỹ, phán đoán, gu thẩm mỹ và một chút giám sát.

19:51

And maybe one of my favorite examples of like the weirdness of agents is um for menu gen, you sign up with a Google Google account, but you purchase credits using a Stripe account and both of them have email addresses.

Và có lẽ một trong những ví dụ yêu thích của tôi về sự kỳ lạ của các tác nhân là đối với menu gen, bạn đăng ký bằng tài khoản Google, nhưng bạn mua tín dụng bằng tài khoản Stripe và cả hai đều có địa chỉ email.

20:05

And my agent actually tries to basically um like when you purchase credits, it assigned it using the email address from Stripe to the Google email address.

Và tác nhân của tôi thực sự cố gắng khi bạn mua tín dụng, nó gán tín dụng bằng địa chỉ email từ Stripe cho địa chỉ email Google.

20:13

Like there wasn't a persistent user ID that that for people.

Như thể không có ID người dùng cố định cho mọi người.

20:17

It was trying to match up the email addresses, but you could use different email address for your Stripe and your Google and basically would not associate the funds.

Nó cố gắng khớp các địa chỉ email, nhưng bạn có thể sử dụng địa chỉ email khác cho Stripe và Google và về cơ bản nó sẽ không liên kết tiền.

20:26

And so

Và vì vậy

20:27

this is the kind of thing that these agents still will make mistakes about.

Đây là loại lỗi mà các tác nhân này vẫn mắc phải.

20:30

It's like why would you use email addresses to try to cross-correlate the funds?

Tại sao lại sử dụng địa chỉ email để cố gắng liên kết chéo tiền?

20:33

They can be arbitrary.

Chúng có thể tùy ý.

20:34

You can use different emails, etc.

Bạn có thể sử dụng các email khác nhau, v.v.

20:36

Like this is such a weird thing to do.

Đây thực sự là một điều kỳ lạ để làm.

20:39

So I think people have to be in charge of this spec, this plan, and actually don't even like the plan mode.

Vì vậy, tôi nghĩ mọi người phải chịu trách nhiệm về đặc tả này, kế hoạch này, và thực sự thậm chí không thích chế độ kế hoạch.

20:45

I would I mean, obviously it's very useful, but I think there's something more general here where you have to work with your agent to design a spec that is very detailed and maybe it's a maybe basically the docs and then get the agents to write them.

Tôi muốn nói, rõ ràng nó rất hữu ích, nhưng tôi nghĩ có điều gì đó tổng quát hơn ở đây, nơi bạn phải làm việc với tác nhân của mình để thiết kế một đặc tả rất chi tiết và có lẽ đó là các tài liệu và sau đó yêu cầu các tác nhân viết chúng.

20:57

And you're in charge of the oversight and the top-level categories, but the agents are doing a lot of the under the hood.

Và bạn chịu trách nhiệm giám sát và các danh mục cấp cao, nhưng các tác nhân làm nhiều việc dưới mui xe.

21:02

And

Và

21:03

so I think you're not caring about some of the details.

Vì vậy, tôi nghĩ bạn không quan tâm đến một số chi tiết.

21:05

So as an example also with um, a race or tensors in neural networks, um, there's a ton of details between PyTorch and NumPy and all the different like pandas and so on for all the different little API details.

Ví dụ, với các tensor trong mạng nơ-ron, có rất nhiều chi tiết giữa PyTorch và NumPy và tất cả các pandas khác nhau, v.v. cho tất cả các chi tiết API nhỏ.

21:16

And I'll I already forgot about the keep dims versus keep dim or whether it's dim or axis or reshape or permute or

Và tôi đã quên về keep dims so với keep dim hoặc dim hay axis, reshape hay permute hay

21:22

transpose.

Transpose.

21:22

I don't remember this stuff anymore, right?

Tôi không nhớ những thứ này nữa, phải không?

21:23

Because you don't have to.

Bởi vì bạn không cần phải nhớ.

21:25

This is the kind of details that are handled by the intern because they have very good recall.

Đây là loại chi tiết được xử lý bởi thực tập sinh vì họ có trí nhớ rất tốt.

21:29

And but you still have to know for example that um, you know, there's underlying tensor, there's an underlying view and then you can view of the same storage or you can have different storage which will be less

Nhưng bạn vẫn phải biết, ví dụ, rằng có tensor cơ bản, có một view cơ bản và sau đó bạn có thể có view của cùng một storage hoặc bạn có thể có storage khác, điều này sẽ kém

21:39

efficient.

hiệu quả.

21:39

As we still have to have an understanding of what this stuff is doing and some of the fundamentals um, so that you're not copying memory around unnecessarily and so on.

Chúng ta vẫn phải hiểu những thứ này đang làm gì và một số kiến thức cơ bản để không sao chép bộ nhớ không cần thiết, v.v.

21:48

But uh, the details of the APIs are now handed off.

Nhưng các chi tiết của API giờ đã được chuyển giao.

21:52

So it um, you're in charge of the taste, the engineering, the design uh, and that it makes sense and that you're asking for the right things and that you're saying that okay, that these have to be unique user IDs that we're going to tie everything to.

Vì vậy, bạn chịu trách nhiệm về gu thẩm mỹ, kỹ thuật, thiết kế, và đảm bảo mọi thứ hợp lý và bạn yêu cầu những điều đúng đắn, và bạn nói rằng được rồi, đây phải là ID người dùng duy nhất mà chúng ta sẽ gắn mọi thứ vào.

22:03

Um, and so you're doing some of the design and development and the engineers are doing the fill in the blanks.

Và vì vậy bạn thực hiện một số thiết kế và phát triển, còn các kỹ sư thì điền vào chỗ trống.

22:08

And

Và

22:09

that's currently kind of like where we are and I think that's what everyone of course is seeing I think right now.

Đó hiện là tình trạng của chúng ta và tôi nghĩ đó là điều mọi người đều thấy ngay bây giờ.

22:14

Do you think there's a chance that this um, taste and judgment matters less over time or will the ceiling just keep rising?

Bạn có nghĩ rằng có khả năng gu thẩm mỹ và phán đoán này sẽ ít quan trọng hơn theo thời gian, hay trần nhà sẽ cứ tiếp tục tăng lên?

22:21

Um, yeah, it's a good question.

Ừm, đó là một câu hỏi hay.

22:22

I would say um, I mean I'm hoping that the that it improves.

Tôi sẽ nói rằng, tôi hy vọng nó sẽ cải thiện.

22:26

I think probably the reason it doesn't improve right now is again it's not part of the RL.

Tôi nghĩ có lẽ lý do nó không cải thiện ngay bây giờ là vì nó không phải là một phần của RL.

22:31

There's probably no aesthetics cost or reward or it's not good enough or something like that.

Có lẽ không có chi phí hoặc phần thưởng về mặt thẩm mỹ, hoặc nó chưa đủ tốt hoặc điều gì đó tương tự.

22:36

Um, I do think that when you actually look at the code, sometimes I get a little bit of a heart attack because it's not

Ừm, tôi nghĩ khi bạn thực sự nhìn vào mã nguồn, đôi khi tôi hơi đau tim vì nó không

22:44

like super amazing code necessarily all the time and it's very bloated and there's a lot of copy-paste and there's awkward abstractions that are brittle and like it works but it's just really gross.

Phải là mã siêu tuyệt vời mọi lúc, nó rất phình to, có nhiều copy-paste, và có những abstraction vụng về dễ vỡ, nhưng nó hoạt động, chỉ là thực sự kinh khủng.

22:52

Um, and I do I do hope that this can improve in future models.

Ừm, và tôi hy vọng điều này có thể cải thiện trong các mô hình tương lai.

22:56

Um, a good example also is this uh, you know, the micro GPT project uh, which where I was trying to

Ừm, một ví dụ điển hình là dự án micro GPT, nơi tôi đã cố gắng

23:02

simplify uh LLM training to be as simple as possible.

Đơn giản hóa việc huấn luyện LLM để dễ nhất có thể.

23:05

The models hate this.

Các mô hình ghét điều này.

23:06

They can't do it.

Chúng không thể làm được.

23:07

I tried to I keep I kept trying to prompt an LLM to simplify more, simplify more, and it just can't You feel like you're outside of the RL circuits.

Tôi đã thử nhắc LLM đơn giản hóa hơn nữa, nhưng nó không thể. Bạn cảm thấy như mình đang ở ngoài vòng RL.

23:17

It feels like it you're obviously, you know, you're pulling teeth.

Cảm giác như bạn đang phải nhổ răng vậy.

23:20

It's not like light speed.

Nó không phải tốc độ ánh sáng.

23:22

So, I think um I do think that people are still remain in charge of this, but I do think that there's nothing fundamental again that's preventing it.

Vì vậy, tôi nghĩ mọi người vẫn nắm quyền kiểm soát, nhưng không có gì cơ bản ngăn cản điều đó.

23:28

It's just the labs haven't done it yet almost.

Chỉ là các phòng thí nghiệm chưa làm điều đó thôi.

23:30

Yeah.

Vâng.

23:31

So, I'd love to come back to this idea of uh jagged forms of intelligence.

Vậy, tôi muốn quay lại ý tưởng về các dạng trí thông minh lởm chởm.

23:35

You wrote a little bit about this with uh very thought-provoking piece around animals versus ghosts.

Bạn đã viết một chút về điều này trong một bài viết rất kích thích tư duy về động vật so với bóng ma.

23:41

Um and the idea is that we're not building animals.

Ừm và ý tưởng là chúng ta không xây dựng động vật.

23:44

We are summoning ghosts.

Chúng ta đang triệu hồi bóng ma.

23:46

Um and these are jagged forms of intelligence that are shaped by data and reward functions, but not by intrinsic motivation or fun or curiosity or empowerment, uh things that kind of came about via evolution.

Ừm và đây là những dạng trí thông minh lởm chởm được định hình bởi dữ liệu và hàm phần thưởng, nhưng không phải bởi động lực nội tại, niềm vui, sự tò mò hay trao quyền, những thứ đến từ tiến hóa.

24:00

Um why does that framing matter?

Ừm tại sao cách đóng khung đó lại quan trọng?

24:02

And what does it actually change about how you build and deploy and evaluate or even trust them?

Và nó thực sự thay đổi điều gì về cách bạn xây dựng, triển khai, đánh giá hoặc thậm chí tin tưởng chúng?

24:09

Uh yes, so Yeah, I think the reason I wrote about this is because I'm trying to wrap my head around what these things are, right?

Ừ, vâng, tôi nghĩ lý do tôi viết về điều này là vì tôi đang cố gắng hiểu những thứ này là gì, phải không?

24:15

Because if you have a good model of what they are or are not, then you're going to be more competent at uh using them.

Bởi vì nếu bạn có một mô hình tốt về chúng là gì hoặc không phải là gì, thì bạn sẽ thành thạo hơn khi sử dụng chúng.

24:22

Um and I do think that um I don't know if it has I'm not sure if it actually has like real power.

Ừm và tôi nghĩ rằng tôi không biết liệu nó có thực sự có sức mạnh thực tế không.

24:28

- laughter - I think it's a little bit of philosophizing.

- [cười] - Tôi nghĩ nó hơi triết lý một chút.

24:32

But I do think that um I think it's just um coming to terms with the fact that these things are not, you know, animal intelligences.

Nhưng tôi nghĩ rằng đó chỉ là chấp nhận thực tế rằng những thứ này không phải là trí thông minh động vật.

24:40

Like if you yell at them, they're not going to work better or worse or it doesn't have any impact.

Như nếu bạn la mắng chúng, chúng sẽ không hoạt động tốt hơn hay tệ hơn, nó không có tác động gì.

24:46

Um and uh it's all just kind of like these statistical simulation circuits where the substrate is pre-training, so like statistics.

Ừm và tất cả chỉ là những mạch mô phỏng thống kê mà nền tảng là tiền huấn luyện, vậy là thống kê.

24:53

And then but then

Và sau đó

24:55

there's RL bolting on top, so it kind of like increases the disadvantages and um maybe it's just kind of like a mindset of what I'm coming into or what's likely to work or not likely to work or how to modify it, but I don't actually I don't know that I have like here are the five obvious outcomes of how to make your system better.

Có RL gắn lên trên, nó làm tăng thêm nhược điểm và có lẽ đó chỉ là tư duy về điều gì có khả năng hoạt động hay không, hoặc cách sửa đổi nó, nhưng tôi thực sự không biết rằng tôi có năm kết quả rõ ràng để cải thiện hệ thống của bạn.

25:12

It's more just being suspicious of it and um

Nó chỉ là nghi ngờ về nó và ừm

25:15

figuring out over time.

Tìm hiểu theo thời gian.

25:16

That's where it starts.

Đó là nơi bắt đầu.

25:17

Okay, so you are so deep in working with agents that don't just chat.

Được rồi, vậy bạn đang làm việc rất sâu với các tác nhân không chỉ trò chuyện.

25:21

They have real permissions.

Chúng có quyền thực sự.

25:23

They have local contacts.

Chúng có liên hệ địa phương.

25:24

They actually take action on your behalf.

Chúng thực sự hành động thay mặt bạn.

25:26

What does the world look like when we all start to live in that world?

Thế giới sẽ ra sao khi tất cả chúng ta bắt đầu sống trong thế giới đó?

25:31

Yeah, I think I think a lot of people probably here are excited about what this agentic you know, native agentic environment looks like and everything has to be rewritten.

Vâng, tôi nghĩ nhiều người ở đây có lẽ hào hứng với môi trường tác nhân bản địa này và mọi thứ phải được viết lại.

25:39

Everything is still fundamentally written for humans and has to be moved around.

Mọi thứ vẫn cơ bản được viết cho con người và phải được di chuyển xung quanh.

25:43

I still use most of the time when I use different frameworks or libraries or things like that.

Tôi vẫn sử dụng hầu hết thời gian khi tôi sử dụng các framework hoặc thư viện khác nhau.

25:48

They still have docs that are fundamentally

Chúng vẫn có tài liệu cơ bản là

25:51

written for humans.

Viết cho con người.

25:51

This is my favorite pet peeve.

Đây là điều tôi thích cáu kỉnh nhất.

25:53

Like I don't Why are people still telling me what to do?

Như kiểu tôi không hiểu sao mọi người vẫn bảo tôi phải làm gì?

25:55

Like I don't want to do anything.

Như kiểu tôi không muốn làm gì cả.

25:57

What is the thing I should copy paste to my agent?

Thứ tôi nên copy-paste cho agent của mình là gì?

26:00

- laughter - So it's just every time I'm told, you know, go to this URL or something like that.

- [cười] - Vậy nên mỗi lần tôi được bảo, bạn biết đấy, hãy vào URL này hay đại loại thế.

26:05

It's just like ah.

Chỉ là kiểu à.

26:07

- laughter - You know.

- [cười] - Bạn biết đấy.

26:08

- snorts - So um everyone is I think excited about how do we decompose the workloads that need to happen into fundamentally sensors over the world, actuators over the world.

- [khịt mũi] - Vậy thì ừm mọi người tôi nghĩ đều hào hứng về việc làm thế nào để phân rã khối lượng công việc cần thực hiện thành các cảm biến trên thế giới, các bộ truyền động trên thế giới.

26:18

How do we make it agent native?

Làm thế nào để biến nó thành agent native?

26:21

Basically describe it to agents first.

Về cơ bản là mô tả nó cho các agent trước.

26:23

Um and then I have a lot of automation around you know, the Yeah, around data structures that are very legible to the LLMs.

Ừm và sau đó tôi có rất nhiều tự động hóa xung quanh, bạn biết đấy, các cấu trúc dữ liệu rất dễ đọc đối với các LLM.

26:32

So I think yeah, I'm hoping that there's a lot of agent first infrastructure out there and that you know, for MenuGen famously when I wrote the not I'm not sure how famously, but when I wrote the blog post about MenuGen laughter a lot of the work a lot of the trouble was not even writing the code for MenuGen.

Vậy nên tôi nghĩ vâng, tôi hy vọng có nhiều cơ sở hạ tầng ưu tiên agent ngoài kia và bạn biết đấy, với MenuGen nổi tiếng khi tôi viết không chắc nổi tiếng thế nào, nhưng khi tôi viết bài blog về MenuGen [cười] rất nhiều công việc, rất nhiều rắc rối thậm chí không phải là viết code cho MenuGen.

26:46

It was deploying it on Vercel because I had to work with all these

Mà là triển khai nó trên Vercel vì tôi phải làm việc với tất cả các

26:50

different services and I just string them up and I just go to their settings and the menus, and you know, configure my DNS, and it was just so annoying.

Dịch vụ khác nhau và tôi chỉ kết nối chúng lại và tôi vào phần cài đặt của chúng, các menu, và bạn biết đấy, cấu hình DNS của tôi, và nó thật sự rất khó chịu.

26:57

And so, that's a good example of I would hope that MenuGen that I could give a prompt to an LLM, build MenuGen, and then I didn't have to touch anything, and it's deployed in that same way on the internet.

Và vì vậy, đó là một ví dụ điển hình về việc tôi hy vọng rằng MenuGen tôi có thể đưa ra một prompt cho LLM, xây dựng MenuGen, và sau đó tôi không phải động tay vào bất cứ thứ gì, và nó được triển khai theo cùng cách đó trên internet.

27:08

I think

Tôi nghĩ

27:09

that would be a good kind of a test for whether or not a lot of our infrastructure is becoming more and more agent native.

Đó sẽ là một bài kiểm tra tốt để xem liệu có nhiều cơ sở hạ tầng của chúng ta đang ngày càng trở nên agent native hay không.

27:16

And then ultimately, I would say yeah, I do think we're going towards a world where there's agent representation for people and for organizations, and um you know, I'll have my agent talk to your agent to figure out some of the details of our meetings or things like that.

Và cuối cùng, tôi sẽ nói vâng, tôi nghĩ chúng ta đang tiến tới một thế giới nơi có đại diện agent cho con người và cho các tổ chức, và ừm bạn biết đấy, tôi sẽ để agent của tôi nói chuyện với agent của bạn để giải quyết một số chi tiết về cuộc họp của chúng ta hoặc những thứ tương tự.

27:31

So,

Vậy,

27:32

- laughter - um I do think that's roughly where things are going, but um yeah, I think everyone here is excited about that.

- [cười] - ừm tôi nghĩ đó đại khái là hướng đi của mọi thứ, nhưng ừm vâng, tôi nghĩ mọi người ở đây đều hào hứng về điều đó.

27:38

I really like the visual analogy of sensors and actuators.

Tôi thực sự thích sự tương tự trực quan về cảm biến và bộ truyền động.

27:40

I actually hadn't thought of that.

Thực ra tôi chưa nghĩ đến điều đó.

27:42

That's super interesting.

Điều đó cực kỳ thú vị.

27:43

- Right.

- Đúng vậy.

27:43

Um okay, I think we have to end on a question about education, um because you are probably one of the very best in the world at making complex technical concepts simple and deeply thoughtful about how we design education around it.

Ừm được rồi, tôi nghĩ chúng ta phải kết thúc bằng một câu hỏi về giáo dục, ừm vì bạn có lẽ là một trong những người giỏi nhất thế giới trong việc làm cho các khái niệm kỹ thuật phức tạp trở nên đơn giản và suy nghĩ sâu sắc về cách chúng ta thiết kế giáo dục xung quanh nó.

27:58

Um what still remains worth learning deeply when intelligence gets cheap as we move into the next era of AI?

Ừm điều gì vẫn còn đáng để học sâu khi trí thông minh trở nên rẻ khi chúng ta bước vào kỷ nguyên AI tiếp theo?

28:05

Yeah.

Vâng.

28:06

Uh there was a tweet that blew my mind recently, and I keep thinking about it like every other day.

Uh gần đây có một tweet làm tôi choáng váng, và tôi cứ nghĩ về nó hàng ngày.

28:11

It was something along the lines of um you can outsource your thinking, but you can't outsource your understanding.

Nội dung đại loại như ừm bạn có thể thuê ngoài suy nghĩ của mình, nhưng bạn không thể thuê ngoài sự hiểu biết của mình.

28:16

And um I think that's really nicely put.

Và ừm tôi nghĩ điều đó được diễn đạt rất hay.

28:19

I so yeah, because I still I'm still part of the system, and I still I still have to somehow information still has to make it into my brain, and I feel like I'm becoming a bottleneck of just even knowing what we're trying to build, why is it worth doing, uh how do I direct you know, how do I direct my agents, and so on.

Tôi vâng, vì tôi vẫn là một phần của hệ thống, và tôi vẫn phải bằng cách nào đó thông tin vẫn phải vào não tôi, và tôi cảm thấy mình đang trở thành một nút thắt cổ chai chỉ để biết chúng ta đang cố gắng xây dựng gì, tại sao nó đáng làm, uh làm thế nào để tôi chỉ đạo, bạn biết đấy, làm thế nào để tôi chỉ đạo các agent của mình, v.v.

28:36

So, I do still think that ultimately something has to direct the thinking and

Vì vậy, tôi vẫn nghĩ rằng cuối cùng thì thứ gì đó phải chỉ đạo suy nghĩ và

28:40

the processing, and so on.

Quá trình xử lý, v.v.

28:41

And um that's still kind of fundamentally constrained somehow by understanding.

Và ừm điều đó vẫn bị ràng buộc cơ bản bởi sự hiểu biết.

28:46

And this is one reason I also was very excited about all the all the knowledge bases because I feel like that's that's a way for me to process information.

Và đây là một lý do tôi cũng rất hào hứng với tất cả các cơ sở tri thức vì tôi cảm thấy đó là cách để tôi xử lý thông tin.

28:53

And anytime I see a different projection onto information, I always like feel like I gain insight.

Và bất cứ khi nào tôi thấy một phép chiếu khác lên thông tin, tôi luôn cảm thấy mình có được cái nhìn sâu sắc.

28:57

So, it's really just a lot of prompts for me to do synthetic data generation kind of over some fixed data.

Vì vậy, thực sự chỉ là rất nhiều prompt để tôi thực hiện tổng hợp dữ liệu tổng hợp trên một số dữ liệu cố định.

29:02

Uh so, I really enjoy uh

Uh vậy nên tôi thực sự thích uh

29:04

whenever I read an article, I have my uh you know, my wiki that's being built up from these articles.

Bất cứ khi nào tôi đọc một bài báo, tôi có uh bạn biết đấy, wiki của tôi được xây dựng từ những bài báo này.

29:09

And I love asking questions about things or um and I think that ultimately these are tools to enhance understanding in a certain way.

Và tôi thích đặt câu hỏi về mọi thứ hoặc ừm và tôi nghĩ rằng cuối cùng thì đây là những công cụ để nâng cao hiểu biết theo một cách nào đó.

29:17

And this is still kind of like a bit of a bottleneck because then you can't direct the uh you can't be a good director if you still uh cuz the LLMs certainly don't excel at understanding.

Và điều này vẫn hơi giống một nút thắt cổ chai vì bạn không thể chỉ đạo uh bạn không thể là một đạo diễn giỏi nếu bạn vẫn uh vì các LLM chắc chắn không xuất sắc trong việc hiểu biết.

29:26

You still are uniquely in charge of that.

Bạn vẫn là người duy nhất phụ trách điều đó.

29:27

So, uh yeah, I think uh tools to that effect I think are incredibly interesting and exciting.

Vì vậy, uh vâng, tôi nghĩ uh các công cụ cho hiệu quả đó tôi nghĩ là cực kỳ thú vị và hấp dẫn.

29:32

I'm excited to be back here in a couple years and to see if we've been

Tôi rất háo hức được quay lại đây sau vài năm nữa và xem liệu chúng ta đã

29:36

fully automated out of the loop and they actually take care of understanding as well.

Hoàn toàn tự động hóa ra khỏi vòng lặp và chúng thực sự đảm nhận cả việc hiểu biết hay chưa.

29:39

Uh thank you so much for joining us, Andre.

Uh cảm ơn bạn rất nhiều vì đã tham gia cùng chúng tôi, Andre.

29:42

We really appreciate it.

Chúng tôi thực sự trân trọng điều đó.

29:43

applause

[vỗ tay]

Transcript

Hiển thị

The Rise of Software 3.0

Andrej Karpathy discusses the transition to a new computing paradigm called software 3.0, where AI agents and prompting replace traditional coding. He shares his personal experience of feeling behind as a programmer despite his background at OpenAI and Tesla. He coined the term 'vibe coding' and notes a fundamental shift in AI capabilities around December, when agentic tools started working reliably. Examples like OpenClaw installation and MenuGen illustrate the shift from explicit code to agent-based instructions.

Andrej Karpathy thảo luận về sự chuyển đổi sang một mô hình điện toán mới gọi là phần mềm 3.0, nơi các tác nhân AI và việc nhắc nhở thay thế mã hóa truyền thống. Anh chia sẻ trải nghiệm cá nhân về việc cảm thấy tụt hậu với tư cách là một lập trình viên mặc dù có nền tảng tại OpenAI và Tesla. Anh đặt ra thuật ngữ 'vibe coding' và ghi nhận một sự thay đổi cơ bản trong khả năng AI vào khoảng tháng 12, khi các công cụ tác nhân bắt đầu hoạt động đáng tin cậy. Các ví dụ như cài đặt OpenClaw và MenuGen minh họa sự chuyển đổi từ mã rõ ràng sang hướng dẫn dựa trên tác nhân.