0:00

45:15

Stanford CS146S: How always-on agents work

leerob·45:15·Technology·C1

Chương · 5

Chương 1·Always-On Agents and Developer Eras

Hiển thị

Tiếng ViệtAuto-scroll

0:00

So, as mentioned, I'm Lee.

Vậy, như đã đề cập, tôi là Lee.

0:01

We're going to talk a little bit today about how this new category of always-on proactive persistent agents work and kind of give you some of the understandings of the building blocks for how these are made.

Hôm nay chúng ta sẽ nói một chút về cách loại tác nhân luôn hoạt động, chủ động và bền bỉ này vận hành, và phần nào giúp bạn hiểu về các khối xây dựng nên chúng.

0:14

Um, just as a, you know, fun statement up here, some of the things we'll talk about are in progress.

Ừm, chỉ là một câu nói vui ở đây thôi, một số điều chúng ta sẽ nói đến vẫn đang trong quá trình phát triển.

0:20

We're working on at SpaceX.

Chúng tôi đang làm việc tại SpaceX.

0:21

Um, and in week one, you all built this very kind of simple harness that helps you understand the core idea, which is that you have a model.

Ừm, và trong tuần một, tất cả các bạn đã xây dựng một bộ khung rất đơn giản giúp bạn hiểu ý tưởng cốt lõi, đó là bạn có một mô hình.

0:30

It can call tools in a loop.

Nó có thể gọi công cụ trong một vòng lặp.

0:32

And that's actually very powerful.

Và điều đó thực sự rất mạnh mẽ.

0:33

It unlocks a lot of new capabilities for the models.

Nó mở khóa rất nhiều khả năng mới cho các mô hình.

0:36

Um,

Ừm,

0:37

But it does come with some drawbacks.

Nhưng nó cũng đi kèm một số hạn chế.

0:39

Notably, you close your laptop and the process stops.

Đáng chú ý là bạn đóng laptop lại và tiến trình dừng lại.

0:41

It's no longer running.

Nó không còn chạy nữa.

0:43

Uh, and I want to talk about how you can take this simple idea, it's very powerful for how to get more out of models and extend it to this new type of agent which is an always-on agent.

Uh, và tôi muốn nói về cách bạn có thể lấy ý tưởng đơn giản này, nó rất mạnh mẽ để khai thác nhiều hơn từ các mô hình, và mở rộng nó thành loại tác nhân mới này, tức là tác nhân luôn hoạt động.

0:53

So rather than just running in your terminal, this can run on a server, it can run in the cloud, you can close your computer, uh, it can restart, it can survive crashes, for example.

Vậy thay vì chỉ chạy trong terminal của bạn, nó có thể chạy trên một máy chủ, nó có thể chạy trên đám mây, bạn có thể đóng máy tính lại, uh, nó có thể khởi động lại, nó có thể sống sót qua các sự cố, ví dụ vậy.

1:03

This agent

Tác nhân này

1:04

Has its own computer.

Có máy tính riêng của nó.

1:05

So not just your laptop, but a Linux machine in the cloud where it has its own desktop files, browser, and more.

Vậy không chỉ laptop của bạn, mà là một máy Linux trên đám mây, nơi nó có desktop, tệp tin, trình duyệt riêng, và hơn thế nữa.

1:12

Maybe some 3D apps.

Có thể là một số ứng dụng 3D.

1:14

Um, it can save files on the machine.

Ừm, nó có thể lưu tệp trên máy.

1:16

It can understand more about your progress over time and build up a memory of how you work with it.

Nó có thể hiểu hơn về tiến độ của bạn theo thời gian và xây dựng ký ức về cách bạn làm việc với nó.

1:22

Um, unlike a harness in the terminal that is responding to every message that you send, this type of always-on agent is more like a colleague where it doesn't always immediately send you a message.

Ừm, không giống như một bộ khung trong terminal phản hồi mọi tin nhắn bạn gửi, loại tác nhân luôn hoạt động này giống như một đồng nghiệp hơn, ở chỗ nó không phải lúc nào cũng gửi tin nhắn cho bạn ngay lập tức.

1:33

It knows when to be quiet.

Nó biết khi nào nên im lặng.

1:35

Sometimes it might

Đôi khi nó có thể

1:36

Just want to work in the background a little bit and only come back to you when there's an important update.

Chỉ muốn làm việc ở chế độ nền một chút và chỉ quay lại với bạn khi có cập nhật quan trọng.

1:42

Uh, and it can be triggered more than just you typing.

Uh, và nó có thể được kích hoạt bởi nhiều thứ hơn là chỉ bạn gõ phím.

1:45

So, it's not just you prompting it in the terminal.

Vậy, không chỉ là bạn nhắc nó trong terminal.

1:48

Maybe there was a Slack message or an email or some other type of event that wakes up this agent to go do work.

Có thể có một tin nhắn Slack hoặc email hoặc một loại sự kiện nào đó đánh thức tác nhân này để đi làm việc.

1:55

Um, and ideally the hope with these type of always-on

Ừm, và lý tưởng nhất, hy vọng với loại tác nhân luôn hoạt động này

1:58

Agents is that they can do work over very long periods of time.

Là chúng có thể làm việc trong những khoảng thời gian rất dài.

2:01

Not just hours or days, but maybe even weeks or months.

Không chỉ vài giờ hay vài ngày, mà có thể là vài tuần hoặc vài tháng.

2:04

And that just requires a little bit of a different architecture, which we'll get into.

Và điều đó chỉ đòi hỏi một chút kiến trúc khác biệt, mà chúng ta sẽ đi vào.

2:08

So, we're going to go uh decently in depth on how we built this architecture, how we built the harness, um kind of what's got us here today and where we're going in the future.

Vậy, chúng ta sẽ đi khá sâu vào cách chúng tôi xây dựng kiến trúc này, cách chúng tôi xây dựng bộ khung, ừm, đại loại là điều gì đã đưa chúng ta đến đây hôm nay và chúng ta sẽ đi đâu trong tương lai.

2:18

And

Và

2:19

We'll get into some of the specifics of how we've engineered this system to be proactive, to be persistent, and to follow instructions very well.

Chúng ta sẽ đi vào một số chi tiết cụ thể về cách chúng tôi thiết kế hệ thống này để chủ động, bền bỉ và tuân theo hướng dẫn rất tốt.

2:27

And of course, time at the end for questions if you all want to ask anything about this or uh anything outside of uh what we've covered today.

Và tất nhiên, cuối cùng sẽ có thời gian cho câu hỏi nếu các bạn muốn hỏi bất cứ điều gì về điều này hoặc uh bất cứ điều gì ngoài những gì chúng ta đã đề cập hôm nay.

2:37

So, first, how we got here.

Vậy, đầu tiên, chúng ta đã đến đây như thế nào.

2:39

There's kind of been four eras of developers working with AI so far.

Cho đến nay đã có khoảng bốn kỷ nguyên của các nhà phát triển làm việc với AI.

2:43

I would say the first one was uh copy-pasting code out of ChatGPT and putting it into your editor of choice which feels like you know decades ago at this point but it was really only a few years ago.

Tôi muốn nói kỷ nguyên đầu tiên là uh sao chép-dán mã từ ChatGPT và đưa vào trình soạn thảo bạn chọn, cảm giác như đã hàng thập kỷ rồi ở thời điểm này, nhưng thực ra chỉ mới vài năm trước.

2:56

Uh and then once the model started to get better at being able to have kind of that simplified harness we talked

Uh và rồi khi mô hình bắt đầu trở nên tốt hơn ở khả năng có loại bộ khung đơn giản hóa mà chúng ta đã nói

3:03

About uh in you know in the last uh lecture uh they were able to edit files, run shell commands, kind of have this very simple interface for how you work with them in the terminal.

Đến uh trong, bạn biết đấy, bài giảng trước uh, chúng có thể chỉnh sửa tệp, chạy lệnh shell, đại loại là có giao diện rất đơn giản để bạn làm việc với chúng trong terminal.

3:13

And this really took off because all of a sudden the model had this new capability where it could go do more proactive work for you and be more you know productive.

Và điều này thực sự bùng nổ vì đột nhiên mô hình có khả năng mới này, nó có thể đi làm nhiều việc chủ động hơn cho bạn và trở nên hiệu quả hơn, bạn biết đấy.

3:23

Then this third era was taking the coding agents and where they were kind of simple to start and giving them these dedicated apps.

Rồi kỷ nguyên thứ ba là lấy các tác nhân lập trình, nơi chúng khá đơn giản lúc đầu, và cho chúng những ứng dụng chuyên dụng này.

3:29

And at this point, people were starting to run many agents in parallel.

Và tại thời điểm này, mọi người bắt đầu chạy nhiều tác nhân song song.

3:33

Maybe they're running them in the cloud, not just on their machine.

Có thể họ chạy chúng trên đám mây, không chỉ trên máy của họ.

3:37

Uh but still at this point, you were kind of the bottleneck in that you were reviewing every command that they were running.

Uh nhưng vẫn ở thời điểm này, bạn đại loại là điểm nghẽn vì bạn đang xem xét mọi lệnh chúng chạy.

3:43

You wanted to make sure every shell command was just right.

Bạn muốn chắc chắn mọi lệnh shell đều đúng.

3:46

You're kind of really watching them and being in the loop on everything.

Bạn đại loại là thực sự theo dõi chúng và có mặt trong vòng lặp cho mọi thứ.

3:49

And now with improvements in models, in harnesses, in products, we're now in this new era where you're starting to have these

Và giờ với những cải tiến trong mô hình, trong bộ khung, trong sản phẩm, chúng ta đang ở kỷ nguyên mới này, nơi bạn bắt đầu có những

3:56

Always-on agents and they can kind of run ambiently in the background where they have their own computer.

Tác nhân luôn hoạt động và chúng có thể chạy xung quanh ở chế độ nền, nơi chúng có máy tính riêng.

4:01

They have their own memory.

Chúng có ký ức riêng.

4:02

They learn new skills on the job and they keep working after you go, you know, go to bed or go do other work.

Họ học các kỹ năng mới trong công việc và họ tiếp tục làm việc sau khi bạn đi ngủ hoặc đi làm việc khác.

4:09

A good example of this is we've kind of moved away from this world of prompting an agent every single day.

Một ví dụ điển hình là chúng ta đã phần nào rời xa thế giới mà ngày nào cũng phải nhắc nhở agent.

4:15

Although we still do that sometimes, but you can set up agents where it will kind of just run in the background.

Mặc dù đôi khi chúng ta vẫn làm vậy, nhưng bạn có thể thiết lập các agent để chúng chỉ chạy trong nền.

4:20

So maybe in the before times it was you would prompt an agent, you would wait.

Vậy có thể trước đây, bạn sẽ nhắc nhở agent, bạn sẽ chờ đợi.

4:24

You prompt an agent, you would wait, and if it asked you to run a shell command, you'd have to approve or, you know, disallow that command.

Bạn nhắc nhở agent, bạn chờ đợi, và nếu nó yêu cầu bạn chạy một lệnh shell, bạn sẽ phải phê duyệt hoặc từ chối lệnh đó.

4:31

Uh and now instead of kind of queuing commands, you

Uh và bây giờ thay vì xếp hàng các lệnh, bạn

4:34

Can steer the agent and you might say, "Hey, go check this thread." and then immediately after, oh, by the way, you know, actually go do that on Thursday.

Có thể điều hướng agent và bạn có thể nói, "Này, đi kiểm tra thread này." và ngay sau đó, ồ, nhân tiện, bạn biết đấy, thực ra hãy làm điều đó vào thứ Năm.

4:41

And prior generations of models would get kind of confused when you would immediately interrupt it and give it some other command.

Và các thế hệ mô hình trước đây sẽ trở nên bối rối khi bạn ngay lập tức ngắt lời nó và đưa ra một lệnh khác.

4:47

But now they kind of understand just like how you might ramble on talking to a friend and they can kind of parse that these two things are related.

Nhưng bây giờ chúng phần nào hiểu được giống như cách bạn có thể lan man khi nói chuyện với một người bạn và chúng có thể phân tích rằng hai điều này có liên quan với nhau.

4:54

The models and the harnesses can now handle that.

Các mô hình và harness giờ đây có thể xử lý được điều đó.

4:57

And if you say, "Hey, go send this email, go

Và nếu bạn nói, "Này, đi gửi email này, đi"

5:00

Send this Slack message." Um there are additional safety checks in place which a lot of companies are calling autoreview which is essentially a separate AI model that's checking all of the commands that get run.

Gửi tin nhắn Slack này." Um có thêm các kiểm tra an toàn được đặt ra mà nhiều công ty gọi là autoreview, về cơ bản là một mô hình AI riêng biệt kiểm tra tất cả các lệnh được chạy.

5:12

So you know kind of funnily enough that's actually more secure than the fatigue of having to watch hundreds of shell commands and approve each one.

Vậy bạn biết đấy, trớ trêu thay, điều đó thực ra an toàn hơn so với sự mệt mỏi khi phải xem hàng trăm lệnh shell và phê duyệt từng lệnh một.

5:20

We've kind of reached

Chúng ta đã phần nào đạt đến

5:22

The point where if you did a blind test with what the AI model's checking on the commands and what a human's checking on the commands.

Điểm mà nếu bạn làm một bài kiểm tra mù với những gì mô hình AI kiểm tra trên các lệnh và những gì con người kiểm tra trên các lệnh.

5:28

Most of the time the model's actually doing a better job.

Hầu hết thời gian, mô hình thực sự làm tốt hơn.

5:31

Um kind of paradoxically, but as the models have gotten better, the interface has gotten quite a bit more simple actually.

Um nghịch lý thay, nhưng khi các mô hình trở nên tốt hơn, giao diện thực ra đã trở nên đơn giản hơn khá nhiều.

5:38

And this type of always-on agent we're calling a bot.

Và loại agent luôn hoạt động này chúng tôi gọi là bot.

5:41

But as you'll notice, there's actually quite a few of these new types of products popping up right now and gaining a lot of traction.

Nhưng như bạn sẽ nhận thấy, thực ra có khá nhiều loại sản phẩm mới này đang xuất hiện ngay bây giờ và đạt được nhiều sự chú ý.

5:50

And I think the main reason is because we all know how to text.

Và tôi nghĩ lý do chính là vì tất cả chúng ta đều biết cách nhắn tin.

5:53

You know, everyone knows how to text.

Bạn biết đấy, mọi người đều biết cách nhắn tin.

5:55

Everyone is pretty proficient with using their phones.

Mọi người đều khá thành thạo với việc sử dụng điện thoại của họ.

5:57

And we've kind of distilled down this way of working with AI that feels like you're just texting a friend, but it can actually go and do real work for you.

Và chúng ta đã phần nào chắt lọc cách làm việc với AI này mà cảm giác như bạn chỉ đang nhắn tin với một người bạn, nhưng nó thực sự có thể đi và làm công việc thực sự cho bạn.

6:05

It's not just answering questions in a Q&A style setting anymore.

Nó không chỉ còn trả lời các câu hỏi trong bối cảnh hỏi đáp nữa.

6:08

It's

Nó

6:09

Actually going and doing longer tasks like you would hand off to a co-worker, for example.

Thực sự đi và làm các nhiệm vụ dài hơn giống như bạn giao cho một đồng nghiệp, ví dụ.

6:13

Um, so there's been a few changes specifically in the models that have enabled this to happen.

Um, vậy đã có một vài thay đổi cụ thể trong các mô hình đã cho phép điều này xảy ra.

6:18

Um, I'll go over six, but there's, you know, quite a bit more.

Um, tôi sẽ đi qua sáu điểm, nhưng có, bạn biết đấy, khá nhiều hơn nữa.

6:22

The first one is that the models just over the past year or two years have really gotten better at being able to follow instructions over a

Điểm đầu tiên là các mô hình chỉ trong một hoặc hai năm qua đã thực sự trở nên tốt hơn trong việc có thể tuân theo hướng dẫn trong một

6:31

Longer period of time where they don't get confused or make mistakes and now models can pretty confidently run for hours or days with the right uh compression and compaction which we'll talk about in a little bit.

Khoảng thời gian dài hơn mà chúng không bị bối rối hoặc mắc lỗi và bây giờ các mô hình có thể tự tin chạy trong nhiều giờ hoặc nhiều ngày với việc nén và cô đọng phù hợp mà chúng ta sẽ nói đến một chút.

6:43

Two, models now can essentially hand off to helpers and those helpers are called sub-agents.

Hai, các mô hình bây giờ về cơ bản có thể bàn giao cho những người trợ giúp và những người trợ giúp đó được gọi là sub-agent.

6:49

And the reason why a sub-agent is helpful is the model has kind of its working memory of the process that it's on and that's going to fill up eventually.

Và lý do tại sao một sub-agent hữu ích là mô hình có bộ nhớ làm việc của quá trình mà nó đang thực hiện và nó sẽ đầy lên cuối cùng.

6:57

Uh so it's nice if it can hand off to these helpers that have a fresh set of working memory and that effectively can give it unlimited context basically where it can go and do work that might be expensive in terms of the tokens it's using or the

Uh vậy thật tốt nếu nó có thể bàn giao cho những người trợ giúp này có bộ nhớ làm việc mới và điều đó thực sự có thể cho nó ngữ cảnh vô hạn về cơ bản, nơi nó có thể đi và làm công việc có thể tốn kém về số token nó đang sử dụng hoặc các

7:12

Tools that it's calling and then come back to the main agent and report its updates.

Công cụ mà nó đang gọi và sau đó quay lại agent chính và báo cáo cập nhật của nó.

7:16

And I'll have some diagrams of that later.

Và tôi sẽ có một số sơ đồ về điều đó sau.

7:18

Um, models now not only are just better at calling tools.

Um, các mô hình bây giờ không chỉ tốt hơn trong việc gọi công cụ.

7:20

I mean, just a few years ago, they basically couldn't call tools very well and they would hallucinate all the time.

Ý tôi là, chỉ vài năm trước, chúng về cơ bản không thể gọi công cụ tốt và chúng sẽ ảo giác mọi lúc.

7:26

It's funny, you don't really hear people talk about hallucinations anymore because

Thật buồn cười, bạn không còn nghe mọi người nói về ảo giác nữa vì

7:29

It's kind of a solved problem mostly.

Nó phần nào đã được giải quyết hầu hết.

7:32

Um, but not only can they call tools, but you can give them very powerful tools the same way as if you onboarded somebody onto your team.

Um, nhưng không chỉ chúng có thể gọi công cụ, mà bạn có thể cho chúng những công cụ rất mạnh mẽ giống như khi bạn đưa ai đó vào nhóm của bạn.

7:39

So, obviously running shell commands and files, but also you give them a full computer, a full Linux uh computer.

Vậy, rõ ràng là chạy lệnh shell và tệp, nhưng bạn cũng cho chúng một máy tính đầy đủ, một máy tính Linux đầy đủ.

7:45

Uh you allow them to make demo videos and such.

Uh bạn cho phép chúng tạo video demo và những thứ tương tự.

7:48

Um they can click around on a screen just like a human would and they're getting

Um chúng có thể nhấp xung quanh trên màn hình giống như con người và chúng đang trở nên

7:53

Increasingly better at doing that, otherwise known as computer use, which basically means that any SaaS product or any website that didn't expose an API or an MCP server can be used headlessly basically so autonomously through uh computer use by these models and these bots.

Ngày càng tốt hơn trong việc đó, còn được gọi là sử dụng máy tính, về cơ bản có nghĩa là bất kỳ sản phẩm SaaS hoặc trang web nào không có API hoặc máy chủ MCP đều có thể được sử dụng không cần giao diện về cơ bản một cách tự động thông qua việc sử dụng máy tính bởi các mô hình và bot này.

8:08

Um you can store all of the information in files and the reason you can do that is because it's actually

Um bạn có thể lưu trữ tất cả thông tin trong tệp và lý do bạn có thể làm điều đó là vì nó thực sự

8:15

Very easy for the models then to recall and search this information which we'll talk about and then finally you can just kind of show the bot how to do some work and it will kind of turn that into skills or memories or routines or things that it can reuse later.

Rất dễ dàng cho các mô hình sau đó để nhớ lại và tìm kiếm thông tin này mà chúng ta sẽ nói đến và cuối cùng bạn chỉ cần chỉ cho bot cách làm một số công việc và nó sẽ biến nó thành kỹ năng hoặc ký ức hoặc thói quen hoặc những thứ nó có thể tái sử dụng sau này.

8:30

So on the file thing for example, this is kind of a simplified example, but you might remember or you might uh imagine that

Vậy về vấn đề tệp, ví dụ, đây là một ví dụ đơn giản hóa, nhưng bạn có thể nhớ hoặc bạn có thể tưởng tượng rằng

8:37

When you're working with a bot under the hood, it might look something like this.

Khi bạn làm việc với một bot ở bên dưới, nó có thể trông giống như thế này.

8:41

You build up this profile or this understanding of the user and that's going to be included in every single prompt.

Bạn xây dựng hồ sơ này hoặc sự hiểu biết này về người dùng và nó sẽ được bao gồm trong mọi lời nhắc.

8:46

Maybe you like, you know, lowercase text like messaging and every single message should have that.

Có thể bạn thích, bạn biết đấy, văn bản viết thường như tin nhắn và mọi tin nhắn nên có điều đó.

8:51

Also, as you're working with these bots over time, you're building up a kind of like a working log, just like if you were working with a colleague and they were

Ngoài ra, khi bạn làm việc với những bot này theo thời gian, bạn đang xây dựng một loại nhật ký làm việc, giống như khi bạn làm việc với một đồng nghiệp và họ

9:00

Writing down notes every day of the work that they've done.

Ghi chú lại mỗi ngày về công việc họ đã làm.

9:03

That's all being put into files that the model can then decide to search or use later.

Tất cả những điều đó được đưa vào các tệp mà mô hình sau đó có thể quyết định tìm kiếm hoặc sử dụng sau này.

9:07

If you say, "Hey, what did I do last week?" It just can go and look that up.

Nếu bạn nói, "Này, tuần trước tôi đã làm gì?" Nó chỉ cần đi và tra cứu thông tin đó.

9:13

And the models are very good at using Linux commands, running shell commands to go grep and search and look through these files.

Và các mô hình rất giỏi trong việc sử dụng lệnh Linux, chạy lệnh shell để grep và tìm kiếm và xem qua các tệp này.

9:19

Um, similarly, um, with skills,

Ừm, tương tự, ừm, với các kỹ năng,

9:21

You are essentially taking your knowledge of how to do a specific task and encoding it into a markdown file.

Về cơ bản bạn đang lấy kiến thức của mình về cách thực hiện một nhiệm vụ cụ thể và mã hóa nó vào một tệp markdown.

9:27

The very specific process you need to do the things that you believe make that uh you know successful or unsuccessful.

Quy trình rất cụ thể mà bạn cần làm để thực hiện những điều mà bạn tin rằng làm cho nó thành công hoặc không thành công.

9:33

And that's not just your skills.

Và đó không chỉ là kỹ năng của bạn.

9:35

There's a whole ecosystem now of companies and developers um writing these skills for how to send a great email or you know how to build a

Hiện có cả một hệ sinh thái gồm các công ty và nhà phát triển ừm viết những kỹ năng này về cách gửi một email tuyệt vời hoặc bạn biết đấy cách xây dựng một

9:44

Great API or many different things.

API tuyệt vời hoặc nhiều thứ khác nhau.

9:45

Uh and for example in Grokbot there is a whole system of plugins.

Ừ và ví dụ trong Grokbot có cả một hệ thống các plugin.

9:49

So basically any tool that you want to use there's a plugin you can install which uses skills or servers and then also routines which if you're familiar with cron jobs you know you're running some prompt basically on some kind of schedule which is pretty useful as well.

Về cơ bản, bất kỳ công cụ nào bạn muốn sử dụng đều có một plugin bạn có thể cài đặt, sử dụng các kỹ năng hoặc máy chủ và sau đó cũng có các routine, nếu bạn quen với cron job thì bạn biết đấy, bạn đang chạy một số prompt về cơ bản theo một loại lịch trình nào đó, điều này cũng khá hữu ích.

10:02

So basically

Vậy về cơ bản

10:03

Everything is computer um part three.

Mọi thứ đều là máy tính ừm phần ba.

10:05

So let's go a little bit further into the kind of the mind of this always-on agent or going behind the scenes.

Vậy hãy đi sâu hơn một chút vào loại tâm trí của tác nhân luôn bật này hoặc đi ra sau hậu trường.

10:12

Um what does it mean for the agent to be always on?

Ừm, việc tác nhân luôn bật có nghĩa là gì?

10:17

You can kind of read this chart from left to right, but it starts out with the server being asleep and also this computer that the agent can use being asleep.

Bạn có thể đọc biểu đồ này từ trái sang phải, nhưng nó bắt đầu với việc máy chủ đang ngủ và cả máy tính mà tác nhân có thể sử dụng cũng đang ngủ.

10:26

And so whether you send in a message or some kind of trigger uh decides to make the agent start up, which we'll talk about in a second, that's basically loading up and booting up all of the state for this agent.

Và vì vậy, dù bạn gửi một tin nhắn hay một loại kích hoạt nào đó ừm quyết định làm cho tác nhân khởi động, điều mà chúng ta sẽ nói đến trong giây lát, về cơ bản đó là việc tải và khởi động toàn bộ trạng thái của tác nhân này.

10:39

And

Và

10:40

It's running on a server.

Nó đang chạy trên một máy chủ.

10:41

If it decides that it needs to use a computer, maybe it wants to go use the computer's browser or, you know, go click around in the computer, it can start up the computer as well.

Nếu nó quyết định rằng nó cần sử dụng một máy tính, có thể nó muốn sử dụng trình duyệt của máy tính hoặc, bạn biết đấy, nhấp chuột xung quanh trong máy tính, nó cũng có thể khởi động máy tính.

10:49

And then once you're done using it, it also has the ability then to basically put those to sleep.

Và sau đó khi bạn sử dụng xong, nó cũng có khả năng về cơ bản đưa những thứ đó vào trạng thái ngủ.

10:54

Why is this important?

Tại sao điều này quan trọng?

10:55

It would be, you know, expensive and also uh there's not enough computers in the world to just have those computers running all of the time uh for everyone as well as that's a lot of server usage too.

Nó sẽ, bạn biết đấy, tốn kém và cũng ừm không có đủ máy tính trên thế giới để chỉ có những máy tính đó chạy mọi lúc ừm cho mọi người, cũng như việc đó sử dụng rất nhiều máy chủ.

11:06

And so this state can then be persisted to you know a database the conversation logs the memories the routines all of that.

Và vì vậy trạng thái này sau đó có thể được lưu trữ vào, bạn biết đấy, một cơ sở dữ liệu, nhật ký hội thoại, ký ức, các routine, tất cả những thứ đó.

11:13

Um how does the agent get woken up then?

Ừm, vậy làm thế nào tác nhân được đánh thức?

11:16

Well obviously you can prompt it directly but I think what's increasingly interesting is having other things running in the background that can then decide when you want to go reach out to your bots.

Chà, rõ ràng bạn có thể nhắc nó trực tiếp nhưng tôi nghĩ điều ngày càng thú vị là có những thứ khác chạy trong nền mà sau đó có thể quyết định khi bạn muốn liên hệ với các bot của mình.

11:25

Uh maybe that is somebody pinging you on Slack and your bots can live in Slack.

Ừ, có thể đó là ai đó ping bạn trên Slack và các bot của bạn có thể sống trong Slack.

11:30

Maybe that's a phone call or a meeting that you put your bot in.

Có thể đó là một cuộc gọi điện thoại hoặc một cuộc họp mà bạn đưa bot của mình vào.

11:34

It's increasingly common now at SpaceX where we see bots joining meetings for employees where they couldn't make it to the meeting, but they want their bot to go and just take notes and come back to them, which is kind of funny.

Điều này ngày càng phổ biến tại SpaceX, nơi chúng tôi thấy các bot tham gia các cuộc họp cho nhân viên khi họ không thể đến cuộc họp, nhưng họ muốn bot của mình đến và chỉ ghi chú rồi quay lại với họ, điều này khá buồn cười.

11:44

Um, maybe you had some routine or some background work that was taking, you know, hours or days to do and then you want to come back and give you a summary.

Ừm, có thể bạn có một routine nào đó hoặc một số công việc nền đang mất, bạn biết đấy, hàng giờ hoặc hàng ngày để làm và sau đó bạn muốn quay lại và nó cho bạn một bản tóm tắt.

11:52

That all

Tất cả những điều đó

11:53

Happens.

Xảy ra.

11:53

Then we have basically a router that dedupes that and figures out how to put it into the conversation.

Sau đó chúng ta có về cơ bản một router loại bỏ trùng lặp và tìm ra cách đưa nó vào cuộc hội thoại.

11:58

And then it's has this heuristic of do I need to bug the user about this or not?

Và sau đó nó có heuristic này là liệu tôi có cần làm phiền người dùng về điều này hay không?

12:04

Because not everything is actually important.

Bởi vì không phải mọi thứ đều thực sự quan trọng.

12:06

Just like if you have a co a co-worker working on something, it would be pretty annoying if every single time they made progress on something they came and bugged me like, "Hey, check it out.

Giống như nếu bạn có một đồng nghiệp đang làm việc gì đó, sẽ khá khó chịu nếu mỗi lần họ đạt được tiến bộ trong một việc gì đó họ lại đến làm phiền tôi kiểu, "Này, xem nè.

12:14

Like I made progress on this thing." You really only need a status update maybe, I don't know, every day depending on the task.

Tôi đã đạt được tiến bộ trong việc này." Bạn thực sự chỉ cần một cập nhật trạng thái có lẽ, tôi không biết, mỗi ngày tùy thuộc vào nhiệm vụ.

12:20

Um, so I talked about how the agent has this computer, this Linux box.

Ừm, vậy tôi đã nói về việc tác nhân có máy tính này, hộp Linux này.

12:24

Um, this is running a firecracker virtual machine.

Ừm, cái này đang chạy một máy ảo firecracker.

12:26

And the reason this is really helpful is because it's it's very easy then to essentially snapshot the state of the machine and shut it down and start it back up.

Và lý do điều này thực sự hữu ích là vì sau đó rất dễ dàng về cơ bản chụp nhanh trạng thái của máy và tắt nó đi rồi khởi động lại.

12:35

And on this machine you of course have files, but you can kind of connect into the machine and

Và trên máy này tất nhiên bạn có các tệp, nhưng bạn có thể kết nối vào máy và

12:41

Have a live view of the machine and actually control it yourself if you want.

Có chế độ xem trực tiếp của máy và thực sự tự điều khiển nó nếu bạn muốn.

12:44

Um the machine can of course run commands which is great if you're going to run some shell commands.

Ừm, máy tất nhiên có thể chạy các lệnh, điều này thật tuyệt nếu bạn định chạy một số lệnh shell.

12:48

Maybe you don't want it on your personal laptop.

Có thể bạn không muốn nó trên laptop cá nhân của mình.

12:51

You want it in this other environment that is you know secured and locked down.

Bạn muốn nó trong môi trường khác này, bạn biết đấy, được bảo mật và khóa chặt.

12:55

And then another interesting thing is of course it has Chrome and it can use a browser but you can also make it essentially have like virtual desktops.

Và sau đó một điều thú vị khác tất nhiên là nó có Chrome và nó có thể sử dụng trình duyệt nhưng bạn cũng có thể làm cho nó về cơ bản có những thứ như máy tính ảo.

13:03

So if you're running five bots, 10 bots and each one of them needs their own browser you can essentially let them have different screens.

Vì vậy nếu bạn đang chạy năm bot, mười bot và mỗi con cần trình duyệt riêng của chúng, bạn có thể về cơ bản để chúng có các màn hình khác nhau.

13:09

And all of this again is kind of shared infrastructure between these clears throat bots where they can go call on these computers.

Và tất cả những điều này một lần nữa về cơ bản là cơ sở hạ tầng được chia sẻ giữa các bot này [xóa cổ họng] nơi chúng có thể gọi đến những máy tính này.

13:16

Um so we talked about kind of the triggers that will wake up the agent that's kind of on the left.

Ừm, vậy chúng ta đã nói về những loại tác nhân kích hoạt sẽ đánh thức agent, thứ mà nằm ở bên trái.

13:21

So different apps or Slack messages or emails.

Vậy là các ứng dụng khác nhau hoặc tin nhắn Slack hoặc email.

13:22

Um then you have this middle piece which is the server and then on the right is the computer that we just talked about where you can run files and commands and other things.

Ừm, sau đó bạn có phần ở giữa này, đó là server, và bên phải là máy tính mà chúng ta vừa nói đến, nơi bạn có thể chạy các tệp và lệnh cũng như những thứ khác.

13:31

So let's talk a little bit more about the server.

Vậy hãy nói thêm một chút về server.

13:33

I already mentioned

Tôi đã đề cập rồi

13:34

You know commands will come in they get put into this queue and then it calls the purple box which is the agent loop and this is what we covered last week like this is a model calling tools in a loop and then when you shut it down you can kind of save the state to the database or storage.

Bạn biết đấy, các lệnh sẽ đi vào, chúng được đưa vào hàng đợi này, và sau đó nó gọi đến hộp màu tím, đó là vòng lặp agent, và đây là những gì chúng ta đã đề cập tuần trước, kiểu như đây là một mô hình gọi các công cụ trong một vòng lặp, và sau đó khi bạn tắt nó đi, bạn có thể lưu trạng thái vào cơ sở dữ liệu hoặc bộ lưu trữ.

13:51

Um, so it's like it's it's interesting, I think, to look at this and realize there's this one

Ừm, vậy nó giống như là, tôi nghĩ, thật thú vị khi nhìn vào điều này và nhận ra rằng có một

13:56

Kind of small piece that can then have all of these abstractions built on top to create uh a very powerful product uh when you give it all of these helpful tools and you connect it to all of these different services.

Kiểu như một phần nhỏ mà sau đó có thể có tất cả những trừu tượng này được xây dựng lên trên để tạo ra ừm một sản phẩm rất mạnh mẽ ừm khi bạn cung cấp cho nó tất cả những công cụ hữu ích này và bạn kết nối nó với tất cả những dịch vụ khác nhau này.

14:07

The reason agent runs on the server is uh a pretty common practice in computing where you want to have kind of a thin client and a thick server.

Lý do agent chạy trên server là ừm một thực tiễn khá phổ biến trong điện toán, nơi bạn muốn có kiểu như một client mỏng và một server dày.

14:14

And computing has kind of oscillated between these things over the years.

Và điện toán đã kiểu như dao động qua lại giữa những thứ này trong nhiều năm qua.

14:17

But for example, a few good reasons for this is let's say you need to push an update to the, you know, the agent code.

Nhưng ví dụ, một vài lý do chính đáng cho điều này là giả sử bạn cần đẩy một bản cập nhật đến, bạn biết đấy, mã agent.

14:24

It would, you know, kind of suck if you had to push an

Nó sẽ, bạn biết đấy, kiểu như thật tệ nếu bạn phải đẩy một

14:28

App store update just to get that code out there versus just pushing a bunch of server updates very quickly.

Bản cập nhật cửa hàng ứng dụng chỉ để đưa mã đó ra ngoài so với việc chỉ đẩy một loạt bản cập nhật server rất nhanh chóng.

14:33

Um, also sometimes you need to do heavy computation work, you know, like transcription or image generation or something.

Ừm, đôi khi bạn cũng cần thực hiện công việc tính toán nặng, bạn biết đấy, như phiên âm hoặc tạo hình ảnh hoặc đại loại vậy.

14:38

And that's probably going to be faster on a server than on device depending on uh what the devices are.

Và điều đó có lẽ sẽ nhanh hơn trên server so với trên thiết bị, tùy thuộc vào ừm các thiết bị là gì.

14:44

Um, and you know, it's there's very established ways that we know how to scale servers, especially with variable traffic and variable growth.

Ừm, và bạn biết đấy, có những cách rất được thiết lập mà chúng ta biết cách mở rộng server, đặc biệt là với lưu lượng thay đổi và tăng trưởng thay đổi.

14:52

Um, but the most critical thing here is that if you put the agent loop on the virtual machine, then you can't shut down the virtual machine independently from the uh from the agent server.

Ừm, nhưng điều quan trọng nhất ở đây là nếu bạn đặt vòng lặp agent trên máy ảo, thì bạn không thể tắt máy ảo một cách độc lập với ừm server agent.

15:04

So yeah, you want to save everything on the server.

Vậy đúng, bạn muốn lưu mọi thứ trên server.

15:08

Um, so you can always kind of rebuild that virtual machine.

Ừm, để bạn luôn có thể kiểu như xây dựng lại máy ảo đó.

15:11

For example, let's say you need to do some critical zero day Linux uh update on the on the VM.

Ví dụ, giả sử bạn cần thực hiện một bản cập nhật Linux zero day quan trọng nào đó ừm trên máy ảo.

15:19

Well, it would be great to be able to rebuild that and not, you know, blow away the entire agent loop and have downtime in the application.

Chà, sẽ thật tuyệt nếu có thể xây dựng lại nó và không, bạn biết đấy, xóa sạch toàn bộ vòng lặp agent và gây thời gian chết trong ứng dụng.

15:26

Um um when you hit send, this is maybe a little in the weeds, so I'll just kind of gloss through it, but basically um if you want to dig more into learning more about distributed systems and thinking about um you know, strong versus

Ừm ừm khi bạn nhấn gửi, điều này có thể hơi đi sâu vào chi tiết, nên tôi sẽ chỉ kiểu như lướt qua thôi, nhưng về cơ bản ừm nếu bạn muốn tìm hiểu sâu hơn về các hệ thống phân tán và suy nghĩ về ừm bạn biết đấy, tính nhất quán mạnh so với

15:40

Eventual consistency, which are just fun topics to get into, you know, you send a message and you kind of want the client to immediately identify that and acknowledge it.

Tính nhất quán cuối cùng, những chủ đề thú vị để tìm hiểu, bạn biết đấy, bạn gửi một tin nhắn và bạn kiểu như muốn client ngay lập tức nhận ra điều đó và xác nhận nó.

15:49

Then when you go into the turn, you're obviously putting these um tools in a loop with the model, saving that to the database, and then the clients are essentially putting subscriptions with all of the servers.

Sau đó khi bạn đi vào lượt, rõ ràng bạn đang đặt những ừm công cụ này vào một vòng lặp với mô hình, lưu nó vào cơ sở dữ liệu, và sau đó các client về cơ bản đang đăng ký theo dõi với tất cả các server.

16:01

So they know if something changed and they're listening for these signals, and if they get a signal, then they can go and essentially fetch the latest information from the server.

Vậy chúng biết nếu có gì đó thay đổi và chúng đang lắng nghe những tín hiệu này, và nếu chúng nhận được tín hiệu, thì chúng có thể đi và về cơ bản lấy thông tin mới nhất từ server.

16:09

And there's some fancy deduping you can do to make sure if you know if there were some kind of retries um that you would not show, you know, multiple messages in the list.

Và có một số cách khử trùng lặp hay ho bạn có thể làm để đảm bảo nếu bạn biết đấy nếu có một số kiểu thử lại ừm thì bạn sẽ không hiển thị, bạn biết đấy, nhiều tin nhắn trong danh sách.

16:18

And so, uh, the like underlying

Và vậy, ừm, những

16:20

Infrastructure primitives to think about here, um, is a workflow versus a job queue.

Nguyên thủy hạ tầng cơ bản để suy nghĩ ở đây, ừm, là một workflow so với một hàng đợi công việc.

16:24

And the main difference here is with a job queue, let's say you're kind of going along on steps, you ask your agent to go and do some kind of complicated task, uh, and it's making its way from step one to step two to step three, but then for some reason there was an infrastructure issue.

Và sự khác biệt chính ở đây là với một hàng đợi công việc, giả sử bạn đang kiểu như đi qua các bước, bạn yêu cầu agent của bạn đi và làm một loại nhiệm vụ phức tạp nào đó, ừm, và nó đang tiến từ bước một đến bước hai đến bước ba, nhưng rồi vì lý do nào đó có một vấn đề về hạ tầng.

16:41

Um,

Ừm,

16:42

There was some problem with a normal queue.

Có một vấn đề nào đó với một hàng đợi thông thường.

16:44

If that crashes and you go to restart it, well, now you have to replay steps one, two, and three, which is obviously that could be pretty problematic.

Nếu nó bị sập và bạn khởi động lại nó, thì bây giờ bạn phải phát lại các bước một, hai, và ba, điều mà rõ ràng có thể khá là có vấn đề.

16:51

So, what you really want here is you want a durable workflow, which means that it's safe for you to actually retry that.

Vậy, điều bạn thực sự muốn ở đây là bạn muốn một workflow bền vững, nghĩa là việc bạn thực sự thử lại điều đó là an toàn.

16:57

And when you retry after a failure, it picks right up on

Và khi bạn thử lại sau một thất bại, nó tiếp tục ngay tại

17:01

Step three.

Bước ba.

17:01

And this is like kind of a solved problem in some ways in distributed systems and in infrastructure.

Và đây giống như kiểu là một vấn đề đã được giải quyết theo một số cách trong các hệ thống phân tán và trong hạ tầng.

17:06

So, we use an open source uh tool called Temporal, which is interesting to look into if you're if you're curious, so that we don't have to rebuild a lot of this very complicated stuff from scratch.

Vậy, chúng tôi sử dụng một công cụ mã nguồn mở ừm có tên là Temporal, thú vị để tìm hiểu nếu bạn ừm tò mò, để chúng tôi không phải xây dựng lại nhiều thứ rất phức tạp này từ đầu.

17:16

Of course, you still have to run the infrastructure for it,

Tất nhiên, bạn vẫn phải vận hành hạ tầng cho nó,

17:19

But some of the pieces to put together there.

Nhưng một số phần để ghép lại ở đó.

17:22

Um, so let's say a new message comes in.

Ừm, vậy giả sử một tin nhắn mới đến.

17:25

There's different priorities based on whether I'm messaging my agents or messaging my bots versus if it's in a group chat or a Slack thread or some background routine for example.

Có các mức độ ưu tiên khác nhau dựa trên việc tôi đang nhắn tin cho các agent của mình hay nhắn tin cho các bot của mình so với nếu nó ở trong một cuộc trò chuyện nhóm hoặc một luồng Slack hoặc một quy trình nền nào đó chẳng hạn.

17:36

So if I say oh actually you know change the date for this event, we actually want that agent loop to stop and my message is

Vậy nếu tôi nói ồ thực ra bạn biết đấy hãy thay đổi ngày cho sự kiện này, thì chúng ta thực sự muốn vòng lặp agent đó dừng lại và tin nhắn của tôi sẽ

17:46

Going to have priority over everything else that's happening which kind of makes sense.

Có quyền ưu tiên hơn mọi thứ khác đang diễn ra, điều mà kiểu như hợp lý.

17:49

Um, for everybody else, you're kind of putting things into the queue in the back of the line.

Ừm, đối với mọi người khác, bạn kiểu như đang đưa mọi thứ vào hàng đợi ở cuối hàng.

17:53

And if you're if the agent gets, you know, three or four messages very quickly, it's able to kind of batch those together.

Và nếu bạn, nếu agent nhận được, bạn biết đấy, ba hoặc bốn tin nhắn rất nhanh, nó có thể kiểu như gộp những cái đó lại với nhau.

17:58

So, it's just one turn.

Vậy nó chỉ là một lượt.

18:00

You can kind of figure out whatever heuristic

Bạn có thể kiểu như tìm ra bất kỳ heuristic nào

18:02

You want there.

Bạn muốn ở đó.

18:03

Um, and then it kind of goes through and does each turn at a time.

Ừm, và sau đó nó kiểu như đi qua và thực hiện từng lượt một.

18:08

Okay.

Được rồi.

18:08

So, let's talk about the harness itself.

Vậy, hãy nói về chính bộ khung (harness).

18:10

And this is going to kind of take the basic harness that we talked about last week and add some some new tools, some new concepts to it.

Và điều này sẽ phần nào lấy bộ khung cơ bản mà chúng ta đã nói tuần trước và thêm một số công cụ mới, một số khái niệm mới vào đó.

18:21

The biggest difference with the Grokbot harness um and probably some of the other tools like this uh on the market is the way we've done the thin client fix server architecture is there's only one tool that communicates between the client and the server and it's just send user.

Sự khác biệt lớn nhất với bộ khung Grokbot và có lẽ một số công cụ khác như thế này trên thị trường là cách chúng tôi thực hiện kiến trúc thin client fix server: chỉ có một công cụ duy nhất giao tiếp giữa client và server và nó chỉ là send user.

18:39

And the great thing about this is that it's actually very architecturally simple where the client is just texting

Và điều tuyệt vời về điều này là nó thực sự rất đơn giản về mặt kiến trúc, nơi client chỉ nhắn tin

18:47

The server in some ways and you're putting a lot of these heavier tools on the server.

Server theo một cách nào đó và bạn đang đặt nhiều công cụ nặng hơn này lên server.

18:52

And there's many of those tools.

Và có nhiều công cụ như vậy.

18:53

There's running shell commands, reading files, but also calling on a cloud agent or recording your screen or doing demos for example.

Có chạy lệnh shell, đọc tệp, nhưng cũng có gọi một cloud agent hoặc ghi lại màn hình của bạn hoặc thực hiện các bản demo chẳng hạn.

19:00

Um, and this I I think has worked pretty well because now regardless of where you spin up a new client, whether it's a mobile app, a

Và điều này tôi nghĩ đã hoạt động khá tốt vì bây giờ bất kể bạn khởi tạo một client mới ở đâu, dù đó là ứng dụng di động, một

19:08

Server, um, a desktop app, email, Slack, it all just has this one single tool that communicates back and forth with the server.

Server, ứng dụng desktop, email, Slack, tất cả chỉ có một công cụ duy nhất này giao tiếp qua lại với server.

19:14

On the client though, even though it just has this one tool, when it receives the tool, it can decide how it wants to display that in a rich and interactive way that makes the most sense for the user.

Tuy nhiên, trên client, mặc dù nó chỉ có một công cụ này, khi nhận được công cụ, nó có thể quyết định cách hiển thị nó một cách phong phú và tương tác, phù hợp nhất với người dùng.

19:25

So if it gets uh information back from the server that

Vì vậy, nếu nó nhận được thông tin trả về từ server rằng

19:28

The user is trying to log into something, it can kind of show these unique sign-in forms and connect to tools like one password.

Người dùng đang cố đăng nhập vào một thứ gì đó, nó có thể hiển thị các biểu mẫu đăng nhập độc đáo này và kết nối với các công cụ như one password.

19:35

It can go and call on services like uh stripe link or use X money or uh other services to go and allow people to pay for their services.

Nó có thể gọi các dịch vụ như stripe link hoặc sử dụng X money hoặc các dịch vụ khác để cho phép mọi người thanh toán cho các dịch vụ của họ.

19:43

You can if you're trying to do something that is non you can't reverse it sending an email or a Slack message,

Bạn có thể, nếu bạn đang cố làm điều gì đó không thể đảo ngược, như gửi email hoặc tin nhắn Slack,

19:50

It might come back and ask you to you know edit and approve a draft before you send it.

Nó có thể quay lại và yêu cầu bạn chỉnh sửa và phê duyệt bản nháp trước khi gửi.

19:55

And then sometimes it just you know you can just leave an emoji reaction if you don't actually need to send a message.

Và đôi khi bạn chỉ cần để lại một biểu tượng cảm xúc nếu bạn không thực sự cần gửi tin nhắn.

20:01

Um so going back to what I was saying with dynamic tool discovery.

Vậy quay lại điều tôi đã nói về khám phá công cụ động.

20:05

So for uh for any model there's a context window which is kind of its working memory and that's some

Vậy đối với bất kỳ mô hình nào, có một cửa sổ ngữ cảnh, đại loại là bộ nhớ làm việc của nó và đó là một

20:11

Limit in tokens.

Giới hạn về token.

20:12

And if you just jam every single tool possible into that uh context window, you're not going to have a lot of space.

Và nếu bạn nhồi nhét mọi công cụ có thể vào cửa sổ ngữ cảnh đó, bạn sẽ không có nhiều không gian.

20:19

And the way the tools work is you have kind of the name of the tool, you have the schema, you have all these different details.

Và cách các công cụ hoạt động là bạn có tên của công cụ, bạn có schema, bạn có tất cả các chi tiết khác nhau này.

20:28

And if you start installing your Google Drive connector, your Gmail connector, your YouTube connector, like all these

Và nếu bạn bắt đầu cài đặt trình kết nối Google Drive, trình kết nối Gmail, trình kết nối YouTube, như tất cả những

20:35

Different services that use MCP servers, which all have tools, you're going to start looking at something like the top where a lot of the blocks are already filled.

Dịch vụ khác nhau sử dụng MCP server, tất cả đều có công cụ, bạn sẽ bắt đầu thấy giống như phần trên cùng nơi nhiều khối đã được lấp đầy.

20:44

Uh, and the problem with that is it doesn't give the model as much space to actually do the work of the conversation.

Và vấn đề với điều đó là nó không cho mô hình đủ không gian để thực sự làm công việc của cuộc trò chuyện.

20:51

Um, so one kind of context engineering or harness trick um that a lot of the popular harnesses now use

Vậy, một mẹo kỹ thuật ngữ cảnh hoặc bộ khung mà nhiều bộ khung phổ biến hiện nay sử dụng

20:58

Is uh it's called dynamic context or I think uh some other folks call it the tool search tool which is a fun name but basically you're only putting the names of the tools into the every message that gets sent to the model and then the model can decide okay I actually want to go use this tool.

Là, nó được gọi là ngữ cảnh động hoặc tôi nghĩ một số người khác gọi nó là công cụ tìm kiếm công cụ, một cái tên thú vị, nhưng về cơ bản bạn chỉ đưa tên của các công cụ vào mọi tin nhắn được gửi đến mô hình và sau đó mô hình có thể quyết định, được, tôi thực sự muốn sử dụng công cụ này.

21:15

I can go read the information from a file.

Tôi có thể đọc thông tin từ một tệp.

21:18

It's kind of files and a file system all the way down

Đại loại là tệp và hệ thống tệp từ trên xuống dưới

21:22

For all of these things.

Cho tất cả những thứ này.

21:23

Uh, and that just helps you save on your context usage, which then also helps save on cost, save on usage, just better for everybody.

Và điều đó giúp bạn tiết kiệm việc sử dụng ngữ cảnh, từ đó cũng giúp tiết kiệm chi phí, tiết kiệm sử dụng, tốt hơn cho mọi người.

21:30

In general, the principle here really is to try the cheapest option or the most reliable option first and kind of work your way up the ladder here.

Nói chung, nguyên tắc ở đây thực sự là thử tùy chọn rẻ nhất hoặc đáng tin cậy nhất trước và dần dần leo lên các bậc thang.

21:39

So, the easiest one is just what you know what the agent or what the bot

Vậy, cách dễ nhất là những gì bạn biết rằng agent hoặc bot

21:44

Already knows based on the conversation history.

Đã biết dựa trên lịch sử cuộc trò chuyện.

21:46

Uh if it doesn't if it's not in the immediate context, maybe there's a plugin, an MCP server, some kind of API that it can go and pull, you know, your uh your banking information from Plaid, for example.

Nếu nó không có trong ngữ cảnh tức thời, có thể có một plugin, một MCP server, một loại API nào đó mà nó có thể gọi và lấy thông tin ngân hàng của bạn từ Plaid, chẳng hạn.

21:58

Uh maybe that doesn't work and it needs to go do some kind of web search to see, you know, what was the score of the Cubs game last night.

Có thể điều đó không hiệu quả và nó cần thực hiện một số tìm kiếm web để xem, bạn biết đấy, tỷ số trận đấu của đội Cubs tối qua là bao nhiêu.

22:07

Ừm

22:08

Maybe if it doesn't have that, it actually needs to go to the computer and open up the browser and do some searches on there.

Có thể nếu nó không có thông tin đó, nó thực sự cần đến máy tính và mở trình duyệt và thực hiện một số tìm kiếm ở đó.

22:14

And finally, like maybe it needs to go and actually use the entire desktop.

Và cuối cùng, có thể nó cần thực sự sử dụng toàn bộ desktop.

22:18

So run scripts or run commands or build things on that Linux computer.

Vậy chạy script hoặc chạy lệnh hoặc xây dựng mọi thứ trên máy tính Linux đó.

22:22

And only if all of those fail, then go bug the user and ask them to go give input or approve something.

Và chỉ khi tất cả những cách đó thất bại, thì mới làm phiền người dùng và yêu cầu họ cung cấp đầu vào hoặc phê duyệt điều gì đó.

22:27

And this really helps it feel like what it would be like to work with a colleague is like they're not going to bug you for all these different things.

Và điều này thực sự giúp nó cảm giác giống như làm việc với một đồng nghiệp, kiểu như họ sẽ không làm phiền bạn vì tất cả những thứ khác nhau này.

22:34

Ideally, they're going to try a lot of these options first.

Lý tưởng nhất, họ sẽ thử nhiều tùy chọn này trước.

22:37

Um on that computer.

Trên máy tính đó.

22:38

So the Linux machine that the agent is able to use, there's kind of three different ways that it can retrieve information from it.

Vậy máy Linux mà agent có thể sử dụng, có ba cách khác nhau để nó truy xuất thông tin từ đó.

22:45

Um of course it can just take a screenshot of the screen, but there's more efficient ways of doing this.

Tất nhiên nó có thể chỉ chụp ảnh màn hình, nhưng có những cách hiệu quả hơn để làm điều này.

22:51

Um it could also look at the HTML of the page, but you can also look at the accessibility tree, which is a nice way

Nó cũng có thể xem HTML của trang, nhưng bạn cũng có thể xem cây trợ năng, một cách tốt

22:59

Of like cutting down a lot of the uh token usage and basically to help you find the buttons or links or other elements that you want.

Để giảm bớt việc sử dụng token và về cơ bản giúp bạn tìm các nút hoặc liên kết hoặc các phần tử khác mà bạn muốn.

23:06

Uh the browser to click on.

Trình duyệt nhấp vào.

23:08

Uh, of course, if none of that works, you can just click on pixels.

Tất nhiên, nếu không có cách nào hiệu quả, bạn có thể chỉ nhấp vào pixel.

23:12

So, some websites, for example, have modals or dialogues that pop up that you need to click.

Vì vậy, một số trang web, chẳng hạn, có các modal hoặc hộp thoại bật lên mà bạn cần nhấp vào.

23:17

Uh, and so your model, your agent needs to have that

Uh, và vì vậy mô hình của bạn, tác nhân của bạn cũng cần có

23:20

Functionality as well.

Chức năng đó.

23:20

Or again, kind of worst case on that ladder is you go back to the user and like, oh, there's like a two-factor off code or there's some kind of capture or something like that.

Hoặc một lần nữa, trường hợp xấu nhất trên bậc thang đó là bạn quay lại với người dùng và kiểu như, ồ, có một mã hai yếu tố bị tắt hoặc có một loại captcha nào đó hoặc đại loại vậy.

23:31

Um, so the idea is that kind of putting the pieces together, you have this main agent and it's kind of like your orchestrator and the main agent you want to keep the conversation as sparse as possible because it now has the ability to go call on all of these different helpers.

Ừm, vậy ý tưởng là khi ghép các mảnh lại với nhau, bạn có tác nhân chính này và nó giống như người điều phối của bạn, và với tác nhân chính, bạn muốn giữ cuộc hội thoại càng thưa thớt càng tốt vì giờ nó có khả năng gọi đến tất cả những trợ thủ khác nhau này.

23:51

And the helpers are just sub agents.

Và các trợ thủ chỉ là các tác nhân phụ.

23:52

And so this is helpful because if you hand it off to a helper to go run a bunch of shell commands or do a lot of expensive tool calls, all of that work that ultimately is ending up in some answer to a question or a task.

Và điều này hữu ích vì nếu bạn giao nó cho một trợ thủ để chạy một loạt lệnh shell hoặc thực hiện nhiều lệnh gọi công cụ tốn kém, tất cả công việc đó cuối cùng đều dẫn đến một câu trả lời nào đó cho một câu hỏi hoặc một nhiệm vụ.

24:05

None of that is bloating the conversation in the context of the main agent.

Không có gì trong số đó làm phình to cuộc hội thoại trong ngữ cảnh của tác nhân chính.

24:08

It's only coming back with the result.

Nó chỉ quay trở lại với kết quả.

24:10

And this is how you get

Và đây là cách bạn đạt được

24:12

To a product that feels like it has infinite context.

Một sản phẩm có cảm giác như có ngữ cảnh vô hạn.

24:15

Obviously there infinite context is not a real thing.

Rõ ràng là ngữ cảnh vô hạn không phải là thứ có thật.

24:19

Every model has a context limit.

Mọi mô hình đều có giới hạn ngữ cảnh.

24:20

But there are these tricks and workarounds such that especially when you train models to get better at this that it doesn't feel like you're running up against the limits of the context window and you don't feel a degradation of the model's quality as you get further along that as well.

Nhưng có những thủ thuật và cách xử lý này để, đặc biệt là khi bạn huấn luyện các mô hình trở nên tốt hơn ở việc này, nó không có cảm giác như bạn đang chạm đến giới hạn của cửa sổ ngữ cảnh và bạn cũng không cảm thấy chất lượng của mô hình bị suy giảm khi bạn đi xa hơn.

24:35

So we have these different helpers each with different skills.

Vậy chúng ta có những trợ thủ khác nhau này, mỗi trợ thủ có những kỹ năng khác nhau.

24:37

Each

Mỗi

24:38

One of these is its own durable workflow.

Một trong số này là một quy trình làm việc bền vững riêng.

24:40

So, going back to the cues versus workflows thing, that means if it fails, the video helper crashes uh something, you know, uses up too much memory or something that can restart and keep going without losing progress along the way.

Vậy, quay lại vấn đề hàng đợi so với quy trình làm việc, điều đó có nghĩa là nếu nó thất bại, trợ thủ video gặp sự cố, ừm, thứ gì đó, bạn biết đấy, dùng quá nhiều bộ nhớ hoặc đại loại vậy, nó có thể khởi động lại và tiếp tục mà không mất tiến độ trên đường đi.

24:53

And then the main agent, it is kind of like a co-orker where it's managing a to-do list.

Và sau đó tác nhân chính, nó giống như một đồng nghiệp đang quản lý một danh sách việc cần làm.

24:58

You have a few

Bạn có một vài

25:00

Things you can do.

Việc bạn có thể làm.

25:00

You can go check on it.

Bạn có thể kiểm tra nó.

25:02

You can send it a message, you know, you can stop the helpers, for example.

Bạn có thể gửi cho nó một tin nhắn, bạn biết đấy, bạn có thể dừng các trợ thủ, ví dụ vậy.

25:05

Um, and so a lot of this is modeled after the ideal way you would scale, you know, a team of engineers working on a very complicated problem.

Ừm, và vì vậy phần lớn điều này được mô phỏng theo cách lý tưởng mà bạn sẽ mở rộng quy mô, bạn biết đấy, một nhóm kỹ sư làm việc trên một vấn đề rất phức tạp.

25:13

So, uh, like just a few little interesting tidbits from building this out on the team.

Vậy, ừ, chỉ là một vài mẩu thông tin thú vị nhỏ từ việc xây dựng điều này trong nhóm.

25:18

Um, I think we'll talk a little bit more about prompt caching here, but um, ideally you don't add or remove new tools during turns.

Ừm, tôi nghĩ chúng ta sẽ nói thêm một chút về bộ nhớ đệm gợi ý ở đây, nhưng ừm, lý tưởng nhất là bạn không thêm hoặc bớt công cụ mới trong các lượt.

25:26

Um, and just like I

Ừm, và giống như tôi

25:28

Mentioned with the slide with all of the uh boxes, if you have extremely long tool descriptions or schemas, that's going to take up a lot of space in the context window, which is bad for pricing.

Đã đề cập với slide có tất cả các ô ừm, nếu bạn có mô tả công cụ hoặc lược đồ cực kỳ dài, điều đó sẽ chiếm rất nhiều không gian trong cửa sổ ngữ cảnh, điều này không tốt cho giá cả.

25:38

It's bad for usage.

Nó không tốt cho việc sử dụng.

25:40

Ideally, you want to minimize that.

Lý tưởng nhất, bạn muốn giảm thiểu điều đó.

25:41

So, there's plenty of optimizations you can make here on the engineering side to just trim that down.

Vậy, có rất nhiều tối ưu hóa bạn có thể thực hiện ở đây về phía kỹ thuật để cắt giảm điều đó.

25:47

Um, another interesting

Ừm, một điều thú vị khác

25:48

One is like you might hear people talk about how, oh, like we can have a harness, it just has one tool and that one tool is like running shell commands.

Là bạn có thể nghe người ta nói về việc, ồ, kiểu như chúng ta có thể có một harness, nó chỉ có một công cụ và công cụ đó là chạy lệnh shell.

25:55

And this is true and you can model a lot of things this way, but if you see the model doing, you know, 90% of its time doing shell commands for this one thing, it actually can be more efficient to make a dedicated tool for some of that stuff.

Và điều này đúng và bạn có thể mô hình hóa nhiều thứ theo cách này, nhưng nếu bạn thấy mô hình dành 90% thời gian để chạy lệnh shell cho một việc này, thì thực ra có thể hiệu quả hơn nếu tạo một công cụ chuyên dụng cho một số thứ đó.

26:07

Um, and it's it's a bit more legible for people actually reviewing clears throat how the product is working.

Ừm, và nó dễ đọc hơn một chút đối với những người thực sự đang xem xét [xóa cổ họng] cách sản phẩm hoạt động.

26:12

Uh, and the last one's kind of

Uh, và cái cuối cùng thì khá

26:14

Funny, too.

Buồn cười, nữa.

26:14

Uh obviously if you're writing errors for humans it's helpful to make it very descriptive like okay this thing failed like click on this link or here's what you need to do next.

Uh rõ ràng là nếu bạn viết lỗi cho con người, sẽ hữu ích nếu làm cho nó rất mô tả, kiểu như được rồi thứ này đã thất bại, hãy nhấp vào liên kết này hoặc đây là những gì bạn cần làm tiếp theo.

26:22

Turns out that's also very helpful for agents.

Hóa ra điều đó cũng rất hữu ích cho các tác nhân.

26:24

So there is some DX in designing um good error messages for agents too.

Vậy nên cũng có một chút DX trong việc thiết kế ừm các thông báo lỗi tốt cho các tác nhân.

26:30

And when you're trusting your bots to go and do work over a long period of time it is very important that you trust them to be secure with your information to be secure with how it operates.

Và khi bạn tin tưởng các bot của mình đi làm việc trong một thời gian dài, điều rất quan trọng là bạn tin tưởng chúng bảo mật thông tin của bạn, bảo mật cách nó hoạt động.

26:42

So even working on its own separate machine not polluting anything on your machine still you would like it if you know a model reviews every shell command before it goes.

Vậy nên ngay cả khi nó làm việc trên một máy riêng biệt, không làm ô nhiễm bất cứ thứ gì trên máy của bạn, bạn vẫn muốn rằng nếu bạn biết một mô hình xem xét mọi lệnh shell trước khi nó chạy.

26:51

So auto review it would be great

Vậy nên tự động xem xét sẽ rất tuyệt

26:54

If you know when these untrusted inputs like a email in your inbox could be a fishing email or some web hook.

Nếu bạn biết khi những đầu vào không đáng tin cậy như một email trong hộp thư đến của bạn có thể là email lừa đảo hoặc một webhook nào đó.

27:00

You don't want to send that to the model and act like it was a user instruction.

Bạn không muốn gửi nó đến mô hình và hành xử như thể đó là một chỉ thị của người dùng.

27:05

And there's plenty of work to do here uh in the industry on just making sure that that is uh properly protected from um prompt injections.

Và có rất nhiều việc phải làm ở đây ừ trong ngành để đảm bảo rằng điều đó được bảo vệ đúng cách khỏi ừm các cuộc tấn công chèn gợi ý.

27:13

um for these kind of uh non-reversible things like sending

Ừm đối với những thứ kiểu ừ không thể đảo ngược như gửi

27:16

Emails, right?

Email, đúng không?

27:16

You want to really ask the user first and then also you can build in some workflows into the product to keep passwords and other things outside of the model conversations.

Bạn thực sự muốn hỏi người dùng trước và sau đó bạn cũng có thể xây dựng một số quy trình làm việc vào sản phẩm để giữ mật khẩu và những thứ khác ngoài các cuộc hội thoại với mô hình.

27:26

Okay, context engineering is also known as harness engineering.

Được rồi, kỹ thuật ngữ cảnh còn được gọi là kỹ thuật harness.

27:29

Like I feel like it's kind of the same thing.

Kiểu như tôi cảm thấy nó là cùng một thứ.

27:33

They've evolved over time, but basically what are some tips and tricks we can do to minimize the amount of context that's being used in these harnesses.

Chúng đã phát triển theo thời gian, nhưng về cơ bản thì có những mẹo và thủ thuật nào chúng ta có thể làm để giảm thiểu lượng ngữ cảnh được sử dụng trong các harness này.

27:41

Um, which is good for efficiency, for reducing costs, um, and other reasons.

Ừm, điều này tốt cho hiệu quả, để giảm chi phí, ừm, và nhiều lý do khác.

27:45

I talked about prompt caching.

Tôi đã nói về prompt caching.

27:47

Um, this is a good example of why it's really important.

Ừm, đây là một ví dụ điển hình cho thấy tại sao nó thực sự quan trọng.

27:50

So if you think about when you're working with a coding agent or any agent, most

Vậy nếu bạn nghĩ về khi bạn làm việc với một coding agent hoặc bất kỳ agent nào, hầu hết

27:56

Of the tokens used are actually ideally cached tokens because you're sending it a conversation and then you're doing a change.

Các token được sử dụng thực ra lý tưởng nhất là các token được cache vì bạn đang gửi cho nó một cuộc hội thoại rồi sau đó bạn thực hiện một thay đổi.

28:02

You're you're adding one more message and then you're basically resending the entire conversation over again.

Bạn đang thêm một tin nhắn nữa và sau đó về cơ bản bạn gửi lại toàn bộ cuộc hội thoại một lần nữa.

28:07

So if you look at the pricing for models, there's huge discounts of course on if a token is cached and you want to keep them in the cache window as long as

Vậy nếu bạn nhìn vào giá của các model, tất nhiên có mức giảm giá rất lớn nếu một token được cache và bạn muốn giữ chúng trong cửa sổ cache càng lâu càng

28:17

Possible.

Tốt.

28:17

And so a way to do this is you try to keep the tool definitions, the system prompts, all of this information as static as possible between different calls so that you don't break the cache and then have to pay for the uncashed tokens every single time.

Và một cách để làm điều này là bạn cố gắng giữ các định nghĩa công cụ, system prompt, tất cả thông tin này càng tĩnh càng tốt giữa các lần gọi khác nhau để bạn không phá vỡ cache rồi phải trả tiền cho các token không được cache mỗi lần.

28:31

So if you have that fixed part at the top, then you know when you get down to the bottom and you only have the newest message that

Vậy nếu bạn có phần cố định đó ở trên cùng, thì bạn biết khi bạn đi xuống dưới cùng và bạn chỉ có tin nhắn mới nhất

28:39

Comes in, that's the only delta that you're paying the uncashed tokens for.

Đến, đó là delta duy nhất mà bạn phải trả tiền cho các token không được cache.

28:43

And there's a whole art and science uh to this as well.

Và có cả một nghệ thuật lẫn khoa học ừm về việc này nữa.

28:47

Basically because that main agent in the most ideal sense, this is the one you're having this very very long conversation with that's compacting or compressing so summarizing the context many times over uh without you even noticing sometimes which we'll show an example of.

Về cơ bản vì main agent đó trong trường hợp lý tưởng nhất, đây là cái mà bạn đang có cuộc hội thoại rất rất dài này, cái mà đang nén hoặc nén lại tức là tóm tắt ngữ cảnh nhiều lần ừm mà đôi khi bạn thậm chí không nhận ra, điều mà chúng ta sẽ cho xem một ví dụ.

29:03

So you really want to keep that context small.

Vậy bạn thực sự muốn giữ ngữ cảnh đó nhỏ.

29:06

Um some ways of doing that is anytime there's a very

Ừm một số cách để làm điều đó là bất cứ khi nào có một

29:11

Long output rather than stuffing that in the context you can just put it in a file and the agents are very good at reading files.

Đầu ra rất dài, thay vì nhồi nó vào ngữ cảnh, bạn có thể chỉ cần đặt nó vào một file và các agent rất giỏi đọc file.

29:17

Uh so this actually works pretty well which is just like reading a skill or reading a memory for example.

Ừ, vậy điều này thực ra hoạt động khá tốt, giống như chỉ đọc một skill hoặc đọc một memory chẳng hạn.

29:23

If you give the model a screenshot um or some other very expensive work you just delegate that out to a helper again so it goes to the sub agent and it doesn't affect the main agents context.

Nếu bạn đưa cho model một ảnh chụp màn hình ừm hoặc một số công việc rất tốn kém khác, bạn chỉ cần giao phó nó cho một helper, vậy nó đi đến sub agent và nó không ảnh hưởng đến ngữ cảnh của main agent.

29:36

Um, and then also in an ideal world, you want to kind of be always gardening and trimming and removing unnecessary stuff from this conversation, from this context window

Ừm, và rồi trong một thế giới lý tưởng, bạn muốn kiểu như luôn làm vườn, cắt tỉa và loại bỏ những thứ không cần thiết khỏi cuộc hội thoại này, khỏi cửa sổ ngữ cảnh này

29:47

As you're going, both for cost, but for also recall and just making sure the model is performing well.

Khi bạn đang làm, cả vì chi phí, mà còn vì khả năng hồi tưởng và chỉ để đảm bảo model hoạt động tốt.

29:53

So, if there's a cash cache miss, it's kind of like a bug in the system really.

Vậy, nếu có một cache miss, thì nó giống như một lỗi trong hệ thống vậy.

29:58

Um, and if you go all the way back to uh all the way back to January of this year, uh when OpenClaw was really getting popular and people were using it uh inside of subscription plans for uh model

Ừm, và nếu bạn quay ngược lại tận ừm tận tháng Một năm nay, ừm khi OpenClaw thực sự trở nên phổ biến và mọi người đang sử dụng nó ừm trong các gói đăng ký cho ừm các nhà

30:11

Providers, this was a very new usage pattern that model providers hadn't really seen and the harness hadn't really yet been optimized for this type of workflow.

Cung cấp model, đây là một mô hình sử dụng rất mới mà các nhà cung cấp model chưa thực sự thấy và harness chưa thực sự được tối ưu hóa cho kiểu quy trình làm việc này.

30:19

So, there was a lot of cache misses.

Vậy, có rất nhiều cache miss.

30:21

And when you're doing something like this where agents are running all the time, that's obviously problematic.

Và khi bạn làm điều gì đó như thế này, nơi các agent chạy liên tục, thì điều đó rõ ràng là có vấn đề.

30:27

So, lots of fixes uh had to go in to make that robust to keeping the

Vậy, rất nhiều bản sửa lỗi ừm đã phải được đưa vào để làm cho nó mạnh mẽ trong việc giữ

30:32

Cache uh keeping the prompt cached as much as possible.

Cache ừm giữ prompt được cache càng nhiều càng tốt.

30:35

Um, so like a fun uh a fun trick here is just trying to keep everything in the prompt in order such that even if you deploy a new change where you want to test out some new change to the system prompt or add a new tool, you can you can almost hash each section and always keep a fixed order.

Ừm, vậy giống như một mẹo thú vị ừm ở đây là chỉ cần cố gắng giữ mọi thứ trong prompt theo thứ tự sao cho ngay cả khi bạn triển khai một thay đổi mới mà bạn muốn thử nghiệm một thay đổi mới nào đó cho system prompt hoặc thêm một công cụ mới, bạn có thể gần như hash từng phần và luôn giữ một thứ tự cố định.

30:54

Like let's say you're doing a AB test and you want to put a new piece of the prompt in there.

Giả sử bạn đang làm một bài test AB và bạn muốn đặt một phần mới của prompt vào đó.

30:59

You really don't want that to screw up the prompt order for everybody else.

Bạn thực sự không muốn điều đó làm hỏng thứ tự prompt cho tất cả những người khác.

31:03

Otherwise, you just busted the cache.

Nếu không, bạn vừa phá hỏng cache.

31:05

Uh, and then that's that's problematic.

Ừ, và rồi điều đó có vấn đề.

31:06

Um, another fun one is when you open the chat and you start typing, um, the server can actually go and prepare the prompt early, uh, to

Ừm, một mẹo thú vị khác là khi bạn mở chat và bạn bắt đầu gõ, ừm, server thực ra có thể đi và chuẩn bị prompt sớm, ừ, để

31:14

Basically warm the cache.

Về cơ bản là làm ấm cache.

31:15

Almost like if you're on a website and you go to hover on a link, it can go and prefetch the next page.

Gần giống như nếu bạn đang ở trên một trang web và bạn di chuột lên một liên kết, nó có thể đi và tải trước trang tiếp theo.

31:21

Um, so there's like tons and tons of little engineering optimizations that compound how far these models can go in terms of token usage, uh, and how smart they can be when you use them for very long periods of time.

Ừm, vậy có vô số tối ưu hóa kỹ thuật nhỏ mà cộng dồn lại thành việc các model này có thể đi xa đến đâu về mặt sử dụng token, ừ, và chúng có thể thông minh đến đâu khi bạn sử dụng chúng trong những khoảng thời gian rất dài.

31:32

And the key thing is that when you're working over a

Và điều then chốt là khi bạn làm việc trong một

31:36

Very long period of time, you essentially have to get very good at compaction or summarization because let's say the model has a 200,000 token context window.

Khoảng thời gian rất dài, về cơ bản bạn phải trở nên rất giỏi trong việc nén hoặc tóm tắt vì giả sử model có cửa sổ ngữ cảnh 200.000 token.

31:44

You're going and going and going.

Bạn cứ đi và đi và đi.

31:46

Eventually, it's going to hit a point where it needs to summarize and all compression is lossy.

Cuối cùng, nó sẽ đến một điểm mà nó cần tóm tắt và mọi nén đều gây mất mát.

31:51

So, you have to figure out the best algorithm to do the compression and not lose important

Vậy, bạn phải tìm ra thuật toán tốt nhất để thực hiện nén và không làm mất những

31:57

Details.

Chi tiết quan trọng.

31:57

And there's, I'm sure, entire uh PhDs just for this problem.

Và tôi chắc chắn có cả những ừm luận án tiến sĩ chỉ dành cho vấn đề này.

32:00

like it's it's very tough to do, right?

Kiểu như nó rất khó để làm, đúng không?

32:02

But just to show an example, like let's say you're going back and forth with your with your bot.

Nhưng chỉ để cho một ví dụ, giả sử bạn đang trao đổi qua lại với ừm con bot của bạn.

32:08

Uh you have over 100,000 tokens uh and then you go and do something else.

Ừ bạn có hơn 100.000 token ừm và rồi bạn đi làm việc khác.

32:12

Well, there is this time period where the model providers have uh like a cache window when the cache is

Chà, có khoảng thời gian này mà các nhà cung cấp model có ừm kiểu như một cửa sổ cache khi cache

32:18

Still warm.

Vẫn còn ấm.

32:18

Maybe it's 10 minutes, maybe it's 60 minutes.

Có thể là 10 phút, có thể là 60 phút.

32:20

Uh one trick that we do which I think is really helpful is while you're still within the warm cache period, you should probably do the compaction right now because it's you have this long conversation.

Uh, một mẹo mà chúng tôi làm và tôi nghĩ thực sự hữu ích là trong khi bạn vẫn đang trong giai đoạn cache ấm, bạn nên thực hiện nén ngay bây giờ vì bạn đang có cuộc trò chuyện dài này.

32:30

it's going to be much cheaper.

Nó sẽ rẻ hơn nhiều.

32:31

So just go ahead do the compaction and now when the user comes back in 30 minutes or whatever

Vậy cứ tiến hành nén và bây giờ khi người dùng quay lại sau 30 phút hay gì đó

32:37

They're starting from this summary and the summary now is going to be much cheaper for them to continue adding messages on.

Họ bắt đầu từ bản tóm tắt này và bản tóm tắt giờ sẽ rẻ hơn nhiều để họ tiếp tục thêm tin nhắn vào.

32:43

So lots of work to do there to make it u to make the algorithm very high quality for how you do the summarization.

Vậy còn nhiều việc phải làm ở đó để làm cho thuật toán có chất lượng rất cao về cách bạn thực hiện tóm tắt.

32:51

When you talk about compaction and what information you choose to include in the agent's memory, I kind of think about it in a few

Khi bạn nói về nén và thông tin bạn chọn đưa vào bộ nhớ của agent, tôi nghĩ về nó theo một vài

32:59

Different layers.

Tầng khác nhau.

32:59

The first one is like facts about the user that are very important to be included every single time.

Tầng đầu tiên là những sự thật về người dùng rất quan trọng cần được đưa vào mỗi lần.

33:05

Going back to earlier when I said, "Oh, like the user always wants to have lowercase text." That probably needs to be in every single message.

Quay lại lúc trước khi tôi nói, "Ồ, kiểu như người dùng luôn muốn văn bản viết thường." Điều đó có lẽ cần có trong mọi tin nhắn.

33:12

Otherwise, it would be really weird if one message now has uppercase letters.

Nếu không, sẽ rất kỳ lạ nếu một tin nhắn bây giờ lại có chữ in hoa.

33:16

Uh if you're going like full Sam Alman style, um then

Uh nếu bạn đi theo phong cách Sam Altman hoàn toàn, um thì

33:20

Uh you probably also have some prompts that you want or some facts that you want to include in there.

Uh bạn có lẽ cũng có một số prompt mà bạn muốn hoặc một số sự thật mà bạn muốn đưa vào đó.

33:25

And there's many different ways you can make this algorithm to determine what are the most important facts to keep.

Và có nhiều cách khác nhau để bạn làm thuật toán này nhằm xác định đâu là những sự thật quan trọng nhất cần giữ lại.

33:31

So ideally there's this kind of garbage collection of this fact.

Vậy lý tưởng nhất là có kiểu thu gom rác cho sự thật này.

33:34

And like if you think about it, this is kind of how our brains work.

Và nếu bạn nghĩ về nó, đây kiểu như cách bộ não của chúng ta hoạt động.

33:38

It's like this fact right now is

Kiểu như sự thật này ngay bây giờ là

33:40

Important to keep.

Quan trọng để giữ lại.

33:40

It's relevant for this conversation today.

Nó liên quan đến cuộc trò chuyện hôm nay.

33:42

You're probably not thinking about, you know, a soccer match right now.

Bạn có lẽ không đang nghĩ về, bạn biết đấy, một trận bóng đá ngay bây giờ.

33:46

Uh and your brain is very good at keeping those ones in context right now and kind of remembering them for later.

Uh và bộ não của bạn rất giỏi giữ những thứ đó trong ngữ cảnh ngay bây giờ và kiểu như ghi nhớ chúng cho sau này.

33:53

We try to model some of that here where the the harness has of course these core facts.

Chúng tôi cố gắng mô phỏng một phần điều đó ở đây, nơi harness tất nhiên có những sự thật cốt lõi này.

33:58

It also has these dated logs of

Nó cũng có những nhật ký ghi ngày tháng về

34:01

Kind of your past conversation history essentially and then also these kind of scratchpad notes.

Kiểu như lịch sử trò chuyện trong quá khứ của bạn về cơ bản và rồi cả những ghi chú nháp kiểu này.

34:05

So just like little things that you've been working on right now that are designed to be ephemeral and they will go away but they might be relevant just for the next 30 minutes or an hour.

Giống như những thứ nhỏ nhặt bạn đang làm việc ngay bây giờ được thiết kế để tạm thời và chúng sẽ biến mất nhưng chúng có thể liên quan chỉ trong 30 phút hoặc một giờ tới.

34:16

And everything else can be found through files.

Và mọi thứ khác đều có thể được tìm thấy thông qua các tệp.

34:18

This is the magic of files of the models being good at

Đây là điều kỳ diệu của các tệp, của việc các mô hình giỏi

34:22

Running commands is like they can always just go look stuff up and they're actually very good at doing that.

Chạy lệnh, kiểu như chúng luôn có thể đi tra cứu mọi thứ và chúng thực sự rất giỏi làm điều đó.

34:28

So where is this going?

Vậy điều này đang đi đến đâu?

34:30

There is this flywheel of training the model to get better at the product and just as a highle refresher on kind of the stages of training a large language model.

Có một bánh đà huấn luyện mô hình để giỏi hơn với sản phẩm và như một phần ôn tập nhanh về các giai đoạn huấn luyện một mô hình ngôn ngữ lớn.

34:40

Uh first you have pre-training where the model learns uh a general understanding

Uh đầu tiên bạn có tiền huấn luyện, nơi mô hình học uh một hiểu biết tổng quát

34:45

Of the world from large amounts of internet text or other private data.

Về thế giới từ lượng lớn văn bản internet hoặc dữ liệu riêng tư khác.

34:50

Then you have supervised fine-tuning where you're teaching the model how to behave uh in a certain way maybe as a chat assistant or as an agent.

Rồi bạn có tinh chỉnh có giám sát, nơi bạn dạy mô hình cách hành xử uh theo một cách nào đó, có thể như một trợ lý trò chuyện hoặc như một agent.

34:58

And then finally you have reinforcement learning where it's kind of like teaching the model how to play games and get better at those games.

Và cuối cùng bạn có học tăng cường, nơi nó kiểu như dạy mô hình cách chơi trò chơi và giỏi hơn ở những trò chơi đó.

35:06

Um, and in the context of these always on agents, it's very helpful, for example, to train the model

Um, và trong bối cảnh những agent luôn bật này, rất hữu ích, ví dụ, để huấn luyện mô hình

35:12

To see examples of the harness and to know how to work inside of the harness in SFT.

Thấy các ví dụ về harness và biết cách làm việc bên trong harness trong SFT.

35:17

Um, so it can understand the tools that you have available.

Um, để nó có thể hiểu các công cụ mà bạn có sẵn.

35:21

It's helpful to train the model to be better at instruction following during reinforcement learning.

Sẽ hữu ích khi huấn luyện mô hình giỏi hơn trong việc tuân theo chỉ dẫn trong quá trình học tăng cường.

35:26

How to understand the right skill to call when there's hundreds of skills, for example.

Cách hiểu đúng kỹ năng cần gọi khi có hàng trăm kỹ năng, chẳng hạn.

35:31

How to click on the right spots when you're given in a browser and it needs to kind of click around.

Cách nhấp vào đúng chỗ khi bạn được đưa vào một trình duyệt và nó cần nhấp loanh quanh.

35:36

Um, and not only the training itself, but also how you serve the model, the inference that you do.

Um, và không chỉ bản thân việc huấn luyện, mà còn cách bạn phục vụ mô hình, suy luận mà bạn thực hiện.

35:41

The main agent you're talking with, you know, ideally you want it to have very low latency.

Agent chính mà bạn đang nói chuyện, bạn biết đấy, lý tưởng nhất là bạn muốn nó có độ trễ rất thấp.

35:45

You want it to come back to you right away, give you really fast replies, and you can tune

Bạn muốn nó phản hồi lại ngay, cho bạn câu trả lời thật nhanh, và bạn có thể tinh chỉnh

35:50

The harness and the inference to do that.

Harness và suy luận để làm điều đó.

35:52

But then when you go hand it off to a helper and you're asking it to go do some work for a very long period of time, the difference between 10 minutes and 12 minutes is kind of negligible at that point.

Nhưng rồi khi bạn giao nó cho một trợ thủ và bạn yêu cầu nó đi làm gì đó trong một khoảng thời gian rất dài, sự khác biệt giữa 10 phút và 12 phút gần như không đáng kể ở thời điểm đó.

36:03

So that allows you to kind of control uh how you optimize things.

Vậy điều đó cho phép bạn kiểm soát uh cách bạn tối ưu hóa mọi thứ.

36:07

Um the way that this kind of flywheel works is that let's say

Um cách mà kiểu bánh đà này hoạt động là giả sử

36:11

Your agent gets something wrong.

Agent của bạn làm sai điều gì đó.

36:12

Um ideally then that gets turned into some kind of evaluation.

Um lý tưởng nhất thì điều đó được biến thành một loại đánh giá nào đó.

36:15

So, uh, the model, you know, accidentally, uh, called this tool and it wasn't supposed to.

Vậy, uh, mô hình, bạn biết đấy, vô tình, uh, gọi công cụ này và lẽ ra nó không nên làm vậy.

36:20

Um, then on the back end, you can go and fix the harness.

Um, rồi ở phía backend, bạn có thể đi sửa harness.

36:23

You can fix the bug, you can fix the prompt, maybe it's an inference issue.

Bạn có thể sửa lỗi, bạn có thể sửa lời nhắc, có thể đó là vấn đề suy luận.

36:28

Um, you can check and make sure it's actually fixed in the eval, and

Ừm, bạn có thể kiểm tra và đảm bảo rằng nó thực sự được sửa trong đánh giá, và

36:32

Then ship the change.

Sau đó phát hành thay đổi.

36:33

Uh, and you know, the teams uh, and the products uh, the teams working on these products, they're kind of doing this every single day.

Uh, và bạn biết đấy, các đội uh, và các sản phẩm uh, các đội làm việc trên những sản phẩm này, họ kiểu như làm điều này mỗi ngày.

36:39

They're finding bugs, they're fixing it, they're measuring it with eval.

Họ tìm lỗi, họ sửa nó, họ đo lường nó bằng đánh giá.

36:41

That's kind of this inner loop that you're always getting better at.

Đó là kiểu vòng lặp bên trong mà bạn luôn cải thiện.

36:44

But then there's this outer loop which is like every few months or every month or however long um you're training new models and ideally the new models are learning from all of these bugs and these failures and they're kind of

Nhưng sau đó có vòng lặp bên ngoài này, kiểu như mỗi vài tháng hoặc mỗi tháng hoặc bất kể bao lâu um bạn đang huấn luyện các mô hình mới và lý tưởng là các mô hình mới đang học hỏi từ tất cả những lỗi này và những thất bại này và chúng kiểu như

36:55

Climbing on the evals to get better at the things that you care about and you can drop the new versions into the product and make sure that they're improving at all these different things.

Leo thang trên các đánh giá để trở nên tốt hơn ở những điều bạn quan tâm và bạn có thể đưa các phiên bản mới vào sản phẩm và đảm bảo rằng chúng đang cải thiện ở tất cả những thứ khác nhau này.

37:03

And the fun thing about this is then when the new models come out they have new capability jumps.

Và điều thú vị về điều này là khi các mô hình mới ra mắt, chúng có những bước nhảy về khả năng mới.

37:07

Um it allows you to use the product in new ways.

Um nó cho phép bạn sử dụng sản phẩm theo những cách mới.

37:10

So there hasn't really been a lot of training data for example on using bots in a group chat.

Vì vậy, thực sự chưa có nhiều dữ liệu huấn luyện ví dụ về việc sử dụng bot trong một cuộc trò chuyện nhóm.

37:15

This is kind of an emergent thing that's being figured out.

Đây là một điều kiểu như mới nổi đang được tìm hiểu.

37:18

Uh and it's important to get it right.

Uh và điều quan trọng là làm đúng.

37:20

Obviously if you've seen things like multbook or the hugging face incident like there are ways that goes poorly.

Rõ ràng nếu bạn đã thấy những thứ như multbook hoặc sự cố hugging face thì có những cách nó diễn ra tồi tệ.

37:25

So it's important to be able to train the models how to behave well in a multi- aent system where uh different bots are talking to each other for example.

Vì vậy, điều quan trọng là có thể huấn luyện các mô hình cách cư xử tốt trong một hệ thống đa tác nhân nơi uh các bot khác nhau đang nói chuyện với nhau chẳng hạn.

37:35

Um, and so ideally you're always kind of running these inner loops and outer loops as a product team

Um, và vì vậy lý tưởng là bạn luôn kiểu như chạy những vòng lặp bên trong và bên ngoài này như một đội sản phẩm

37:41

Building these type of harnesses at a company uh working on AI together.

Xây dựng những loại khung này tại một công ty uh làm việc trên AI cùng nhau.

37:46

Um, one of the principles that we had at Cursor uh and now at SpaceX is to delete the product.

Um, một trong những nguyên tắc chúng tôi có tại Cursor uh và bây giờ tại SpaceX là xóa sản phẩm.

37:51

And what we mean by this is you kind of have to internalize and assume that the models today are the worst they'll ever be.

Và ý chúng tôi là bạn kiểu như phải nội tâm hóa và giả định rằng các mô hình hôm nay là tồi tệ nhất chúng sẽ từng có.

37:59

which means that in six months uh you might need to completely rebuild the UI.

Điều đó có nghĩa là trong sáu tháng uh bạn có thể cần xây dựng lại hoàn toàn giao diện người dùng.

38:03

Like most of the stuff that I've talked about today, uh it's a pretty big update from if I

Giống như hầu hết những thứ tôi đã nói hôm nay, uh đó là một cập nhật khá lớn so với nếu tôi

38:09

Would have given this talk six months ago or definitely a year ago because we've learned a lot of uh new practical ways of building harnesses and doing context engineering.

Đã đưa ra bài nói này sáu tháng trước hoặc chắc chắn là một năm trước vì chúng tôi đã học được nhiều cách thực hành mới uh để xây dựng khung và làm kỹ thuật ngữ cảnh.

38:18

So a good strategy here is you really want to try to build for the next generation of the model.

Vì vậy, một chiến lược tốt ở đây là bạn thực sự muốn cố gắng xây dựng cho thế hệ mô hình tiếp theo.

38:24

Like how do you build as little as possible and get by uh while making just a really simple interface to work with these models and allow them to uh to think and act for you.

Giống như làm thế nào để bạn xây dựng ít nhất có thể và xoay xở uh trong khi tạo ra một giao diện thực sự đơn giản để làm việc với những mô hình này và cho phép chúng uh suy nghĩ và hành động thay bạn.

38:34

So um some things that I think will happen in the next 6 to 12 months.

Vì vậy um một số điều tôi nghĩ sẽ xảy ra trong 6 đến 12 tháng tới.

38:39

We'll see.

Chúng ta sẽ thấy.

38:40

I think these are decently safe bets.

Tôi nghĩ đây là những đặt cược khá an toàn.

38:42

But uh you know right now let's say you have your agents or your bots working for maybe a

Nhưng uh bạn biết đấy ngay bây giờ giả sử bạn có các tác nhân hoặc bot của bạn làm việc trong có thể là một

38:48

Few hours, maybe a day depending on how tough it is.

Vài giờ, có thể một ngày tùy thuộc vào độ khó.

38:51

I think it's very possible that pretty soon um your agents will be working for weeks or months.

Tôi nghĩ rất có thể là sớm thôi um các tác nhân của bạn sẽ làm việc trong nhiều tuần hoặc nhiều tháng.

38:57

Uh and it does bring up some kind of interesting questions in terms of how we train and evaluate those models.

Uh và nó đặt ra một số câu hỏi thú vị về cách chúng ta huấn luyện và đánh giá những mô hình đó.

39:04

I think the models are going to get better and better about how they recall on past information in conversations.

Tôi nghĩ các mô hình sẽ ngày càng tốt hơn về cách chúng nhớ lại thông tin trong quá khứ trong các cuộc trò chuyện.

39:11

Plenty

Nhiều

39:12

Of different approaches in research here for the type of algorithms used or the representation of the data under the hood.

Cách tiếp cận khác nhau trong nghiên cứu ở đây cho loại thuật toán được sử dụng hoặc biểu diễn dữ liệu bên dưới.

39:17

Maybe it's a graph, maybe it's files, maybe something else.

Có thể là một đồ thị, có thể là các tệp, có thể là thứ khác.

39:20

Um, I think ideally if you have this digital colleague, you give it literally all the tools that you have if you were onboarding a real human.

Um, tôi nghĩ lý tưởng là nếu bạn có đồng nghiệp kỹ thuật số này, bạn cung cấp cho nó tất cả các công cụ bạn có nếu bạn đang hướng dẫn một người thật.

39:28

And so I think organizations are still warming up to

Và vì vậy tôi nghĩ các tổ chức vẫn đang làm quen với

39:31

That idea, of course.

Ý tưởng đó, tất nhiên.

39:32

So there's a more to do there.

Vì vậy, còn nhiều việc phải làm ở đó.

39:34

I think the interfaces uh will maybe get even easier.

Tôi nghĩ các giao diện uh có thể sẽ trở nên thậm chí dễ dàng hơn.

39:37

I think some people will prefer to just talk to their kind of bots or agents uh as a in a speech-toech way.

Tôi nghĩ một số người sẽ thích chỉ nói chuyện với bot hoặc tác nhân của họ uh theo cách chuyển giọng nói thành văn bản.

39:45

Maybe they'll have their like uh Johnny IV device that is hopefully really cool and they can like talk to that uh all day.

Có thể họ sẽ có thiết bị Johnny IV của họ mà hy vọng thực sự thú vị và họ có thể nói chuyện với nó uh cả ngày.

39:52

Um I think the models and the products will get really

Um tôi nghĩ các mô hình và sản phẩm sẽ trở nên thực sự

39:56

Good at um learning skills on the job and then encoding that into files in instructions skills uh and taking that raw intelligence and actually making it useful for whatever uh whatever task you're asking it to do.

Giỏi trong việc um học các kỹ năng trong công việc và sau đó mã hóa điều đó vào các tệp trong hướng dẫn kỹ năng uh và lấy trí tuệ thô đó và thực sự làm cho nó hữu ích cho bất kỳ uh bất kỳ nhiệm vụ nào bạn yêu cầu nó làm.

40:09

and people and companies um are going to get much better I think about uh writing down how all of these kind of bespoke processes work so that they're legible for agents

Và mọi người và công ty um sẽ trở nên tốt hơn nhiều tôi nghĩ về uh viết ra cách tất cả những quy trình tùy chỉnh này hoạt động để chúng dễ đọc cho các tác nhân

40:20

To use.

Sử dụng.

40:20

So some interesting problems I think that like could just spark ideas for you all to research or to look into.

Vì vậy, một số vấn đề thú vị tôi nghĩ có thể chỉ khơi dậy ý tưởng cho tất cả các bạn để nghiên cứu hoặc tìm hiểu.

40:26

The first one is like going back to this idea of agents that run for a month.

Đầu tiên là quay lại ý tưởng về các tác nhân chạy trong một tháng.

40:31

What do you do when you need to evaluate an agent that runs for a month but the models ship every month?

Bạn làm gì khi cần đánh giá một tác nhân chạy trong một tháng nhưng các mô hình được phát hành mỗi tháng?

40:37

you know, it's like laughter you can't fully evaluate that the model

Bạn biết đấy, giống như [tiếng cười] bạn không thể đánh giá đầy đủ rằng mô hình

40:41

Is uh sufficiently uh behaving as expected.

Có phải uh hành xử đủ uh như mong đợi.

40:43

So, you either have to figure out how to do a better eval or you know not ship models as fast and I think that's going to be a problem that the industry has to figure out in the next six months.

Vì vậy, bạn phải tìm cách đánh giá tốt hơn hoặc bạn biết đấy, không phát hành mô hình nhanh như vậy và tôi nghĩ đó sẽ là một vấn đề mà ngành công nghiệp phải giải quyết trong sáu tháng tới.

40:54

Um memory obviously we talked about the different algorithms.

Ừm, bộ nhớ rõ ràng chúng ta đã nói về các thuật toán khác nhau.

40:57

I think there's so much to do on the security side for how to make a secure

Tôi nghĩ có rất nhiều việc phải làm về mặt bảo mật để làm thế nào tạo ra một

41:02

Harness, how to make the infrastructure clears throat around these agents um very secure uh and so they can't be taken over by bad actors.

Khung bảo mật, làm thế nào để cơ sở hạ tầng [hắng giọng] xung quanh các tác nhân này ừm rất an toàn uh và vì vậy chúng không thể bị chiếm đoạt bởi các tác nhân xấu.

41:09

I think we didn't really talk about it too much, but the heristics around when the agent is silent or when it kind of bugs you, uh I don't think that we have it perfect yet.

Tôi nghĩ chúng ta chưa thực sự nói về nó quá nhiều, nhưng các phương pháp heuristic xung quanh việc khi nào tác nhân im lặng hoặc khi nào nó làm phiền bạn, uh tôi không nghĩ rằng chúng ta đã hoàn hảo về điều đó.

41:21

And I think trying to thread the needle between being proactive and

Và tôi nghĩ việc cố gắng tìm ra sự cân bằng giữa việc chủ động và

41:25

Suggesting like, "Oh, hey, like I saw that you missed class yesterday.

Đề xuất như, "Ồ, này, tôi thấy bạn đã bỏ lỡ lớp học ngày hôm qua.

41:27

Like I I had a recording there and I took the notes and like here's the thing." Like maybe that's helpful or maybe that's kind of annoying, you know?

Tôi có một bản ghi âm ở đó và tôi đã ghi chú và đây là vấn đề." Có thể điều đó hữu ích hoặc có thể hơi khó chịu, bạn biết không?

41:35

And like trying to figure out the right the right balance there.

Và cố gắng tìm ra sự cân bằng đúng đắn ở đó.

41:38

Um, I also think that it's a pretty safe bet to assume that at this time next year there will be significantly significantly more tokens flowing in the world which means that optimizing the inference optimizing the models optimizing the harnesses trying to drive down the tokens to uh be more efficient will also the token usage to be more efficient I think will also be very

Ừm, tôi cũng nghĩ rằng đó là một dự đoán khá an toàn khi giả định rằng vào thời điểm này năm sau sẽ có lượng token lưu chuyển trên thế giới nhiều hơn đáng kể, điều đó có nghĩa là việc tối ưu hóa suy luận, tối ưu hóa các mô hình, tối ưu hóa các khung, cố gắng giảm lượng token để uh hiệu quả hơn cũng sẽ khiến việc sử dụng token hiệu quả hơn, tôi nghĩ cũng sẽ rất

42:03

Important.

Quan trọng.

42:03

So there's kind of these new building blocks to think about.

Vì vậy, có những khối xây dựng mới này để suy nghĩ.

42:06

I believe it was Alex from Open Router that I saw on X.

Tôi tin đó là Alex từ Open Router mà tôi thấy trên X.

42:09

He had a really good take on this.

Anh ấy có một quan điểm thực sự hay về điều này.

42:11

There was people saying like, "Oh, every app today it looks the same.

Có người nói như, "Ồ, mọi ứng dụng ngày nay trông đều giống nhau.

42:15

You've got the sidebar, you know, you've got the agent when you got the chat box.

Bạn có thanh bên, bạn biết đấy, bạn có tác nhân khi bạn có hộp trò chuyện.

42:19

Like everybody's building the same thing." And he was like, "Yeah,

Mọi người đều đang xây dựng cùng một thứ." Và anh ấy nói, "Ừ,

42:22

That's like in 2005 you said everybody's building the same thing.

Điều đó giống như năm 2005 bạn nói mọi người đều đang xây dựng cùng một thứ.

42:25

They've got a server, you got a database, they've got some like CRUD interface to like update and delete things." And the reality is this is just kind of the new normal now where every new product is going to have to have some kind of uh agentic side to it either integrating or it will become a uh a you know a headless piece of data

Họ có một máy chủ, bạn có một cơ sở dữ liệu, họ có một giao diện CRUD để cập nhật và xóa mọi thứ." Và thực tế là đây chỉ là điều bình thường mới hiện nay khi mọi sản phẩm mới sẽ phải có một loại uh khía cạnh tác nhân nào đó, hoặc tích hợp hoặc nó sẽ trở thành một uh, bạn biết đấy, một phần dữ liệu không đầu

42:46

For another agent to use.

Để một tác nhân khác sử dụng.

42:47

Um, and so we've talked about a lot of these products today.

Ừm, và vì vậy chúng ta đã nói về rất nhiều sản phẩm này ngày hôm nay.

42:52

Durable workflows, um, sandboxes, computers in the cloud, memory, skills, uh, connecting clears throat to other services, doing voice, payments, identity, evals, observability.

Quy trình làm việc bền vững, ừm, hộp cát, máy tính trên đám mây, bộ nhớ, kỹ năng, uh, kết nối [hắng giọng] với các dịch vụ khác, thực hiện giọng nói, thanh toán, danh tính, đánh giá, khả năng quan sát.

43:01

Each one of those boxes is like multiple billions of dollars of VC capital, you probably trillions.

Mỗi một trong những ô đó giống như hàng tỷ đô la vốn đầu tư mạo hiểm, có thể là hàng nghìn tỷ.

43:08

There's 20 startups for each one of those.

Có 20 công ty khởi nghiệp cho mỗi một trong số đó.

43:10

And there's so many different things to explore and all of those because they kind of are the new primitives for the next generation of companies, the next generation of products, and they all have to integrate and be part of harnesses.

Và có rất nhiều thứ khác nhau để khám phá và tất cả những điều đó bởi vì chúng giống như những nguyên thủy mới cho thế hệ công ty tiếp theo, thế hệ sản phẩm tiếp theo, và tất cả chúng đều phải tích hợp và là một phần của các khung.

43:21

So there's there's definitely a lot to do there.

Vì vậy, chắc chắn có rất nhiều việc phải làm ở đó.

43:23

A few things uh to take away and then we'll have time for questions.

Một vài điều uh để rút ra và sau đó chúng ta sẽ có thời gian cho câu hỏi.

43:27

Obviously, you all are engineers.

Rõ ràng, tất cả các bạn đều là kỹ sư.

43:28

You're thinking about how to write software.

Bạn đang suy nghĩ về cách viết phần mềm.

43:30

It's more important than ever to think about the broader system design and the architecture of the code that you're working on because that the decisions you make there will really compound.

Điều quan trọng hơn bao giờ hết là suy nghĩ về thiết kế hệ thống rộng hơn và kiến trúc của mã bạn đang làm việc vì những quyết định bạn đưa ra ở đó sẽ thực sự tích lũy.

43:38

Um, so I'm still I'm still pro looking at code.

Ừm, vì vậy tôi vẫn vẫn ủng hộ việc xem mã.

43:41

You know, I still look at the code that I'm writing.

Bạn biết đấy, tôi vẫn xem mã mà tôi đang viết.

43:44

Some people not looking to code.

Một số người không xem mã.

43:46

I still think it's helpful, especially to understand the

Tôi vẫn nghĩ nó hữu ích, đặc biệt là để hiểu

43:49

Architecture that you're shipping.

Kiến trúc mà bạn đang phát hành.

43:50

Uh, it's crazy how much that's changed in just a couple years.

Uh, thật điên rồ khi điều đó đã thay đổi nhiều chỉ trong vài năm.

43:53

Um, secondly, you know, it sounds like y'all were kind of messing around with building own versions or understanding of how the harness worked in uh, last week.

Ừm, thứ hai, bạn biết đấy, có vẻ như tất cả các bạn đã loay hoay với việc xây dựng các phiên bản riêng hoặc hiểu biết về cách khung hoạt động trong uh, tuần trước.

44:00

Uh, I encourage you to think about some of the things that I did today and try to apply that and think about how you might build

Uh, tôi khuyến khích bạn suy nghĩ về một số điều tôi đã làm hôm nay và cố gắng áp dụng điều đó và suy nghĩ về cách bạn có thể xây dựng

44:08

A version uh, for yourself.

Một phiên bản uh, cho chính bạn.

44:09

I'm pretty sure there's like open grobbot on GitHub somewhere where somebody's like, you know, slot forked our code and made and made a version.

Tôi khá chắc rằng có một cái gì đó như open grobbot trên GitHub ở đâu đó nơi ai đó đã, bạn biết đấy, fork mã của chúng tôi và tạo ra một phiên bản.

44:17

Uh, and you could probably set up like the guey for that with, you know, a sandbox somewhere and, uh, you know, a VM and like all sorts of different things.

Uh, và bạn có thể thiết lập giao diện cho điều đó với, bạn biết đấy, một hộp cát ở đâu đó và, uh, bạn biết đấy, một VM và đủ loại thứ khác nhau.

44:27

Um, so that could be interesting if you want to

Ừm, vì vậy điều đó có thể thú vị nếu bạn muốn

44:31

Learn a little bit more about how these pieces work.

Tìm hiểu thêm một chút về cách các phần này hoạt động.

44:33

And then finally, um, I would not shy away from just learning a little bit more about how LLMs work.

Và cuối cùng, ừm, tôi sẽ không né tránh việc chỉ học thêm một chút về cách LLM hoạt động.

44:39

You know, we gave a little bit of the TLDDR here of how they're trained, but there's so much more you can go into here without necessarily going deep in ML or deep into the science part of it.

Bạn biết đấy, chúng tôi đã đưa ra một chút TLDDR ở đây về cách chúng được huấn luyện, nhưng có rất nhiều điều bạn có thể đi sâu hơn ở đây mà không nhất thiết phải đi sâu vào ML hoặc đi sâu vào phần khoa học của nó.

44:50

But I think it's helpful to understand just

Nhưng tôi nghĩ nó hữu ích để hiểu chỉ

44:53

Like when you're building a web app, it's helpful to know how databases work because increasingly the there are so many decisions you make at the product in the harness uh level that are influenced by the models themselves.

Giống như khi bạn xây dựng một ứng dụng web, sẽ hữu ích khi biết cách cơ sở dữ liệu hoạt động vì ngày càng có nhiều quyết định bạn đưa ra ở cấp sản phẩm và khung uh bị ảnh hưởng bởi chính các mô hình.

45:04

And having an intuition of how that works, I think will make you very well positioned for uh whatever role you're operating in.

Và có trực giác về cách nó hoạt động, tôi nghĩ sẽ khiến bạn ở vị trí rất tốt cho uh bất kỳ vai trò nào bạn đang đảm nhận.

45:11

And uh that's all I have today.

Và uh đó là tất cả những gì tôi có hôm nay.

45:14

applause Thank you.

[vỗ tay] Cảm ơn.

Transcript

Hiển thị

Always-On Agents and Developer Eras

Always-on agents represent a shift from simple terminal harnesses to persistent, proactive systems that run continuously on servers with their own computer and memory. The evolution of developer-AI interaction has moved through four distinct eras, culminating in agents that operate ambiently in the background, learning skills and acting like colleagues.

Tác nhân luôn hoạt động đại diện cho sự chuyển dịch từ các harness terminal đơn giản sang các hệ thống liên tục, chủ động, chạy không ngừng trên máy chủ với máy tính và bộ nhớ riêng. Sự tiến hóa của tương tác giữa nhà phát triển và AI đã trải qua bốn kỷ nguyên riêng biệt, đỉnh cao là các tác nhân hoạt động xung quanh trong nền, học kỹ năng và hành xử như đồng nghiệp.