0:00

55:30

SpaceX AI Engineer Lauren Tan: Part 1

Ai insider·55:30·Technology·C1

Chương · 7

Chương 1·Trust and Verification in AI Coding Agents

Hiển thị

Tiếng ViệtAuto-scroll

0:00

So, the first thing I want to talk about, it's pretty serious, okay?

Vậy, điều đầu tiên tôi muốn nói đến, nó khá nghiêm túc, được chứ?

0:06

I need all of you to take this seriously.

Tôi cần tất cả các bạn coi trọng điều này.

0:10

Put your phones down, put your laptop down, put your water bottles down.

Đặt điện thoại xuống, đặt laptop xuống, đặt chai nước xuống.

0:16

We're done hydrating.

Chúng ta xong việc uống nước rồi.

0:18

Are you all ready?

Tất cả các bạn đã sẵn sàng chưa?

0:20

Very excited to announce.

Rất hào hứng để công bố.

0:24

applause Uh, you can't end PM insult yet.

[vỗ tay] Uh, bạn chưa thể kết thúc PM insult được.

0:26

We'll, we'll release that later today.

Chúng tôi sẽ, chúng tôi sẽ phát hành nó sau hôm nay.

0:28

Okay.

Được rồi.

0:29

So don't, don't take your laptops out.

Vậy đừng, đừng lấy laptop ra.

0:31

Um, but yes, very exciting milestone, and after I do the release, you can get started your applications by installing babel plugin react as well as the new eslint plugin.

Um, nhưng đúng, một cột mốc rất thú vị, và sau khi tôi thực hiện bản phát hành, các bạn có thể bắt đầu ứng dụng của mình bằng cách cài đặt babel plugin react cũng như eslint plugin mới.

0:41

Uh, okay, so I assume you can see my screen.

Uh, được rồi, tôi giả sử các bạn có thể thấy màn hình của tôi.

0:45

- Yes.

- Vâng.

0:45

Yeah, we're good.

Ừ, chúng ta ổn.

0:46

- So yeah, today, yeah, I think, I think the big theme for me as I've been using agents to write code and I'm sure a lot of you have had the same experience as well is how do you trust it?

- Vậy đúng, hôm nay, đúng, tôi nghĩ, tôi nghĩ chủ đề lớn đối với tôi khi tôi đã sử dụng agents để viết code và tôi chắc rằng nhiều bạn cũng có trải nghiệm tương tự là làm sao bạn tin tưởng nó?

0:58

You know, especially if you are an engineer that's been writing code for a very long time, you have a lot of opinions and lessons that you've learned about doing good engineering.

Bạn biết đấy, đặc biệt nếu bạn là một kỹ sư đã viết code trong một thời gian rất dài, bạn có rất nhiều quan điểm và bài học đã rút ra về việc làm kỹ thuật tốt.

1:08

And when you see agents

Và khi bạn thấy các agents

1:10

just, you know, winging it and, you know, guessing, hallucinating, uh, you know, confidently stating that they found the smoking gun, uh, for the hundth time, uh, but it's actually not the real problem.

Chỉ, bạn biết đấy, làm tùy hứng và, bạn biết đấy, đoán mò, ảo giác, uh, bạn biết đấy, tự tin tuyên bố rằng chúng đã tìm ra bằng chứng quyết định, uh, lần thứ một trăm, uh, nhưng thực ra đó không phải là vấn đề thật sự.

1:21

You lose a lot of trust.

Bạn mất rất nhiều niềm tin.

1:23

And when you lose, when you don't have much trust in your agents, I feel like you really can't get the most out of them.

Và khi bạn mất, khi bạn không có nhiều niềm tin vào các agents của mình, tôi cảm thấy bạn thực sự không thể khai thác tối đa chúng.

1:32

And for me, the parallel is

Và đối với tôi, sự tương đồng là

1:34

like with management.

Giống như với quản lý.

1:34

Uh, so if I'm an a manager, an engineering manager of a team and I have a bunch of, you know, I have a team of engineers, uh, on my team and I don't trust them, then the mode of operation I'm going to be in is going to be like micromanagement, right?

Uh, vậy nếu tôi là một quản lý, một engineering manager của một nhóm và tôi có một loạt, bạn biết đấy, tôi có một nhóm kỹ sư, uh, trong nhóm của tôi và tôi không tin tưởng họ, thì chế độ hoạt động tôi sẽ ở trong sẽ giống như micromanagement, đúng không?

1:51

I'll have to spend a lot of time looking over my reports' shoulders and checking that they're doing their work well, you know,

Tôi sẽ phải dành rất nhiều thời gian nhìn qua vai các báo cáo của mình và kiểm tra rằng họ đang làm việc tốt, bạn biết đấy,

1:58

like they're not shipping bugs to production.

Giống như họ không đưa bug lên production.

2:02

And so I drew this chart because, uh, it's not, it's not a very scientific chart, but like this is how I imagine myself and my journey through using agents.

Và vì vậy tôi đã vẽ biểu đồ này bởi vì, uh, nó không, nó không phải là một biểu đồ rất khoa học, nhưng đại loại đây là cách tôi hình dung bản thân và hành trình của mình qua việc sử dụng agents.

2:13

So, you know, like fast forward or back forward, uh, or fast back, uh, fast backwards like a year or so when, you know, nobody was or not many people were using agents to code.

Vậy, bạn biết đấy, giống như tua nhanh về phía trước hoặc tua ngược về phía trước, uh, hoặc tua nhanh về phía sau, uh, tua nhanh về phía sau khoảng một năm hoặc lâu hơn khi, bạn biết đấy, không ai hoặc không nhiều người đang sử dụng agents để code.

2:27

Uh, I think you, uh, you know, get into this mode where you are

Uh, tôi nghĩ bạn, uh, bạn biết đấy, bước vào chế độ này nơi bạn

2:33

in very heavily in the loop with one or several like a handful of agents and you find yourself just constantly figure, uh, you know, trying to understand what your agents are doing, uh, and you're very in loop.

Ở rất sâu trong vòng lặp với một hoặc vài, kiểu như một số ít agents và bạn thấy mình liên tục, uh, bạn biết đấy, cố gắng hiểu các agents của mình đang làm gì, uh, và bạn rất trong vòng lặp.

2:46

You're watching every single output.

Bạn đang xem từng output một.

2:48

You are sitting there prompting, um, and you really can't parallelize beyond that because you don't, again, you don't have that trust, right?

Bạn đang ngồi đó prompt, um, và bạn thực sự không thể song song hóa vượt ra ngoài đó bởi vì bạn không, một lần nữa, bạn không có niềm tin đó, đúng không?

2:56

You can't go

Bạn không thể đi

2:58

to a 100 agents, uh, like spawn 100 agents when you don't even trust the output of one agent.

Đến 100 agents, uh, kiểu như tạo ra 100 agents khi bạn thậm chí không tin tưởng output của một agent.

3:04

So over the past 5 months, I feel like I've really been able to, uh, like ascend this trust curve and now I'm at the point where, uh, I actually have this, sounds kind of scary to say this and it makes me sound like a slop artist, but I promise I'm not, but I actually have my agents now, um,

Vậy trong 5 tháng qua, tôi cảm thấy mình thực sự đã có thể, uh, kiểu như vượt lên đường cong niềm tin này và giờ tôi đang ở điểm mà, uh, tôi thực sự có cái này, nghe hơi đáng sợ khi nói điều này và nó khiến tôi nghe như một nghệ sĩ slop, nhưng tôi hứa tôi không phải vậy, nhưng tôi thực sự có các agents của mình bây giờ, um,

3:25

automerging PRs for me.

Tự động merge PR cho tôi.

3:26

Uh, which is like a wild thing to say, but, um, like I woke up today and there were like 20 PRs landed and I just reviewed them on main like they were already landed and they were good.

Uh, điều đó thật hoang đường khi nói ra, nhưng, um, kiểu như tôi thức dậy hôm nay và có khoảng 20 PR đã landed và tôi chỉ review chúng trên main như thể chúng đã được landed rồi và chúng tốt.

3:39

Uh, so how did I get to that point is basically what I wanted to talk about today.

Uh, vậy làm sao tôi đến được điểm đó về cơ bản là điều tôi muốn nói đến hôm nay.

3:45

Uh, and again, like, yeah, feel free to jump in if you have questions, Colin.

Uh, và một lần nữa, kiểu như, ừ, cứ thoải mái tham gia nếu bạn có câu hỏi, Colin.

3:50

Um, but, uh, oh yeah, of course I got to show this, this chart.

Um, nhưng, uh, ồ đúng rồi, tất nhiên tôi phải cho xem cái này, biểu đồ này.

3:56

Uh, where, uh, oh, do not trust to someone requested to control my computer.

Uh, ở đâu, uh, ồ, đừng tin tưởng vào ai đó yêu cầu điều khiển máy tính của tôi.

4:01

Uh, probably won't do that.

Uh, có lẽ sẽ không làm điều đó.

4:03

Uh, but yeah, so this chart, I think I'm, I'm sharing this chart not to kind of like flex but to kind of show like the journey, like so

Uh, nhưng đúng, vậy biểu đồ này, tôi nghĩ tôi, tôi chia sẻ biểu đồ này không phải để kiểu như khoe khoang mà để kiểu như cho thấy hành trình, kiểu như vậy

4:15

you can see like the curve, like it sort of like inversely matches the contributions I've been able to land at cursor.

Bạn có thể thấy kiểu như đường cong, nó kiểu như tương quan nghịch với các đóng góp tôi đã có thể landed tại cursor.

4:21

So I joined five months ago and five months ago, like I, you know, my first month I was like not very productive because I was ob, you know, I was learning the codebase, didn't know what the heck was going on, and as I got more confident in my agents, uh, I've really been able

Vậy tôi đã tham gia năm tháng trước và năm tháng trước, kiểu như tôi, bạn biết đấy, tháng đầu tiên của tôi tôi không năng suất lắm bởi vì tôi đang, bạn biết đấy, tôi đang học codebase, không biết chuyện quái gì đang diễn ra, và khi tôi trở nên tự tin hơn vào các agents của mình, uh, tôi thực sự đã có thể

4:38

to kind of ramp up my productivity.

Kiểu như tăng tốc năng suất của mình.

4:40

Uh, and again, like, yeah, like last month I shipped a thousand PRs, which is ridiculous.

Uh, và một lần nữa, kiểu như, ừ, tháng trước tôi đã ship một nghìn PR, điều đó thật vô lý.

4:46

Uh, and then this month we're only on the 12th.

Uh, và rồi tháng này chúng ta mới chỉ đến ngày 12.

4:50

I'm already at like almost 800 PRs landed.

Tôi đã gần như 800 PR landed rồi.

4:53

Uh, so the velocity is definitely high and you, I'm sure a lot of you will definitely be questioning like how much of this code is actually good.

Uh, vậy tốc độ chắc chắn là cao và bạn, tôi chắc rằng nhiều bạn chắc chắn sẽ đặt câu hỏi kiểu như có bao nhiêu code này thực sự tốt.

5:03

Um, and I think

Um, và tôi nghĩ

5:05

yeah, like that's definitely fair to question.

Ừ, kiểu như điều đó chắc chắn là hợp lý để đặt câu hỏi.

5:08

Um, but, uh, yeah, I think, I think if you set up your agents well, you can definitely get to a very similar level.

Ừm, nhưng, ừ, tôi nghĩ, tôi nghĩ nếu bạn thiết lập các agent của mình tốt, bạn chắc chắn có thể đạt đến một mức rất tương tự.

5:19

Um, and so I'm going to talk about how we do that.

Ừm, và vì vậy tôi sẽ nói về cách chúng tôi làm điều đó.

5:24

Uh, so for me, I think I'm curious, like, I guess, call in your experience as well, but, uh, for me, I think the most important skill that you should have in your toolbox when you work with agents is verification.

Ừ, vậy đối với tôi, tôi nghĩ tôi tò mò, kiểu như, tôi đoán, hãy gọi cả kinh nghiệm của bạn nữa, nhưng, ừ, đối với tôi, tôi nghĩ kỹ năng quan trọng nhất mà bạn nên có trong hộp công cụ của mình khi làm việc với agent là xác minh.

5:40

Uh, and by verification, I mean the ability for an agent to actually run the code, uh, or take CPU traces or heap snapshots or, uh, you know, open an iOS simulator, whatever, you know,

Ừ, và ý tôi là xác minh, khả năng để một agent thực sự chạy mã, ừ, hoặc lấy dấu vết CPU hoặc ảnh chụp heap hoặc, ừ, bạn biết đấy, mở trình mô phỏng iOS, bất cứ thứ gì, bạn biết đấy,

5:55

however your application is exposed to your users, it can do the same thing and, uh, run it for real and actually test and verify it don't work because that's the thing that really closes the loop.

Dù ứng dụng của bạn được hiển thị với người dùng như thế nào, nó có thể làm điều tương tự và, ừ, chạy nó thật sự và thực sự kiểm tra và xác minh nó không hoạt động bởi vì đó là thứ thực sự khép kín vòng lặp.

6:10

uh, it doesn't guarantee your agent writes good code, uh, but it allows them to at least write correct code, uh, which is a big, a really big step forward for being able to trust your agents.

Ừ, nó không đảm bảo agent của bạn viết mã tốt, ừ, nhưng nó cho phép chúng ít nhất viết mã đúng, ừ, đó là một bước tiến lớn, thực sự lớn để có thể tin tưởng các agent của bạn.

6:29

Um, I will, I can share one example that we have, uh, within cursor, uh, oops, where let me open this, make this, uh, make me full screen.

Ừm, tôi sẽ, tôi có thể chia sẻ một ví dụ mà chúng tôi có, ừ, trong cursor, ừ, ối, để tôi mở cái này, làm cái này, ừ, làm cho tôi toàn màn hình.

6:44

There you go.

Được rồi.

6:46

Uh, so for the, for cursor's agent window, uh, so this is actually an

Ừ, vậy đối với, đối với cửa sổ agent của cursor, ừ, vậy đây thực sự là một

6:54

interesting story, but, uh, when I joined cursor 5 months ago, uh, they're actually, uh, well, I was supposed to join a different team, I was supposed to join like the cloud agents team, uh, but then since I have a lot of experience working on react and agents window is a react application, uh, I was, uh, I was asked to basically help out with the agent window work.

Câu chuyện thú vị, nhưng, ừ, khi tôi gia nhập cursor 5 tháng trước, ừ, họ thực sự, ừ, à, tôi đáng lẽ phải gia nhập một nhóm khác, tôi đáng lẽ phải gia nhập nhóm agent đám mây, ừ, nhưng sau đó vì tôi có nhiều kinh nghiệm làm việc với react và cửa sổ agent là một ứng dụng react, ừ, tôi đã, ừ, tôi được yêu cầu cơ bản là giúp đỡ với công việc cửa sổ agent.

7:21

Uh, but, um,

Ừ, nhưng, ừm,

7:23

there wasn't really a lot of like skills to help me.

Thực sự không có nhiều kỹ năng để giúp tôi.

7:25

So I just found myself like, okay, uh, agents window is going to launch in like a week, right?

Vậy nên tôi chỉ thấy mình kiểu như, được rồi, ừ, cửa sổ agent sẽ ra mắt trong khoảng một tuần nữa, phải không?

7:30

We have a really tight deadline and, um, there was, uh, you know, I was just sitting there like, okay, I'm going to open up the performant, the, the Chrome dev tools and just like take a trace, look at it myself and try to make sense of this flame graph.

Chúng tôi có một thời hạn thực sự gấp rút và, ừm, có, ừ, bạn biết đấy, tôi chỉ ngồi đó kiểu như, được rồi, tôi sẽ mở công cụ dev tools của Chrome, cái, cái hiệu suất, và chỉ lấy một dấu vết, tự xem nó và cố gắng hiểu biểu đồ ngọn lửa này.

7:44

And keep

Và hãy

7:45

in mind, I was just like in my first week, so I had no idea what I was looking at, no idea where, you know, I mean, I had some idea, but, you know, the codebase was completely fresh to me.

Nhớ rằng, tôi chỉ mới ở tuần đầu tiên, nên tôi không biết mình đang nhìn cái gì, không biết ở đâu, ý tôi là, tôi có chút ý tưởng, nhưng, bạn biết đấy, cơ sở mã hoàn toàn mới với tôi.

7:54

Uh, and I realized like my agent had no idea either, you know, like I would take a screenshot of the tree, I would download trace, I would send it to it, and it be like, yeah, it kind of looks like this,

Ừ, và tôi nhận ra rằng agent của tôi cũng không biết gì cả, bạn biết đấy, kiểu như tôi sẽ chụp ảnh màn hình cây, tôi sẽ tải dấu vết xuống, tôi sẽ gửi nó cho nó, và nó sẽ kiểu như, ừ, nó trông giống như thế này,

8:05

you know, uh, and it would like confidently state like it's this thing.

Bạn biết đấy, ừ, và nó sẽ tự tin khẳng định kiểu như đó là thứ này.

8:08

And then I try to fix that and turns out that's not the actual thing.

Và sau đó tôi cố gắng sửa cái đó và hóa ra đó không phải là thứ thực sự.

8:13

So this was a very slow process and if you've ever done any like performance work yourself or, you know, just even development with an agent where you don't have a verification skill, you are the verifier, right?

Vậy nên đây là một quá trình rất chậm và nếu bạn đã từng tự làm bất kỳ công việc hiệu suất nào hoặc, bạn biết đấy, thậm chí chỉ phát triển với một agent mà bạn không có kỹ năng xác minh, bạn là người xác minh, phải không?

8:24

You're the bottleneck.

Bạn là nút thắt cổ chai.

8:25

You, you tell your agent to do something and then it goes off and write some code, then you open up your, you know, local dev build and then you

Bạn, bạn bảo agent của bạn làm gì đó và sau đó nó đi viết một số mã, rồi bạn mở bản dựng dev cục bộ của mình và sau đó bạn

8:34

start to say, oh, you know, doesn't work, then you got to copy paste screen, uh, you know, screenshots or console errors or whatever, uh, and then your agent like slowly kind of like, uh, you know, works with that and then tries to understand it and, um, fix the thing, but then you were constantly just in the loop and being a bottleneck.

Bắt đầu nói, ồ, bạn biết đấy, không hoạt động, rồi bạn phải sao chép dán màn hình, ừ, bạn biết đấy, ảnh chụp màn hình hoặc lỗi console hoặc bất cứ thứ gì, ừ, và sau đó agent của bạn kiểu như từ từ, ừ, bạn biết đấy, làm việc với nó và sau đó cố gắng hiểu nó và, ừm, sửa thứ đó, nhưng sau đó bạn liên tục ở trong vòng lặp và trở thành nút thắt cổ chai.

8:53

So there's really no way to parallelize.

Vậy nên thực sự không có cách nào để song song hóa.

8:55

So the control glass

Vậy nên kỹ năng control glass

8:57

skills are like one of the first skills I built, uh, for cursor, uh, and glass, by the way, is the code name for agents window that we use internally, but it's just cursor, I guess.

Kỹ năng là một trong những kỹ năng đầu tiên tôi xây dựng, ừ, cho cursor, ừ, và glass, nhân tiện, là tên mã cho cửa sổ agent mà chúng tôi dùng nội bộ, nhưng tôi đoán nó chỉ là cursor.

9:09

Um, and so this skill, uh, is, I guess, the, the code itself is not super interesting.

Ừm, và vậy kỹ năng này, ừ, tôi đoán, bản thân mã không quá thú vị.

9:15

Your agent can very easily make one for you.

Agent của bạn có thể rất dễ dàng tạo một cái cho bạn.

9:18

uh, where if you're building an Electron app or a web app or even iOS, uh, applications, uh, you can teach your agent how to use like the ChromeDev tools protocol or through, uh, Apple has some utilities as well for running the simulator and taking traces and controlling programmatic control as well.

Ừ, nếu bạn đang xây dựng một ứng dụng Electron hoặc một ứng dụng web hoặc thậm chí iOS, ừ, ứng dụng, ừ, bạn có thể dạy agent của mình cách sử dụng giao thức ChromeDev tools hoặc thông qua, ừ, Apple cũng có một số tiện ích để chạy trình mô phỏng và lấy dấu vết và điều khiển lập trình nữa.

9:41

Uh, so that's really useful.

Ừ, vậy điều đó thực sự hữu ích.

9:43

Uh, but one thing I want to talk about is, uh, the, this thing

Ừ, nhưng một điều tôi muốn nói đến là, ừ, cái, thứ này

9:50

uh, where is the read me?

Ừ, read me ở đâu?

9:52

Uh, so this skill comes with this very unique feature called, or not feature, uh, unique file called a feature map.

Ừ, vậy kỹ năng này đi kèm với tính năng rất độc đáo này được gọi là, hoặc không phải tính năng, ừ, tệp độc đáo được gọi là bản đồ tính năng.

10:00

And so the story then is like I built this skill and so now the agent was able to, uh, actually run the agent window and take traces and whatnot.

Và vậy câu chuyện sau đó là kiểu như tôi đã xây dựng kỹ năng này và vậy bây giờ agent có thể, ừ, thực sự chạy cửa sổ agent và lấy dấu vết và đủ thứ.

10:11

Uh, but it had no idea what the agents window was.

Ừ, nhưng nó không biết cửa sổ agent là gì.

10:15

So, um, you know, like someone would say like

Vậy nên, ừm, bạn biết đấy, kiểu như ai đó sẽ nói kiểu như

10:19

oh, the left sidebar is like laggy or something like that or, you know, the right side, the PR tab is not working, and the agent would just be like kind of flailing around.

Ồ, thanh bên trái bị lag hay gì đó hoặc, bạn biết đấy, bên phải, tab PR không hoạt động, và agent sẽ chỉ kiểu như vùng vẫy lung tung.

10:28

It would spend a lot of time trying to like look up the code and, you know, where is this feature?

Nó sẽ dành nhiều thời gian cố gắng tra cứu mã và, bạn biết đấy, tính năng này ở đâu?

10:34

How do I actually get to it on the UI, which made it basically completely useless.

Làm thế nào để tôi thực sự đến được nó trên giao diện người dùng, điều này làm cho nó cơ bản hoàn toàn vô dụng.

10:38

Uh, you know, like we would, I would run

Ừ, bạn biết đấy, kiểu như chúng tôi sẽ, tôi sẽ chạy

10:41

the skill locally and, you know, it would spawn a dev build, uh, but then it just be turnurning like I just try to click here, it wouldn't know how to get to things, um, and it was just an awful experience, uh, so was putting arrows on my screen, um, so, uh, yeah, this feature map has been really useful, uh, because it teaches the agent how to get to all of the features that you have, um, and in PAC, the plugin

Kỹ năng cục bộ và, bạn biết đấy, nó sẽ tạo ra một bản dựng dev, ừ, nhưng sau đó nó chỉ trả về kiểu như tôi chỉ cố nhấp vào đây, nó sẽ không biết cách đến được mọi thứ, ừm, và đó chỉ là một trải nghiệm tồi tệ, ừ, vậy nên nó đang đặt mũi tên lên màn hình của tôi, ừm, vậy nên, ừ, vâng, bản đồ tính năng này thực sự hữu ích, ừ, bởi vì nó dạy agent cách đến được tất cả các tính năng mà bạn có, ừm, và trong PAC, plugin

11:12

that I've made, uh, if you search for PAC cursor on Google, you'll find it, uh, but there is a create verification skill in that plugin where it actually helps you set up something like this for yourself, um, including the feature map, so it will actually explore the code and build up this initial feature map that tells your agent how to get to all of the different features that you have, uh,

Mà tôi đã tạo, ừ, nếu bạn tìm kiếm PAC cursor trên Google, bạn sẽ tìm thấy nó, ừ, nhưng có một kỹ năng xác minh tạo trong plugin đó, nơi nó thực sự giúp bạn thiết lập một cái gì đó như thế này cho chính mình, ừm, bao gồm cả bản đồ tính năng, vậy nên nó sẽ thực sự khám phá mã và xây dựng bản đồ tính năng ban đầu này để nói cho agent của bạn cách đến được tất cả các tính năng khác nhau mà bạn có, ừ,

11:36

and this is extremely powerful because now, like, you have these user reports that come in, uh, you can actually map even like a vague report or even a screenshot.

Và điều này cực kỳ mạnh mẽ bởi vì bây giờ, kiểu như, bạn có những báo cáo người dùng này đến, ừ, bạn thực sự có thể ánh xạ ngay cả một báo cáo mơ hồ hoặc thậm chí một ảnh chụp màn hình.

11:46

So we have this, uh, internally at cursor where, uh, we have a slack channel with, you know, lots of people giving us feedback on the agents window and rockbot and whatnot.

Vậy nên chúng tôi có cái này, ừ, nội bộ tại cursor, nơi, ừ, chúng tôi có một kênh slack với, bạn biết đấy, rất nhiều người cho chúng tôi phản hồi về cửa sổ agent và rockbot và đủ thứ.

11:58

Uh, and often times the report is very bad, like

Ừ, và thường thì báo cáo rất tệ, kiểu như

12:02

very low quality, like someone will just put, very often we get like a screenshot, like, and then someone just says question mark, question mark, question mark, like, what is this?

Chất lượng rất thấp, kiểu như ai đó sẽ chỉ đăng, rất thường chúng tôi nhận được một ảnh chụp màn hình, kiểu như, và sau đó ai đó chỉ nói dấu hỏi, dấu hỏi, dấu hỏi, kiểu như, cái này là gì?

12:11

And, you know, like the, without this, your agent, like, I have no clue, right?

Và, bạn biết đấy, kiểu như, không có cái này, agent của bạn, kiểu như, tôi không có manh mối nào, phải không?

12:15

But with a feature map like this, it has a lot more context and understanding of how to actually navigate, how to get to all the different

Nhưng với một bản đồ tính năng như thế này, nó có nhiều ngữ cảnh và hiểu biết hơn về cách thực sự điều hướng, cách đến được tất cả các

12:24

features.

Tính năng.

12:24

Uh, so like, you know, example like, I guess, like the sidebar, like, what is the sidebar, uh, you know, like all the different sub features that are present in it, um, like from the user point of view, here's where, how do I get to it, all the different keyboard shortcuts, uh, even like the, what do you call it, the DOM elements or, yeah, like the attributes that you use for selecting

Uh, vậy kiểu, bạn biết đấy, ví dụ như, tôi đoán là, kiểu như thanh bên, thanh bên là gì, uh, bạn biết đấy, kiểu như tất cả các tính năng con khác nhau có trong đó, um, kiểu như từ góc nhìn của người dùng, đây là chỗ, làm sao tôi đến được nó, tất cả các phím tắt khác nhau, uh, thậm chí kiểu như, bạn gọi nó là gì nhỉ, các phần tử DOM hay, ừ, kiểu như các thuộc tính mà bạn dùng để chọn

12:48

things through the CDP, uh, are all there.

Mọi thứ thông qua CDP, uh, đều ở đó cả.

12:52

So, uh, again, yeah, this is like really, really powerful, uh, for agents.

Vậy, uh, một lần nữa, ừ, cái này thực sự, thực sự mạnh mẽ, uh, đối với các agent.

12:57

- Uh, and pack ships, uh, that create verification skill, but also a maintain verification skill, uh, so you can keep this up to date.

- Uh, và pack ships, uh, cái mà tạo ra kỹ năng xác minh, nhưng cũng duy trì kỹ năng xác minh, uh, để bạn có thể giữ cái này luôn cập nhật.

13:08

- Cool.

- Tuyệt.

13:08

Yeah, I was just going to ask how you created that.

Ừ, tôi vừa định hỏi làm sao bạn tạo ra cái đó.

13:11

So do you mind sharing a little bit more about, um, that process in the context of Pstack and maybe just what Pstack is for the folks who aren't familiar?

Vậy bạn có phiền chia sẻ thêm một chút về, um, quá trình đó trong bối cảnh của Pstack và có lẽ chỉ cần nói Pstack là gì cho những người chưa quen không?

13:18

Yeah.

Ừ.

13:18

So, P stack is pretty interesting because, uh, well, first of all, the name is kind of goofy, like the P, the P in P stack is like potato stack because I, um, so, uh, there is a pretty, uh, famous person, Gary Tan, who is the CEO of Y Combinator, and he's come up with this plugin called Gstack, uh, Gary Stack, and, uh, funnily enough, we share the last name, we have no relations, uh, but I

Vậy, P stack khá thú vị vì, uh, à, trước hết, cái tên khá ngớ ngẩn, kiểu như chữ P, chữ P trong P stack giống như potato stack vì tôi, um, vậy, uh, có một người khá, uh, nổi tiếng, Gary Tan, là CEO của Y Combinator, và anh ấy đã nghĩ ra plugin này gọi là Gstack, uh, Gary Stack, và, uh, trùng hợp thay, chúng tôi cùng họ, chúng tôi không có quan hệ họ hàng, uh, nhưng tôi

13:49

thought it would be funny to kind of, you know, poke fun at Gary and make Pstack my version of, of his plugin.

Nghĩ sẽ vui khi kiểu như, bạn biết đấy, trêu Gary và biến Pstack thành phiên bản của tôi, của plugin của anh ấy.

13:57

Uh, but kind of tailor it to my own set of p engineering practices.

Uh, nhưng kiểu như điều chỉnh nó theo bộ thực hành kỹ thuật p của riêng tôi.

14:03

Uh, but I honestly actually never set out to build PAC.

Uh, nhưng thật lòng mà nói tôi chưa bao giờ có ý định xây dựng PAC.

14:06

Uh, it just started with a bunch of skills, right?

Uh, nó chỉ bắt đầu với một loạt các kỹ năng, đúng không?

14:09

Like I started with that control glass skill and then I started with another skill like called how, which I also noticed through like observing agents.

Kiểu như tôi bắt đầu với kỹ năng control glass đó rồi tôi bắt đầu với một kỹ năng khác gọi là how, cái mà tôi cũng nhận ra qua việc quan sát các agent.

14:17

Um, so like, you know, in the early days of me, you know, trying to climb this ladder, I was like super in the loop and I was basically

Um, vậy kiểu như, bạn biết đấy, trong những ngày đầu khi tôi, bạn biết đấy, cố gắng leo lên nấc thang này, tôi cực kỳ ở trong vòng lặp và tôi cơ bản là

14:26

nitpicking my agents to an extreme degree, I was like, I would tell it, um, you know, this feature has stopped working.

Bắt lỗi các agent của mình đến mức cực đoan, kiểu như tôi sẽ nói với nó, um, bạn biết đấy, tính năng này đã ngừng hoạt động.

14:34

Here's a bug report.

Đây là báo cáo lỗi.

14:36

Like, why isn't it working?

Kiểu như, tại sao nó không hoạt động?

14:38

And very often the agent would just like confidently state like, "Oh, it has to be this, right?

Và rất thường xuyên agent sẽ kiểu như tự tin tuyên bố, "Ồ, chắc chắn là cái này, đúng không?

14:43

It has to be this thing." And I noticed like when I looked at the actual tool calls, I noticed it wasn't actually reading the code that I thought should be affected.

Chắc chắn là cái này." Và tôi nhận ra khi tôi nhìn vào các lệnh gọi công cụ thực tế, tôi nhận ra nó thực sự không đọc đoạn code mà tôi nghĩ là bị ảnh hưởng.

14:52

And that made me just extremely suspicious.

Và điều đó khiến tôi cực kỳ nghi ngờ.

14:54

And at that point, I was like, I'm not going to, I can't trust any this agent anymore

Và lúc đó, tôi kiểu như, tôi sẽ không, tôi không thể tin tưởng bất kỳ agent này nữa

14:59

cuz it's just, it's just completely hallucinating.

Vì nó chỉ, nó chỉ hoàn toàn ảo giác thôi.

15:01

And I think, I think it's very easy to just, you know, like build up that distrust and not, and kind of feel helpless, like, you know, you don't know how to help your agents succeed.

Và tôi nghĩ, tôi nghĩ rất dễ để kiểu như, bạn biết đấy, tích tụ sự ngờ vực đó và không, và kiểu như cảm thấy bất lực, kiểu như, bạn biết đấy, bạn không biết làm sao để giúp các agent của mình thành công.

15:13

But like, again, I think the, the management analogy is super helpful because like imagine if you were a manager of an engineering team and you

Nhưng kiểu như, một lần nữa, tôi nghĩ phép so sánh với quản lý cực kỳ hữu ích vì kiểu như hãy tưởng tượng nếu bạn là quản lý của một đội kỹ thuật và bạn

15:22

had an engineer on your team who was a really good coder.

Có một kỹ sư trong đội của bạn là một lập trình viên thực sự giỏi.

15:25

No business context whatsoever.

Không có chút bối cảnh kinh doanh nào cả.

15:27

So, you know, they just, you just hired them and they onboarded, you know, like 5 seconds ago.

Vậy, bạn biết đấy, họ chỉ, bạn chỉ mới tuyển họ và họ đã onboard, bạn biết đấy, kiểu như 5 giây trước.

15:33

Uh, and so how do you actually teach that person to be effective?

Uh, và vậy làm sao bạn thực sự dạy người đó trở nên hiệu quả?

15:37

So how you do that is through a skill.

Vậy cách bạn làm điều đó là thông qua một kỹ năng.

15:40

uh, skill being just, you know, it's just markdown, right, but, you know, it encodes a lot of information, instructions, a lot of, uh, you can really draw out a lot of intelligence from an agent by, well, some people on Twitter call it like, you know, pull the agent to a different latent

Uh, kỹ năng chỉ là, bạn biết đấy, nó chỉ là markdown, đúng không, nhưng, bạn biết đấy, nó mã hóa rất nhiều thông tin, hướng dẫn, rất nhiều, uh, bạn thực sự có thể khai thác rất nhiều trí tuệ từ một agent bằng cách, à, một số người trên Twitter gọi nó là kiểu như, bạn biết đấy, kéo agent đến một không gian tiềm ẩn

15:58

space, which is kind of like a fancy way of just saying like, since, uh, you know, LLMs are sort of like, they predict the next token, uh, when you give it some high quality tokens, uh, to begin with, then, you know, it can kind of pattern match on like a higher space that's, you know, smarter.

Khác, cái mà kiểu như là một cách nói hoa mỹ để chỉ rằng, vì, uh, bạn biết đấy, LLM kiểu như, chúng dự đoán token tiếp theo, uh, khi bạn cho nó một số token chất lượng cao, uh, ngay từ đầu, thì, bạn biết đấy, nó có thể kiểu như khớp mẫu trên một không gian cao hơn, bạn biết đấy, thông minh hơn.

16:16

Um, so that's like a very interesting model there, but yeah, I built Pstack very, very incrementally.

Um, vậy đó là một mô hình rất thú vị, nhưng ừ, tôi đã xây dựng Pstack rất, rất dần dần.

16:21

Uh, so, uh, started with just really observing how agents, you know, all the fail, different failure modes of that agents were having, and every time I saw that, I just, okay, I'm just going to make that a skill, right, like stop hallucinating, actually go and search up, look up the code, use a lot of

Uh, vậy, uh, bắt đầu chỉ bằng việc thực sự quan sát cách các agent, bạn biết đấy, tất cả các thất bại, các chế độ thất bại khác nhau mà các agent gặp phải, và mỗi lần tôi thấy điều đó, tôi chỉ, được rồi, tôi sẽ biến nó thành một kỹ năng, đúng không, kiểu như đừng ảo giác nữa, thực sự đi tìm, tra cứu code, dùng nhiều

16:40

sub agents, uh, and yeah, stop guessing.

Sub agent, uh, và ừ, đừng đoán mò nữa.

16:42

- Yeah, that makes sense.

- Ừ, điều đó hợp lý.

16:44

One kind of followup question here, uh, both from myself and from a bunch of people in the chat, so - I guess It's two parts.

Một câu hỏi tiếp theo ở đây, uh, cả từ bản thân tôi và từ một loạt người trong chat, vậy - Tôi đoán là có hai phần.

16:52

So one is like how do you maintain these skills?

Vậy một là làm sao bạn duy trì những kỹ năng này?

16:56

So like the product changes over time.

Kiểu như sản phẩm thay đổi theo thời gian.

16:58

Obviously there's a lot of people who are shipping against the codebase.

Rõ ràng là có rất nhiều người đang ship dựa trên codebase.

17:01

So how do these skills get maintained?

Vậy làm sao những kỹ năng này được duy trì?

17:03

Uh, and then second to that is like how do you know when your verification is good enough?

Uh, và thứ hai là làm sao bạn biết khi nào việc xác minh của mình đủ tốt?

17:08

Uh, like, and you know you can trust that the ver, verification loops that you've built are going to, I guess, you trust that the outputs, uh, when they're done.

Uh, kiểu như, và bạn biết mình có thể tin tưởng rằng các vòng lặp xác minh mà bạn đã xây dựng sẽ, tôi đoán là, bạn tin tưởng rằng các kết quả đầu ra, uh, khi chúng xong.

17:17

- Uh, yeah, maybe I'll talk about, um, I think somehat related.

- Uh, ừ, có lẽ tôi sẽ nói về, um, tôi nghĩ có chút liên quan.

17:22

Maybe I'll start with this one first.

Có lẽ tôi sẽ bắt đầu với cái này trước.

17:25

So like, how do I maintain these skills?

Vậy kiểu như, làm sao tôi duy trì những kỹ năng này?

17:29

So, um, if you're not familiar with this concept, clears throat an eval is essentially like a way to, uh, well, I, the mental model I have is like it's like a unit test for an agent.

Vậy, um, nếu bạn chưa quen với khái niệm này, [hắng giọng] một eval về cơ bản giống như một cách để, uh, à, mô hình tinh thần mà tôi có là nó giống như một unit test cho một agent.

17:39

Um, and, uh, you can actually make your own eval.

Um, và, uh, bạn thực sự có thể tự tạo eval của riêng mình.

17:42

You don't need like a special framework for them.

Bạn không cần một framework đặc biệt nào cho chúng.

17:45

You can build, you can, you can build one depending on like, you know, how scientific and how rigorous you want to

Bạn có thể xây, bạn có thể, bạn có thể xây một cái tùy theo kiểu như, bạn biết đấy, bạn muốn nó khoa học và nghiêm ngặt đến mức nào

17:52

be.

Được.

17:52

Uh, my screen is red.

Uh, màn hình của tôi đỏ.

17:56

- Yeah, there's a little button.

- Ừ, có một nút nhỏ.

17:58

Um, sorry.

Um, xin lỗi.

17:59

Do - you mind like disabling the drawing or something?

Bạn - có phiền tắt chức năng vẽ hay gì đó không?

18:01

I can't see my screen.

Tôi không thể nhìn thấy màn hình của mình.

18:03

- Yeah, sorry, if you guys could not draw on the screen, that'd be great.

- Ừ, xin lỗi, nếu mọi người có thể không vẽ lên màn hình thì tốt quá.

18:06

But, um, there's a little button in the - I got a troll.

Nhưng, um, có một nút nhỏ trong - Tôi bị troll rồi.

18:09

- Yeah, the little drop down.

- Ừ, cái menu thả xuống nhỏ đó.

18:12

- How do I clear?

- Làm sao để xóa?

18:14

- Yeah, you got it.

- Ừ, bạn làm được rồi.

18:15

Perfect.

Hoàn hảo.

18:16

- Um, - good to know.

- Um, - tốt khi biết.

18:19

- Yeah.

- Ừ.

18:19

So, eval, unit test your skills basically.

Vậy, eval, về cơ bản là kiểm thử đơn vị các kỹ năng của bạn.

18:22

And actually in Pstack, we ship, uh, under potato mode, there's a playbook if you search for it called Eval playbook.

Và thực ra trong Pstack, chúng tôi phát hành, uh, dưới chế độ potato, có một playbook nếu bạn tìm kiếm nó gọi là Eval playbook.

18:30

Um, and it's, uh, uh, it's like, not, it's actually pretty, pretty rigorous the way it's done.

Um, và nó, uh, uh, nó giống như, không, thực ra nó khá, khá nghiêm ngặt theo cách nó được thực hiện.

18:37

Uh, but, um, essentially what I do is I spawn a lot of different sub agents.

Uh, nhưng, um, về cơ bản điều tôi làm là tôi tạo ra nhiều sub agent khác nhau.

18:43

I have like my main coordinator agent, uh, come

Tôi có kiểu như agent điều phối chính của mình, uh, đưa ra

18:47

up with a rubric for, uh, what I want the skill to do.

Một rubric cho, uh, những gì tôi muốn kỹ năng đó làm.

18:52

Um, and then it spawns all these sub aents and it's, it creates individual directories for them, uh, which are cleverly named to not let the sub aent know that it's being evaluated because, uh, agents can actually tell and when they do, they change their behavior.

Um, và sau đó nó tạo ra tất cả các sub agent này và nó, nó tạo các thư mục riêng cho chúng, uh, được đặt tên khéo léo để không cho sub agent biết rằng nó đang bị đánh giá bởi vì, uh, các agent thực ra có thể nhận ra và khi chúng nhận ra, chúng thay đổi hành vi.

19:10

Uh, but it does a bunch of stuff like that to, um, essentially, yeah, like test whether or not the skill I'm making or changing is actually doing what I think it does.

Uh, nhưng nó làm một loạt thứ như vậy để, um, về cơ bản, ừ, kiểu như kiểm tra xem kỹ năng tôi đang tạo hoặc thay đổi có thực sự làm đúng như tôi nghĩ không.

19:21

Um, and one of the really nice things about cursor is that we are, we support so many different models.

Um, và một trong những điều thực sự tuyệt vời về cursor là chúng tôi, chúng tôi hỗ trợ rất nhiều model khác nhau.

19:27

So you can actually eval your skill across all sorts of different models, um, and, you know, get a sense of how well it performs

Vậy nên bạn thực ra có thể eval kỹ năng của mình trên đủ loại model khác nhau, um, và, bạn biết đấy, có được cảm nhận về việc nó hoạt động tốt đến đâu

19:36

across that different matrix.

Trên ma trận khác nhau đó.

19:38

um, especially for the models that you use.

Um, đặc biệt là với những model mà bạn sử dụng.

19:43

Uh, so I do this a lot.

Uh, nên tôi làm điều này rất nhiều.

19:45

Every time I modify a skill, I will run one of these, uh, like the EBAL playbook, uh, and make sure that, you know, it's actually leading to a result I want.

Mỗi lần tôi sửa đổi một kỹ năng, tôi sẽ chạy một trong những cái này, uh, kiểu như EBAL playbook, uh, và đảm bảo rằng, bạn biết đấy, nó thực sự dẫn đến kết quả tôi muốn.

19:55

Uh, but I will say like maintaining skills is actually pretty hard.

Uh, nhưng tôi sẽ nói rằng duy trì các kỹ năng thực ra khá khó.

19:59

Uh, it requires, I think, a lot of taste and observation.

Uh, tôi nghĩ nó đòi hỏi nhiều gu thẩm mỹ và khả năng quan sát.

20:02

So you kind of need to be very good at being a backseat driver.

Nên bạn kiểu như cần phải rất giỏi trong việc làm người ngồi sau lái.

20:06

You know what I mean?

Bạn hiểu ý tôi chứ?

20:08

Like if

Kiểu như nếu

20:09

you do pair, if you ever done pair programming, for example, uh, and you watch a coworker code and you just like, you could probably do this better.

Bạn làm pair, nếu bạn từng làm pair programming, ví dụ, uh, và bạn xem đồng nghiệp code và bạn kiểu như, bạn có thể làm cái này tốt hơn.

20:17

You know, you could do, you know, like, why did you not do this, right?

Bạn biết đấy, bạn có thể làm, bạn biết đấy, kiểu như, tại sao bạn không làm cái này, đúng không?

20:20

You ask a lot of questions to your coworker.

Bạn đặt rất nhiều câu hỏi cho đồng nghiệp của mình.

20:22

And it's kind of a similar thing here.

Và ở đây cũng kiểu tương tự như vậy.

20:24

You like, you don't want to just be a passive observer of your agent.

Bạn kiểu như, bạn không muốn chỉ là một người quan sát thụ động agent của mình.

20:27

You want to be very in the driver seat in the initial stages when you're building up your own set of skills.

Bạn muốn thực sự ngồi ở ghế lái trong những giai đoạn ban đầu khi bạn đang xây dựng bộ kỹ năng của riêng mình.

20:33

uh, you know, obviously you can use something like PAC, but if you're

Uh, bạn biết đấy, rõ ràng bạn có thể dùng thứ gì đó như PAC, nhưng nếu bạn đang

20:36

building your own set of skills, it's very, I think, you know, opening up the all the tool calls and like reading the code and reading all the, uh, the agent behavior and their thinking blocks is a really great way to see where they fail, right, like what, you know, where are they being done, and then you can go and build a skill for that, and then with verification, how you trust it is it's, I

Xây dựng bộ kỹ năng của riêng mình, tôi nghĩ, bạn biết đấy, việc mở ra tất cả các tool call và kiểu như đọc code và đọc tất cả, uh, hành vi của agent và các thinking block của chúng là một cách thực sự tuyệt vời để thấy chúng thất bại ở đâu, đúng không, kiểu như cái gì, bạn biết đấy, chúng đang bị làm sai ở đâu, và sau đó bạn có thể đi và xây dựng một kỹ năng cho cái đó, và rồi với verification, cách bạn tin tưởng nó là nó, tôi

21:01

think it's also very similar iteration loop, uh, where, you know, like I actually did the same process for verifying the verification skill, where I actually get, um, so one thing that's interesting about eval is that you can sort of hill climb them, meaning that, uh, your eval can produce a score, right, uh, a score that you can get your coordinator to produce, uh, but also comp, uh, you can have a judge

Nghĩ nó cũng là một vòng lặp lặp đi lặp lại rất tương tự, uh, ở đó, bạn biết đấy, kiểu như tôi thực ra đã làm cùng quy trình để xác minh kỹ năng verification, nơi tôi thực ra nhận được, um, nên một điều thú vị về eval là bạn có thể kiểu như hill climb chúng, nghĩa là, uh, eval của bạn có thể tạo ra một điểm số, đúng không, uh, một điểm số mà bạn có thể để coordinator của mình tạo ra, uh, nhưng cũng có thể, uh, bạn có thể có một judge

21:27

agent of a different model to, uh, kind of cross reference and make sure that the first model is not being biased, right?

Agent thuộc một model khác để, uh, kiểu như đối chiếu chéo và đảm bảo rằng model đầu tiên không bị thiên vị, đúng không?

21:35

The model that's judging all of the sub aents that are running the thing.

Cái model đang đánh giá tất cả các sub agent đang chạy thứ đó.

21:38

Uh, but you can also like hill climb.

Uh, nhưng bạn cũng có thể kiểu như hill climb.

21:41

So meaning that you can, you can use like /loop in cursor and you can say, okay, keep looping on this eval, right, until everything is 10 out of 10 as an example.

Nghĩa là bạn có thể, bạn có thể dùng kiểu như /loop trong cursor và bạn có thể nói, được, cứ lặp trên eval này, đúng không, cho đến khi mọi thứ đều 10 trên 10 như một ví dụ.

21:50

Uh, and I did the same, the basically the same approach with the control skill.

Uh, và tôi đã làm tương tự, về cơ bản là cùng cách tiếp cận với kỹ năng control.

21:54

And so I kind of, it was very, it was very hands-off

Và nên tôi kiểu như, nó rất, nó rất ít cần can thiệp

21:58

actually.

Thực ra.

21:58

Uh, so, you know, I, uh, I kind of built, I built that skill that way, like the CLI and that skill.

Uh, nên, bạn biết đấy, tôi, uh, tôi kiểu như đã xây dựng, tôi đã xây dựng kỹ năng đó theo cách đó, kiểu như CLI và kỹ năng đó.

22:06

Um, and over time it's gotten really good.

Ừm, và theo thời gian nó trở nên thực sự tốt.

22:09

Uh, but yeah, it was definitely not super smooth at the beginning.

Ờ, nhưng đúng vậy, lúc đầu nó chắc chắn không hề suôn sẻ chút nào.

22:13

It required a lot of iteration and I think there's an analogy here for me which is, um, well, I make this analogy later in a different slide on my drawing here.

Nó đòi hỏi rất nhiều lần lặp đi lặp lại và tôi nghĩ ở đây có một sự tương tự đối với tôi, đó là, ừm, à, tôi sẽ đưa ra sự tương tự này ở phần sau trong một slide khác trên hình vẽ của tôi đây.

22:24

Uh, but I think of it like

Ờ, nhưng tôi nghĩ về nó giống như

22:27

uh, you know, as a, as a engineer now you're sort of more like you, uh, like maybe a manager or the analogy I like is like you're like a chef in a restaurant.

Ờ, bạn biết đấy, với tư cách là một kỹ sư bây giờ bạn giống như, ờ, giống như một người quản lý, hoặc sự tương tự mà tôi thích là bạn giống như một đầu bếp trong một nhà hàng.

22:39

Uh, you're the head chef.

Ờ, bạn là bếp trưởng.

22:41

Uh, you're not cooking all the food yourself anymore.

Ờ, bạn không còn tự tay nấu tất cả các món ăn nữa.

22:43

You have a team of cooks, right?

Bạn có một đội ngũ đầu bếp, đúng không?

22:45

You have line cooks, you have a sue chef, you have, you know, all these different stations.

Bạn có các đầu bếp phụ trách từng công đoạn, bạn có bếp phó, bạn có, bạn biết đấy, đủ các vị trí khác nhau.

22:50

Um, and it's your job to really design the environment.

Ừm, và công việc của bạn thực sự là thiết kế môi trường làm việc.

22:54

you know, you're in charge of setting up the kitchen.

Bạn biết đấy, bạn phụ trách việc sắp đặt căn bếp.

22:58

You're in charge of, you know, like giving tasks to different people.

Bạn phụ trách việc, bạn biết đấy, như là giao nhiệm vụ cho những người khác nhau.

23:02

So, um, yeah, it's a very interesting way of working.

Vậy nên, ừm, đúng vậy, đó là một cách làm việc rất thú vị.

23:06

Uh, but yeah, that's, that's how I've basically built, uh, these verification skills.

Ờ, nhưng đúng vậy, đó là cách mà tôi về cơ bản đã xây dựng nên, ờ, những kỹ năng xác minh này.

23:12

- Yeah, just one thought there on like to go try to go one layer deeper.

- Ừ, chỉ có một suy nghĩ ở đó thôi, kiểu như cố gắng đi sâu thêm một tầng nữa.

23:16

So are you, let's say we wanted to build, um, an eval or a skill for something and we wanted to kind of get better on its own, which is what I think you're suggesting.

Vậy là bạn, giả sử chúng ta muốn xây dựng, ừm, một bài đánh giá hoặc một kỹ năng cho một thứ gì đó và chúng ta muốn nó tự cải thiện theo thời gian, đó là điều tôi nghĩ bạn đang gợi ý.

23:26

Uh, are you doing that in like a work tree kind of isolated with like the sub agents and then the reviewer agent and all that?

Ờ, bạn có đang làm điều đó trong kiểu như một work tree tách biệt với các sub agent rồi đến agent đánh giá và tất cả những thứ đó không?

23:33

Is it happening like in some type of cloud hosted environment?

Nó có đang diễn ra trong một kiểu môi trường lưu trữ trên đám mây nào đó không?

23:37

Like what's the

Kiểu như, cái gì là

23:38

more the practical steps if I wanted to go do this, uh, and like set up a verification system for something?

Thiên về các bước thực tế hơn nếu tôi muốn đi làm điều này, ờ, và kiểu như thiết lập một hệ thống xác minh cho một thứ gì đó?

23:43

What would I, what would I do or where would I start?

Tôi sẽ làm gì, tôi sẽ làm gì hoặc tôi sẽ bắt đầu từ đâu?

23:47

Um, I think that, uh, the best place to start is local because you can observe, you can definitely observe what your agents are doing.

Ừm, tôi nghĩ rằng, ờ, nơi tốt nhất để bắt đầu là cục bộ vì bạn có thể quan sát, bạn chắc chắn có thể quan sát những gì các agent của bạn đang làm.

23:55

So, uh, if you're building a verification skill for yourself, uh, I would definitely start local and just have your agent bring up the application, whether it's like a CLI or a desktop app or whatever.

Vậy nên, ờ, nếu bạn đang xây dựng một kỹ năng xác minh cho chính mình, ờ, tôi chắc chắn sẽ bắt đầu từ cục bộ và chỉ để cho agent của bạn khởi động ứng dụng, dù đó là một CLI hay một ứng dụng desktop hay bất cứ thứ gì.

24:06

And so you can actually observe, right, you can see

Và như vậy bạn thực sự có thể quan sát, đúng vậy, bạn có thể thấy

24:10

how the agent is interacting with the, the application.

Cách mà agent tương tác với ứng dụng.

24:13

you can see it, you know, how it calls like the different APIs that allow it to interact with the, uh, the application.

Bạn có thể thấy nó, bạn biết đấy, cách nó gọi các API khác nhau cho phép nó tương tác với, ờ, ứng dụng.

24:24

Um, but, uh, for me personally, uh, I have basically been kind of all in, mostly all in on cloud agents because they're extremely powerful.

Ừm, nhưng, ờ, đối với cá nhân tôi, ờ, tôi về cơ bản đã kiểu như dồn hết, chủ yếu dồn hết vào các cloud agent vì chúng cực kỳ mạnh mẽ.

24:33

Uh, and the really powerful thing about cursor is the cloud agents actually, where if you spend a little bit of time setting up your environment, these control skills, these verification skills pay a huge amount of dividends because it's not just something that

Ờ, và điều thực sự mạnh mẽ ở cursor thực ra chính là các cloud agent, khi mà nếu bạn dành một chút thời gian để thiết lập môi trường của mình, những kỹ năng điều khiển này, những kỹ năng xác minh này mang lại lợi ích khổng lồ vì nó không chỉ là thứ

24:49

makes you as a single engineer better.

Khiến bạn, với tư cách là một kỹ sư đơn lẻ, trở nên giỏi hơn.

24:52

It actually levels up your whole team, uh, and even your whole company because, uh, you can actually start thinking about cloud agents, start thinking about automations that automatically do things like, uh, I get, I kind of talk about this a bit later, but I'll just kind of get into it.

Nó thực sự nâng tầm cả đội của bạn, ờ, và thậm chí cả công ty của bạn vì, ờ, bạn thực sự có thể bắt đầu nghĩ về các cloud agent, bắt đầu nghĩ về các tự động hóa tự động làm mọi thứ như, ờ, tôi, tôi kiểu như nói về điều này một chút ở phần sau, nhưng tôi sẽ kiểu như đi thẳng vào nó.

25:09

Uh, where, you know, for example, like I talk a lot about this agent we have called Benny, right?

Ờ, khi mà, bạn biết đấy, ví dụ, kiểu như tôi nói rất nhiều về agent này mà chúng tôi gọi là Benny, đúng không?

25:16

who, uh, you know, takes all of the bug reports that we get and it automatically goes off in the cloud, opens up a cloud, uh, it's, you know, its desktop.

Người mà, ờ, bạn biết đấy, nhận tất cả các báo cáo lỗi mà chúng tôi nhận được và nó tự động chạy trên đám mây, mở một cái cloud, ờ, nó, bạn biết đấy, desktop của nó.

25:26

It runs cursor in its own computer and it uses the same control skills to interact with the application and try to reproduce the bug, uh, or the user report, right?

Nó chạy cursor trên máy tính của riêng nó và nó dùng cùng những kỹ năng điều khiển để tương tác với ứng dụng và cố gắng tái hiện lại lỗi, ờ, hoặc báo cáo của người dùng, đúng không?

25:37

And this is so powerful because at once I can immediately, I get so much

Và điều này mạnh mẽ đến vậy vì ngay lập tức tôi có thể, tôi nhận được rất nhiều

25:42

information from this automatically, like here in this example you can see that, uh, the Benny actually reproduced the bug, uh, but it's already fixed on main.

Thông tin từ việc này một cách tự động, kiểu như ở ví dụ này bạn có thể thấy rằng, ờ, Benny thực sự đã tái hiện được lỗi, ờ, nhưng nó đã được sửa trên main rồi.

25:51

So it actually confirms that we fixed this problem already and all I need to do is just release another build of cursor.

Vậy nên nó thực sự xác nhận rằng chúng tôi đã sửa vấn đề này rồi và tất cả những gì tôi cần làm chỉ là phát hành một bản build cursor khác.

26:00

Uh, so that's like huge information there that I didn't have to go off and sit with an agent, you know, and spend an hour trying to figure like is this fixed?

Ờ, vậy nên đó là một lượng thông tin khổng lồ mà tôi không phải đi ngồi với một agent, bạn biết đấy, và dành một tiếng đồng hồ để cố tìm hiểu xem liệu cái này đã được sửa chưa?

26:08

this is not fixed.

Cái này chưa được sửa.

26:09

So you, you gain back so much time.

Vậy nên bạn, bạn tiết kiệm lại được rất nhiều thời gian.

26:11

Uh, but, you know, everybody on my team benefits from this.

Ờ, nhưng, bạn biết đấy, mọi người trong đội của tôi đều hưởng lợi từ việc này.

26:14

Everybody at the company benefits from this.

Mọi người ở công ty đều hưởng lợi từ việc này.

26:16

Uh, so definitely think that, uh, you know, keeping these, uh, using cloud agents is super powerful.

Ờ, vậy nên chắc chắn tôi nghĩ rằng, ờ, bạn biết đấy, việc giữ những cái này, ờ, việc dùng các cloud agent là cực kỳ mạnh mẽ.

26:22

Uh, but yeah, it's like a journey.

Ờ, nhưng đúng vậy, nó giống như một hành trình.

26:25

You have to trust it first, right, before you get to this point.

Bạn phải tin tưởng nó trước, đúng không, trước khi bạn đạt đến điểm này.

26:30

And that's, it goes back to what I was saying here where, you know, it's very hard.

Và đó là, nó quay lại điều tôi đã nói ở đây khi mà, bạn biết đấy, nó rất khó.

26:34

It's almost impossible.

Nó gần như là không thể.

26:35

And I would definitely encourage you not to try to jump from, you know, like if you're still in this zone, you don't want to jump to like I'm going to spawn hundred of thousand or thousands of cloud agents right now because you're just going to waste a lot of tokens.

Và tôi chắc chắn sẽ khuyến khích bạn đừng cố nhảy từ, bạn biết đấy, kiểu như nếu bạn vẫn còn ở vùng này, bạn không muốn nhảy sang kiểu như tôi sẽ tạo ra hàng trăm nghìn hay hàng nghìn cloud agent ngay bây giờ vì bạn sẽ chỉ lãng phí rất nhiều token thôi.

26:50

Um,

Ừm,

26:51

and it's going to be extremely expensive.

Và nó sẽ cực kỳ tốn kém.

26:54

- Yeah.

- Ừ.

26:54

So just to kind of recap so far, basically the, if we wanted to go on the journey that you've kind of gone on, it would be to start with verification, building some skills and some ways of determining that the agents are producing at least like correct code.

Vậy chỉ để tóm tắt lại đến giờ, về cơ bản, nếu chúng ta muốn đi theo hành trình mà bạn đã trải qua, thì sẽ bắt đầu với việc xác minh, xây dựng một số kỹ năng và một số cách để xác định rằng các tác nhân đang tạo ra ít nhất là mã đúng.

27:08

Whether, like you said, whether it's good code or not is maybe a separate question, but like it's, it's technically solving the problem by looking at, you know, stack traces, looking at, you know, the actual behavior in the app and so on.

Dù, như bạn nói, liệu đó có phải là mã tốt hay không có thể là một câu hỏi riêng, nhưng nó về mặt kỹ thuật đang giải quyết vấn đề bằng cách nhìn vào, bạn biết đấy, dấu vết ngăn xếp, nhìn vào, bạn biết đấy, hành vi thực tế trong ứng dụng, v.v.

27:18

Um, and then once we trust it locally, then we can start to think about scaling into the cloud and running more agents that are picking up signals,

Ừm, và sau đó một khi chúng ta tin tưởng nó ở mức cục bộ, thì chúng ta có thể bắt đầu nghĩ đến việc mở rộng lên đám mây và chạy nhiều tác nhân hơn để thu thập tín hiệu,

27:26

I guess, on their own, right?

Tôi đoán, là tự chúng làm, đúng không?

27:27

So whether that's like a bug report that comes in or something, they can go and pick it up and solve the problem and give us back a PR.

Vậy dù đó là một báo cáo lỗi được gửi đến hay gì đó, chúng có thể vào, nhận lấy và giải quyết vấn đề rồi trả lại cho chúng ta một PR.

27:34

And then maybe the last step is like automerging the PRs, which, uh, is where you're at, maybe not where we want to, - um, and then and reviewing the one main, but, um, is that, is that about right?

Và sau đó có lẽ bước cuối cùng là tự động hợp nhất các PR, điều mà, ừ, là nơi bạn đang ở, có thể không phải nơi chúng ta muốn đến, - ừm, và sau đó xem xét cái chính, nhưng, ừm, điều đó, điều đó có đúng không?

27:43

- Yeah, exactly.

- Ừ, chính xác.

27:44

I think yeah, that's why I drew this uh this curve, right?

Tôi nghĩ ừ, đó là lý do tôi vẽ đường cong này, đúng không?

27:47

Because that this basically describes my journey of you know when I started barely could use a couple agents and I was just observing every single thing.

Bởi vì điều này về cơ bản mô tả hành trình của tôi, bạn biết đấy, khi tôi mới bắt đầu, tôi hầu như chỉ có thể dùng một vài tác nhân và tôi chỉ quan sát từng thứ một.

27:56

I think there's really no shortcut for going from here to there because this is really about your personal level of trust in agents,

Tôi nghĩ thực sự không có đường tắt nào để đi từ đây đến đó vì điều này thực sự liên quan đến mức độ tin tưởng cá nhân của bạn vào các tác nhân,

28:04

right?

Đúng không?

28:04

Um obviously, you know, as a as engineer, you don't want to just slop code into production.

Ừm, rõ ràng, bạn biết đấy, là một kỹ sư, bạn không muốn chỉ ném mã vào sản xuất.

28:10

So, how do you actually build up that trust?

Vậy, làm thế nào để bạn thực sự xây dựng được lòng tin đó?

28:13

Takes um a lot of uh I guess taste and judgment.

Cần ừm rất nhiều ừm tôi đoán là gu thẩm mỹ và phán đoán.

28:16

Um but uh you know, like I think plugins like Pstack definitely kind of help you uh get up to speed much quicker.

Ừm nhưng ừ, bạn biết đấy, tôi nghĩ những plugin như Pstack chắc chắn giúp bạn ừm bắt kịp tốc độ nhanh hơn nhiều.

28:24

Uh and so I guess it's like if you trust me and you trust PAC then in by extension you

Ừ và vậy tôi đoán là nếu bạn tin tôi và bạn tin PAC thì theo đó bạn

28:31

can maybe trust your agents but if you don't trust me and I definitely would not encourage people to blindly trust me uh you know if you build up your own set of skills that you can obviously you know take a look at PAC and kind of fork it make it your own improve the skills definitely encourage that uh but for me it's really all about it just keeps coming back to trust you Every one of us

Có thể tin các tác nhân của bạn, nhưng nếu bạn không tin tôi và tôi chắc chắn sẽ không khuyến khích mọi người tin tôi một cách mù quáng, ừ, bạn biết đấy, nếu bạn tự xây dựng bộ kỹ năng của riêng mình thì rõ ràng bạn có thể xem PAC và kiểu như fork nó, biến nó thành của bạn, cải thiện các kỹ năng, tôi chắc chắn khuyến khích điều đó, ừ, nhưng với tôi thì thực sự tất cả chỉ là nó cứ quay lại với lòng tin, mỗi người chúng ta

28:55

here in this chat have a different standard for engineering.

Ở đây trong cuộc trò chuyện này có một tiêu chuẩn khác nhau về kỹ thuật.

28:58

Uh and there are different things that are important for us in our codebase and uh when you are able to encode all of that into skills and you can verify that your agent is actually doing them that allows you to really kind of ascend this curve and um uh you know start automating things.

Ừ và có những điều khác nhau quan trọng với chúng ta trong cơ sở mã của mình, và ừ, khi bạn có thể mã hóa tất cả những điều đó vào các kỹ năng và bạn có thể xác minh rằng tác nhân của bạn thực sự đang làm chúng, điều đó cho phép bạn thực sự vượt lên trên đường cong này và ừm ừ, bạn biết đấy, bắt đầu tự động hóa mọi thứ.

29:17

Uh there's another piece I

Ừ, có một phần khác tôi

29:19

wanted to talk about.

Muốn nói đến.

29:20

Um if there's more - Yeah, go for it.

Ừm nếu có thêm - Ừ, cứ tiếp đi.

29:22

I'll I'll pick up more questions as I go.

Tôi sẽ, tôi sẽ nhận thêm câu hỏi khi tôi tiếp tục.

29:24

But - yeah, I think there's a third part to this which I haven't talked about yet, which is kind of an interesting one which is like refactoring and rewriting.

Nhưng - ừ, tôi nghĩ có một phần thứ ba của điều này mà tôi chưa nói đến, và nó khá thú vị, đó là tái cấu trúc và viết lại.

29:32

Like one of the uh I guess most controversial one of the most controversial topics in the industry I think is like should you rewrite your app or not?

Kiểu như một trong những ừm, tôi đoán là gây tranh cãi nhất, một trong những chủ đề gây tranh cãi nhất trong ngành, tôi nghĩ là liệu bạn có nên viết lại ứng dụng của mình hay không?

29:41

Um because I think engineers are very prone to this where especially when you join a company you come in and you see like the codebase and you're like oh man this is like who wrote this code you know it's terrible I want

Ừm bởi vì tôi nghĩ các kỹ sư rất dễ mắc điều này, đặc biệt là khi bạn gia nhập một công ty, bạn đến và bạn nhìn thấy cơ sở mã và bạn kiểu như, ôi trời, ai đã viết mã này vậy, bạn biết đấy, nó thật tệ, tôi muốn

29:55

to rewrite the whole thing there is a very common inclination and I think a lot of you know before agents um and I guess arguably even now people will definitely discourage you from re rewriting stuff but I'm actually here to make a case for why you might want to consider Um because I think it really depends.

Viết lại toàn bộ mọi thứ, đó là một khuynh hướng rất phổ biến và tôi nghĩ nhiều người, bạn biết đấy, trước khi có các tác nhân, ừm và tôi đoán có thể cả bây giờ, mọi người chắc chắn sẽ khuyên bạn đừng viết lại mọi thứ, nhưng tôi thực sự ở đây để đưa ra lý lẽ vì sao bạn có thể muốn cân nhắc. Ừm bởi vì tôi nghĩ nó thực sự còn tùy.

30:16

Uh you know uh brownfield applications I think are actually in a pretty good spot

Ừ, bạn biết đấy, ừ, các ứng dụng brownfield tôi nghĩ thực sự đang ở một vị trí khá tốt

30:22

especially if they're set up well already.

Đặc biệt nếu chúng đã được thiết lập tốt sẵn.

30:24

Uh and like recently I've been talking to some people but uh you know I I was just observing I just noticed this parallel which is that a lot of big tech company problems are now everybody's problems.

Ừ và kiểu như gần đây tôi đã nói chuyện với một số người, nhưng ừ, bạn biết đấy, tôi chỉ quan sát, tôi chỉ nhận ra sự tương đồng này, đó là rất nhiều vấn đề của các công ty công nghệ lớn giờ đã trở thành vấn đề của mọi người.

30:36

Um, and the big tech company problem, you know, like when I was working at Meta, like we had this giant monor repo, we had like, I

Ừm, và vấn đề của công ty công nghệ lớn, bạn biết đấy, kiểu như khi tôi làm việc ở Meta, chúng tôi có cái monorepo khổng lồ này, chúng tôi có kiểu như, tôi

30:45

don't know, tens of thousands of engineers just, you know, like banging on their keyboards and shipping code and a lot of really great engineers at Meta.

Không biết, hàng chục nghìn kỹ sư chỉ, bạn biết đấy, kiểu như gõ bàn phím và gửi mã, và rất nhiều kỹ sư thực sự giỏi ở Meta.

30:56

Uh, but, uh, I'll say like, you know, you'll be surprised that the code quality is actually not that good.

Ừ, nhưng, ừ, tôi sẽ nói kiểu như, bạn biết đấy, bạn sẽ ngạc nhiên rằng chất lượng mã thực sự không tốt đến thế.

31:02

laughter Um, and so I often joke that like, you know, before AI slop, we had human sloth.

[tiếng cười] Ừm, và vì vậy tôi thường đùa rằng, bạn biết đấy, trước khi có rác AI, chúng ta đã có rác của con người.

31:07

Um and so uh you know I think a lot of big tech infra like uh like what Meta has or Google you know you know really big tech companies are actually designed for that where you're sort of like you're catering to the you know like uh this sounds so bad to say but like the least capable engineer

Ừm và vì vậy ừ, bạn biết đấy, tôi nghĩ rất nhiều hạ tầng của các công ty công nghệ lớn như ừ, như những gì Meta có hay Google, bạn biết đấy, bạn biết đấy, các công ty công nghệ thực sự lớn thực ra được thiết kế cho điều đó, nơi bạn kiểu như bạn đang phục vụ cho, bạn biết đấy, kiểu như ừ, nghe thật tệ khi nói ra, nhưng kiểu như kỹ sư kém cỏi nhất

31:26

on your team right you build you build frameworks you build conventions you build guard rails you know you restrict credentials so that you know your intern doesn't wipe your production database.

Trong nhóm của bạn, đúng không, bạn xây dựng, bạn xây dựng các framework, bạn xây dựng các quy ước, bạn xây dựng các lan can bảo vệ, bạn biết đấy, bạn hạn chế thông tin xác thực để bạn biết rằng thực tập sinh của bạn không xóa cơ sở dữ liệu sản xuất của bạn.

31:37

Um there's uh you know if you have that level of infra already I think your agents can actually already do a very solid job right because they have the the guard rails are already in place for agents to not cause havoc or not cause too much havoc uh in your codebase um and you can always add more you know guard rails.

Ừm có ừ, bạn biết đấy, nếu bạn đã có mức hạ tầng đó rồi, tôi nghĩ các tác nhân của bạn thực sự đã có thể làm rất tốt, đúng không, bởi vì chúng đã có các lan can bảo vệ được đặt sẵn để các tác nhân không gây tàn phá hoặc không gây quá nhiều tàn phá ừ trong cơ sở mã của bạn, ừm và bạn luôn có thể thêm nhiều lan can bảo vệ hơn, bạn biết đấy.

31:59

Uh but I think like green field applications especially are you

Ừ nhưng tôi nghĩ kiểu như các ứng dụng greenfield, đặc biệt là bạn

32:03

know like the brand new applications are like the biggest risk in my opinion.

Biết đấy, kiểu như các ứng dụng hoàn toàn mới, theo tôi là rủi ro lớn nhất.

32:07

Uh and also the greatest opportunity because you know if you vibe code a project uh a prototype um like we did for Grockbot you know Grockbot was spun up very very quickly.

Ừ và cũng là cơ hội lớn nhất bởi vì bạn biết đấy, nếu bạn vibe code một dự án, ừ, một nguyên mẫu, ừm, kiểu như chúng tôi đã làm cho Grockbot, bạn biết đấy, Grockbot được tạo ra rất rất nhanh.

32:18

Um and if you if you haven't heard of Grockbot it's like a new application we just launched yesterday.

Ừm và nếu bạn chưa nghe về Grockbot thì nó giống như một ứng dụng mới mà chúng tôi vừa ra mắt hôm qua.

32:24

Uh it's it's really

Ừ nó thực sự

32:26

cool.

Tuyệt.

32:26

uh lets you orchestrate your create like individual agents that have their own identity and you can kind of orchestrate them.

Ừ nó cho phép bạn điều phối, tạo ra kiểu như các tác nhân riêng lẻ có danh tính riêng và bạn có thể kiểu như điều phối chúng.

32:33

It's super cool.

Nó siêu tuyệt.

32:34

Definitely check it out.

Nhất định hãy xem thử.

32:35

Um but yeah, that was it's like a very it was a very green field application like most prototypes are so like vibe coded very quickly.

Ừm nhưng ừ, đó là, nó giống như một ứng dụng greenfield rất, nó là một ứng dụng greenfield rất điển hình, giống như hầu hết các nguyên mẫu, nên kiểu như được vibe code rất nhanh.

32:46

Humans were not reading the code at all.

Con người hoàn toàn không đọc mã.

32:49

And uh I had this tweet recently uh where I said something about organic architecture.

Và ừ, tôi có tweet này gần đây, ừ, nơi tôi nói điều gì đó về kiến trúc hữu cơ.

32:56

Um maybe I'll find it.

Ừm có lẽ tôi sẽ tìm nó.

32:58

Uh but the idea is that uh when you have a completely vibe coded

Uh nhưng ý tưởng là khi bạn có một ứng dụng hoàn toàn được viết theo phong cách vibe coded

33:04

application, you essentially have no guardrails whatsoever.

Ứng dụng, bạn về cơ bản không có bất kỳ rào chắn nào cả.

33:06

So uh your agents when you give them a task, they will just solve it in whatever method is the most convenient.

Vậy nên uh các agent của bạn khi bạn giao cho chúng một nhiệm vụ, chúng sẽ chỉ giải quyết nó bằng bất kỳ phương pháp nào thuận tiện nhất.

33:14

And over time you get into this uh situation where you have a codebase that is spiraling out of control because you don't understand it.

Và theo thời gian, bạn rơi vào tình huống uh nơi bạn có một codebase đang mất kiểm soát vì bạn không hiểu nó.

33:24

Uh your agents understand it I guess in a way but like they've built something that is you know optimized for short for shortcuts.

Uh các agent của bạn hiểu nó, tôi đoán theo một cách nào đó, nhưng giống như chúng đã xây dựng thứ gì đó được tối ưu hóa cho các lối tắt.

33:32

Uh and uh you know it will you will suffer you'll have a lot of issues with that application.

Uh và uh bạn biết đấy, bạn sẽ phải chịu đựng, bạn sẽ gặp rất nhiều vấn đề với ứng dụng đó.

33:40

Uh so I think starting your codebase with uh like very strong constraints is very much needed uh because like when you have a codebase that you can trust, right?

Uh vậy nên tôi nghĩ việc bắt đầu codebase của bạn với uh những ràng buộc rất mạnh mẽ là rất cần thiết uh bởi vì khi bạn có một codebase mà bạn có thể tin tưởng, đúng không?

33:50

when you have guardrails that actually help you uh help your agents write good code, you can get into the, you know, like into this part of the curve where I where like I said, you know, I woke up today and I had like 20

Khi bạn có những rào chắn thực sự giúp bạn uh giúp các agent của bạn viết code tốt, bạn có thể đi vào, bạn biết đấy, phần này của đường cong nơi tôi, như tôi đã nói, bạn biết đấy, tôi thức dậy hôm nay và tôi có khoảng 20

34:07

PRs merged u by my agents and that's because I invested a lot a lot of time uh over 600 PRs I I calculated yesterday uh when I refactored all of Grockbot to this new architecture that I've been thing.

PR được hợp nhất bởi các agent của tôi và đó là vì tôi đã đầu tư rất nhiều thời gian uh hơn 600 PR tôi đã tính toán hôm qua uh khi tôi tái cấu trúc toàn bộ Grockbot sang kiến trúc mới này mà tôi đang nghĩ đến.

34:21

Um, and yeah, I've gotten to a point where I I don't really look I really don't look at the code anymore.

Um, và vâng, tôi đã đạt đến điểm mà tôi thực sự không còn nhìn vào code nữa.

34:30

And um, I say that not just, you know, to sell you tokens,

Và um, tôi nói điều đó không chỉ để bán token cho bạn,

34:35

but because I, you know, it it took a lot of work to get to that point.

Mà bởi vì tôi, bạn biết đấy, phải mất rất nhiều công sức để đạt đến điểm đó.

34:40

I spent a lot of tokens to get the codebase to this point where I no longer have to look at it.

Tôi đã tiêu tốn rất nhiều token để đưa codebase đến điểm này, nơi tôi không còn phải nhìn vào nó nữa.

34:46

Uh, but I'm very excited because, you know, of the potential where, you know, it's not just this doesn't just benefit me.

Uh, nhưng tôi rất hào hứng vì, bạn biết đấy, tiềm năng ở chỗ, bạn biết đấy, điều này không chỉ có lợi cho tôi.

34:53

It benefits everyone contributing to Grockbot and it also empowers you know

Nó có lợi cho tất cả những người đóng góp cho Grockbot và nó cũng trao quyền cho bạn biết đấy

34:57

designers and product managers and you know pe uh even GTM people to add features to grabbot and I don't have to worry you know I don't have to wake up at night in the middle of the night and worry like oh someone's just merged a perf regression right I have a ton of constraints and CI it's like it's actually very annoying to write code in graph web but like agents absorb all of that annoyance

Các nhà thiết kế và quản lý sản phẩm và bạn biết đấy, thậm chí cả những người làm GTM để thêm tính năng vào grabbot và tôi không phải lo lắng, bạn biết đấy, tôi không phải thức dậy vào giữa đêm và lo lắng kiểu ôi ai đó vừa hợp nhất một hồi quy hiệu năng, đúng không, tôi có rất nhiều ràng buộc và CI, việc viết code trong graph web thực sự rất khó chịu nhưng các agent hấp thụ hết sự khó chịu đó

35:22

Um but yeah, I'm happy to talk about what exactly that is.

Um nhưng vâng, tôi sẵn lòng nói về chính xác đó là gì.

35:25

Um - yeah, I think one question um - before we get into the this part here is just around that element of like what your your CI looks like or maybe some of the constraints and then also like the average PR size.

Um - vâng, tôi nghĩ một câu hỏi um - trước khi chúng ta đi vào phần này là về yếu tố CI của bạn trông như thế nào hoặc có thể một số ràng buộc và sau đó là kích thước PR trung bình.

35:37

I saw a question about that earlier just to give people you know kind of a glance.

Tôi thấy một câu hỏi về điều đó trước đó chỉ để cho mọi người bạn biết đấy, một cái nhìn tổng quan.

35:42

It doesn't have to be like mathematically

Không cần phải chính xác về mặt toán học

35:44

average but just a you know like what generally the size of the a PR is.

Trung bình nhưng chỉ là bạn biết đấy, kích thước của một PR nói chung là bao nhiêu.

35:48

um if it's only a couple lines of code or you know um yeah - um I think it depends uh let me - I'm trying to do this in a way where I'm not going to like - you yeah you don't have to share the actual number like an actual average - I think this is fine - benchmark - but like we have so okay this is not

Um nếu nó chỉ là vài dòng code hoặc bạn biết đấy um vâng - um tôi nghĩ nó phụ thuộc uh để tôi - tôi đang cố làm điều này theo cách mà tôi sẽ không - bạn vâng bạn không cần phải chia sẻ con số thực tế như trung bình thực tế - tôi nghĩ điều này ổn - điểm chuẩn - nhưng chúng tôi có, được rồi điều này không

36:10

that interesting but uh well fun fact is that virtualization in grogbot and in uh cursor is actually powered by uh pretext uh which is a sort of new library that someone's built.

Thú vị lắm nhưng uh thực tế thú vị là ảo hóa trong grogbot và trong uh cursor thực ra được cung cấp bởi uh pretext uh, một thư viện mới mà ai đó đã xây dựng.

36:21

Um that's really interesting.

Um điều đó thực sự thú vị.

36:23

You should you should check it out.

Bạn nên bạn nên kiểm tra nó.

36:25

But that's not really that important.

Nhưng điều đó không thực sự quan trọng lắm.

36:27

Uh I think the average PR size I actually don't know.

Uh tôi nghĩ kích thước PR trung bình tôi thực sự không biết.

36:31

I don't know if I want to click on these.

Tôi không biết liệu tôi có muốn nhấp vào những cái này không.

36:35

Uh I

Uh tôi

36:36

probably can, but I would say clears throat like they can range anywhere from a few hundred lines or 50 lines to like a thousand depending on what the thing is doing.

Có thể, nhưng tôi sẽ nói [xóa cổ họng] chúng có thể dao động từ vài trăm dòng hoặc 50 dòng đến khoảng một nghìn tùy thuộc vào việc thứ đó đang làm gì.

36:46

Uh, so like here I'm actually like deleting a bunch of files.

Uh, vậy như ở đây tôi thực sự đang xóa một loạt tệp.

36:50

So I expect that it's just this like mostly deletion.

Vậy nên tôi mong đợi nó chỉ là việc xóa phần lớn.

36:53

Uh, but yeah, it kind of varies.

Uh, nhưng vâng, nó khá đa dạng.

36:56

There's no like Yeah, - there's no like hard cap or hard limit.

Không có kiểu Vâng, - không có giới hạn cứng hay giới hạn cứng nào.

36:58

Are there all like 50 line PR?

Có phải tất cả đều là PR 50 dòng không?

37:00

- There's no hard cap.

- Không có giới hạn cứng.

37:01

Yeah, there's definitely no hard cap, but I do encourage my agents to split up their work into multiple PRs.

Vâng, chắc chắn không có giới hạn cứng, nhưng tôi khuyến khích các agent của mình chia nhỏ công việc thành nhiều PR.

37:06

Uh I do that mostly because uh I like I like the idea of the I guess maybe this is much harder to do now as in the world of agents and you have like so many commits but I like the idea that you know the git history is a very rich source of context.

Uh tôi làm điều đó chủ yếu vì uh tôi thích ý tưởng rằng, tôi đoán có lẽ điều này khó hơn nhiều bây giờ trong thế giới của các agent và bạn có quá nhiều commit, nhưng tôi thích ý tưởng rằng bạn biết đấy, lịch sử git là một nguồn ngữ cảnh rất phong phú.

37:21

Uh,

37:22

and I like the I like each PR to sort of atomically describe what that small piece of thing is doing, which also makes it easier for me to revert changes and like figure out, you know, oh, I shipped a bug and it's just it's here, right?

Và tôi thích mỗi PR mô tả một cách nguyên tử những gì phần nhỏ đó đang làm, điều này cũng giúp tôi dễ dàng hoàn tác các thay đổi và tìm ra, bạn biết đấy, ồ, tôi đã gửi một lỗi và nó chỉ ở đây, đúng không?

37:38

It's not in this 40,000 line PR where you who knows what landed in there.

Nó không nằm trong PR 40.000 dòng này nơi bạn không biết cái gì đã vào đó.

37:43

Uh, but I don't have a hard cap on PR size.

Uh, nhưng tôi không có giới hạn cứng về kích thước PR.

37:48

- Cool.

- Tuyệt.

37:48

And then um yeah, also quick question on like CI.

Và sau đó um vâng, cũng có một câu hỏi nhanh về CI.

37:51

So again, you don't have to go into like uh the screen share of like your CI does, but just generally would you describe what the CI kind of looks like uh or how strict it is?

Vậy một lần nữa, bạn không cần phải đi sâu vào uh màn hình chia sẻ về CI của bạn làm gì, nhưng chỉ nói chung bạn có thể mô tả CI trông như thế nào uh hoặc nó nghiêm ngặt đến mức nào không?

38:01

- Uh yeah.

- Uh vâng.

38:02

So uh well specifically for Grockbot.

Vậy uh cụ thể cho Grockbot.

38:04

So Dune is the is the sort of cheeky code name for the architecture that we've built for Grockbot.

Vậy Dune là tên mã hơi táo bạo cho kiến trúc mà chúng tôi đã xây dựng cho Grockbot.

38:12

Um the CI looks pretty annoying because there's checks for everything.

Um CI trông khá khó chịu vì có kiểm tra cho mọi thứ.

38:17

So like literally I have um uh well if you've written any react for example you know you know that one of the biggest foot guns in react is use effect.

Vậy như thực sự tôi có um uh nếu bạn đã viết bất kỳ react nào chẳng hạn, bạn biết rằng một trong những cạm bẫy lớn nhất trong react là use effect.

38:29

Uh so in

Ừ thì trong

38:31

uh Dune and in graphbot we've banned use effect.

Ừ thì trong Dune và trong graphbot, chúng tôi đã cấm việc dùng effect.

38:34

So Dune is just you can the mental model of what Dune is uh you can kind of think of it as like Nex.js for uh electron apps and it's designed for agents to write uh and it's like custom for you know our agent powered applications.

Vậy Dune thì bạn có thể, mô hình tư duy về Dune là ừ, bạn có thể coi nó giống như Nex.js cho các ứng dụng electron, và nó được thiết kế để các agent viết ừ, và nó tùy chỉnh cho, bạn biết đấy, các ứng dụng do agent của chúng tôi vận hành.

38:49

Um so the CI checks are very like specific to that like you know don't use effect it's it's it's

Ừm, nên các kiểm tra CI rất là cụ thể cho việc đó, kiểu như bạn biết đấy, đừng dùng effect, nó, nó, nó

38:56

banned like CI will fail uh and yell at you.

Bị cấm, kiểu như CI sẽ thất bại ừ và mắng bạn.

38:59

We have like some of the more interesting ones that people might raise eyebrows is like I actually ban code comments as well uh which is very interesting.

Chúng tôi có một số cái thú vị hơn mà người ta có thể sẽ nhướng mày, kiểu như tôi thực ra cũng cấm cả comment trong code nữa ừ, điều này rất thú vị.

39:09

Uh, but I've noticed that 99% of the time agents just write code comments that kind of describe some historical thing that is actually totally irrelevant to the code.

Ừ, nhưng tôi để ý rằng 99% thời gian các agent chỉ viết comment trong code kiểu mô tả một thứ gì đó mang tính lịch sử mà thực ra hoàn toàn không liên quan đến code.

39:20

Um, like

Ừm, kiểu như

39:21

it will often say like, you know, oh, Lauren said you should never do this and it's now in a code comment.

Nó thường sẽ nói kiểu, bạn biết đấy, ồ, Lauren nói rằng bạn không bao giờ nên làm điều này, và giờ nó nằm trong một comment trong code.

39:27

Like what?

Kiểu gì vậy?

39:28

Like why what that was?

Kiểu tại sao, cái đó là gì vậy?

39:29

I didn't say that as like a durable, you know, global rule.

Tôi đâu có nói điều đó như một quy tắc toàn cục lâu dài, bạn biết đấy.

39:33

I just meant like your this PR sucks and you should change that part.

Tôi chỉ có ý là cái PR này của bạn dở tệ và bạn nên thay đổi phần đó thôi.

39:37

But agents don't really understand us that well surprisingly uh and or they kind of assume too much and they kind of do things in like very stupid ways.

Nhưng các agent thực sự không hiểu chúng ta rõ đến vậy, đáng ngạc nhiên là ừ, hoặc là chúng giả định quá nhiều và chúng làm mọi thứ theo những cách khá là ngớ ngẩn.

39:46

So like yeah we just ban everything.

Nên kiểu như, ừ, chúng tôi cấm hết mọi thứ.

39:49

Everything you can imagine like the agents are bad at we ban.

Mọi thứ bạn có thể tưởng tượng mà các agent làm kém, chúng tôi đều cấm.

39:52

Uh so one example that we actually suffer a lot in the agents window is we have uh you know you if you've used the agents window you've definitely seen performance issues and you know we're constantly trying to fix them.

Ừ, nên một ví dụ mà chúng tôi thực sự chịu đựng rất nhiều trong cửa sổ agents là chúng tôi có ừ, bạn biết đấy, nếu bạn đã dùng cửa sổ agents thì chắc chắn bạn đã thấy các vấn đề về hiệu năng và bạn biết đấy, chúng tôi liên tục cố gắng sửa chúng.

40:05

Uh but it's like a it's a never- ending struggle because there's so many pull requests that get

Ừ, nhưng nó giống như một cuộc đấu tranh không hồi kết bởi vì có quá nhiều pull request được

40:11

merged.

Merge.

40:11

Every any one of them could just regress performance or stability or reliability.

Bất kỳ cái nào trong số chúng đều có thể làm suy giảm hiệu năng hoặc độ ổn định hoặc độ tin cậy.

40:16

Uh you know the agents window doesn't have this architecture yet.

Ừ, bạn biết đấy, cửa sổ agents chưa có kiến trúc này.

40:20

I plan to do bring this learning back there and kind of refactor everything there.

Tôi dự định mang những bài học này trở lại đó và kiểu như refactor mọi thứ ở đó.

40:26

uh but uh it just regresses super often uh because uh there's just one example is like we have very poor um isolation between processes.

Ừ, nhưng ừ, nó cứ bị suy giảm siêu thường xuyên ừ, bởi vì ừ, chỉ một ví dụ thôi là chúng tôi có sự cách ly rất kém ừm giữa các tiến trình.

40:35

So like on you know on

Nên kiểu như trên, bạn biết đấy, trên

40:38

Electron you have a renderer thread that renders your UI but you also have like a main thread that you can run other code that you know doesn't need to block the renderer.

Electron bạn có một luồng renderer để render UI của bạn, nhưng bạn cũng có kiểu một luồng main mà bạn có thể chạy code khác, cái mà bạn biết đấy, không cần chặn renderer.

40:48

Um, but we do a poor job of separating those things.

Ừm, nhưng chúng tôi làm kém trong việc tách biệt những thứ đó.

40:51

And so oftentimes you just accidentally have code that gets pulled into running on the renderer thread and then all of a sudden you're competing with the renderer that you know that has a very if you want like 60 fps you have to every frame that gets drawn has to be done in 16 milliseconds.

Và thế là thường xuyên bạn vô tình có code bị kéo vào chạy trên luồng renderer, và rồi đột nhiên bạn đang cạnh tranh với renderer, cái mà bạn biết đấy, có một, nếu bạn muốn kiểu 60 fps thì mỗi frame được vẽ ra phải hoàn thành trong 16 mili giây.

41:09

So very very small you know deadline per frame

Nên là hạn chót, bạn biết đấy, rất rất nhỏ cho mỗi frame

41:12

uh if you want you know a very smooth product.

Ừ, nếu bạn muốn, bạn biết đấy, một sản phẩm rất mượt mà.

41:15

Uh and when you start building bringing in accidentally bringing in you know things that are like very computationally heavy or they have a lot of IO uh then you just get into like a lot of jank right your FPS really drops you start uh you know losing frames you get long tasks that take more than 16 milliseconds and you just get

Ừ, và khi bạn bắt đầu xây dựng, vô tình mang vào, bạn biết đấy, những thứ kiểu như rất nặng về tính toán hoặc chúng có nhiều IO ừ, thì bạn rơi vào kiểu rất nhiều jank, đúng không, FPS của bạn thực sự tụt, bạn bắt đầu ừ, bạn biết đấy, mất frame, bạn có những long task mất hơn 16 mili giây và bạn nhận được

41:34

this really choppy experience.

Trải nghiệm giật lag thực sự.

41:37

So all of those patterns that we've learned basically building electron apps we've encoded into this framework and it becomes like a hard failure.

Nên tất cả những pattern mà chúng tôi đã học được, cơ bản là khi xây dựng các ứng dụng electron, chúng tôi đã mã hóa vào framework này và nó trở thành kiểu như một lỗi cứng.

41:46

So I literally in grabbot we literally have a directory called electron main electron renderer and we have uh import uh CI I guess where we actually check the dependency graph to make sure you're not accidentally importing code from one

Nên tôi thực sự, trong grabbot, chúng tôi thực sự có một thư mục gọi là electron main, electron renderer và chúng tôi có ừ, import ừ, CI tôi đoán vậy, nơi chúng tôi thực sự kiểm tra đồ thị phụ thuộc để đảm bảo bạn không vô tình import code từ cái này

42:02

directory to another.

Thư mục sang cái khác.

42:03

Uh so that's enforced by CI um as well as bug bots uh which is our which cursors um like code review tool that runs on CI uh you know in our agents MD it's everywhere like so I I um I have this thing here where I talk about like um you know like there are multiple layers I think for building a good codebase.

Ừ, nên điều đó được CI thực thi ừm cũng như bug bots ừ, cái mà là công cụ review code của cursors ừm, chạy trên CI ừ, bạn biết đấy, trong agents MD của chúng tôi, nó ở khắp mọi nơi, kiểu như vậy. Nên tôi, tôi ừm, tôi có cái này ở đây, nơi tôi nói về kiểu ừm, bạn biết đấy, kiểu như có nhiều tầng, tôi nghĩ vậy, để xây dựng một codebase tốt.

42:27

Uh obviously the codebase is one where uh if you have

Ừ, rõ ràng là codebase là một, nơi mà ừ, nếu bạn có

42:32

an architecture like this where it's extremely strict uh you know the the way to build features is very conventional that's like the strongest strongest level of enforcement because agents just love to copy existing patterns.

Một kiến trúc như thế này, nơi nó cực kỳ nghiêm ngặt ừ, bạn biết đấy, cách để xây dựng tính năng rất là theo quy ước, đó là mức độ thực thi mạnh nhất, mạnh nhất, bởi vì các agent rất thích sao chép các pattern có sẵn.

42:45

So, uh, one example of this in Rockbot is like we have this these concepts called like a feature and we have entry points and transcript cards

Nên, ừ, một ví dụ về điều này trong Rockbot là kiểu như chúng tôi có những khái niệm này gọi là feature và chúng tôi có các entry point và transcript card

42:55

like oh you know the cards that you see in the chat these are all like nouns I guess in the framework and so there's a very conventional way of creating them and so like a feature is all in a single directory as an example and so all of the code that contributes to that feature lives in one directory so it's all coll-located in one case makes it super easy.

Kiểu như ồ, bạn biết đấy, những card mà bạn thấy trong chat, đây đều là kiểu như danh từ, tôi đoán vậy, trong framework, và thế là có một cách rất theo quy ước để tạo chúng, và kiểu như một feature thì tất cả nằm trong một thư mục duy nhất, ví dụ vậy, và thế là tất cả code đóng góp cho feature đó nằm trong một thư mục, nên tất cả được đặt cùng chỗ, trong một trường hợp, khiến nó siêu dễ dàng.

43:17

You know,

Bạn biết đấy,

43:18

agents don't have to like uh grap around and try to figure out like where all the things are.

Các agent không phải kiểu ừ, mò mẫm xung quanh và cố gắng tìm ra kiểu như mọi thứ nằm ở đâu.

43:23

It just looks at the feature and like, oh, okay, I'm working on the onboarding feature in Grockbot.

Nó chỉ nhìn vào feature và kiểu như, ồ, được rồi, tôi đang làm việc trên feature onboarding trong Grockbot.

43:27

Uh I'm just going to work in this directory.

Ừ, tôi sẽ chỉ làm việc trong thư mục này thôi.

43:30

And for 80% of the work, it's mostly just very encapsulated there.

Và với 80% công việc, nó hầu như chỉ được đóng gói rất gọn ở đó.

43:35

clears throat But uh like it's like very it's like designed again for you know like the dumbest agent like you don't have to think, right?

[hắng giọng] Nhưng ừ, kiểu như nó, nó được thiết kế, một lần nữa, cho, bạn biết đấy, kiểu như agent ngớ ngẩn nhất, kiểu như bạn không phải suy nghĩ, đúng không?

43:44

the the one of the key principles I have for this framework is like the shortest the shortest path is the best path.

Một trong những nguyên tắc chính tôi có cho framework này là kiểu như con đường ngắn nhất là con đường tốt nhất.

43:53

So uh because that plays exactly to how agents love to write code is like they like to take shortcuts really you know they'll find the quickest way to solve the problem.

Nên ừ, bởi vì điều đó khớp chính xác với cách các agent thích viết code, kiểu như chúng thích đi đường tắt, bạn biết đấy, chúng sẽ tìm cách nhanh nhất để giải quyết vấn đề.

44:03

So why not make that the best way to solve the problem?

Vậy tại sao không biến đó thành cách tốt nhất để giải quyết vấn đề?

44:07

Uh so I I probably won't get into all the specific details.

Ừ, nên tôi, tôi có lẽ sẽ không đi sâu vào tất cả các chi tiết cụ thể.

44:11

Um and uh the this framework is really more of a collection of ideas and principles rather than

Ừm và ừ, framework này thực ra giống như một tập hợp các ý tưởng và nguyên tắc hơn là

44:17

something that will open source.

Một cái gì đó sẽ được mở mã nguồn.

44:18

Uh you can you can you know screenshot this I guess if you want and uh tell your agent to uh do some build something like this for you too.

Ờ bạn có thể bạn có thể bạn biết đấy chụp ảnh màn hình cái này tôi đoán nếu bạn muốn và ờ bảo agent của bạn ờ làm gì đó xây dựng một cái gì đó như thế này cho bạn luôn.

44:28

Um yeah, but it's really all about the layers uh you know like the codebase is one part with features uh and directories and you know import or blocking import dependencies uh that shouldn't be imported uh but and it all enforces that and static analysis.

Ừm đúng, nhưng thực sự tất cả là về các lớp ờ bạn biết đấy như codebase là một phần với các tính năng ờ và các thư mục và bạn biết đấy import hoặc chặn import các phụ thuộc ờ mà không nên được import ờ nhưng và tất cả đều thực thi điều đó và phân tích tĩnh.

44:46

So like uh there's CI checks.

Vậy như là ờ có các kiểm tra CI.

44:48

We have a lot of lints for bad patterns that we observe.

Chúng tôi có rất nhiều lint cho các mẫu xấu mà chúng tôi quan sát được.

44:53

Uh compiler diagnostics.

Ờ chẩn đoán trình biên dịch.

44:55

Uh there's also rules and bugbot which are um I think like three, four, five are more soft, right?

Ờ cũng có các quy tắc và bugbot mà ừm tôi nghĩ như ba, bốn, năm thì mềm hơn, đúng không?

45:03

These two actually make CI red, right?

Hai cái này thực sự làm CI đỏ, đúng không?

45:06

So that you know there's a hard constraint where the agent can't just write crappy code for rules and skills and bogbot.

Vậy để bạn biết đấy có một ràng buộc cứng nơi agent không thể chỉ viết code tệ cho các quy tắc và kỹ năng và bogbot.

45:15

Your

Của bạn

45:16

agents can still forget, right?

Các agent vẫn có thể quên, đúng không?

45:17

You can still or it may not always consistently apply them.

Bạn vẫn có thể hoặc nó có thể không luôn áp dụng chúng một cách nhất quán.

45:21

So I like to layer them, but I don't I don't like to rely on them as the only source of enforcement because it's very soft, right?

Vậy tôi thích xếp lớp chúng, nhưng tôi không tôi không thích dựa vào chúng như nguồn thực thi duy nhất vì nó rất mềm, đúng không?

45:30

And if you if you only have rules and bug bot and skills and a style guide for your code, you will it's only a matter of time before your codebase looks like complete

Và nếu bạn nếu bạn chỉ có các quy tắc và bug bot và kỹ năng và một hướng dẫn phong cách cho code của bạn, bạn sẽ chỉ là vấn đề thời gian trước khi codebase của bạn trông hoàn toàn

45:41

trash.

Rác.

45:41

I'm sorry to say that but uh I definitely recommend yeah like you know investing in you know things that can be hard and forced right and this is why you know maybe the choice of tech stack that you use is also very important.

Tôi xin lỗi phải nói điều đó nhưng ờ tôi chắc chắn khuyên đúng như bạn biết đấy đầu tư vào bạn biết đấy những thứ có thể cứng và bị ép buộc đúng và đây là lý do tại sao bạn biết đấy có lẽ lựa chọn tech stack bạn dùng cũng rất quan trọng.

45:57

Um like I think for example Rust is sort of making you know it's like getting super popular again uh because the compiler is so strict right the compiler enforces so

Ừm như tôi nghĩ ví dụ Rust đại loại đang khiến bạn biết đấy nó như trở nên siêu phổ biến trở lại ờ vì trình biên dịch rất nghiêm ngặt đúng không trình biên dịch thực thi rất

46:08

many different things you know there's a borrow checker that you have to appease and if as long as you make sure your agents don't write unsafe code blocks uh you can more or less feel somewhat confident that if the code compiles it probably works and it's good.

Nhiều thứ khác nhau bạn biết đấy có một borrow checker mà bạn phải làm hài lòng và nếu miễn là bạn đảm bảo các agent của bạn không viết các khối code unsafe ờ bạn có thể ít nhiều cảm thấy khá tự tin rằng nếu code biên dịch được thì có lẽ nó hoạt động và nó tốt.

46:22

Uh but you see it gives you that level of trust and confidence that you as a human engineer no longer need to go and check it

Ờ nhưng bạn thấy đấy nó cho bạn mức độ tin tưởng và tự tin đó mà bạn với tư cách là một kỹ sư con người không còn cần phải đi kiểm tra nó

46:31

yourself.

Nữa.

46:31

You know you rely on code and static analysis to actually make that uh a lot smoother.

Bạn biết đấy bạn dựa vào code và phân tích tĩnh để thực sự làm cho điều đó ờ trơn tru hơn nhiều.

46:38

Um, and I guess the worst part, the worst place to be in is if you are stuck in code review land where you actually enforce all of the constraints, the invariance in your codebase by literally the human person saying, you know, reading the code and like, okay, you should not do this, right?

Ừm, và tôi đoán phần tệ nhất, nơi tệ nhất để ở là nếu bạn bị kẹt trong vùng review code nơi bạn thực sự thực thi tất cả các ràng buộc, các bất biến trong codebase của bạn bằng cách literally con người nói, bạn biết đấy, đọc code và như kiểu, được rồi, bạn không nên làm điều này, đúng không?

47:00

Every time you have to do that, you should consider that as a code smell, like a anti- pattern.

Mỗi lần bạn phải làm điều đó, bạn nên coi đó là một code smell, như một anti-pattern.

47:05

And you should say, okay, instead of me commenting on the PR, how do I turn this into a hard rule, right?

Và bạn nên nói, được rồi, thay vì tôi bình luận trên PR, làm thế nào để tôi biến cái này thành một quy tắc cứng, đúng không?

47:12

How do I turn this into a lint rule, how do I turn this into a CI failure, or how do I even categorically eliminate this problem uh entirely?

Làm thế nào để tôi biến cái này thành một quy tắc lint, làm thế nào để tôi biến cái này thành một lỗi CI, hoặc làm thế nào để tôi thậm chí loại bỏ hoàn toàn vấn đề này một cách triệt để ờ?

47:21

Uh I I can talk about another migration I've

Ờ tôi tôi có thể nói về một cuộc migration khác mà tôi đã

47:24

done, but I'll probably pause here.

Làm, nhưng tôi có lẽ sẽ tạm dừng ở đây.

47:25

- Sure.

- Chắc chắn rồi.

47:27

- Yeah.

- Ừ.

47:27

I feel like that's that's where I am to be honest is what you're describing right now which is that like I don't have all of these rules.

Tôi cảm thấy như đó đó là nơi tôi đang ở thành thật mà nói là những gì bạn đang mô tả ngay bây giờ, đó là kiểu như tôi không có tất cả những quy tắc này.

47:34

So I have some things to go do after this session in terms of being able to scale my agents.

Vậy tôi có một số việc phải làm sau phiên này về việc có thể mở rộng quy mô các agent của mình.

47:38

I'm I'm definitely on like the uh you know maybe a couple of parallel ones locally stage.

Tôi tôi chắc chắn đang ở kiểu như ờ bạn biết đấy có lẽ một vài cái song song cục bộ stage.

47:42

So like two to three locally and I'm sure most

Vậy như hai đến ba cái cục bộ và tôi chắc hầu hết

47:45

people here are on the same.

Mọi người ở đây cũng vậy.

47:46

So uh yeah I know we only have a couple minutes left.

Vậy ờ đúng tôi biết chúng ta chỉ còn vài phút nữa.

47:48

Lauren, was there anything else that you wanted to highlight?

Lauren, có điều gì khác bạn muốn nhấn mạnh không?

47:50

I obviously there's lots of questions so I can grab more but I want to give you a few minutes if there's anything else you want to talk about.

Tôi rõ ràng có rất nhiều câu hỏi nên tôi có thể lấy thêm nhưng tôi muốn dành cho bạn vài phút nếu có điều gì khác bạn muốn nói.

47:56

- I think I've been yapping for quite a lot so I'm maybe let's just do questions.

- Tôi nghĩ tôi đã nói luyên thuyên khá nhiều rồi nên có lẽ chúng ta chỉ làm phần câu hỏi thôi.

48:01

- Okay cool.

- Được tuyệt.

48:01

Uh one question that had uh a couple of uh came up a couple times was just around like token usage.

Ờ một câu hỏi đã ờ một vài ờ xuất hiện vài lần chỉ là về kiểu như mức sử dụng token.

48:07

- So the question is like is what you're describing a realistic thing for people who are on you know uh a normal set of token usage.

- Vậy câu hỏi là kiểu như liệu những gì bạn đang mô tả có phải là điều thực tế cho những người đang ở bạn biết đấy ờ một mức sử dụng token bình thường không.

48:17

They don't have you know basically unlimited tokens uh to work with.

Họ không có bạn biết đấy cơ bản là token vô hạn ờ để làm việc.

48:22

I think that's a really good point.

Tôi nghĩ đó là một điểm thực sự hay.

48:24

I mean, like obviously, you know, I work at a AI lab where we have unlimited tokens.

Ý tôi là, rõ ràng, bạn biết đấy, tôi làm việc ở một AI lab nơi chúng tôi có token vô hạn.

48:29

So, uh I definitely cannot say that, you know, this is something everyone should do in the exact same way that I did it.

Vậy, ờ tôi chắc chắn không thể nói rằng, bạn biết đấy, đây là điều mọi người nên làm theo đúng cách tôi đã làm.

48:36

I think it's possible to get to this point without, you know, breaking the bank.

Tôi nghĩ có thể đạt đến điểm này mà không, bạn biết đấy, phá sản.

48:41

But, you know, if you're like an engineering leader or, you know, you're you have a startup that you lead, um I think to me it's a question of ROI.

Nhưng, bạn biết đấy, nếu bạn là một lãnh đạo kỹ thuật hoặc, bạn biết đấy, bạn có một startup mà bạn lãnh đạo, ừm với tôi đó là câu hỏi về ROI.

48:50

Um and it's like uh yes you spend a lot of money on tokens in the upfront stage you know like refactoring a codebase is going to take a lot of tokens uh adding all these things uh is going to take a bunch of tokens but if we're heading to

Ừm và nó kiểu như ờ đúng bạn chi rất nhiều tiền cho token ở giai đoạn ban đầu bạn biết đấy như refactor một codebase sẽ tốn rất nhiều token ờ thêm tất cả những thứ này ờ sẽ tốn một đống token nhưng nếu chúng ta đang hướng tới

49:06

a world where agents are writing all the code and you know you want to be very lean right you don't want to have to hire you don't want to be you don't want to become like meta right like I mean like in terms of you don't want to become a 10,000 person engineering org because I mean that's a cool problem to have but also you have so much overhead there's like planning you know

Một thế giới nơi các agent viết tất cả code và bạn biết đấy bạn muốn rất tinh gọn đúng không bạn không muốn phải thuê bạn không muốn trở thành bạn không muốn trở thành như meta đúng không kiểu như ý tôi là về mặt bạn không muốn trở thành một tổ chức kỹ thuật 10.000 người vì ý tôi là đó là một vấn đề thú vị để có nhưng cũng có quá nhiều chi phí overhead có kiểu như lập kế hoạch bạn biết đấy

49:28

like you it's it's a personally I wouldn't uh it's not super fun but um I think you want to stay very nimble right and you want to you want to be like agents are all about allowing you to do things that you couldn't do before that's really to me like the value of agents you know it's not just storing tokens on every single little thing but um to me like the thing I couldn't do

Kiểu như bạn nó là nó là cá nhân tôi sẽ không ờ nó không siêu vui nhưng ừm tôi nghĩ bạn muốn giữ rất nhanh nhẹn đúng không và bạn muốn bạn muốn kiểu như agent là tất cả về việc cho phép bạn làm những thứ mà bạn không thể làm trước đây đó thực sự với tôi là giá trị của agent bạn biết đấy nó không chỉ là lưu token cho mọi thứ nhỏ nhặt mà ừm với tôi như điều tôi không thể làm

49:52

before is like enforce this level of constraints in a codebase by myself right like I'm just a single person you know uh it would have taken me years to build this framework uh and do all the refactoring and test everything myself and verify you know like run imagine if there it was just me right now in pre- agent era just like running you know by it would take me so long, right?

Trước đây giống như việc tự mình thực thi mức độ ràng buộc này trong một codebase vậy, đúng không, kiểu như tôi chỉ là một người thôi, bạn biết đấy, sẽ mất nhiều năm để tôi tự xây dựng framework này, thực hiện tất cả việc refactor và kiểm thử mọi thứ, rồi tự xác minh, bạn biết đấy, cứ tưởng tượng nếu chỉ có mình tôi ngay lúc này trong thời kỳ tiền agent thì việc chạy nó sẽ mất rất lâu, đúng không?

50:19

And my salary is pretty high, right?

Và lương của tôi khá cao, đúng không?

50:21

Like, so, you know, the question I think an engineering leader might have is just then, you know, like what is there's a trade-off of do you hire someone to do this or do you spend the tokens to set up a code base so that even the most naive, right, the dumbest agents can do a good job.

Kiểu như, bạn biết đấy, câu hỏi mà tôi nghĩ một nhà lãnh đạo kỹ thuật có thể có chính là, bạn biết đấy, có một sự đánh đổi giữa việc bạn thuê ai đó làm việc này hay bạn chi token để thiết lập một codebase sao cho ngay cả những agent ngây thơ nhất, đúng vậy, ngốc nghếch nhất cũng có thể làm tốt.

50:40

And when you actually get to this point like even agents that are not you know fable

Và khi bạn thực sự đạt đến điểm này, ngay cả những agent không phải là, bạn biết đấy, huyền thoại

50:46

size do an excellent job of writing code and this pays a lot of dividends as well for me personally where I've empowered not just myself but again like PMs designers engineers who are not familiar with Grockbot to just contribute in a way that is sustainable.

Cỡ lớn cũng làm rất xuất sắc việc viết code và điều này cũng mang lại nhiều lợi ích cho cá nhân tôi, khi tôi đã trao quyền không chỉ cho bản thân mà còn cho cả các PM, nhà thiết kế, kỹ sư những người không quen với Grockbot, để họ đóng góp theo một cách bền vững.

51:06

So, I think yeah, it's definitely like a trade-off for sure.

Vì vậy, tôi nghĩ đúng, chắc chắn đó là một sự đánh đổi.

51:09

You know, like nothing is like free for sure.

Bạn biết đấy, không có gì là miễn phí cả.

51:12

Uh, and tokens are pretty expensive.

Ừ, và token thì khá đắt.

51:13

Uh, but oh, actually, uh, I I don't know how many of you have seen this, but we actually announced Grock 4.6 today.

Ừ, nhưng ồ, thật ra, ừ, tôi không biết có bao nhiêu người trong số các bạn đã thấy điều này, nhưng chúng tôi thực sự đã công bố Grock 4.6 hôm nay.

51:20

So, very exciting.

Vậy nên, rất thú vị.

51:21

Finally out.

Cuối cùng cũng ra mắt.

51:22

Um, so yeah, Groth 4.6 would be like a great it was very smart.

Ừm, vậy đúng, Groth 4.6 sẽ là một phiên bản tuyệt vời, nó rất thông minh.

51:26

Uh, it's really good on

Ừ, nó thực sự tốt trên

51:28

the on the benchmarks.

Trên các benchmark.

51:29

Uh, and it's the same the tokens.

Ừ, và nó giống nhau về token.

51:32

Uh well uh I hopefully I'm not saying this incorrectly, but uh I believe the cost per token is the same as 4.5.

Ừ thì, ừ, hy vọng tôi không nói sai điều này, nhưng ừ, tôi tin rằng chi phí mỗi token giống như 4.5.

51:40

So you're actually getting more intelligence for the same cost.

Vậy nên bạn thực sự nhận được nhiều trí tuệ hơn với cùng một chi phí.

51:44

Uh I think this is an area that cursor tries to cursor and SpaceX AI try to really optimize for like that heredto frontier of you know cost versus intelligence.

Ừ, tôi nghĩ đây là một lĩnh vực mà cursor cố gắng, cursor và SpaceX AI cố gắng thực sự tối ưu hóa cho biên giới tiên tiến đó của chi phí so với trí tuệ.

51:55

Ừ

51:56

you know we don't necessarily want to build the biggest model ever because that is extremely expensive to run.

Bạn biết đấy, chúng tôi không nhất thiết muốn xây dựng mô hình lớn nhất từ trước đến nay vì việc chạy nó cực kỳ tốn kém.

52:01

It's really about like how do you find that sweet spot right?

Điều thực sự quan trọng là làm thế nào bạn tìm được điểm ngọt ngào đó, đúng không?

52:05

You don't you don't need a giant model but it's just super smart right and it's not very expensive for inference.

Bạn không cần một mô hình khổng lồ nhưng nó chỉ siêu thông minh thôi, đúng không, và nó không quá đắt để suy luận.

52:12

Uh but um yeah, I think to kind of round it up, um I think it's like a it's it's there's a if you do your own analysis, I feel like it's pretty positive.

Ừ nhưng ừm, đúng, tôi nghĩ để tóm lại, ừm, tôi nghĩ nó giống như là, nếu bạn tự phân tích, tôi cảm thấy nó khá tích cực.

52:22

It'll be pretty positive that the ROI you get from investing in stuff like this, uh just empowers not just yourself, but your whole team to be so much more productive, right?

Sẽ khá tích cực rằng ROI bạn nhận được từ việc đầu tư vào những thứ như thế này, ừ, chỉ trao quyền không chỉ cho bản thân bạn mà còn cho cả nhóm của bạn để trở nên hiệu quả hơn rất nhiều, đúng không?

52:33

Like imagine if you have an army of engineers like me who

Hãy tưởng tượng nếu bạn có một đội quân kỹ sư như tôi, những người

52:37

are shipping so much improvements and and bug fixes.

Đang gửi đi rất nhiều cải tiến và sửa lỗi.

52:41

uh you know every day, right?

Ừ, bạn biết đấy, mỗi ngày, đúng không?

52:44

Like that is pretty exciting.

Điều đó thật thú vị.

52:47

- Cool.

- Tuyệt.

52:47

Uh one last question before we wrap up.

Ừ, một câu hỏi cuối trước khi chúng ta kết thúc.

52:49

This one is for the people in product on the on the call.

Câu này dành cho những người làm sản phẩm trong cuộc gọi.

52:52

- So let's say we do have an army of engineers who are shipping like Lauren.

- Vậy giả sử chúng ta thực sự có một đội quân kỹ sư đang gửi đi như Lauren.

52:56

I'm just curious like how is the product team or other functions of your company keeping up given that like if you're shipping so quickly, have are they using AI more to do their jobs?

Tôi chỉ tò mò không biết đội sản phẩm hoặc các chức năng khác của công ty bạn đang theo kịp như thế nào, vì nếu bạn gửi đi nhanh như vậy, họ có đang sử dụng AI nhiều hơn để làm công việc của họ không?

53:05

like as much as you can speak to that obviously you don't have like you're not in that role but just curious about how that works.

Kiểu như bạn có thể nói về điều đó nhiều nhất có thể, rõ ràng bạn không ở trong vai trò đó, nhưng chỉ tò mò về cách nó hoạt động.

53:12

Um I think this is where Grothbot has been actually exceedingly powerful.

Ừm, tôi nghĩ đây là nơi Grothbot thực sự cực kỳ mạnh mẽ.

53:16

Uh where so before grabbot like you know uh obviously cursor only had cursor like we only had agents window we had a CLI we had an IDE and these are really like power user tools right like devel they're designed for developers so it's very developerentric you can do knowledge work in them but it like the

Ừ, vậy trước Grothbot, bạn biết đấy, ừ, rõ ràng cursor chỉ có cursor, kiểu như chúng tôi chỉ có cửa sổ agent, chúng tôi có CLI, chúng tôi có IDE và đây thực sự là những công cụ dành cho người dùng chuyên nghiệp, đúng không, chúng được thiết kế cho nhà phát triển nên rất thiên về nhà phát triển, bạn có thể làm công việc tri thức trong đó nhưng giao diện

53:36

UI is not really optimized for that.

UI không thực sự được tối ưu hóa cho điều đó.

53:38

So we actually didn't really have uh well I think like a lot of people like you know GTM product like they might have used cursor uh to do their work but it definitely wasn't like a delightful experience for them.

Vậy nên chúng tôi thực sự không có, ừm, tôi nghĩ nhiều người như bạn biết đấy, GTM, sản phẩm, họ có thể đã dùng cursor để làm việc nhưng nó chắc chắn không phải là trải nghiệm thú vị đối với họ.

53:53

Um I think now with Grogbot uh it's become Grogbot is basically like their kusher moment for people who are not in tech in my opinion like it's like

Ừm, tôi nghĩ bây giờ với Grogbot, ừ, nó đã trở thành, Grogbot về cơ bản giống như khoảnh khắc kusher của họ đối với những người không làm trong ngành công nghệ, theo ý kiến của tôi, nó giống như

54:04

it's like a very accessible way to use agents in a very comfortable very familiar interface.

Nó giống như một cách rất dễ tiếp cận để sử dụng agent trong một giao diện rất thoải mái, rất quen thuộc.

54:09

It looks like iMessage.

Nó trông giống như iMessage.

54:11

Um and it's very fun to you know you can give your agent a fun name.

Ừm, và nó rất thú vị, bạn biết đấy, bạn có thể đặt cho agent của mình một cái tên thú vị.

54:17

Uh, you can have, you can kind of do orchestration within in a very like natural way where you can sort of, you know, each agent is like a person, right?

Ừ, bạn có thể, bạn có thể thực hiện điều phối theo một cách rất tự nhiên, nơi bạn có thể, bạn biết đấy, mỗi agent giống như một người, đúng không?

54:24

Now you got a team of agents like working on, you have one agent per account that you manage as an example, or if you're a PM, you have, you know, you can have an agent that summarizes all the work that Lauren did last night and then

Bây giờ bạn có một đội agent đang làm việc, ví dụ bạn có một agent cho mỗi tài khoản bạn quản lý, hoặc nếu bạn là PM, bạn có thể có một agent tóm tắt tất cả công việc Lauren đã làm đêm qua và sau đó

54:35

Now you know what I did, right?

Bây giờ bạn biết tôi đã làm gì, đúng không?

54:36

So I think our PMs are leveraging that a lot and they're shipping code too.

Vì vậy tôi nghĩ các PM của chúng tôi đang tận dụng điều đó rất nhiều và họ cũng đang gửi code.

54:41

Uh, so you know, like often times they will just say, oh, here's a bug, I fixed it, can you look at it?

Ừ, bạn biết đấy, thường thì họ sẽ chỉ nói, ồ, đây là một lỗi, tôi đã sửa nó, bạn có thể xem qua không?

54:47

And then I'll go review it and actually it's just perfect.

Và sau đó tôi sẽ xem xét nó và thực sự nó hoàn hảo.

54:50

I'm like, okay, stamp.

Tôi kiểu như, được, đóng dấu.

54:51

Uh, so uh, that, I think that shows that, you know, the Dune architecture is holding up, right?

Ừ, vậy ừ, tôi nghĩ điều đó cho thấy rằng, bạn biết đấy, kiến trúc Dune đang trụ vững, đúng không?

54:56

The all

Tất cả

54:57

The really strict constraints allow people who are not experts in engineering to contribute at a high level.

Những ràng buộc thực sự nghiêm ngặt cho phép những người không phải là chuyên gia về kỹ thuật đóng góp ở mức độ cao.

55:03

Uh, so I'm, I feel like I'm already seeing that pay off a lot where, uh, you know, designers and PMs are just able to to ship features directly.

Ừ, nên tôi, tôi cảm thấy như mình đã thấy điều đó mang lại lợi ích rất nhiều, khi, ừ, bạn biết đấy, các nhà thiết kế và PM chỉ có thể trực tiếp phát hành các tính năng.

55:14

Um, and that just makes the Grockbot team super fast, right?

Ừm, và điều đó chỉ khiến đội Grockbot trở nên siêu nhanh, đúng không?

55:19

Where we can ship so quickly.

Nơi chúng tôi có thể phát hành rất nhanh.

55:21

Um, and we have a lot planned.

Ừm, và chúng tôi có rất nhiều kế hoạch.

55:24

So, I'm very excited, uh, to, you know, uh, to ship more, ship more

Vì vậy, tôi rất hào hứng, ừ, để, bạn biết đấy, ừ, để phát hành thêm, phát hành thêm

Transcript

Hiển thị

Trust and Verification in AI Coding Agents

The speaker explains that building trust in AI coding agents is essential for high productivity and parallelization. Trust grows over time, enabling agents to automerge PRs and achieve high velocity. Verification is the most critical skill: agents must run code, take traces, or test applications to close the feedback loop. Without verification, humans become bottlenecks, manually checking output and preventing scaling. The speaker compares managing agents to management: without trust, you micromanage and cannot parallelize.

Diễn giả giải thích rằng việc xây dựng niềm tin vào các tác nhân lập trình AI là điều thiết yếu để đạt năng suất cao và khả năng song song hóa. Niềm tin phát triển theo thời gian, cho phép các tác nhân tự động hợp nhất PR và đạt tốc độ cao. Xác minh là kỹ năng quan trọng nhất: các tác nhân phải chạy mã, lấy dấu vết hoặc kiểm thử ứng dụng để khép kín vòng phản hồi. Không có xác minh, con người trở thành nút thắt cổ chai, phải kiểm tra thủ công đầu ra và ngăn cản việc mở rộng quy mô. Diễn giả so sánh việc quản lý tác nhân với quản lý: không có niềm tin, bạn phải quản lý vi mô và không thể song song hóa.