0:00

55:04

SpaceXAI engineer Lauren Tan part1

Solar Meta·55:04·Technology·C1

Chương · 7

Chương 1·AI as a Pair Programmer: Trust and Verification

Hiển thị

Tiếng ViệtAuto-scroll

0:01

Um, personally I think that, uh, the best use of you of AI is really as, like, a, like, a pair, like, someone you pair programming with, and not someone as, not, not a, not a tool to just replace the act of writing code or, worse, outsourcing your thinking.

Ừm, cá nhân tôi nghĩ rằng, ờ, cách sử dụng AI tốt nhất thực sự là như một, kiểu như, một cặp, kiểu như một người mà bạn lập trình cặp với, chứ không phải là một người, không, không phải một công cụ chỉ để thay thế hành động viết mã hay, tệ hơn, là thuê ngoài tư duy của bạn.

0:19

And I think there's a tendency, like, you know, because AI is so exciting, you want to put AI everywhere and be seen as someone who's very, you know, um, what do you call it?

Và tôi nghĩ có một xu hướng, kiểu như, bạn biết đấy, vì AI quá thú vị, bạn muốn đặt AI ở khắp mọi nơi và được nhìn nhận như một người rất, bạn biết đấy, ừm, bạn gọi nó là gì nhỉ?

0:29

Like, uh, on the ball, I guess, with AI.

Kiểu như, ờ, nhanh nhạy, tôi đoán vậy, với AI.

0:32

Uh, that you feel this pressure of, like, you know, I'm just going to, I got to increase my productivity.

Ờ, rằng bạn cảm thấy áp lực kiểu như, bạn biết đấy, tôi chỉ cần, tôi phải tăng năng suất của mình lên.

0:37

I got to ship, like, 100 PRs this week and barely understand what I'm

Tôi phải gửi, kiểu như, 100 PR trong tuần này và hầu như không hiểu mình đang

0:42

doing and, you know, vive code my way to a million ARR or whatever.

Làm gì và, bạn biết đấy, cứ thế vibe code để đạt được một triệu ARR hay gì đó.

0:49

Um, but I think, you know, um, one of the things that I've personally seen is that although when I use AI I save some time, you know, writing the code, I actually find myself spending more time reviewing what the AI did and, like, correcting it.

Ừm, nhưng tôi nghĩ, bạn biết đấy, ừm, một trong những điều mà cá nhân tôi đã thấy là mặc dù khi tôi dùng AI tôi tiết kiệm được chút thời gian, bạn biết đấy, khi viết mã, tôi thực sự thấy mình dành nhiều thời gian hơn để xem xét những gì AI đã làm và, kiểu như, sửa lại nó.

1:05

So, you know, like, I've, I've tried the, the thing that a lot of people say, like, you know, you, uh, instead of prompting an AI to just build the feature outright, you sort of get it to, uh, build a spec for you first, then you review that spec, and then you do this whole thing, then it's like, - uh, okay.

Nên, bạn biết đấy, kiểu như, tôi đã, tôi đã thử cái điều mà nhiều người nói, kiểu như, bạn biết đấy, bạn, ờ, thay vì nhắc AI xây dựng thẳng tính năng đó, bạn kiểu như để nó, ờ, xây dựng một bản đặc tả cho bạn trước, rồi bạn xem xét bản đặc tả đó, rồi bạn làm toàn bộ quy trình đó, rồi nó kiểu như, - ờ, được thôi.

1:21

So, I assume you can see my screen.

Vậy, tôi giả sử bạn có thể thấy màn hình của tôi.

1:23

- Yes.

- Vâng.

1:23

Yeah, we're good.

Ừ, chúng ta ổn.

1:24

clears throat So yeah, today, yeah, I think, I think the big theme for me as I've been using agents to write code, and I'm sure a lot of you have had the same experience as well, is how do you trust it?

[hắng giọng] Vậy ừ, hôm nay, ừ, tôi nghĩ, tôi nghĩ chủ đề lớn đối với tôi khi tôi dùng các agent để viết mã, và tôi chắc nhiều bạn cũng đã có trải nghiệm tương tự, là làm sao để bạn tin tưởng nó?

1:36

You know, especially if you are an engineer that's been writing code for a very long time.

Bạn biết đấy, đặc biệt nếu bạn là một kỹ sư đã viết mã trong một thời gian rất dài.

1:41

You have a lot of opinions and lessons that you've learned about doing good engineering.

Bạn có rất nhiều quan điểm và bài học mà bạn đã rút ra về việc làm kỹ thuật tốt.

1:45

And when you see agents just, you know, winging it and, you know, guessing, hallucinating, uh, you know, confidently stating that they found the smoking gun, uh, for the hundth time, uh, but it's actually not the real problem.

Và khi bạn thấy các agent chỉ, bạn biết đấy, làm tùy hứng và, bạn biết đấy, đoán mò, ảo giác, ờ, bạn biết đấy, tự tin tuyên bố rằng chúng đã tìm ra bằng chứng quyết định, ờ, đến lần thứ một trăm, ờ, nhưng thực ra đó không phải là vấn đề thật sự.

1:58

You lose a lot of trust.

Bạn mất rất nhiều niềm tin.

2:00

And when you lose, when you don't

Và khi bạn mất, khi bạn không

2:03

have much trust clears throat in your agents, I feel like you really can't get the most out of them.

Có nhiều niềm tin [hắng giọng] vào các agent của mình, tôi cảm thấy bạn thực sự không thể tận dụng tối đa chúng.

2:08

And for me, the parallel is like with management.

Và với tôi, sự tương đồng là với việc quản lý.

2:11

Uh, so if I'm an, a manager, an engineering manager of a team, and I have a bunch of, you know, I have a team of engineers, uh, on my team, and I don't trust them, then the mode of operation I'm going to be in is going to be like micromanagement,

Ờ, nên nếu tôi là một, một quản lý, một quản lý kỹ thuật của một nhóm, và tôi có một loạt, bạn biết đấy, tôi có một nhóm kỹ sư, ờ, trong nhóm của tôi, và tôi không tin tưởng họ, thì chế độ vận hành mà tôi sẽ ở trong đó sẽ kiểu như quản lý vi mô,

2:27

right, I'll have to spend a lot of time looking over my reports' shoulders and checking that they're doing their work well, you know, that they're not shipping bugs to production.

Đúng không, tôi sẽ phải dành nhiều thời gian nhìn qua vai các nhân viên của mình và kiểm tra rằng họ đang làm việc tốt, bạn biết đấy, rằng họ không đẩy bug lên production.

2:38

And so I drew this chart because, uh, it's, it's not, it's not a very scientific chart, but, like, this is how I imagine myself and my journey through using agents.

Và thế là tôi vẽ biểu đồ này vì, ờ, nó, nó không, nó không phải là một biểu đồ khoa học lắm, nhưng, kiểu như, đây là cách tôi hình dung về bản thân và hành trình của mình qua việc sử dụng các agent.

2:49

So, you know, like, fast forward or

Nên, bạn biết đấy, kiểu như, tua nhanh về phía trước hoặc

2:52

back forward, uh, or fast back, uh, fast backwards, like, a year or so when, you know, nobody was, or not many people were using agents to code.

Tới trước, ờ, hoặc tua nhanh về sau, ờ, tua ngược nhanh, kiểu như, khoảng một năm trước khi, bạn biết đấy, không ai, hoặc không nhiều người dùng agent để viết mã.

3:02

Uh, I think you, uh, you know, get into this mode where you are in very heavily in the loop with one or several, like, a handful of agents, and you find yourself just constantly fig, uh, you know, trying to understand what your agents are doing, uh, and you're very

Ờ, tôi nghĩ bạn, ờ, bạn biết đấy, rơi vào chế độ này khi bạn ở rất sâu trong vòng lặp với một hoặc vài, kiểu như, một số ít agent, và bạn thấy mình cứ liên tục, ờ, bạn biết đấy, cố gắng hiểu các agent của mình đang làm gì, ờ, và bạn rất

3:21

in loop.

Trong vòng lặp.

3:21

You're watching every single output.

Bạn đang xem từng kết quả đầu ra.

3:23

You are sitting there prompting, um, and you really can't parallelize beyond that because you don't, again, you don't have that trust, right?

Bạn ngồi đó nhắc lệnh, ừm, và bạn thực sự không thể song song hóa vượt quá mức đó vì bạn không, một lần nữa, bạn không có niềm tin đó, đúng không?

3:31

You can't go to a 100 agents, uh, like, spawn 100 agents when you don't even trust the output of one agent.

Bạn không thể đi đến 100 agent, ờ, kiểu như, tạo ra 100 agent khi bạn còn không tin tưởng kết quả đầu ra của một agent.

3:39

So over the past 5 months, I feel like I've really been able to, uh, like, ascend this trust curve, and now I'm at the

Nên trong 5 tháng qua, tôi cảm thấy mình thực sự đã có thể, ờ, kiểu như, vượt lên trên đường cong niềm tin này, và giờ tôi đang ở

3:49

point where, uh, I actually have this, sounds kind of scary to say, and it makes me sound like a slop artist, but I, I promise I'm not.

Điểm mà, ờ, tôi thực sự có cái này, nghe hơi đáng sợ khi nói ra, và nó khiến tôi nghe như một kẻ làm nội dung rác, nhưng tôi, tôi hứa là tôi không phải vậy.

3:57

But I actually have my agents now, um, autoemerging PRs for me.

Nhưng tôi thực sự có các agent của mình bây giờ, ừm, tự động hợp nhất PR cho tôi.

4:01

Uh, which is like a wild thing to say, but, um, like, I woke up today and there were like 20 PRs landed and I just reviewed them on main, like, they were already landed and they were good.

Ờ, điều đó thật hoang đường khi nói ra, nhưng, ừm, kiểu như, tôi thức dậy hôm nay và có kiểu như 20 PR đã được hợp nhất và tôi chỉ xem xét chúng trên main, kiểu như, chúng đã được hợp nhất rồi và chúng tốt.

4:13

Uh, so

Ờ, vậy

4:14

how did I get to that point is basically what I wanted to talk about today.

Làm sao tôi đến được điểm đó về cơ bản là điều tôi muốn nói hôm nay.

4:20

Uh, and again, like, yeah, feel free to jump in if you have questions.

Ờ, và một lần nữa, kiểu như, ừ, cứ thoải mái tham gia nếu bạn có câu hỏi.

4:25

Colon.

Dấu hai chấm.

4:25

Um, but, uh, oh yeah, of course I got to show this, this chart.

Ừm, nhưng, ờ, ồ đúng rồi, tất nhiên tôi phải cho xem cái này, biểu đồ này.

4:30

laughter Uh, where, uh, no, do not trust to someone requested to control my computer.

[tiếng cười] Ờ, ở đó, ờ, không, đừng tin tưởng ai đó yêu cầu điều khiển máy tính của tôi.

4:35

Uh, I probably won't do that.

Ờ, tôi có lẽ sẽ không làm thế.

4:37

Uh, but yeah, so this chart, I think I'm, I'm sharing this chart not to kind of, like, flex, but to kind of show, like, the journey, like, so you can see

Ờ, nhưng ừ, vậy biểu đồ này, tôi nghĩ tôi, tôi chia sẻ biểu đồ này không phải để kiểu như, khoe khoang, mà để kiểu như cho thấy, kiểu như, hành trình, kiểu như, để bạn có thể thấy

4:49

like the curve, like, it sort of like inversely matches the contributions I've been able to land at cursor.

Kiểu như đường cong, kiểu như, nó sort of kiểu như tương phản nghịch với những đóng góp mà tôi đã có thể hợp nhất tại cursor.

4:54

So I joined five months ago and five months ago, like, I, you know, my first month I was like not very productive because I was, obvious, you know, I was learning the codebase, didn't know what the heck was going on, and as I got more confident in my agents, uh, I've really been able to kind

Nên tôi tham gia năm tháng trước và năm tháng trước, kiểu như, tôi, bạn biết đấy, tháng đầu tiên tôi kiểu như không năng suất lắm vì tôi, rõ ràng, bạn biết đấy, tôi đang học codebase, không biết cái quái gì đang diễn ra, và khi tôi tự tin hơn vào các agent của mình, ờ, tôi thực sự đã có thể kiểu

5:12

of ramp up my productivity, uh, and again, like, yeah, like, last month I shipped a thousand PRs, which is ridiculous.

Như tăng năng suất của mình lên, ờ, và một lần nữa, kiểu như, ừ, kiểu như, tháng trước tôi đã gửi một nghìn PR, điều thật vô lý.

5:19

Uh, and then this month we're only on the 12th.

Ờ, và tháng này chúng ta mới chỉ đến ngày 12.

5:22

I'm already at like almost 800 PRs landed.

Tôi đã ở mức gần như 800 PR được hợp nhất.

5:25

Uh, so the velocity is definitely high and you, I'm sure a lot of you will definitely be questioning, like, how much of this code is actually good.

Ờ, nên tốc độ chắc chắn là cao và bạn, tôi chắc nhiều bạn chắc chắn sẽ đặt câu hỏi, kiểu như, có bao nhiêu phần trong số mã này thực sự tốt.

5:35

Um, and I think, yeah, like, that's definitely fair to

Ừm, và tôi nghĩ, ừ, kiểu như, điều đó chắc chắn là công bằng để

5:39

question.

Đặt câu hỏi.

5:41

Um, but, uh, yeah, I think, I think if you set up your agents well, you can definitely get to a very similar level.

Ừm, nhưng, ờ, ừ, tôi nghĩ, tôi nghĩ nếu bạn thiết lập các agent của mình tốt, bạn chắc chắn có thể đạt đến một mức rất tương tự.

5:52

Um, and so I'm going to talk about how we do that.

Ừm, và vậy tôi sẽ nói về cách chúng tôi làm điều đó.

5:56

Uh, so for me, I think I'm curious, like, I guess call in your experience as well, but, uh, for me, I think the most important skill that you should have in your toolbox when you work with agents is verification.

Uh, vậy với tôi, tôi nghĩ tôi tò mò, kiểu, tôi đoán hãy gọi cả kinh nghiệm của bạn nữa, nhưng, uh, với tôi, tôi nghĩ kỹ năng quan trọng nhất mà bạn nên có trong hộp công cụ của mình khi làm việc với agent là xác minh.

6:12

Uh, and by verification I mean the ability for an agent to actually run the code, uh, or take CPU traces or heap snapshots, or, uh, you know, open an iOS simulator, whatever, you know,

Uh, và ý tôi khi nói xác minh là khả năng để một agent thực sự chạy code, uh, hoặc lấy CPU trace hay heap snapshot, hoặc, uh, bạn biết đấy, mở một trình giả lập iOS, gì cũng được, bạn biết đấy,

6:27

however your application is exposed to your users.

Dù ứng dụng của bạn được hiển thị với người dùng như thế nào.

6:30

It can do the same thing and, uh, run it for real and actually test and verify it don't work because that's the thing that really closes the loop.

Nó có thể làm điều tương tự và, uh, chạy nó thật sự và thực sự kiểm tra và xác minh nó không hoạt động bởi vì đó là thứ thực sự khép kín vòng lặp.

6:40

Uh, it doesn't guarantee your agent writes good code, uh, but it allows them to at least write correct code, uh, which is a big, a really big step forward for being able to trust your agents.

Uh, nó không đảm bảo agent của bạn viết code tốt, uh, nhưng nó cho phép chúng ít nhất viết code đúng, uh, đó là một bước tiến lớn, thực sự lớn để có thể tin tưởng agent của bạn.

6:54

Um,

Ừm,

6:55

I will, I can share one example that we have, uh, within cursor.

Tôi sẽ, tôi có thể chia sẻ một ví dụ mà chúng tôi có, uh, trong cursor.

7:07

Uh, oops, where, let me open this.

Uh, oops, để tôi mở cái này.

7:14

Let's make this, uh, make me full screen.

Hãy làm cái này, uh, cho tôi toàn màn hình.

7:17

There you go.

Được rồi.

7:19

Uh, so for the, for cursor's agent window, uh, so this is actually an interesting story, but, uh, when I joined cursor five months ago, uh, they're actually, uh, well, I was supposed to join a different team, I was supposed to join like the cloud agents team, uh, but then since I have a lot of experience working on react and agents window is a react application, uh, I was, uh, I was asked to basically help out

Uh, vậy với, với cửa sổ agent của cursor, uh, đây thực ra là một câu chuyện thú vị, nhưng, uh, khi tôi gia nhập cursor năm tháng trước, uh, họ thực ra, uh, à, tôi đáng lẽ gia nhập một team khác, tôi đáng lẽ gia nhập kiểu team cloud agents, uh, nhưng rồi vì tôi có nhiều kinh nghiệm làm việc với react và cửa sổ agent là một ứng dụng react, uh, tôi được, uh, tôi được yêu cầu cơ bản là giúp đỡ

7:47

with, uh, the agent window work, uh, but, um, there wasn't really a lot of, like, skills to help me.

Với, uh, công việc cửa sổ agent, uh, nhưng, ừm, thực sự không có nhiều, kiểu, kỹ năng để giúp tôi.

7:53

So I just found myself that, okay, uh, agents switch is going to launch in like a week, right, we have a really tight deadline, and, um, there was, uh, you know, I was just sitting there like, okay, I'm going to open up the performant, the, the chrome dev tools and just like take a trace, look at it myself, and try to

Nên tôi tự nhận ra rằng, được rồi, uh, agent switch sẽ ra mắt trong khoảng một tuần nữa, đúng không, chúng tôi có deadline rất gấp, và, ừm, có, uh, bạn biết đấy, tôi chỉ ngồi đó kiểu, được rồi, tôi sẽ mở performant, chrome dev tools và chỉ kiểu lấy một trace, tự xem nó, và cố gắng

8:13

make sense of this flame graph, and keep in mind I was just like in my first week, so I had no idea what I was looking at, no idea where, you know, I mean, I had some idea, but, you know, the code base was completely fresh to me, uh, and I realized, like, my agent had no idea either, you know, like, I would take a screenshot of the trailer, I would download trades, I would send it to it and it be like,

Hiểu cái flame graph này, và nhớ rằng tôi chỉ mới ở tuần đầu tiên, nên tôi không biết mình đang nhìn cái gì, không biết ở đâu, bạn biết đấy, ý tôi là, tôi có chút ý tưởng, nhưng, bạn biết đấy, code base hoàn toàn mới với tôi, uh, và tôi nhận ra rằng, kiểu, agent của tôi cũng không biết gì cả, bạn biết đấy, kiểu, tôi sẽ chụp ảnh màn hình cái trailer, tôi sẽ tải trace xuống, tôi sẽ gửi nó cho nó và nó kiểu,

8:32

yeah, it kind of looks like this, you know, uh, and it would like confidently state like it's this thing and then I'd try to fix that and turns out that's not the actual thing.

Ừ, nó kiểu trông như thế này, bạn biết đấy, uh, và nó sẽ kiểu tự tin khẳng định rằng đó là cái này và rồi tôi cố sửa cái đó và hóa ra đó không phải là thứ thực sự.

8:42

So, this was very slow process and if you've ever done any like performance work yourself or, you know, just even development with an agent where you don't have a verification skill, you are the verifier, right?

Vậy, đây là một quá trình rất chậm và nếu bạn từng làm bất kỳ công việc hiệu năng nào hay, bạn biết đấy, thậm chí chỉ là phát triển với một agent mà bạn không có kỹ năng xác minh, thì bạn chính là người xác minh, đúng không?

8:53

You're the bottleneck.

Bạn là nút thắt cổ chai.

8:54

You, you tell your agent to do something and then it goes off and write some code.

Bạn, bạn bảo agent của bạn làm gì đó và rồi nó đi viết một ít code.

8:59

Then you open up your, you know, local dev build and then you

Rồi bạn mở, bạn biết đấy, bản dev build cục bộ và rồi bạn

9:03

start to say, oh, you know, doesn't work.

Bắt đầu nói, ồ, bạn biết đấy, không hoạt động.

9:04

Then you got to copy paste screen, uh, you know, screenshots or console errors or whatever.

Rồi bạn phải copy paste màn hình, uh, bạn biết đấy, ảnh chụp màn hình hay lỗi console hay gì cũng được.

9:08

Uh, and then your agent like slowly kind of like, uh, you know, works with that and then tries to understand it and, um, fix the thing, but then you're constantly just in the loop and being a bottleneck.

Uh, và rồi agent của bạn kiểu chậm rãi, uh, bạn biết đấy, làm việc với nó và rồi cố hiểu nó và, ừm, sửa cái thứ đó, nhưng rồi bạn liên tục ở trong vòng lặp và trở thành nút thắt cổ chai.

9:20

So there's really no way to parallelize.

Nên thực sự không có cách nào để song song hóa.

9:23

So the control glass skill is like one of the first skills I

Vậy kỹ năng control glass là một trong những kỹ năng đầu tiên tôi

9:27

built, uh, for cursor.

Xây dựng, uh, cho cursor.

9:28

Uh, and glass, by the way, is the code name for agents window that we use internally, but it's just cursor, I guess.

Uh, và glass, nhân tiện, là tên mã cho cửa sổ agent mà chúng tôi dùng nội bộ, nhưng tôi đoán nó chỉ là cursor.

9:36

Um, and so this skill, uh, is, I guess, the, the code itself is not super interesting.

Ừm, và vậy kỹ năng này, uh, tôi đoán, bản thân code không quá thú vị.

9:42

Your agent can very easily make one for you, uh, where if you're building an electron app or a web app or even iOS, uh, applications, uh, you can teach your agent how to use like

Agent của bạn có thể rất dễ dàng tạo một cái cho bạn, uh, khi mà nếu bạn đang xây một ứng dụng electron hay ứng dụng web hay thậm chí iOS, uh, bạn có thể dạy agent của bạn cách dùng kiểu

9:55

the chrome dev tools protocol or through, uh, Apple has some utilities as well for running the simulator and taking traces and controlling programmatic control as well.

Chrome dev tools protocol hoặc thông qua, uh, Apple cũng có một số tiện ích để chạy trình giả lập và lấy trace và điều khiển theo lập trình nữa.

10:07

Uh, so that's really useful.

Uh, vậy điều đó thực sự hữu ích.

10:09

Uh, but one thing I actually want to talk about is, uh, the, this thing, uh, where is the read me?

Uh, nhưng một điều tôi thực sự muốn nói đến là, uh, cái, thứ này, uh, read me ở đâu nhỉ?

10:18

Uh, so this skill comes with this very unique feature called, or not feature, uh, unique

Uh, vậy kỹ năng này đi kèm với tính năng rất độc đáo này gọi là, hay không phải tính năng, uh, độc đáo

10:26

file called a feature map.

Tệp gọi là feature map.

10:27

And so the story then is like, I built this skill and so now the agent was able to, uh, actually run the agent window and take traces and whatnot.

Và vậy câu chuyện sau đó là kiểu, tôi đã xây kỹ năng này và vậy giờ agent có thể, uh, thực sự chạy cửa sổ agent và lấy trace này nọ.

10:38

Uh, but it had no idea what the agents window was.

Uh, nhưng nó không biết cửa sổ agent là gì.

10:42

So, um, you know, like, someone would say like, oh, the left sidebar is like laggy or something like that, or, you know, the right side, the PR tab is not working,

Vậy, ừm, bạn biết đấy, kiểu, ai đó sẽ nói kiểu, ồ, thanh bên trái bị lag hay gì đó, hoặc, bạn biết đấy, bên phải, tab PR không hoạt động,

10:54

and the agent would just be like kind of flailing around.

Và agent sẽ chỉ kiểu vùng vẫy lung tung.

10:56

It would spend a lot of time trying to like look up the code and, you know, where is this feature?

Nó sẽ dành nhiều thời gian cố gắng kiểu tra cứu code và, bạn biết đấy, tính năng này ở đâu?

11:02

How do I actually get to it on the UI, which made it basically completely useless.

Làm sao tôi thực sự đến được nó trên UI, điều đó khiến nó cơ bản hoàn toàn vô dụng.

11:06

Uh, you know, like, we would, I would run this skill locally and, you know, it would spawn a dev build, uh, but then it just be turnurning like, I just try to click here,

Uh, bạn biết đấy, kiểu, chúng tôi sẽ, tôi sẽ chạy kỹ năng này cục bộ và, bạn biết đấy, nó sẽ tạo ra một dev build, uh, nhưng rồi nó chỉ kiểu trả về là, tôi chỉ cố click vào đây,

11:16

it wouldn't know how to get to things, um, and it was just an awful experience, uh, so is putting arrows on my screen.

Nó sẽ không biết cách đến được mọi thứ, ừm, và đó chỉ là một trải nghiệm khủng khiếp, uh, nó còn đặt mũi tên lên màn hình tôi nữa.

11:25

Um, so, uh, yeah, this feature map has been really useful, uh, because it teaches the agent how to get to all of the features that you have.

Ừm, vậy, uh, ừ, cái feature map này thực sự hữu ích, uh, bởi vì nó dạy agent cách đến được tất cả các tính năng mà bạn có.

11:35

Um, and in PAC, the plugin that I've made, uh, if you search for PAC cursor on Google, you, you'll find it.

Ừm, và trong PAC, plugin mà tôi đã làm, uh, nếu bạn tìm PAC cursor trên Google, bạn, bạn sẽ tìm thấy nó.

11:43

Uh, but there is a create verification skill in that plugin where it actually helps you set up something like this for yourself.

Uh, nhưng có một kỹ năng create verification trong plugin đó, nơi nó thực sự giúp bạn thiết lập một thứ như thế này cho chính bạn.

11:51

Um,

Ừm,

11:52

including the feature map.

Bao gồm cả feature map.

11:53

So it will actually explore the code and build up this initial feature map that tells your agent how to get to all of the different features that you have.

Vậy nó sẽ thực sự khám phá code và xây dựng feature map ban đầu này để cho agent của bạn biết cách đến được tất cả các tính năng khác nhau mà bạn có.

12:03

Uh, and this is extremely powerful because now, like, you have these user reports that come in, uh, you can actually map even like a vague report or even a screenshot.

Uh, và điều này cực kỳ mạnh mẽ bởi vì giờ, kiểu, bạn có những báo cáo người dùng gửi đến, uh, bạn thực sự có thể ánh xạ thậm chí cả một báo cáo mơ hồ hay thậm chí một ảnh chụp màn hình.

12:13

So we have this, uh, internally at cursor where

Vậy chúng tôi có cái này, uh, nội bộ tại cursor nơi

12:16

uh, we have a slack channel with, you know, lots of people giving us feedback on the agents window and rockbot and whatnot.

Uh, chúng tôi có một kênh Slack với, bạn biết đấy, rất nhiều người đưa phản hồi cho chúng tôi về cửa sổ agents và rockbot cùng đủ thứ khác.

12:23

Uh, and often times the report is very bad, like very low quality, like someone just put, very often we get like a screenshot, like, and then someone just says question mark, question mark, question mark, like, what is this?

Uh, và thường thì báo cáo rất tệ, kiểu chất lượng rất thấp, kiểu ai đó chỉ đưa vào, rất thường chúng tôi nhận được một ảnh chụp màn hình, kiểu, rồi sau đó ai đó chỉ nói dấu hỏi, dấu hỏi, dấu hỏi, kiểu, cái này là gì vậy?

12:35

laughter And you know, like, the, without this, your agent is like, I have no clue, right?

[tiếng cười] Và bạn biết đấy, kiểu, nếu không có cái này, agent của bạn kiểu, tôi không có manh mối gì cả, đúng không?

12:39

But with a feature map like this, it has a lot more context and understanding of how to actually navigate, how to get to all of the different features.

Nhưng với một feature map như thế này, nó có nhiều ngữ cảnh hơn và hiểu rõ hơn về cách thực sự điều hướng, cách đi đến tất cả các tính năng khác nhau.

12:48

Uh, so like, you know, example like, I guess like the sidebar, like, what is the sidebar, uh, you know, like all the different sub features that

Uh, vậy kiểu, bạn biết đấy, ví dụ như, tôi đoán là thanh bên, kiểu, thanh bên là gì, uh, bạn biết đấy, kiểu tất cả các tính năng phụ khác nhau

12:56

are present in it, um, like from the user point of view, here's where to, how do I get to it, all the different keyboard shortcuts, uh, even like the, what do you call it, the DOM elements or, yeah, like the attributes that you use for selecting things through the CDP, uh, are all there.

Có mặt trong đó, um, kiểu từ góc nhìn của người dùng, đây là nơi để, làm sao tôi đến được nó, tất cả các phím tắt khác nhau, uh, thậm chí kiểu, bạn gọi nó là gì nhỉ, các phần tử DOM hay, ừ, kiểu các thuộc tính mà bạn dùng để chọn mọi thứ thông qua CDP, uh, đều có ở đó.

13:16

So, uh, again, yeah, this is like really really powerful, uh, for agents.

Vậy, uh, một lần nữa, ừ, cái này thực sự thực sự mạnh mẽ, uh, đối với các agent.

13:21

- Uh, and pstack ships, uh, that create verification skill, but also a maintain verification skill, uh, so you can keep this up to date.

- Uh, và pstack cung cấp, uh, kỹ năng tạo verification đó, mà còn cả kỹ năng duy trì verification, uh, để bạn có thể giữ cái này luôn cập nhật.

13:32

- Cool.

- Tuyệt.

13:32

Yeah, I was just going to ask how you created that.

Ừ, tôi vừa định hỏi làm thế nào bạn tạo ra nó.

13:34

So do you mind sharing a little bit more about, um, that process in the context of Pstack and maybe just what Pstack is for the folks who aren't familiar?

Vậy bạn có phiền chia sẻ thêm một chút về, um, quá trình đó trong bối cảnh của Pstack và có lẽ chỉ là Pstack là gì cho những người chưa quen không?

13:41

Yeah.

Ừ.

13:41

So, Pstack is pretty interesting because, uh, well, first of all, the name is kind of goofy.

Vậy, Pstack khá thú vị vì, uh, à, trước hết, cái tên khá ngớ ngẩn.

13:48

Like, the P, the P in P stack is like potato stack because I, um, so, uh, there's a pretty, uh, famous person, Gary Tan, who is the CEO of Y Combinator, and he's come up with this plugin called GStack, uh, Gary Stack, and, uh, funnily enough, we share the last name.

Kiểu, chữ P, chữ P trong P stack là kiểu potato stack vì tôi, um, vậy, uh, có một người khá, uh, nổi tiếng, Gary Tan, là CEO của Y Combinator, và anh ấy đã tạo ra plugin này gọi là GStack, uh, Gary Stack, và, uh, trùng hợp thay, chúng tôi cùng họ.

14:09

We have no relations.

Chúng tôi không có quan hệ họ hàng gì.

14:10

Uh, but I

Uh, nhưng tôi

14:12

thought it would be funny to kind of, you know, poke fun at Gary and make Pstack my version of, of his plugin.

Nghĩ sẽ thật buồn cười khi kiểu, bạn biết đấy, trêu Gary và biến Pstack thành phiên bản của tôi, của plugin của anh ấy.

14:20

Uh, but kind of tailor it to my own set of p engineering practices.

Uh, nhưng kiểu điều chỉnh nó theo bộ thực hành p engineering của riêng tôi.

14:26

Uh, but I honestly actually never set out to build PAC.

Uh, nhưng thật lòng tôi thực ra chưa bao giờ có ý định xây dựng PAC.

14:29

Uh, it just started with a bunch of skills, right?

Uh, nó chỉ bắt đầu với một loạt các kỹ năng, đúng không?

14:31

Like, I started with that control glass skill and then I started with another skill like called how, which I also noticed through like observing agents.

Kiểu, tôi bắt đầu với kỹ năng control glass đó và rồi tôi bắt đầu với một kỹ năng khác gọi là how, cái mà tôi cũng nhận ra thông qua việc quan sát các agent.

14:39

Um, so like, you know, in the early days of me, you know, trying to climb this ladder, I was like super in the loop and I was

Um, vậy kiểu, bạn biết đấy, trong những ngày đầu khi tôi, bạn biết đấy, cố gắng leo lên nấc thang này, tôi kiểu như cực kỳ ở trong vòng lặp và tôi

14:47

basically nitpicking my agents to an extreme degree.

Về cơ bản là bắt lỗi các agent của mình ở mức độ cực đoan.

14:50

I was like, I would tell it, um, you know, this feature has stopped working, here's a bug report, like, why isn't it working?

Tôi kiểu, tôi sẽ nói với nó, um, bạn biết đấy, tính năng này đã ngừng hoạt động, đây là báo cáo lỗi, kiểu, tại sao nó không hoạt động?

15:00

And very often the agent would just like confidently state like, "Oh, it has to be this, right?

Và rất thường thì agent sẽ kiểu tự tin tuyên bố kiểu, "Ồ, chắc chắn là cái này, đúng không?

15:05

It has to be this thing." And I noticed, like, when I looked at the actual tool calls, I noticed it wasn't actually reading the code that I thought should be affected.

Chắc chắn là cái này." Và tôi nhận ra, kiểu, khi tôi nhìn vào các tool call thực tế, tôi nhận ra nó thực sự không đọc đoạn code mà tôi nghĩ là bị ảnh hưởng.

15:14

And that made me just extremely suspicious.

Và điều đó khiến tôi cực kỳ nghi ngờ.

15:16

And at that point, I was like, I'm not going to, I can't trust any this agent anymore

Và tại thời điểm đó, tôi kiểu, tôi sẽ không, tôi không thể tin tưởng bất kỳ agent này nữa

15:21

'cuz it's just, it's just completely hallucinating.

vì nó chỉ, nó chỉ hoàn toàn ảo giác.

15:23

And I think, I think it's very easy to just, you know, like, build up that distrust and not, and kind of feel helpless, like, you know, you don't know how to help your agents succeed.

Và tôi nghĩ, tôi nghĩ rất dễ để kiểu, bạn biết đấy, xây dựng sự ngờ vực đó và không, và kiểu cảm thấy bất lực, kiểu, bạn biết đấy, bạn không biết làm thế nào để giúp các agent của mình thành công.

15:34

But like, again, I think the, the management analogy is super helpful because, like, imagine if you were a manager of an engineering team and you

Nhưng kiểu, một lần nữa, tôi nghĩ phép so sánh với quản lý cực kỳ hữu ích vì, kiểu, hãy tưởng tượng nếu bạn là quản lý của một đội engineering và bạn

15:43

had an engineer on your team who was a really good coder, no business context whatsoever.

Có một engineer trong đội của bạn là một coder thực sự giỏi, nhưng không có chút ngữ cảnh kinh doanh nào.

15:48

You know, they just, you just hired them and they onboarded, you know, like, 5 seconds ago.

Bạn biết đấy, họ chỉ, bạn chỉ vừa tuyển họ và họ đã onboard, bạn biết đấy, kiểu, 5 giây trước.

15:53

Uh, and so how do you actually teach that person to be effective?

Uh, và vậy làm thế nào bạn thực sự dạy người đó trở nên hiệu quả?

15:57

So how you do that is through a skill.

Vậy cách bạn làm điều đó là thông qua một kỹ năng.

16:00

Uh, skill being just, you know, it's just markdown, right, but, you know, it encodes a lot of information,

Uh, kỹ năng chỉ là, bạn biết đấy, nó chỉ là markdown, đúng không, nhưng, bạn biết đấy, nó mã hóa rất nhiều thông tin,

16:06

instructions, a lot of, uh, you can really draw out a lot of intelligence from an agent by, well, some people on Twitter call it like, you know, pull the agent to a different latent space, which is kind of like a fancy way of just saying like, since, uh, you, LLMs are sort of like, they predict the next token, uh, when you give it some high quality tokens, uh, to begin with, then, you know, it can kind of

Các hướng dẫn, rất nhiều, uh, bạn thực sự có thể khai thác rất nhiều trí tuệ từ một agent bằng cách, à, một số người trên Twitter gọi nó là kiểu, bạn biết đấy, kéo agent đến một latent space khác, cái mà kiểu như một cách nói hoa mỹ để chỉ rằng, vì, uh, bạn, LLM kiểu như, chúng dự đoán token tiếp theo, uh, khi bạn cho nó một số token chất lượng cao, uh, ngay từ đầu, thì, bạn biết đấy, nó có thể kiểu

16:31

pattern match on like a higher space that's, you know, smarter.

Khớp mẫu trên kiểu một không gian cao hơn, bạn biết đấy, thông minh hơn.

16:36

Um, so that's like a very interesting model there.

Um, vậy đó là một mô hình rất thú vị ở đó.

16:38

But yeah, I built PAC very, very incrementally.

Nhưng ừ, tôi đã xây dựng PAC rất, rất dần dần.

16:41

Uh, so, uh, started with just really observing how agents, you know, all the fail, different failure modes of that agents were having, and every time I saw that, I just, okay, I'm just going to make that a skill, right, like, stop hallucinating, actually go and search up, look up the code, use a lot of

Uh, vậy, uh, bắt đầu chỉ bằng việc thực sự quan sát cách các agent, bạn biết đấy, tất cả các thất bại, các chế độ thất bại khác nhau mà các agent đó gặp phải, và mỗi lần tôi thấy điều đó, tôi chỉ, được, tôi sẽ biến cái đó thành một kỹ năng, đúng không, kiểu, ngừng ảo giác, thực sự đi tìm, tra cứu code, dùng nhiều

17:00

sub agents, uh, and yeah, stop guessing.

Sub agent, uh, và ừ, ngừng đoán mò.

17:02

- Yeah, that makes sense.

- Ừ, điều đó hợp lý.

17:03

One kind of followup question here, both from myself and from a bunch of people in the chat, so, - I guess it's two parts.

Một câu hỏi tiếp theo ở đây, cả từ bản thân tôi và từ nhiều người trong chat, vậy, - tôi đoán là có hai phần.

17:11

So one is like, how do you maintain these skills?

Vậy một là kiểu, làm thế nào bạn duy trì những kỹ năng này?

17:15

So like, the product changes over time.

Kiểu, sản phẩm thay đổi theo thời gian.

17:17

Obviously there's a lot of people who are shipping against the codebase.

Rõ ràng là có rất nhiều người đang ship dựa trên codebase.

17:20

So how do these skills get maintained?

Vậy làm thế nào những kỹ năng này được duy trì?

17:22

Uh, and then second to that is like, how do you know when your verification is good enough?

Uh, và thứ hai là kiểu, làm thế nào bạn biết khi nào verification của bạn đủ tốt?

17:27

Uh, like, and you know, you can trust that the ver, verification loops that you've built are going to, I guess, you trust that the outputs, uh, when they're done.

Uh, kiểu, và bạn biết đấy, bạn có thể tin rằng các vòng verification mà bạn đã xây dựng sẽ, tôi đoán, bạn tin rằng các đầu ra, uh, khi chúng hoàn thành.

17:36

- Uh, yeah, maybe I'll talk about, um, I think somewhat related.

- Ừ, đúng, có lẽ tôi sẽ nói về, ừm, tôi nghĩ nó có chút liên quan.

17:40

Maybe I'll start with this one first.

Có lẽ tôi sẽ bắt đầu với cái này trước.

17:43

So like, how do I maintain these skills?

Vậy thì, làm thế nào để tôi duy trì những kỹ năng này?

17:47

So, um, if you're not familiar with this concept, an eval is essentially like a way to, uh, well, I think the mental model I have is like, it's like a unit test for an agent.

Vậy, ừm, nếu bạn chưa quen với khái niệm này, thì eval về cơ bản là một cách để, ừ, tôi nghĩ mô hình tinh thần mà tôi có là nó giống như một bài kiểm tra đơn vị cho một agent.

17:57

Um, and, uh, you can actually make your own evals.

Ừm, và, ừ, bạn thực sự có thể tự tạo các eval của riêng mình.

18:00

You don't need like a special framework for them.

Bạn không cần một framework đặc biệt nào cho chúng.

18:03

You can build, you can, you can build one depending on like, you know, how scientific and how rigorous you want to

Bạn có thể xây dựng, bạn có thể, bạn có thể xây dựng một cái tùy thuộc vào, bạn biết đấy, mức độ khoa học và mức độ chặt chẽ mà bạn muốn

18:10

be.

Đạt được.

18:10

Uh, my screen is red.

Ừ, màn hình của tôi đang đỏ.

18:14

- Yeah, there's a little button.

- Ừ, có một nút nhỏ ở đó.

18:15

Um, sorry.

Ừm, xin lỗi.

18:16

Do - you mind like disabling the drawing or something?

Bạn có phiền không nếu tắt chức năng vẽ hay gì đó?

18:18

I can't see my screen.

Tôi không thể nhìn thấy màn hình của mình.

18:20

- Yeah, sorry.

- Ừ, xin lỗi.

18:20

If you guys could not draw on the screen, that'd be great.

Nếu mọi người có thể không vẽ lên màn hình thì tốt quá.

18:23

But, um, there's a little button in the - I got a troll.

Nhưng, ừm, có một nút nhỏ trong - Tôi bị troll rồi.

18:26

- Yeah, the little drop down.

- Ừ, cái menu thả xuống nhỏ đó.

18:29

- How do I clear?

- Làm sao để xóa?

18:31

- Yeah, you got it.

- Ừ, bạn làm được rồi.

18:35

Perfect.

Hoàn hảo.

18:36

- Yeah.

- Ừ.

18:36

Yeah, evals are a way to unit test your skills basically.

Ừ, eval là một cách để kiểm tra đơn vị các kỹ năng của bạn về cơ bản.

18:40

And actually in Pstack, we ship, uh, under potato mode there's a playbook if you search for it called eval playbook.

Và thực ra trong Pstack, chúng tôi cung cấp, ừ, trong chế độ potato có một playbook nếu bạn tìm kiếm nó tên là eval playbook.

18:48

Um, and it's, uh, uh, it's like, not, it's actually pretty, pretty rigorous the way it's done.

Ừm, và nó, ừ, ừ, nó giống như, không, thực ra nó khá, khá chặt chẽ theo cách nó được thực hiện.

18:54

Uh, but, um, essentially what I do is I spawn a lot of different sub agents.

Ừ, nhưng, ừm, về cơ bản điều tôi làm là tôi tạo ra nhiều sub agent khác nhau.

19:00

I have like my main coordinator agent, uh, come

Tôi có agent điều phối chính của mình, ừ, đưa ra

19:04

up with a rubric for, uh, what I want the skill to do.

Một rubric cho, ừ, những gì tôi muốn kỹ năng làm.

19:09

Um, and then it spawns all these sub agents and it creates individual directories for them, uh, which are cleverly named to not let the sub agent know that it's being evaluated because, uh, agents can actually tell and when they do they change their behavior.

Ừm, và sau đó nó tạo ra tất cả các sub agent này và tạo các thư mục riêng cho chúng, ừ, được đặt tên khéo léo để không cho sub agent biết rằng nó đang bị đánh giá bởi vì, ừ, các agent thực sự có thể nhận ra và khi chúng nhận ra thì chúng thay đổi hành vi.

19:27

Uh, but it does a bunch of stuff like that to, um, essentially, yeah, like, test whether or not the skill I'm making or changing is actually doing what I think it does.

Ừ, nhưng nó làm một loạt thứ như vậy để, ừm, về cơ bản, đúng, kiểm tra xem kỹ năng tôi đang tạo hoặc thay đổi có thực sự làm đúng như tôi nghĩ hay không.

19:37

Um, and one of the really nice things about cursor is that we are, we support so many different models.

Ừm, và một trong những điều thực sự tuyệt vời về cursor là chúng tôi, chúng tôi hỗ trợ rất nhiều model khác nhau.

19:44

So you can actually eval your skill across all sorts of different models.

Vì vậy bạn thực sự có thể đánh giá kỹ năng của mình trên đủ loại model khác nhau.

19:48

Um, and, you know, get a sense of how well it performs

Ừm, và, bạn biết đấy, có được cảm giác về mức độ hiệu quả của nó

19:52

across that different matrix, um, especially for the models that you use.

Trên ma trận khác nhau đó, ừm, đặc biệt là với những model mà bạn sử dụng.

19:58

Uh, so I do this a lot.

Ừ, nên tôi làm điều này rất nhiều.

20:00

Every time I modify a skill, I will run one of these, uh, like, the Ebal playbook, uh, and make sure that, you know, it's actually leading to a result I want.

Mỗi khi tôi sửa đổi một kỹ năng, tôi sẽ chạy một trong những cái này, ừ, như, eval playbook, ừ, và đảm bảo rằng, bạn biết đấy, nó thực sự dẫn đến kết quả tôi muốn.

20:10

Uh, but I will say, like, maintaining skills is actually pretty hard.

Ừ, nhưng tôi phải nói rằng, duy trì kỹ năng thực sự khá khó.

20:14

Uh, it requires, I think, a lot of taste and observation.

Ừ, tôi nghĩ nó đòi hỏi rất nhiều gu thẩm mỹ và khả năng quan sát.

20:17

So you kind of need to be very good at being a backseat driver.

Vậy nên bạn cần phải rất giỏi trong việc làm người ngồi sau chỉ đạo.

20:22

You know what I mean?

Bạn hiểu ý tôi chứ?

20:24

Like, if you do pair, if you ever done pair programming, for example, uh, and you watch a coworker code and you just like, you could probably do this better, you know, you could do, you know, like, why did you not do this, right, you ask a lot of questions to your coworker, and it's kind of a similar thing here, you like, you don't want to just be a passive observer of your agent, you want to be

Giống như, nếu bạn lập trình cặp, nếu bạn từng lập trình cặp, ví dụ, ừ, và bạn xem đồng nghiệp viết code và bạn kiểu như, bạn có thể làm cái này tốt hơn, bạn biết đấy, bạn có thể làm, bạn biết đấy, kiểu như, tại sao bạn không làm cái này, đúng không, bạn đặt rất nhiều câu hỏi cho đồng nghiệp, và ở đây cũng kiểu tương tự, bạn giống như, bạn không muốn chỉ là người quan sát thụ động agent của mình, bạn muốn

20:42

very in the driver seat in the initial stages when you're building up your own set of skills, uh, you know, obviously you can use something like PAC, but if you're building your own set of skills, it's very, I think, you opening up the all the tool calls and like reading the code and reading all the to, uh, the agent behavior and their thinking blocks is a really great way to see where they fail,

Rất chủ động trong giai đoạn đầu khi bạn đang xây dựng bộ kỹ năng của riêng mình, ừ, bạn biết đấy, rõ ràng bạn có thể dùng thứ gì đó như PAC, nhưng nếu bạn đang xây dựng bộ kỹ năng của riêng mình, tôi nghĩ việc bạn mở tất cả các tool call và đọc code cũng như đọc tất cả các, ừ, hành vi của agent và các khối suy nghĩ của chúng là một cách tuyệt vời để thấy chúng thất bại ở đâu,

21:06

right?

Đúng không?

21:06

Like, what, you know, where are they being done, and then you can go and build a scale for that, and then with verification, how you trust it is, it's, I think it's also a very similar iteration loop, uh, where, you know, like, I actually did the same process for verifying the verification skill, where I actually get, um, so one thing that's interesting about eval is that you can sort of hill climb

Kiểu như, cái gì, bạn biết đấy, chúng đang bị làm sai ở đâu, và sau đó bạn có thể đi xây dựng một kỹ năng cho việc đó, và rồi với việc xác minh, cách bạn tin tưởng nó, tôi nghĩ nó cũng là một vòng lặp lặp đi lặp lại rất tương tự, ừ, ở đó, bạn biết đấy, thực ra tôi đã làm cùng quy trình để xác minh kỹ năng xác minh, nơi tôi thực sự nhận được, ừm, vậy một điều thú vị về eval là bạn có thể kiểu như leo đồi

21:30

them, meaning that, uh, your eval can produce a score, right, uh, a score that you can get your coordinator to produce, uh, but also comp, uh, you can have a judge agent of a different model to, uh, kind of cross reference and make sure that the first model is not being biased, right, the model that's judging all of the sub aents that are running the thing, uh, but you can also like hill climb, so meaning

Chúng, nghĩa là, ừ, eval của bạn có thể tạo ra một điểm số, đúng không, ừ, một điểm số mà bạn có thể để coordinator của mình tạo ra, ừ, nhưng cũng có thể, ừ, bạn có thể có một judge agent thuộc model khác để, ừ, kiểu như đối chiếu chéo và đảm bảo rằng model đầu tiên không bị thiên vị, đúng không, model đang đánh giá tất cả các sub agent đang chạy thứ đó, ừ, nhưng bạn cũng có thể kiểu như leo đồi, nghĩa là

21:55

that you can, you can use like slashloop in cursor and you can say, okay, keep looping on this eval, right, until everything is 10 out of 10, as an example.

Rằng bạn có thể, bạn có thể dùng thứ như slashloop trong cursor và bạn có thể nói, được, cứ lặp trên eval này, đúng không, cho đến khi mọi thứ đều 10 trên 10, như một ví dụ.

22:04

Uh, and I did the same, the basically the same approach with the control skill, and so I kind of, it was very, it was very hands-off actually.

Ừ, và tôi đã làm tương tự, về cơ bản cùng cách tiếp cận với kỹ năng điều khiển, và vậy nên tôi kiểu như, nó thực sự, thực sự khá là ít can thiệp.

22:12

Uh, so, you know, I, uh, I kind of built, I built that skill that way, like the CLI and that skill.

Ừ, vậy, bạn biết đấy, tôi, ừ, tôi kiểu như đã xây dựng, tôi đã xây dựng kỹ năng đó theo cách đó, như CLI và kỹ năng đó.

22:18

Um, and

Ừm, và

22:19

over time it's gotten really good.

Theo thời gian nó đã trở nên thực sự tốt.

22:21

Uh, but yeah, it was definitely not super smooth at the beginning.

Ừ, nhưng đúng, lúc đầu nó chắc chắn không hề suôn sẻ cho lắm.

22:25

It required a lot of iteration.

Nó đòi hỏi rất nhiều lần lặp lại.

22:27

And I think there's an analogy here for me which is, um, well, I make this analogy later in a different slide on my drawing here.

Và tôi nghĩ có một sự tương tự ở đây đối với tôi, đó là, ừm, tôi sẽ đưa ra sự tương tự này ở một slide khác trong bản vẽ của tôi ở đây.

22:36

Uh, but I think of it like, uh, you know, as a, as a engineer now you're sort of more like you, uh, like, maybe a manager, or the

Ừ, nhưng tôi nghĩ về nó như, ừ, bạn biết đấy, với tư cách là một kỹ sư bây giờ bạn giống như, ừ, giống như, có thể là một người quản lý, hoặc là

22:47

analogy I like is like you're like a chef in a restaurant.

Sự tương tự mà tôi thích là giống như bạn là một đầu bếp trong một nhà hàng.

22:50

Uh, you know, you're the head chef.

Ừ, bạn biết đấy, bạn là bếp trưởng.

22:52

Uh, you're not cooking all the food yourself anymore.

Ừ, bạn không còn tự tay nấu tất cả các món ăn nữa.

22:55

You have a team of cooks, right?

Bạn có một đội ngũ đầu bếp, đúng không?

22:57

You have line cooks.

Bạn có những đầu bếp phụ trách từng công đoạn.

22:58

You have a sue chef, you have, you know, all these different stations.

Bạn có một bếp phó, bạn có, bạn biết đấy, tất cả những vị trí khác nhau này.

23:02

Um, and it's your job to really design the environment.

Ừm, và công việc của bạn thực sự là thiết kế môi trường làm việc.

23:05

You know, you're in charge of setting up the kitchen.

Bạn biết đấy, bạn phụ trách việc thiết lập nhà bếp.

23:09

You're in charge of, you know, like, giving tasks to different people.

Bạn phụ trách việc, bạn biết đấy, như là, giao nhiệm vụ cho những người khác nhau.

23:14

So, um, yeah, it's a very interesting way of working.

Vậy, ừm, đúng vậy, đó là một cách làm việc rất thú vị.

23:18

Uh, but yeah, that's, that's how I've basically built, uh, these verification skills.

Ừ, nhưng đúng vậy, đó là cách mà tôi về cơ bản đã xây dựng, ừ, những kỹ năng xác minh này.

23:23

- Yeah, just one fault there.

- Ừ, chỉ có một lỗi ở đó thôi.

23:24

I'm like to go try to go one layer deeper.

Tôi muốn thử đi sâu thêm một lớp nữa.

23:27

So, are you, let's say we wanted to build, um, an eval or a skill for something and we wanted to kind of get better on its own, which is what I think you're suggesting.

Vậy, bạn có, giả sử chúng ta muốn xây dựng, ừm, một bài đánh giá hoặc một kỹ năng cho một thứ gì đó và chúng ta muốn nó tự cải thiện theo thời gian, đó là điều tôi nghĩ bạn đang gợi ý.

23:37

Uh, are you doing that in like a work tree kind of isolated with like the sub aents and then the reviewer agent and all that?

Ừ, bạn có đang làm điều đó trong một dạng như work tree tách biệt với các sub-agent và rồi agent đánh giá và tất cả những thứ đó không?

23:44

Is it happening like in some type of cloud hosted environment?

Nó có đang diễn ra trong một loại môi trường được lưu trữ trên cloud nào đó không?

23:48

Like what's the

Kiểu như, cái gì là

23:49

more the practical steps?

Các bước thực tế hơn?

23:50

If I wanted to go do this, uh, and like set up a verification system for something, what would I, what would I do or where would I start?

Nếu tôi muốn đi làm điều này, ừ, và thiết lập một hệ thống xác minh cho một thứ gì đó, thì tôi sẽ làm gì hoặc bắt đầu từ đâu?

23:58

Um, I think that, uh, the best place to start is local because you can observe, you can definitely observe what your agents are doing.

Ừm, tôi nghĩ rằng, ừ, nơi tốt nhất để bắt đầu là cục bộ vì bạn có thể quan sát, bạn chắc chắn có thể quan sát những gì các agent của bạn đang làm.

24:05

So, uh, if you're building a verification skill for yourself, uh, I would definitely start local and just have your agent bring up the application, whether it's like a CLI or a desktop app or whatever.

Vậy, ừ, nếu bạn đang xây dựng một kỹ năng xác minh cho chính mình, ừ, tôi chắc chắn sẽ bắt đầu từ cục bộ và chỉ để agent của bạn khởi động ứng dụng, dù đó là một CLI hay một ứng dụng desktop hay bất cứ thứ gì.

24:16

And so you can actually observe, right, you can see

Và như vậy bạn thực sự có thể quan sát, đúng vậy, bạn có thể thấy

24:20

how the agent is interacting with the, the application.

Cách agent tương tác với ứng dụng.

24:23

You can see it, you know, how it calls like the different APIs that allow it to interact with the, uh, the application.

Bạn có thể thấy nó, bạn biết đấy, cách nó gọi các API khác nhau cho phép nó tương tác với, ừ, ứng dụng.

24:34

Um, but, uh, for me personally, uh, I have basically been kind of all in, mostly all in on cloud agents because they're extremely powerful.

Ừm, nhưng, ừ, đối với cá nhân tôi, ừ, tôi về cơ bản đã khá là dồn hết vào, chủ yếu là dồn hết vào các cloud agent vì chúng cực kỳ mạnh mẽ.

24:43

Uh, and the really powerful thing about cursor is the cloud agents actually, where if you spend a little bit of time setting up your environment, these control skills, these verification skills pay a huge amount of dividends because it's not just something that

Ừ, và điều thực sự mạnh mẽ ở cursor thực ra là các cloud agent, khi mà nếu bạn dành một chút thời gian thiết lập môi trường của mình, những kỹ năng điều khiển này, những kỹ năng xác minh này mang lại lợi ích cực lớn vì nó không chỉ là thứ

24:59

makes you as a single engineer better.

Khiến bạn với tư cách là một kỹ sư đơn lẻ trở nên tốt hơn.

25:02

It actually levels up your whole team, uh, and even your whole company because, uh, you can actually start thinking about cloud agents, start thinking about automations that automatically do things like, uh, I get, I kind of talk about this a bit later, but I'll just kind of get into it.

Nó thực sự nâng cấp toàn bộ đội ngũ của bạn, ừ, và thậm chí cả toàn bộ công ty của bạn vì, ừ, bạn thực sự có thể bắt đầu nghĩ về các cloud agent, bắt đầu nghĩ về các tự động hóa tự động làm những việc như, ừ, tôi sẽ, tôi sẽ nói về điều này một chút ở phần sau, nhưng tôi sẽ đi thẳng vào luôn.

25:18

Uh, where, you know, for example, like, I talk a lot about this agent we have called Benny, right,

Ừ, khi mà, bạn biết đấy, ví dụ, tôi nói rất nhiều về agent này mà chúng tôi gọi là Benny, đúng vậy,

25:25

who, uh, you know, takes all of the bug reports that we get and it automatically goes off in the cloud, opens up a cloud, uh, it's, you know, its desktop.

Người mà, ừ, bạn biết đấy, nhận tất cả các báo cáo lỗi mà chúng tôi nhận được và nó tự động khởi chạy trên cloud, mở một cloud, ừ, đó là, bạn biết đấy, desktop của nó.

25:35

It runs cursor in its own computer and it uses the same control skills to interact with the application and try to reproduce the bug, uh, or the user report, right?

Nó chạy cursor trong máy tính của chính nó và nó sử dụng cùng những kỹ năng điều khiển để tương tác với ứng dụng và cố gắng tái hiện lỗi, ừ, hoặc báo cáo của người dùng, đúng không?

25:46

And this is so powerful because at once I can immediately, I get so much

Và điều này mạnh mẽ đến mức ngay lập tức tôi có thể, tôi nhận được rất nhiều

25:51

information from this automatically, like, here in this example you can see that, uh, the Benny actually reproduced the bug, uh, but it's already fixed on main.

Thông tin từ việc này một cách tự động, kiểu như, trong ví dụ này bạn có thể thấy rằng, ừ, Benny thực sự đã tái hiện được lỗi, ừ, nhưng nó đã được sửa trên main rồi.

26:00

So it actually confirms that we fixed this problem already and all I need to do is just release another build of cursor.

Vậy nên nó thực sự xác nhận rằng chúng tôi đã sửa vấn đề này rồi và tất cả những gì tôi cần làm là phát hành một bản build cursor khác.

26:08

Uh, so that's like huge information there that I didn't have to go off and sit with an agent, you know, and spend an hour trying to figure, like, is this fixed?

Ừ, vậy đó là một lượng thông tin khổng lồ mà tôi không phải đi ngồi với một agent, bạn biết đấy, và dành một tiếng đồng hồ để cố tìm hiểu xem, liệu cái này đã được sửa chưa?

26:15

This is not fixed.

Cái này chưa được sửa.

26:16

So you, you gain back so much time.

Vậy nên bạn, bạn tiết kiệm lại được rất nhiều thời gian.

26:18

Uh, but, you know, everybody on my team benefits from this.

Ừ, nhưng, bạn biết đấy, mọi người trong đội của tôi đều hưởng lợi từ điều này.

26:22

Everybody at the company benefits from this.

Mọi người trong công ty đều hưởng lợi từ điều này.

26:24

Uh, so definitely think that, uh, you know, keeping these, uh, using cloud agents is super powerful.

Ừ, vậy nên chắc chắn tôi nghĩ rằng, ừ, bạn biết đấy, việc giữ những, ừ, việc sử dụng các cloud agent là cực kỳ mạnh mẽ.

26:30

Uh, but yeah, it's like a journey.

Ừ, nhưng đúng vậy, nó giống như một hành trình vậy.

26:33

You have to trust it first, right, before you get to this point.

Bạn phải tin tưởng nó trước, đúng không, trước khi bạn đạt đến điểm này.

26:38

And that's it, goes back to what I was saying here where, you know, it's very hard.

Và chỉ vậy thôi, nó quay lại điều tôi đã nói ở đây khi mà, bạn biết đấy, nó rất khó.

26:42

It's, it's almost impossible.

Nó, nó gần như là không thể.

26:43

And I would definitely encourage you not to try to jump from, you know, like, if you're still in this zone, you don't want to jump to like, I'm going to spawn a hundred of thousand or thousands of cloud agents right now because you're just going to waste a lot of tokens.

Và tôi chắc chắn sẽ khuyến khích bạn đừng cố nhảy từ, bạn biết đấy, kiểu như, nếu bạn vẫn còn ở vùng này, bạn không nên nhảy sang kiểu, tôi sẽ tạo ra một trăm nghìn hay hàng nghìn cloud agent ngay bây giờ vì bạn sẽ chỉ lãng phí rất nhiều token thôi.

26:57

Um,

Ừm,

26:58

and it's going to be extremely expensive.

Và nó sẽ cực kỳ tốn kém.

27:01

- Yeah.

- Ừ.

27:01

So just to kind of recap so far, basically the if we wanted to go on the journey that you've kind of gone on, it would be to start with verification, building some skills and some ways of determining that the agents are producing at least like correct code.

Vậy chỉ để tóm tắt lại đến giờ, về cơ bản nếu chúng ta muốn đi theo hành trình mà bạn đã trải qua, thì sẽ là bắt đầu với việc xác minh, xây dựng một số kỹ năng và một số cách để xác định rằng các agent đang tạo ra ít nhất là mã đúng.

27:15

Whether like you said, whether it's good code or not is maybe a separate question, but like it's it's technically solving the problem by looking at, you know, stack traces, looking at, you know, the actual behavior in the app and so on.

Dù như bạn nói, liệu đó có phải là mã tốt hay không có thể là một câu hỏi riêng, nhưng nó thực sự đang giải quyết vấn đề về mặt kỹ thuật bằng cách nhìn vào, bạn biết đấy, các stack trace, nhìn vào, bạn biết đấy, hành vi thực tế trong ứng dụng, v.v.

27:25

Um, and then once we trust it locally, then we can start to think about scaling into the cloud and running more agents that are picking up signals

Ừm, và sau đó một khi chúng ta tin tưởng nó ở cục bộ, thì chúng ta có thể bắt đầu nghĩ đến việc mở rộng lên đám mây và chạy nhiều agent hơn để đón nhận các tín hiệu

27:32

I guess on their own, right?

Tôi đoán là tự chúng làm, đúng không?

27:33

So whether that's like a bug report that comes in or something, they can go and pick it up and solve the problem and give us back a PR and then maybe the last step is like automerging the PRs, which uh is where you're at, laughter maybe not where everyone is at.

Vậy dù đó là một báo cáo lỗi gửi đến hay gì đó, chúng có thể đi đón nhận nó và giải quyết vấn đề rồi trả lại cho chúng ta một PR, và sau đó có thể bước cuối cùng là tự động hợp nhất các PR, điều mà ừm là nơi bạn đang ở, [tiếng cười] có thể không phải là nơi mọi người đang ở.

27:46

- Um, and then reviewing the one main, but um, is that is that about right?

- Ừm, và sau đó xem xét cái chính, nhưng ừm, điều đó có đúng không?

27:50

- Yeah, exactly.

- Ừ, chính xác.

27:50

I think yeah, that's why I drew this uh this curve, right?

Tôi nghĩ ừ, đó là lý do tại sao tôi vẽ đường cong này, đúng không?

27:53

because that this basically describes my journey of you know when I started barely could use a couple agents and I was just observing every single thing.

Bởi vì điều này về cơ bản mô tả hành trình của tôi, bạn biết đấy, khi tôi bắt đầu thì hầu như chỉ có thể dùng một vài agent và tôi chỉ quan sát từng thứ một.

28:01

I think there's really no shortcut for going from here to there because this is really about your personal level of trust in agents, right?

Tôi nghĩ thực sự không có đường tắt nào để đi từ đây đến đó bởi vì điều này thực sự liên quan đến mức độ tin tưởng cá nhân của bạn vào các agent, đúng không?

28:08

Um obviously, you know, as a as an engineer, you don't want to just slop

Ừm, rõ ràng, bạn biết đấy, với tư cách là một kỹ sư, bạn không muốn chỉ ném

28:13

code into production.

Mã vào môi trường production.

28:14

So, how do you actually build up that trust?

Vậy, làm thế nào để bạn thực sự xây dựng được sự tin tưởng đó?

28:17

Takes um a lot of uh I guess taste and judgment.

Cần ừm rất nhiều, tôi đoán là gu thẩm mỹ và phán đoán.

28:20

Um but uh you know, like I think plugins like Pstack definitely kind of help you uh get up to speed much quicker.

Ừm, nhưng ừm, bạn biết đấy, tôi nghĩ những plugin như Pstack chắc chắn giúp bạn ừm bắt kịp tốc độ nhanh hơn nhiều.

28:28

Uh and so I guess it's like if you trust me and you trust PAC then in by extension you can maybe trust your agents but if you don't trust me and I definitely would

Ừ, và vậy tôi đoán là nếu bạn tin tôi và bạn tin PAC thì theo đó bạn có thể tin các agent của mình, nhưng nếu bạn không tin tôi và tôi chắc chắn sẽ

28:41

not encourage people to blindly trust me uh you know if you build up your own set of skills that you can obviously you know take a look at PAC and kind of fork it make it your own improve the skills definitely encourage that uh but for me it's really all about it just keeps coming back to trust you know every one of us here in this chat have a different standard for engineering.

Không khuyến khích mọi người tin tưởng tôi một cách mù quáng, ừm, bạn biết đấy, nếu bạn tự xây dựng bộ kỹ năng của riêng mình thì rõ ràng bạn có thể xem PAC và kiểu như fork nó, biến nó thành của riêng bạn, cải thiện các kỹ năng, tôi chắc chắn khuyến khích điều đó, ừm, nhưng với tôi thì thực sự tất cả chỉ là, nó cứ quay lại với sự tin tưởng, bạn biết đấy, mỗi người trong chúng ta ở đây trong cuộc trò chuyện này có một tiêu chuẩn khác nhau về kỹ thuật.

29:03

Uh and there

Ừ, và có những

29:04

are different things that are important for us in our codebase and uh when you are able to encode all of that into skills and you can verify that your agent is actually doing them that allows you to really kind of ascend this curve and um uh you know start automating things.

Điều khác nhau quan trọng với chúng ta trong codebase của mình, và ừm, khi bạn có thể mã hóa tất cả những điều đó vào các kỹ năng và bạn có thể xác minh rằng agent của mình thực sự đang làm chúng, điều đó cho phép bạn thực sự vượt lên trên đường cong này và ừm, ừm, bạn biết đấy, bắt đầu tự động hóa mọi thứ.

29:21

Uh there's another piece I wanted to talk about um if there's more.

Ừ, có một phần khác tôi muốn nói đến, ừm, nếu còn thời gian.

29:26

- Yeah, go for it.

- Ừ, cứ tiếp đi.

29:27

I'll pick up more questions as I go.

Tôi sẽ nhận thêm câu hỏi khi tôi tiếp tục.

29:29

Yeah, I think there's a third part to this which I haven't talked about yet which is - kind of an interesting one which is like refactoring and rewriting.

Ừ, tôi nghĩ có một phần thứ ba của điều này mà tôi chưa nói đến, đó là - kiểu như một phần khá thú vị, đó là refactor và viết lại.

29:38

Like one of the uh I guess most controversial one of the most controversial topics in the industry I think is like should you rewrite your app or not?

Kiểu như một trong những, tôi đoán là gây tranh cãi nhất, một trong những chủ đề gây tranh cãi nhất trong ngành, tôi nghĩ là liệu bạn có nên viết lại ứng dụng của mình hay không?

29:47

Um because I

Ừm, bởi vì tôi

29:48

think engineers are very prone to this where especially when you join a company you come in and you see like the code base and you're like oh man this is like who wrote this code you know it's terrible I want to rewrite the whole thing is a very common inclination and I think a lot of you know before agents um and I guess arguably even now people will definitely discourage you from re

Nghĩ rằng các kỹ sư rất dễ mắc điều này, đặc biệt là khi bạn gia nhập một công ty, bạn đến và bạn nhìn vào codebase và bạn kiểu như, ôi trời, ai đã viết đoạn mã này vậy, bạn biết đấy, nó thật tệ, tôi muốn viết lại toàn bộ mọi thứ, đó là một khuynh hướng rất phổ biến, và tôi nghĩ nhiều người, bạn biết đấy, trước khi có agent, ừm, và tôi đoán là thậm chí bây giờ, mọi người chắc chắn sẽ khuyên bạn đừng viết

30:10

rewriting stuff but I'm actually here to make a case for why you might want to consider it.

Viết lại mọi thứ, nhưng tôi thực sự ở đây để đưa ra lập luận về lý do tại sao bạn có thể muốn cân nhắc điều đó.

30:16

Um because I think it really depends.

Ừm, bởi vì tôi nghĩ nó thực sự còn tùy.

30:18

Uh you know uh brownfield applications I think are actually in a pretty good spot especially if they're set up well already.

Ừ, bạn biết đấy, ừm, các ứng dụng brownfield tôi nghĩ thực sự đang ở một vị trí khá tốt, đặc biệt nếu chúng đã được thiết lập tốt sẵn.

30:27

Uh and like recently I've been talking to some people but uh you know I I was just observing I just noticed this parallel which is that a lot of big tech company problems are now everybody's problems.

Ừ, và gần đây tôi đã nói chuyện với một số người, nhưng ừm, bạn biết đấy, tôi chỉ đang quan sát, tôi chỉ nhận ra sự song song này, đó là rất nhiều vấn đề của các công ty công nghệ lớn giờ đây đã trở thành vấn đề của mọi người.

30:41

Um, and the big

Ừm, và vấn đề của các công ty công nghệ

30:43

tech company problem, you know, like when I was working at Meta, like we had this giant monor repo, we had like, I don't know, tens of thousands of engineers just, you know, like banging on their keyboards and shipping code and a lot of really great engineers at Meta.

Lớn, bạn biết đấy, kiểu như khi tôi làm việc ở Meta, chúng tôi có một monorepo khổng lồ, chúng tôi có kiểu như, tôi không biết, hàng chục nghìn kỹ sư chỉ, bạn biết đấy, gõ bàn phím và ship mã, và rất nhiều kỹ sư thực sự giỏi ở Meta.

30:59

Uh, but, uh, I'll say like, you know, you'll be surprised that the code quality is actually not that good.

Ừ, nhưng, ừm, tôi sẽ nói là, bạn biết đấy, bạn sẽ ngạc nhiên rằng chất lượng mã thực sự không tốt đến thế.

31:04

Um, and so I often joke that like, you know, before AI slop, we had human slop.

Ừm, và vì vậy tôi thường đùa rằng, bạn biết đấy, trước khi có AI slop, chúng ta đã có human slop.

31:09

Um and so uh you know I think a lot of big tech infra like uh like what Meta has or Google you know you know really big tech companies are actually designed for that where you're sort of like you're

Ừm, và vì vậy, ừm, bạn biết đấy, tôi nghĩ rất nhiều hạ tầng của các công ty công nghệ lớn, kiểu như, ừm, kiểu như những gì Meta có hay Google, bạn biết đấy, bạn biết đấy, các công ty công nghệ thực sự lớn thực ra được thiết kế cho điều đó, nơi bạn kiểu như bạn đang

31:22

catering to the you know like uh this sounds so bad to say but like the the least capable engineer on your team right you build you build frameworks you build conventions you build guard rails you know you restrict credentials so that you know your intern doesn't wipe your production database Um there's uh you know if you have that level of infra already I think your

Phục vụ cho, bạn biết đấy, kiểu như, ừm, điều này nghe thật tệ khi nói ra, nhưng kiểu như kỹ sư kém cỏi nhất trong nhóm của bạn, đúng không, bạn xây dựng, bạn xây dựng các framework, bạn xây dựng các quy ước, bạn xây dựng các rào chắn, bạn biết đấy, bạn hạn chế thông tin xác thực để bạn biết đấy, thực tập sinh của bạn không xóa cơ sở dữ liệu production của bạn. Ừm, có, bạn biết đấy, nếu bạn đã có mức hạ tầng đó rồi thì tôi nghĩ

31:45

agents can actually already do a very solid job right because they have the the guard rails are already in place for agents to not cause havoc or not cause too much havoc uh in your codebase.

Các agent của bạn thực sự đã có thể làm rất tốt, đúng không, bởi vì chúng đã có sẵn các rào chắn để agent không gây ra tàn phá hoặc không gây ra quá nhiều tàn phá, ừm, trong codebase của bạn.

31:57

Um and you can always add more you know guard rails.

Ừm, và bạn luôn có thể thêm nhiều rào chắn hơn, bạn biết đấy.

32:01

Uh but I think like green field applications especially are you know like the brand new applications are like the biggest risk in my opinion.

Ừ, nhưng tôi nghĩ kiểu như các ứng dụng greenfield, đặc biệt là, bạn biết đấy, kiểu như những ứng dụng hoàn toàn mới, là rủi ro lớn nhất theo ý kiến của tôi.

32:09

Ừ,

32:10

and also the greatest opportunity because you know if you vibe code a project uh a prototype um like we did for Grockbot you know Grockbot was spun up very very quickly.

Và cũng là cơ hội lớn nhất, bởi vì bạn biết đấy, nếu bạn vibe code một dự án, ừm, một nguyên mẫu, ừm, kiểu như chúng tôi đã làm cho Grockbot, bạn biết đấy, Grockbot đã được tạo ra rất rất nhanh.

32:20

Um and if you if you haven't heard of Grockbot it's like our a new application we just launched yesterday.

Ừm, và nếu bạn chưa nghe nói về Grockbot thì nó giống như một ứng dụng mới mà chúng tôi vừa ra mắt hôm qua.

32:26

Uh it's it's really cool.

Ừ, nó thực sự rất tuyệt.

32:28

uh lets you orchestrate your create like individual agents that have

Ừ, nó cho phép bạn điều phối, bạn tạo ra kiểu như các agent riêng lẻ có

32:32

their own identity and you can kind of orchestrate them.

Danh tính riêng của chúng và bạn có thể kiểu như điều phối chúng.

32:34

It's super cool.

Nó siêu tuyệt.

32:35

Definitely check it out.

Nhất định hãy xem thử.

32:36

U but yeah, that was it's like a very it was a very green field application like most prototypes are so like vibe coded very quickly.

Ừ, nhưng đúng vậy, đó là kiểu như một ứng dụng greenfield rất, nó là một ứng dụng greenfield rất điển hình, giống như hầu hết các nguyên mẫu, nên kiểu như được vibe code rất nhanh.

32:46

Humans were not reading the code at all.

Con người hoàn toàn không đọc mã.

32:50

And uh I had this tweet recently uh where I said something about organic architecture.

Và uh gần đây tôi có tweet này uh nơi tôi nói điều gì đó về kiến trúc hữu cơ.

32:56

Um maybe I'll find it.

Ừm có lẽ tôi sẽ tìm nó.

32:58

Uh but the idea is that uh when you have a completely vibe

Uh nhưng ý tưởng là uh khi bạn có một ứng dụng hoàn toàn được mã hóa theo cảm hứng

33:03

coded application, you essentially have no guard rails whatsoever.

Thì về cơ bản bạn không có bất kỳ rào chắn nào cả.

33:06

So uh your agents when you give them a task, they will just solve it in whatever method is the most convenient.

Vì vậy uh các tác nhân của bạn khi bạn giao cho chúng một nhiệm vụ, chúng sẽ chỉ giải quyết nó bằng bất kỳ phương pháp nào thuận tiện nhất.

33:14

And over time you get into this uh situation where you have a codebase that is spiraling out of control because you don't understand it.

Và theo thời gian, bạn rơi vào tình huống uh nơi bạn có một cơ sở mã đang mất kiểm soát vì bạn không hiểu nó.

33:24

uh your agents understand it I guess in a way but like they've built something that is you know optimized for short for shortcuts uh and uh you know it will you will suffer you'll have a lot of issues with that application uh so I think starting your codebase with uh like very strong constraints is very much needed uh because like when you have a codebase that you can trust

Uh các tác nhân của bạn hiểu nó, tôi đoán theo một cách nào đó, nhưng giống như chúng đã xây dựng thứ gì đó được tối ưu hóa cho các lối tắt uh và uh bạn biết đấy, bạn sẽ phải chịu đựng, bạn sẽ gặp nhiều vấn đề với ứng dụng đó uh vì vậy tôi nghĩ việc bắt đầu cơ sở mã của bạn với uh những ràng buộc rất mạnh mẽ là rất cần thiết uh bởi vì khi bạn có một cơ sở mã mà bạn có thể tin tưởng

33:52

right when you have guardrails that actually help you uh help your agents write good code.

Đúng vậy, khi bạn có những rào chắn thực sự giúp bạn uh giúp các tác nhân của bạn viết mã tốt.

33:57

You can get into the you know like into this part of the curve where I where like I said you know I woke up today and I had like 20 PRs merged u by my agents and that's because I invested a lot a lot of time uh over 600 PRs I I calculated yesterday uh when I refactored all of

Bạn có thể đi vào, bạn biết đấy, phần này của đường cong nơi tôi, như tôi đã nói, bạn biết đấy, tôi thức dậy hôm nay và tôi có khoảng 20 PR được hợp nhất bởi các tác nhân của tôi và đó là vì tôi đã đầu tư rất nhiều thời gian uh hơn 600 PR tôi đã tính toán hôm qua uh khi tôi tái cấu trúc tất cả

34:18

Grockbot to this new architecture that I've been building.

Grockbot sang kiến trúc mới này mà tôi đang xây dựng.

34:20

Um, and yeah, I've gotten to a point where I I don't really look I really don't look at the code anymore.

Ừm, và vâng, tôi đã đạt đến điểm mà tôi thực sự không nhìn vào mã nữa.

34:27

And um, I say that not just, you know, to sell you tokens, but because I, you know, it it took a lot of work to get to that point.

Và ừm, tôi nói điều đó không chỉ để bán token cho bạn, mà vì tôi, bạn biết đấy, phải mất rất nhiều công sức để đạt đến điểm đó.

34:36

I spent a lot of tokens to get the codebase to this point where I no longer

Tôi đã tiêu tốn rất nhiều token để đưa cơ sở mã đến điểm này nơi tôi không còn

34:42

have to look at it.

Phải nhìn vào nó nữa.

34:43

Uh, but I'm very excited because, you know, of the potential where, you know, it's not just this doesn't just benefit me.

Uh, nhưng tôi rất hào hứng vì, bạn biết đấy, tiềm năng nơi, bạn biết đấy, điều này không chỉ có lợi cho tôi.

34:50

It benefits everyone contributing to grabbot and it also empowers you know designers and product managers and you know pe uh even GTM people to add features to grabbot and I don't have to worry you know I don't have to wake up at night in the middle of the

Nó có lợi cho tất cả mọi người đóng góp cho grabbot và nó cũng trao quyền cho các nhà thiết kế và quản lý sản phẩm và thậm chí cả những người GTM để thêm tính năng vào grabbot và tôi không phải lo lắng, bạn biết đấy, tôi không phải thức dậy vào ban đêm giữa

35:05

night and worry like oh someone's just merged a perf regression right I have a ton of constraints and CI like it's actually very annoying to write code in graph web but like agents absorb all of that annoyance Um but yeah, I'm happy to talk about what exactly that is.

Đêm và lo lắng như oh ai đó vừa hợp nhất một hồi quy hiệu suất đúng không, tôi có rất nhiều ràng buộc và CI, thực sự rất khó chịu khi viết mã trong graph web nhưng các tác nhân hấp thụ tất cả sự khó chịu đó. Ừm nhưng vâng, tôi sẵn lòng nói về chính xác đó là gì.

35:22

Um - yeah, I think one question um - yeah, - before we get into the this part here is just around that element of like what

Ừm - vâng, tôi nghĩ một câu hỏi ừm - vâng, - trước khi chúng ta đi vào phần này ở đây là về yếu tố đó, giống như

35:31

your your CI looks like or maybe some of the constraints and then also like the average PR size.

CI của bạn trông như thế nào hoặc có thể một số ràng buộc và sau đó cũng như kích thước PR trung bình.

35:36

I saw a question about that earlier just to give people you know kind of a glance.

Tôi đã thấy một câu hỏi về điều đó trước đó chỉ để cho mọi người bạn biết đấy, một cái nhìn tổng quan.

35:41

It doesn't have to be like mathematically average but just uh you know like what generally the size of the a PR is.

Nó không cần phải chính xác về mặt toán học như trung bình nhưng chỉ uh bạn biết đấy, kích thước của một PR nói chung là bao nhiêu.

35:48

um if it's only a couple lines of code or you know um yeah - um I think it depends uh let me

Ừm nếu nó chỉ là một vài dòng mã hoặc bạn biết đấy ừm vâng - ừm tôi nghĩ nó phụ thuộc uh để tôi

35:55

- I'm trying to do this in a way where I'm not going to like - you yeah you don't have to share the actual number like an actual average - I think this is fine - benchmark - but like we have so okay this is not that interesting but uh well fun fact is that virtualization in grockbot and in uh cursor is actually powered by uh Pretext uh which is a sort of new

- Tôi đang cố gắng làm điều này theo cách mà tôi sẽ không - vâng bạn không cần phải chia sẻ con số thực tế như trung bình thực tế - Tôi nghĩ điều này ổn - điểm chuẩn - nhưng chúng tôi có vậy được rồi điều này không thú vị lắm nhưng uh thực tế thú vị là ảo hóa trong grockbot và trong uh cursor thực sự được cung cấp bởi uh Pretext uh đây là một loại thư viện mới

36:19

library that someone's built.

Mà ai đó đã xây dựng.

36:20

Um that's really interesting.

Ừm điều đó thực sự thú vị.

36:21

You should you should check it out, but that's not really that important.

Bạn nên bạn nên kiểm tra nó, nhưng điều đó không thực sự quan trọng lắm.

36:25

Uh I think the average PR size I actually don't know.

Uh tôi nghĩ kích thước PR trung bình tôi thực sự không biết.

36:28

I I don't know if I want to click on these.

Tôi không biết liệu tôi có muốn nhấp vào những cái này không.

36:31

Uh I probably can, but I would say like they can range anywhere from a few hundred lines or 50 lines to like a thousand depending on what the thing is

Uh tôi có thể, nhưng tôi sẽ nói chúng có thể dao động từ vài trăm dòng hoặc 50 dòng đến khoảng một nghìn tùy thuộc vào thứ đó đang

36:41

doing.

Làm gì.

36:41

Uh, so like here I'm actually like deleting a bunch of files.

Uh, vì vậy như ở đây tôi thực sự đang xóa một loạt tệp.

36:45

So I expect that it's just like mostly deletion.

Vì vậy tôi mong đợi nó chủ yếu là xóa.

36:48

Uh, but yeah, it kind of varies.

Uh, nhưng vâng, nó khá đa dạng.

36:51

- There's no like Yeah, - there's no like hard cap or hard limit.

- Không có giống như Vâng, - không có giới hạn cứng hay giới hạn cứng nào.

36:54

Are they're all like 50 line PR?

Có phải tất cả đều là PR 50 dòng không?

36:55

- There's no hard cap.

- Không có giới hạn cứng.

36:56

Yeah, there's definitely no hard cap, but I do encourage my agents to split up their work into multiple PRs.

Vâng, chắc chắn không có giới hạn cứng, nhưng tôi khuyến khích các tác nhân của mình chia công việc thành nhiều PR.

37:01

Uh I do that mostly because uh I like I like the idea of the I guess maybe this is much harder to do now as in the world of agents and you have like so many commits but I like the idea that you know the git history is a very rich source of context.

Uh tôi làm điều đó chủ yếu vì uh tôi thích ý tưởng rằng tôi đoán có lẽ điều này khó hơn nhiều bây giờ trong thế giới của các tác nhân và bạn có rất nhiều commit nhưng tôi thích ý tưởng rằng bạn biết đấy lịch sử git là một nguồn ngữ cảnh rất phong phú.

37:16

Uh,

37:17

and I like the I like each PR to sort of atomically describe what that small piece of thing is doing, which also makes it easier for me to revert changes and like figure out, you know, oh, I shipped a bug and it's just it's here, right?

Và tôi thích tôi thích mỗi PR mô tả một cách nguyên tử những gì phần nhỏ đó đang làm, điều này cũng giúp tôi dễ dàng hoàn nguyên các thay đổi và tìm ra, bạn biết đấy, oh, tôi đã gửi một lỗi và nó chỉ ở đây, đúng không?

37:33

It's not in this 40,000 line PR where you who knows what landed in there.

Nó không nằm trong PR 40.000 dòng này nơi bạn không biết cái gì đã vào đó.

37:38

Uh, but I don't have a hard cap on PR size.

Uh, nhưng tôi không có giới hạn cứng về kích thước PR.

37:42

- Cool.

- Tuyệt.

37:42

And then, um, yeah, also quick question on like CI.

Và sau đó, ừm, vâng, cũng có một câu hỏi nhanh về CI.

37:45

So again, you don't have to go into like uh the screen share of like your CI does, but just generally would you describe what the CI kind of looks like uh or how strict it is?

Vì vậy một lần nữa, bạn không cần phải đi vào như uh màn hình chia sẻ về CI của bạn làm gì, nhưng chỉ nói chung bạn có thể mô tả CI trông như thế nào uh hoặc nó nghiêm ngặt đến mức nào không?

37:55

- Uh yeah.

- Uh vâng.

37:56

So uh well specifically for Grockbot.

Vì vậy uh cụ thể cho Grockbot.

37:58

So Dune is the is the sort of cheeky code name for the architecture that we've built for Grockbot.

Vì vậy Dune là tên mã hơi táo bạo cho kiến trúc mà chúng tôi đã xây dựng cho Grockbot.

38:06

Um the CI looks pretty annoying because there's checks for everything.

Ừm CI trông khá khó chịu vì có kiểm tra cho mọi thứ.

38:11

So like literally I have um uh well if you've written any react for example you know you know that one of the biggest foot guns in react is use effect.

Vì vậy như thực sự tôi có ừm uh nếu bạn đã viết bất kỳ react nào chẳng hạn bạn biết bạn biết rằng một trong những cạm bẫy lớn nhất trong react là use effect.

38:23

Uh so in

Ừ vậy trong

38:25

uh Dune and in grabbot we've banned use effect.

Ừ Dune và trong grabbot chúng tôi đã cấm sử dụng effect.

38:27

So Dune is just you can the mental model of what Dune is uh you can kind of think of it as like Nex.js for uh electron apps and it's designed for agents to write uh and it's like custom for you know our agent powered applications.

Vậy Dune chỉ là bạn có thể mô hình tinh thần về Dune là ừ bạn có thể nghĩ về nó như kiểu Nex.js cho các ứng dụng ừ electron và nó được thiết kế để các agent viết ừ và nó như là tùy chỉnh cho bạn biết đấy các ứng dụng được hỗ trợ bởi agent của chúng tôi.

38:42

Um so the CI checks are very like specific to that like you know don't use effect it's it's it's

Ừm vậy các kiểm tra CI rất là cụ thể cho điều đó như kiểu bạn biết đấy đừng sử dụng effect nó nó nó

38:49

banned like CI will fail uh and yell at you.

Bị cấm như CI sẽ thất bại ừ và mắng bạn.

38:52

We have like some of the more interesting ones that people might raise eyebrows is like I actually ban code comments as well uh which is very interesting.

Chúng tôi có một số cái thú vị hơn mà mọi người có thể nhướng mày như là tôi thực sự cấm cả các bình luận trong code nữa ừ điều này rất thú vị.

39:02

Uh, but I've noticed that 99% of the time agents just write code comments that kind of describe some historical thing that is actually totally irrelevant to the code.

Ừ, nhưng tôi đã nhận thấy rằng 99% thời gian các agent chỉ viết các bình luận trong code kiểu mô tả một điều gì đó mang tính lịch sử mà thực sự hoàn toàn không liên quan đến code.

39:13

Um, like

Ừm, kiểu như

39:14

it will often say like, you know, oh, Lauren said you should never do this and it's now in a code comment.

Nó sẽ thường nói kiểu, bạn biết đấy, ồ, Lauren nói bạn không bao giờ nên làm điều này và giờ nó nằm trong một bình luận code.

39:19

I'm like, what?

Tôi kiểu, cái gì?

39:20

Like why?

Kiểu tại sao?

39:21

What?

Cái gì?

39:21

That was I didn't say that as like a durable, you know, global rule.

Đó là tôi đã không nói điều đó như một quy tắc toàn cục lâu dài, bạn biết đấy.

39:25

I just meant like your this PR sucks and you should change that part.

Tôi chỉ có ý là cái PR này của bạn dở tệ và bạn nên thay đổi phần đó.

39:29

agents don't really understand us that well surprisingly uh and or they kind of assume too much and they kind of do things in like very stupid ways.

Các agent thực sự không hiểu chúng ta rõ lắm một cách đáng ngạc nhiên ừ và hoặc chúng kiểu giả định quá nhiều và chúng kiểu làm mọi thứ theo những cách rất ngớ ngẩn.

39:38

So like yeah we just ban everything you can imagine like the agents are bad at we ban.

Vậy kiểu ừ chúng tôi chỉ cấm mọi thứ bạn có thể tưởng tượng mà các agent làm kém chúng tôi cấm.

39:44

Uh so one example that we actually suffer a lot in the agents window is we have uh you know you if you've used the agents window you've

Ừ vậy một ví dụ mà chúng tôi thực sự chịu đựng rất nhiều trong cửa sổ agents là chúng tôi có ừ bạn biết đấy bạn nếu bạn đã sử dụng cửa sổ agents bạn đã

39:54

definitely seen performance issues and you know we're constantly trying to fix them.

Chắc chắn thấy các vấn đề về hiệu năng và bạn biết đấy chúng tôi liên tục cố gắng sửa chúng.

39:58

Uh but it's like a it's a never- ending struggle because there's so many pull requests that get merged.

Ừ nhưng nó kiểu là một cuộc đấu tranh không hồi kết bởi vì có quá nhiều pull request được merge.

40:04

Every any one of them could just regress performance or stability or reliability.

Bất kỳ một trong số chúng đều có thể làm suy giảm hiệu năng hoặc độ ổn định hoặc độ tin cậy.

40:09

Uh you know the agents window doesn't have this architecture yet.

Ừ bạn biết đấy cửa sổ agents chưa có kiến trúc này.

40:12

I plan to do bring this learning back there and kind of refactor everything there.

Tôi dự định mang bài học này trở lại đó và kiểu refactor mọi thứ ở đó.

40:17

Uh but uh it just regresses super often.

Ừ nhưng ừ nó cứ bị suy giảm siêu thường xuyên.

40:20

uh because uh there's just one example is like we have very poor um isolation between processes.

Ừ bởi vì ừ chỉ một ví dụ là chúng tôi có sự cô lập rất kém ừm giữa các tiến trình.

40:26

So like on you know on electron you have a renderer thread that renders your UI but you also have

Vậy kiểu trên bạn biết đấy trên electron bạn có một luồng renderer để render UI của bạn nhưng bạn cũng có

40:33

like a main thread that you can run other code that you know doesn't need to block the renderer.

Kiểu một luồng chính mà bạn có thể chạy code khác mà bạn biết đấy không cần chặn renderer.

40:39

Um, but we do a poor job of separating those things and so often times you just accidentally have code that gets pulled into running on the renderer thread and then all of a sudden you're competing with the renderer that you know that has a very if you want like 60 fps you have to every frame that gets drawn has to be done in 16 milliseconds.

Ừm, nhưng chúng tôi làm kém việc tách biệt những thứ đó và vậy nên nhiều khi bạn chỉ vô tình có code bị kéo vào chạy trên luồng renderer và rồi đột nhiên bạn đang cạnh tranh với renderer mà bạn biết đấy có một nếu bạn muốn kiểu 60 fps thì bạn phải mỗi khung hình được vẽ phải được làm trong 16 mili giây.

40:59

So very very small you know deadline per frame

Vậy rất rất nhỏ bạn biết đấy thời hạn mỗi khung hình

41:02

uh if you want you know a very smooth product.

Ừ nếu bạn muốn bạn biết đấy một sản phẩm rất mượt mà.

41:05

Uh and when you start building bringing in accidentally bringing in you know things that are like very computationally heavy or they have a lot of IO uh then you just get into like a lot of jank right your FPS really drops.

Ừ và khi bạn bắt đầu xây dựng vô tình mang vào bạn biết đấy những thứ kiểu rất nặng về tính toán hoặc chúng có nhiều IO ừ thì bạn chỉ rơi vào kiểu rất nhiều jank đúng không FPS của bạn thực sự giảm.

41:18

You start uh you know losing frames.

Bạn bắt đầu ừ bạn biết đấy mất khung hình.

41:20

You get long tasks that take more than 16 milliseconds and you just

Bạn có các tác vụ dài mất hơn 16 mili giây và bạn chỉ

41:24

get this really choppy experience.

Có được trải nghiệm thực sự giật cục này.

41:27

So all of those patterns that we've learned basically building electron apps we've encoded into this framework and it becomes like a hard failure.

Vậy tất cả những mẫu đó mà chúng tôi đã học được về cơ bản khi xây dựng các ứng dụng electron chúng tôi đã mã hóa vào framework này và nó trở thành kiểu một thất bại cứng.

41:36

So I literally in grabbot we literally have a directory called electron main electron renderer and we have uh import uh CI guess where we actually check the dependency graph to make sure you're not accidentally importing code from one

Vậy tôi thực sự trong grabbot chúng tôi thực sự có một thư mục gọi là electron main electron renderer và chúng tôi có ừ import ừ đoán CI nơi chúng tôi thực sự kiểm tra đồ thị phụ thuộc để đảm bảo bạn không vô tình import code từ một

41:52

directory to another.

Thư mục sang thư mục khác.

41:53

Uh so that's enforced by CI um as well as bug bots uh which is our which cursors um like code review tool that runs on CI uh you know in our agents MD it's everywhere like so I I um I have this thing here where I talk about like um you know like there are multiple layers I think for building a good codebase.

Ừ vậy điều đó được CI thực thi ừm cũng như bug bots ừ cái mà là công cụ kiểm tra code của chúng tôi của cursors ừm kiểu chạy trên CI ừ bạn biết đấy trong agents MD của chúng tôi nó ở khắp mọi nơi kiểu vậy tôi tôi ừm tôi có thứ này ở đây nơi tôi nói về kiểu ừm bạn biết đấy kiểu có nhiều lớp tôi nghĩ để xây dựng một codebase tốt.

42:17

Uh obviously the codebase is one where uh if you have

Ừ rõ ràng codebase là một trong đó ừ nếu bạn có

42:21

an architecture like this where it's extremely strict uh you know the the way to build features is very conventional that's like the strongest strongest level of enforcement because agents just love to copy existing patterns.

Một kiến trúc như thế này nơi nó cực kỳ nghiêm ngặt ừ bạn biết đấy cách để xây dựng các tính năng rất là theo quy ước đó là kiểu mức độ thực thi mạnh nhất mạnh nhất bởi vì các agent chỉ thích sao chép các mẫu hiện có.

42:33

So uh one example of this in Rockbot is like we have this these concepts called like a feature and we have entry points and transcript cards

Vậy ừ một ví dụ về điều này trong Rockbot là kiểu chúng tôi có những khái niệm này gọi là kiểu một feature và chúng tôi có các entry point và transcript card

42:43

like oh you know the cards that you see in the chat these are all like nouns I guess in the framework and so there's a very conventional way of creating them and so like a feature is all in a single directory as an example and so all of the code that contributes to that feature lives in one directory so it's all collocated in one place makes It's super easy.

Kiểu ồ bạn biết đấy những card mà bạn thấy trong chat đây đều là kiểu danh từ tôi đoán trong framework và vậy nên có một cách rất theo quy ước để tạo chúng và vậy kiểu một feature toàn bộ nằm trong một thư mục duy nhất như một ví dụ và vậy tất cả code đóng góp cho feature đó sống trong một thư mục vậy nên tất cả được đặt cùng chỗ ở một nơi làm cho Nó siêu dễ dàng.

43:05

You know,

Bạn biết đấy,

43:06

agents don't have to like uh grap around and try to figure out like where all the things are.

Các agent không phải kiểu ừ mò mẫm xung quanh và cố gắng tìm ra kiểu tất cả mọi thứ ở đâu.

43:11

It just looks at the feature and like, oh, okay, I'm working on the onboarding feature in Grockbot.

Nó chỉ nhìn vào feature và kiểu, ồ được rồi, tôi đang làm việc trên feature onboarding trong Grockbot.

43:15

Uh, I'm just going to work in this directory.

Ừ, tôi sẽ chỉ làm việc trong thư mục này.

43:18

And for 80% of the work, it's mostly just very encapsulated there.

Và với 80% công việc, nó hầu hết chỉ rất được đóng gói ở đó.

43:23

clears throat But, uh, like it's like very it's like designed again for you know like the dumbest agent like you don't have to think, right?

[hắng giọng] Nhưng, ừ, nó kiểu rất nó kiểu được thiết kế lại cho bạn biết đấy kiểu agent ngớ ngẩn nhất kiểu bạn không phải suy nghĩ, đúng không?

43:32

the the one of the key principles I have for this framework is like the shortest the shortest path is the best path.

Một trong những nguyên tắc chính tôi có cho framework này là kiểu con đường ngắn nhất con đường ngắn nhất là con đường tốt nhất.

43:40

So uh because that plays exactly to how agents love to write code is like they like to take shortcuts really you know they'll find the quickest way to solve the problem.

Vậy ừ bởi vì điều đó chơi đúng vào cách các agent thích viết code kiểu chúng thích đi đường tắt thực sự bạn biết đấy chúng sẽ tìm cách nhanh nhất để giải quyết vấn đề.

43:50

So why not make that the best way to solve the problem?

Vậy tại sao không biến đó thành cách tốt nhất để giải quyết vấn đề?

43:54

Uh so I probably won't get into all the specific details.

Ừ nên có lẽ tôi sẽ không đi vào tất cả các chi tiết cụ thể.

43:58

Um and uh the this framework is really more of a collection of ideas and principles rather than

Ừm và ừ cái khung này thực ra chỉ là một tập hợp các ý tưởng và nguyên tắc hơn là

44:04

something that will open source.

Một thứ gì đó sẽ được mã nguồn mở.

44:05

Uh you can you can you know screenshot this I guess if you want and uh tell your agent to uh do some build something like this for you too.

Ừ bạn có thể bạn có thể bạn biết đấy chụp màn hình cái này tôi đoán nếu bạn muốn và ừ bảo agent của bạn ừ làm gì đó xây dựng thứ gì đó như thế này cho bạn luôn.

44:15

Um yeah, but it's really all about the layers uh you know like the codebase is one part with features uh and directories and you know import or blocking import dependencies uh that shouldn't be imported uh but and it all enforces that and static analysis.

Ừm đúng vậy, nhưng thực ra tất cả là về các lớp ừ bạn biết đấy như codebase là một phần với các tính năng ừ và các thư mục và bạn biết đấy các phụ thuộc import hoặc chặn import ừ những thứ không nên được import ừ nhưng và tất cả đều thực thi điều đó và phân tích tĩnh.

44:32

So like uh there's CI checks, we have a lot of lints for bad patterns that we observe.

Nên kiểu như ừ có các kiểm tra CI, chúng tôi có rất nhiều lint cho các mẫu xấu mà chúng tôi quan sát được.

44:39

uh compiler diagnostics.

Ừ chẩn đoán của trình biên dịch.

44:41

Uh there's also rules and bugbot which are um I think like three four five are more soft right these two actually make CI red right so that you know there's a hard constraint where the agent can just write crappy code for rules and skills and bogbot your

Ừ cũng có các quy tắc và bugbot mà ừm tôi nghĩ kiểu như ba bốn năm thì mềm hơn đúng không hai cái này thực sự làm CI đỏ đúng vậy nên bạn biết đấy có một ràng buộc cứng nơi agent chỉ có thể viết code tồi cho các quy tắc và kỹ năng và bugbot thì các

45:02

agents can still forget right you can still or it may not always consistently apply them so I like to layer them, but I don't I don't like to rely on them as the only source of enforcement because it's very soft, right?

Agent của bạn vẫn có thể quên đúng không bạn vẫn có thể hoặc nó có thể không luôn áp dụng chúng một cách nhất quán nên tôi thích xếp lớp chúng, nhưng tôi không tôi không thích dựa vào chúng như nguồn thực thi duy nhất vì nó rất mềm, đúng không?

45:15

And if you if you only have rules and bug bot and skills and a style guide for your code, you will it's only a matter of time before your codebase looks like complete

Và nếu bạn nếu bạn chỉ có các quy tắc và bug bot và kỹ năng và một hướng dẫn phong cách cho code của bạn, thì bạn sẽ chỉ còn là vấn đề thời gian trước khi codebase của bạn trông hoàn toàn

45:26

trash.

Rác.

45:26

I'm sorry to say that, but uh I definitely recommend yeah like you know investing in you know things that can be hard and forced, right?

Tôi xin lỗi phải nói điều đó, nhưng ừ tôi thực sự khuyên đúng vậy kiểu như bạn biết đấy đầu tư vào bạn biết đấy những thứ có thể cứng và bị ép buộc, đúng không?

45:35

And this is why you know maybe uh the choice of text stack that you use is also very important.

Và đây là lý do tại sao bạn biết đấy có lẽ ừ việc lựa chọn tech stack mà bạn sử dụng cũng rất quan trọng.

45:41

Um like I think for example Rust is sort of making you know it's like getting super popular again.

Ừm kiểu như tôi nghĩ ví dụ Rust đại loại là đang khiến bạn biết đấy nó kiểu như đang trở nên siêu phổ biến trở lại.

45:48

Uh because the compiler is so strict right

Ừ vì trình biên dịch quá nghiêm ngặt đúng không

45:51

the compiler enforces so many different things.

Trình biên dịch thực thi rất nhiều thứ khác nhau.

45:53

you know, there's a borrow checker that you have to appease and if as long as you make sure your agents don't write unsafe code blocks, uh you can more or less feel somewhat confident that if the code compiles, it's probably works and it's good.

Bạn biết đấy, có một borrow checker mà bạn phải làm hài lòng và miễn là bạn đảm bảo agent của bạn không viết các khối code unsafe, ừ bạn có thể ít nhiều cảm thấy khá tự tin rằng nếu code biên dịch được, nó có lẽ hoạt động và nó tốt.

46:07

Uh but you see, it gives you that level of trust and confidence that you as a human engineer

Ừ nhưng bạn thấy đấy, nó cho bạn mức độ tin tưởng và tự tin mà bạn với tư cách là một kỹ sư con người

46:13

no longer need to go and check it yourself.

Không còn cần phải đi và tự kiểm tra nữa.

46:16

you know, you rely on code and static analysis to actually make that uh a lot smoother.

Bạn biết đấy, bạn dựa vào code và phân tích tĩnh để thực sự làm cho điều đó ừ trơn tru hơn nhiều.

46:23

Um, and I guess the worst part, the worst place to be in is if you are stuck in code review land where you actually enforce all of the constraints, the invariance in your codebase by literally the human person saying, you know, reading the code and

Ừm, và tôi đoán phần tệ nhất, nơi tệ nhất để ở là nếu bạn bị mắc kẹt trong vùng đất review code nơi bạn thực sự thực thi tất cả các ràng buộc, các bất biến trong codebase của bạn bằng cách literally con người nói rằng, bạn biết đấy, đọc code và

46:41

like, okay, you should not do this, right?

Kiểu như, được rồi, bạn không nên làm điều này, đúng không?

46:43

Every time you have to do that, you should consider that as a code smell like a anti- pattern and you should say, "Okay, instead of me commenting on the PR, how do I turn this into a hard rule, right?

Mỗi lần bạn phải làm điều đó, bạn nên coi đó như một code smell kiểu như một anti-pattern và bạn nên nói, "Được rồi, thay vì tôi comment trên PR, làm thế nào để tôi biến cái này thành một quy tắc cứng, đúng không?

46:55

How do I turn this into a lint rule?

Làm thế nào để tôi biến cái này thành một quy tắc lint?

46:58

How do I turn this into a CI failure?

Làm thế nào để tôi biến cái này thành một lỗi CI?

47:01

Or how do I even categorically eliminate this problem uh entirely?" Uh

Hoặc làm thế nào để tôi thậm chí loại bỏ hoàn toàn vấn đề này một cách triệt để?" Ừ

47:05

I can talk about another migration I've done, but I'll probably pause here.

Tôi có thể nói về một cuộc migration khác mà tôi đã làm, nhưng có lẽ tôi sẽ tạm dừng ở đây.

47:09

- Sure.

- Chắc chắn rồi.

47:10

- Yeah.

- Đúng vậy.

47:10

I feel like that's that's where I am to be honest.

Tôi cảm thấy đó là đó là nơi tôi đang ở thành thật mà nói.

47:12

is what you're describing right now, which is that like I don't have all of these rules.

Là điều mà bạn đang mô tả ngay bây giờ, đó là kiểu như tôi không có tất cả những quy tắc này.

47:16

So, I have some things to go do after this session in terms of being able to scale my agents.

Nên, tôi có một số việc phải làm sau buổi này về việc có thể mở rộng quy mô agent của mình.

47:21

I'm I'm definitely on like the uh you know, maybe a couple of parallel ones locally stage.

Tôi tôi chắc chắn đang ở kiểu như ừ bạn biết đấy, có lẽ một vài cái song song cục bộ ở giai đoạn thử.

47:24

So, like two to three locally, and I'm sure most

Nên kiểu như hai đến ba cái cục bộ, và tôi chắc hầu hết

47:27

people here are on the same.

Mọi người ở đây cũng vậy.

47:28

So, uh yeah, I know we only couple minutes left.

Nên, ừ đúng vậy, tôi biết chúng ta chỉ còn vài phút.

47:31

Lauren, was there anything else that you wanted to highlight?

Lauren, có điều gì khác mà bạn muốn nhấn mạnh không?

47:34

Obviously, there's lots of questions, so I can grab more, but I want to give you a few minutes if there's anything else you want to talk Well, I think I've been yapping for quite a lot, so I'm maybe let's just do questions.

Rõ ràng là có rất nhiều câu hỏi, nên tôi có thể lấy thêm, nhưng tôi muốn dành cho bạn vài phút nếu có điều gì khác bạn muốn nói Chà, tôi nghĩ tôi đã lảm nhảm khá nhiều rồi, nên có lẽ chúng ta hãy chỉ làm phần câu hỏi thôi.

47:43

- Okay, cool.

- Được, tuyệt.

47:43

Uh, one question that had uh a couple of uh came up a couple times was just around like token usage.

Ừ, một câu hỏi mà ừ đã xuất hiện một vài lần chỉ là về việc sử dụng token.

47:50

- So, the question is like is what you're describing a realistic thing for people who are on, you know, uh a normal set of token usage.

- Nên, câu hỏi là kiểu như liệu điều bạn đang mô tả có phải là một thứ thực tế cho những người đang ở, bạn biết đấy, ừ một mức sử dụng token bình thường không.

47:59

They don't have, you know, basically unlimited tokens uh to work with.

Họ không có, bạn biết đấy, về cơ bản là token không giới hạn ừ để làm việc.

48:04

- I think that's a really good point.

- Tôi nghĩ đó là một điểm thực sự hay.

48:05

I mean like obviously you know I work at a AI lab where we have unlimited tokens.

Ý tôi là kiểu như rõ ràng bạn biết đấy tôi làm việc ở một phòng thí nghiệm AI nơi chúng tôi có token không giới hạn.

48:09

So uh I definitely cannot say that you know this is something everyone should do in the exact same way that I did it.

Nên ừ tôi chắc chắn không thể nói rằng bạn biết đấy đây là thứ mà mọi người nên làm theo đúng cách giống hệt như tôi đã làm.

48:17

I think it's possible to get to this point without you know breaking the bank.

Tôi nghĩ là có thể đạt đến điểm này mà không bạn biết đấy làm vỡ ngân hàng.

48:23

But you know if you're like an engineering leader or you know you're you have a startup that you lead um I think to me it's a question of ROI.

Nhưng bạn biết đấy nếu bạn kiểu như là một lãnh đạo kỹ thuật hoặc bạn biết đấy bạn có một startup mà bạn dẫn dắt ừm tôi nghĩ với tôi đó là câu hỏi về ROI.

48:31

Um, and it's like, uh, yes, you spend a lot of money on tokens in the upfront stage, you know, like refactoring a codebase is going to take a lot of tokens.

Ừm, và nó kiểu như, ừ, đúng vậy, bạn chi rất nhiều tiền cho token ở giai đoạn ban đầu, bạn biết đấy, kiểu như refactor một codebase sẽ tốn rất nhiều token.

48:41

Uh, adding all these things uh, is going to take a bunch of tokens.

Ừ, thêm tất cả những thứ này ừ, sẽ tốn một đống token.

48:45

But if we're

Nhưng nếu chúng ta

48:46

heading to a world where agents are writing all the code and, you know, you want to be very lean, right?

Hướng tới một thế giới nơi các agent viết toàn bộ mã code và, bạn biết đấy, bạn muốn thật tinh gọn, đúng không?

48:52

You don't want to have to hire, you don't want to be, you don't want to become like meta, right?

Bạn không muốn phải tuyển dụng, bạn không muốn trở thành, bạn không muốn trở nên giống như Meta, đúng không?

48:57

Like I mean like in terms of you don't want to become a 10,000 person engineering org because I mean that's a cool problem to have but also you have so much overhead.

Ý tôi là về mặt bạn không muốn trở thành một tổ chức kỹ thuật với 10.000 người bởi vì ý tôi là đó là một vấn đề thú vị để có nhưng đồng thời bạn có quá nhiều chi phí quản lý.

49:07

There's like planning

Có kiểu như việc lập kế hoạch

49:08

you know like you it's it's a personally I wouldn't uh it's not super fun but um I think you want to stay very nimble right and you want to you want to be like agents are all about allowing you to do things that you couldn't do before.

Bạn biết đấy, cá nhân tôi thì tôi sẽ không, nó không vui lắm nhưng tôi nghĩ bạn muốn giữ thật nhanh nhẹn, đúng không, và bạn muốn giống như các agent là tất cả về việc cho phép bạn làm những điều mà trước đây bạn không thể làm.

49:22

That's really to me like the value of agents, you know?

Đó thực sự là với tôi, giá trị của các agent, bạn biết đấy?

49:25

It's not just storing tokens on every single little thing, but um to me like the thing I

Nó không chỉ là lưu token vào từng thứ nhỏ nhặt, mà với tôi, điều tôi

49:31

couldn't do before is like enforce this level of constraints in a codebase by myself, right?

Không thể làm trước đây là kiểu như tự mình thực thi mức độ ràng buộc này trong một codebase, đúng không?

49:36

Like I'm just a single person, you know?

Kiểu như tôi chỉ là một người duy nhất, bạn biết đấy?

49:39

Uh it would have taken me years to build this framework uh and do all the refactoring and test everything myself and verify, you know, like run imagine if there it was just me, right?

Tôi sẽ mất nhiều năm để xây dựng framework này và làm tất cả việc refactor và kiểm thử mọi thứ một mình và xác minh, bạn biết đấy, kiểu như hãy tưởng tượng nếu chỉ có mình tôi, đúng không?

49:52

you know in pre- agent era just like running you know by it would

Bạn biết đấy, trong thời kỳ tiền agent, chỉ việc chạy thôi thì nó sẽ

49:57

take me so long right and my salary is pretty high right like so you know the the question I think an engineering leader might have is just then you know like what is there's a trade-off of do you hire someone to do this or do you spend the tokens to set up a code base so that even the most naive right the dumbest agents can do a good job and when you actually get to this point like

Mất của tôi rất lâu, đúng không, và lương của tôi khá cao, đúng không, nên bạn biết đấy, câu hỏi mà tôi nghĩ một lãnh đạo kỹ thuật có thể có chỉ là bạn biết đấy, có một sự đánh đổi giữa việc bạn tuyển ai đó để làm việc này hay bạn chi token để thiết lập một codebase sao cho ngay cả những agent ngây thơ nhất, đúng không, ngốc nghếch nhất cũng có thể làm tốt, và khi bạn thực sự đạt đến điểm này thì

50:22

even agents that are not you know fable size do an excellent job of writing code and this pays a lot of dividends as well for me personally where I've empowered not just myself but again like PMS designers engineers who are not familiar with bot to just contribute in a way that is sustainable so I think yeah it's definitely like a trade-off for sure you know like nothing

Ngay cả những agent không phải cỡ hàng đầu cũng làm rất xuất sắc việc viết code và điều này mang lại nhiều lợi ích cho cá nhân tôi, nơi tôi đã trao quyền không chỉ cho bản thân mà còn cho cả các PM, designer, kỹ sư những người không quen với bot để chỉ đóng góp theo cách bền vững, nên tôi nghĩ đúng, chắc chắn là một sự đánh đổi, bạn biết đấy, không có gì

50:48

is like free for sure uh and tokens are pretty expensive Uh but oh actually uh I I don't know how many of you have seen this but we actually announced Grock 4.6 today so very exciting finally out.

Là miễn phí cả, đúng không, và token thì khá đắt. Nhưng ồ, thực ra tôi không biết có bao nhiêu người trong các bạn đã thấy điều này nhưng hôm nay chúng tôi thực sự đã công bố Grock 4.6 nên rất hào hứng, cuối cùng đã ra mắt.

51:00

Um so yeah GR 4.6 would be like a great it was very smart.

Vậy nên đúng, GR 4.6 sẽ là một lựa chọn tuyệt vời, nó rất thông minh.

51:05

Uh it's really good on the on the benchmarks.

Nó thực sự tốt trên các benchmark.

51:07

Uh and it's the same the tokens uh well uh I hopefully I'm not saying this

Và nó giống nhau, token thì, à, tôi hy vọng mình không nói điều này

51:13

incorrectly but uh I believe the cost per token is the same as 4.5.

Sai, nhưng tôi tin rằng chi phí mỗi token là giống như 4.5.

51:18

So you're actually getting more intelligence for the same cost.

Nên thực ra bạn đang nhận được nhiều trí tuệ hơn với cùng mức chi phí.

51:21

Uh I think this is an area that cursor tries to cursor and SpaceX AI try to really optimize for like that heredto frontier of you know cost versus intelligence.

Tôi nghĩ đây là một lĩnh vực mà Cursor cố gắng, Cursor và SpaceX AI cố gắng thực sự tối ưu hóa cho kiểu như biên giới tiên phong đó giữa chi phí và trí tuệ.

51:32

Uh you know we don't necessarily want to build the biggest model ever because that is

Bạn biết đấy, chúng tôi không nhất thiết muốn xây dựng mô hình lớn nhất từ trước đến nay bởi vì điều đó

51:38

extremely expensive to run.

Cực kỳ tốn kém để vận hành.

51:39

It's really about like how do you find that sweet spot right?

Vấn đề thực sự là làm sao bạn tìm được điểm ngọt ngào đó, đúng không?

51:43

you don't you don't need a giant model but it's just super smart right and it's not very expensive for inference uh but um yeah I think to kind of round it up um I think it's like a it's it's there's a if you do your own analysis I feel like it's pretty positive it'll be pretty positive that the ROI you get

Bạn không cần một mô hình khổng lồ nhưng nó chỉ siêu thông minh, đúng không, và nó không quá đắt để suy luận. Nhưng đúng, tôi nghĩ để tóm lại thì tôi nghĩ nó giống như, có một, nếu bạn tự phân tích thì tôi cảm thấy nó khá tích cực, sẽ khá tích cực rằng ROI bạn nhận được

52:03

from investing in stuff like this uh just empowers not just yourself but your whole team to be so much more productive right like imagine if you have an army of engineers like me who are shipping so much improvements and bug fixes uh you know every day right like that is pretty exciting - cool one last question before we wrap up this one is for the people in product on the on the call

Từ việc đầu tư vào những thứ như thế này, nó trao quyền không chỉ cho bản thân bạn mà cho cả đội của bạn để trở nên năng suất hơn rất nhiều, đúng không, kiểu như hãy tưởng tượng nếu bạn có một đội quân kỹ sư như tôi, những người ship rất nhiều cải tiến và sửa lỗi, bạn biết đấy, mỗi ngày, đúng không, điều đó khá thú vị - tuyệt, một câu hỏi cuối trước khi chúng ta kết thúc phần này, dành cho những người làm product trong cuộc gọi

52:29

- so let's say we do have an army of engineers who are shipping like Lauren I'm just curious like how is the product team or other functions of your company keeping up given that like if you're shipping so quickly have are they using AI more to do their jobs like as much as you can speak to that obviously you don't have like you're not in that role but just curious about how that works

- vậy giả sử chúng ta thực sự có một đội quân kỹ sư đang ship như Lauren, tôi chỉ tò mò là đội product hoặc các chức năng khác trong công ty của bạn đang theo kịp như thế nào, vì nếu bạn ship nhanh như vậy thì họ có đang dùng AI nhiều hơn để làm công việc của mình không, bạn có thể nói đến đâu thì nói, rõ ràng bạn không ở vai trò đó nhưng chỉ tò mò về cách nó hoạt động

52:49

- Um, I think this is where Grabbot has been actually exceedingly powerful.

- Ừm, tôi nghĩ đây là nơi Grabbot thực sự cực kỳ mạnh mẽ.

52:53

Uh, where, so before Grabbot, like, you know, uh, obviously Cursor only had Cursor, like, we only had agents window, we had a CLI, we had an IDE, and these are really like power user tools, right?

Ừ, vì trước Grabbot, bạn biết đấy, rõ ràng Cursor chỉ có Cursor, kiểu như chúng tôi chỉ có cửa sổ agent, chúng tôi có CLI, chúng tôi có IDE, và đây thực sự là những công cụ cho người dùng chuyên sâu, đúng không?

53:05

Like, they're designed for developers, so it's very, very developer centric.

Kiểu như chúng được thiết kế cho developer, nên nó rất, rất tập trung vào developer.

53:09

You can do knowledge work in it, but the UI is

Bạn có thể làm công việc tri thức trong đó, nhưng UI thì

53:13

not really optimized for that.

Không thực sự được tối ưu cho việc đó.

53:14

So we actually didn't really have, uh, well, I think like a lot of people like, you know, GTM product, like, they might have used Cursor, uh, to do their work, but it definitely wasn't like a delightful experience for them.

Nên thực ra chúng tôi không thực sự có, ừm, tôi nghĩ nhiều người như GTM, product, họ có thể đã dùng Cursor để làm việc, nhưng nó chắc chắn không phải là một trải nghiệm thú vị với họ.

53:29

Um, I think now with Grobbot, uh, it's become, Grockbot is basically like the Kusher moment for people who are not in tech, in my opinion, like, it's

Ừm, tôi nghĩ bây giờ với Grobbot, nó đã trở thành, Grockbot về cơ bản giống như khoảnh khắc Kusher đối với những người không làm trong ngành công nghệ, theo ý kiến của tôi, kiểu như nó

53:39

like, it's like a very accessible way to use agents in a very comfortable, very familiar interface.

Kiểu như nó là một cách rất dễ tiếp cận để sử dụng agent trong một giao diện rất thoải mái, rất quen thuộc.

53:45

It looks like iMessage.

Nó trông giống như iMessage.

53:46

Um, and it's very fun to, you know, you can give your agent a fun name.

Ừm, và rất vui khi, bạn biết đấy, bạn có thể đặt cho agent của mình một cái tên vui nhộn.

53:52

Uh, you can have, you can kind of do orchestration with in a very like natural way where you can sort of, you know, each agent is like a person, right?

Bạn có thể, bạn có thể kiểu như điều phối theo một cách rất tự nhiên, nơi bạn có thể kiểu như, bạn biết đấy, mỗi agent giống như một người, đúng không?

53:59

Now you got a team of agents like working on, you have one agent per account that you manage as an example, or if you're a PM, you have, you know, you can have an agent that summarizes all the work that Lauren did last night and then

Giờ bạn có một đội agent đang làm việc, ví dụ bạn có một agent cho mỗi tài khoản mà bạn quản lý, hoặc nếu bạn là PM, bạn có thể có một agent tóm tắt tất cả công việc mà Lauren đã làm tối qua và sau đó

54:10

now, you know, what I did, right?

Giờ, bạn biết đấy, những gì tôi đã làm, đúng không?

54:11

So I think our PMs are leveraging that a lot, and they're shipping code too.

Nên tôi nghĩ các PM của chúng tôi đang tận dụng điều đó rất nhiều, và họ cũng đang ship code.

54:15

Uh, so, you know, like often times they will just say, oh, here's a bug, I fixed it, can you look at it?

Ừ, nên bạn biết đấy, thường thì họ sẽ chỉ nói, ồ, đây là một bug, tôi đã sửa nó, bạn xem được không?

54:21

And then I'll go review it, and actually it's just perfect.

Và sau đó tôi sẽ đi review nó, và thực ra nó hoàn hảo.

54:24

I'm like, okay, stamp.

Tôi kiểu như, được, đóng dấu.

54:25

Uh, so, uh, that, I think that shows that, you know, the Dune architecture is holding up, right?

Ừ, nên, tôi nghĩ điều đó cho thấy rằng, bạn biết đấy, kiến trúc Dune đang trụ vững, đúng không?

54:30

The all

Cái tất cả

54:31

the really strict constraints allow people who are not experts in engineering to contribute at a high level.

Những ràng buộc thực sự nghiêm ngặt cho phép những người không phải chuyên gia về kỹ thuật đóng góp ở mức cao.

54:37

Uh, so I'm, I feel like I'm already seeing that pay off a lot where, uh, you know, designers and PMs are just able to to ship features directly.

Ừ, nên tôi cảm thấy mình đã thấy điều đó mang lại lợi ích rất nhiều, nơi bạn biết đấy, các designer và PM chỉ có thể ship tính năng trực tiếp.

54:48

Um, and that just makes the Grockbot team super fast, right?

Ừm, và điều đó khiến đội Grockbot siêu nhanh, đúng không?

54:53

Where we can ship so quickly.

Nơi chúng tôi có thể ship rất nhanh.

54:55

Um, and we have a lot planned.

Ừm, và chúng tôi có rất nhiều kế hoạch.

54:58

So, I'm very excited, uh, to, you know, uh, to ship more, ship more.

Vì vậy, tôi rất hào hứng, ừ, để, bạn biết đấy, ừ, để giao thêm, giao thêm.

Transcript

Hiển thị

AI as a Pair Programmer: Trust and Verification

The speaker discusses how to effectively use AI as a pair programmer, emphasizing the importance of trust and verification to scale agent-assisted coding. AI is best used as a pair programming partner, not as a tool to replace coding or outsource thinking. Using AI can save time writing code but often increases time spent reviewing and correcting AI output. Trust is crucial when working with AI agents; without trust, engineers micromanage and cannot scale to many agents. Verification—allowing agents to run code and test it—is the most important skill for building trust in AI agents. The speaker's journey shows increasing trust in agents over five months, leading to high productivity (e.g., 1000 PRs in a month).

Diễn giả thảo luận về cách sử dụng AI hiệu quả như một lập trình viên cặp, nhấn mạnh tầm quan trọng của tin cậy và xác minh để mở rộng quy mô lập trình được hỗ trợ bởi tác nhân. AI được sử dụng tốt nhất như một đối tác lập trình cặp, không phải như một công cụ thay thế việc viết mã hoặc thuê ngoài suy nghĩ. Sử dụng AI có thể tiết kiệm thời gian viết mã nhưng thường làm tăng thời gian xem xét và sửa chữa đầu ra của AI. Tin cậy là rất quan trọng khi làm việc với các tác nhân AI; nếu không có tin cậy, các kỹ sư sẽ quản lý vi mô và không thể mở rộng quy mô cho nhiều tác nhân. Xác minh—cho phép tác nhân chạy mã và kiểm tra nó—là kỹ năng quan trọng nhất để xây dựng tin cậy vào các tác nhân AI. Hành trình của diễn giả cho thấy sự tin cậy ngày càng tăng vào các tác nhân trong năm tháng, dẫn đến năng suất cao (ví dụ: 1000 PR trong một tháng).