0:00

55:04

SpaceX AI engineer Lauren Tan part 2

Ai insider·55:04·Technology·C1

Chương · 7

Chương 1·AI as a Pair Programmer: Trust and Verification

Hiển thị

Tiếng ViệtAuto-scroll

0:01

Um, personally I think that uh the best use of you of AI is really as like a like a pair like someone you're pair programming with and not someone as not not a not a tool to just replace the act of writing code or worse outsourcing your thinking.

Ừm, cá nhân tôi nghĩ rằng cách sử dụng AI tốt nhất thực sự là như một người bạn đồng hành, kiểu như một người mà bạn lập trình cặp với họ, chứ không phải là một công cụ chỉ để thay thế việc viết code hay tệ hơn là thuê ngoài suy nghĩ của bạn.

0:19

And I think there's a tendency like, you know, because AI is so exciting, you want to put AI everywhere and be seen as someone who's very, you know, um, what do you call it?

Và tôi nghĩ có một xu hướng kiểu, bạn biết đấy, vì AI quá thú vị, bạn muốn đặt AI ở khắp mọi nơi và được nhìn nhận như một người rất, bạn biết đấy, ừm, bạn gọi nó là gì nhỉ?

0:29

Like, uh, on the ball, I guess, with AI.

Kiểu như, ừ, nhanh nhạy, tôi đoán vậy, với AI.

0:32

Uh, that you feel this pressure of like, you know, I'm just going to I got to increase my productivity.

Ừ, rằng bạn cảm thấy áp lực kiểu, bạn biết đấy, tôi phải tăng năng suất của mình lên.

0:37

I got to ship like 100 PRs this week and barely understand what I'm

Tôi phải gửi đi kiểu 100 PR trong tuần này và hầu như không hiểu mình đang

0:42

doing and, you know, vive code my way to a million ARR or whatever.

Làm gì và, bạn biết đấy, cứ thế vibe code đến một triệu ARR hay gì đó.

0:49

Um but I think you know um one of the things that I've personally seen is that although when I use AI I save some time you know writing the code I actually find myself spending more time reviewing what the AI did and like correcting it.

Ừm nhưng tôi nghĩ bạn biết đấy, một trong những điều mà cá nhân tôi đã thấy là mặc dù khi tôi dùng AI tôi tiết kiệm được chút thời gian viết code, tôi thực sự thấy mình dành nhiều thời gian hơn để xem lại những gì AI đã làm và kiểu như sửa lại nó.

1:05

So, you know, like I've I've tried the the thing that a lot of people say like, you know, you uh instead of prompting an AI to just build the feature outright, you sort of get it to uh build a spec for you first, then you review that spec, and then you do this whole thing, then it's like, - uh, okay.

Nên, bạn biết đấy, tôi đã thử cái điều mà nhiều người nói kiểu, bạn biết đấy, thay vì nhắc AI xây dựng thẳng tính năng, bạn kiểu như để nó xây dựng một bản đặc tả cho bạn trước, rồi bạn xem lại bản đặc tả đó, rồi bạn làm toàn bộ quy trình đó, rồi thì kiểu, - ừ, được thôi.

1:21

So, I assume you can see my screen.

Nên, tôi giả sử bạn có thể thấy màn hình của tôi.

1:23

- Yes.

- Vâng.

1:23

Yeah, we're good.

Ừ, chúng ta ổn rồi.

1:24

clears throat So yeah, today yeah I think I think the big theme for me as I've been using agents to write code and I'm sure a lot of you have had the same experience as well is how do you trust it?

[hắng giọng] Vậy ừ, hôm nay ừ tôi nghĩ chủ đề lớn đối với tôi khi tôi dùng các agent để viết code và tôi chắc nhiều bạn cũng có trải nghiệm tương tự là làm sao để bạn tin tưởng nó?

1:36

You know especially if you are an engineer that's been writing code for a very long time.

Bạn biết đấy, đặc biệt nếu bạn là một kỹ sư đã viết code rất lâu rồi.

1:41

You have a lot of opinions and lessons that you've learned about doing good engineering.

Bạn có rất nhiều quan điểm và bài học mà bạn đã rút ra về việc làm kỹ thuật tốt.

1:45

And when you see agents just, you know, winging it and, you know, guessing, hallucinating, uh, you know, confidently stating that they found the smoking gun, uh, for the hundth time, uh, but it's actually not the real problem.

Và khi bạn thấy các agent cứ kiểu, bạn biết đấy, làm tùy hứng và, bạn biết đấy, đoán mò, ảo giác, ừ, bạn biết đấy, tự tin tuyên bố rằng chúng đã tìm ra bằng chứng quyết định, ừ, đến lần thứ một trăm, ừ, nhưng thực ra đó không phải là vấn đề thật sự.

1:58

You lose a lot of trust.

Bạn mất rất nhiều niềm tin.

2:00

And when you lose when you don't

Và khi bạn mất, khi bạn không

2:03

have much trust clears throat in your agents, I feel like you really can't get the most out of them.

Có nhiều niềm tin [hắng giọng] vào các agent của mình, tôi cảm thấy bạn thực sự không thể tận dụng tối đa chúng.

2:08

And for me, the parallel is like with management.

Và với tôi, sự tương đồng là với việc quản lý.

2:11

Uh so if I'm an a manager an engineering manager of a team and I have a bunch of you know I have a team of engineers uh on my team and I don't trust them then the mode of operation I'm going to be in is going to be like micromanagement

Ừ, nên nếu tôi là một quản lý, một quản lý kỹ thuật của một nhóm và tôi có một loạt, bạn biết đấy, tôi có một nhóm kỹ sư, ừ, trong nhóm của tôi và tôi không tin tưởng họ thì chế độ vận hành mà tôi sẽ ở trong đó sẽ kiểu như quản lý vi mô

2:27

right I'll have to spend a lot of time looking over my reports shoulders and checking that they're doing their work well you know that they're not shipping bugs to production and so I drew this chart because uh it's It's not it's not a very scientific chart but like this is how I imagine myself and my journey through using agents.

Đúng không, tôi sẽ phải dành nhiều thời gian nhìn qua vai các nhân viên của mình và kiểm tra rằng họ đang làm việc tốt, bạn biết đấy, rằng họ không đẩy bug lên production, và nên tôi đã vẽ biểu đồ này vì ừ, nó không phải là một biểu đồ khoa học lắm nhưng kiểu như đây là cách tôi hình dung bản thân và hành trình của mình qua việc dùng các agent.

2:49

So you know like fast forward or

Nên bạn biết đấy, kiểu như tua nhanh về phía trước hoặc

2:52

back forward uh or fast back uh fast backwards like a year or so when you know nobody was or not many people were using agents to code.

Tua tới, ừ, hoặc tua nhanh về sau, ừ, tua nhanh về sau kiểu như một năm trước khi, bạn biết đấy, không ai hoặc không nhiều người dùng agent để viết code.

3:02

Uh I think you uh you know get into this mode where you are in very heavily in the loop with one or several like a handful of agents and you find yourself just constantly fig uh you know trying to understand what your agents are doing uh and you're very

Ừ tôi nghĩ bạn, bạn biết đấy, bước vào chế độ này nơi bạn ở rất sâu trong vòng lặp với một hoặc vài, kiểu như một số ít agent và bạn thấy mình cứ liên tục, ừ, bạn biết đấy, cố gắng hiểu các agent của mình đang làm gì, ừ, và bạn rất

3:21

in loop.

Trong vòng lặp.

3:21

You're watching every single output.

Bạn đang xem từng kết quả đầu ra một.

3:23

you are sitting there prompting um and you really can't parallelize beyond that because you don't again you don't have that trust right you can't go to a 100 agents uh like spawn 100 agents when you don't even trust the output of one agent so over the past 5 months I feel like I've really been able to uh like ascend this trust curve and now I'm at the

Bạn đang ngồi đó nhắc lệnh, ừm, và bạn thực sự không thể song song hóa vượt quá mức đó vì một lần nữa bạn không có niềm tin đó, đúng không, bạn không thể đi đến 100 agent, ừ, kiểu như tạo ra 100 agent khi bạn còn không tin tưởng kết quả đầu ra của một agent, nên trong 5 tháng qua tôi cảm thấy mình thực sự đã có thể, ừ, kiểu như leo lên đường cong niềm tin này và giờ tôi đang ở

3:49

point where uh I actually have this sounds kind of scary to say And it makes me sound like a slop artist, but I I promise I'm not.

Điểm mà ừ, tôi thực sự, nghe hơi đáng sợ khi nói ra, và nó khiến tôi nghe như một kẻ làm nội dung rác, nhưng tôi hứa là tôi không phải vậy.

3:57

But I actually have my agents now um autoemerging PRs for me.

Nhưng tôi thực sự giờ đã để các agent của mình, ừm, tự động hợp nhất PR cho tôi.

4:01

Uh which is like a wild thing to say, but um like I woke up today and there were like 20 PRs landed and I just reviewed them on main like they were already landed and they were good.

Ừ, điều đó thật hoang đường khi nói ra, nhưng ừm, kiểu như tôi thức dậy hôm nay và có kiểu 20 PR đã được hợp nhất và tôi chỉ xem lại chúng trên main như thể chúng đã được hợp nhất rồi và chúng tốt.

4:13

Uh so

Ừ nên

4:14

how did I get to that point is basically what I wanted to talk about today.

Làm sao tôi đến được điểm đó, về cơ bản đó là điều tôi muốn nói hôm nay.

4:20

Uh and again like yeah feel free to jump in if you have questions.

Ừ và một lần nữa, kiểu như ừ, cứ thoải mái tham gia nếu bạn có câu hỏi.

4:25

colon.

Dấu hai chấm.

4:25

Um but uh oh yeah, of course I got to show this this chart.

Ừm nhưng ừ, ồ ừ, tất nhiên tôi phải cho xem cái biểu đồ này.

4:30

laughter Uh where uh no do not trust to someone requested to control my computer.

[tiếng cười] Ừ nơi mà, ừ, không, đừng tin tưởng, ai đó đã yêu cầu điều khiển máy tính của tôi.

4:35

Uh I probably won't do that.

Ừ tôi có lẽ sẽ không làm điều đó.

4:37

Uh but yeah, so this chart I think I'm I'm sharing this chart not to kind of like flex but to kind of show like the journey like so you can see

Ừ nhưng đúng vậy, nên biểu đồ này, tôi nghĩ tôi chia sẻ biểu đồ này không phải để kiểu như khoe khoang mà để kiểu như cho thấy hành trình, kiểu như bạn có thể thấy

4:49

like the curve like it sort of like inversely matches the contributions I've been able to land at cursor.

Kiểu như đường cong, nó kiểu như tương phản nghịch với những đóng góp mà tôi đã có thể hợp nhất tại cursor.

4:54

So I joined five months ago and five months ago like I you know my first month I was like not very productive because I was obvious you know I was learning the codebase didn't know what the heck was going on and as I got more confident in my agents uh I've really been able to kind

Nên tôi đã tham gia năm tháng trước và năm tháng trước, kiểu như tôi, bạn biết đấy, tháng đầu tiên tôi kiểu như không năng suất lắm vì rõ ràng, bạn biết đấy, tôi đang học codebase, không biết cái quái gì đang diễn ra, và khi tôi trở nên tự tin hơn vào các agent của mình, ừ, tôi thực sự đã có thể kiểu

5:12

of ramp up my productivity uh and again like yeah like last month I shipped a thousand PRs which is ridiculous.

Tăng năng suất của mình lên, ừ, và một lần nữa, kiểu như ừ, tháng trước tôi đã gửi đi một nghìn PR, điều đó thật vô lý.

5:19

Uh, and then this month we're only on the 12th.

Ừ, và rồi tháng này chúng ta mới chỉ đến ngày 12.

5:22

I'm already at like almost 800 PRs landed.

Tôi đã ở mức gần 800 PR được hợp nhất rồi.

5:25

Uh, so the velocity is definitely high and you I'm sure a lot of you will definitely be questioning like how much of this code is actually good.

Ừ, nên tốc độ chắc chắn là cao và bạn, tôi chắc nhiều bạn sẽ chắc chắn đặt câu hỏi kiểu bao nhiêu trong số code này thực sự tốt.

5:35

Um, and I think yeah, like that's definitely fair to

Ừm, và tôi nghĩ ừ, kiểu như điều đó chắc chắn là công bằng để

5:39

question.

Đặt câu hỏi.

5:41

Um but uh yeah, I think I think if you set up your agents well, you can definitely get to a very similar level.

Ừm nhưng ừ, ừ, tôi nghĩ tôi nghĩ nếu bạn thiết lập các agent của mình tốt, bạn chắc chắn có thể đạt đến một mức rất tương tự.

5:52

Um and so I'm going to talk about how we do that.

Ừm và nên tôi sẽ nói về cách chúng tôi làm điều đó.

5:56

Uh so for me I think I'm curious like I guess call in your experience as well but uh for me I think the most important skill that you should have in your toolbox when you work with agents is verification.

Ừ nên với tôi, tôi nghĩ tôi tò mò, kiểu như tôi đoán hãy chia sẻ trải nghiệm của bạn nữa, nhưng ừ, với tôi tôi nghĩ kỹ năng quan trọng nhất mà bạn nên có trong bộ công cụ của mình khi làm việc với các agent là xác minh.

6:12

Uh and by verification I mean the ability for an agent to actually run the code uh or take CPU traces or heap snapshots or uh you know open an iOS simulator whatever you know

Ừ và ý tôi khi nói xác minh là khả năng để một agent thực sự chạy code, ừ, hoặc lấy dấu vết CPU hoặc ảnh chụp heap hoặc ừ, bạn biết đấy, mở một trình giả lập iOS, bất cứ điều gì bạn biết

6:27

however your application is exposed to your users.

Tuy nhiên, ứng dụng của bạn được hiển thị cho người dùng.

6:30

It can do the same thing and uh run it for real and actually test and verify it don't work because that's the thing that really closes the loop.

Nó có thể làm điều tương tự và chạy thử thật sự, kiểm tra và xác minh rằng nó không hoạt động, vì đó là điều thực sự khép kín vòng lặp.

6:40

uh it doesn't guarantee your agent writes good code uh but it allows them to at least write correct code uh which is a big a really big step forward for being able to trust your agents.

Nó không đảm bảo rằng agent của bạn viết code tốt, nhưng nó cho phép chúng ít nhất viết code đúng, đó là một bước tiến rất lớn để có thể tin tưởng agent của bạn.

6:54

Ừm

6:55

I will I can share one example that we have uh within cursor.

Tôi có thể chia sẻ một ví dụ mà chúng tôi có trong cursor.

7:05

Uh oops where let me open this let's make this uh make full screen.

Ối, để tôi mở cái này, hãy làm cho nó toàn màn hình.

7:17

There you go.

Được rồi.

7:19

Uh so for the for cursor's agent window uh so this is actually an interesting story but uh when I joined cursor five months ago uh they're actually uh well I was supposed to join a different team I was supposed to join like the cloud agents team uh but then since I have a lot of experience working on react and agents window is a react application uh I was uh I was asked to basically help out

Vậy đối với cửa sổ agent của cursor, đây thực sự là một câu chuyện thú vị, nhưng khi tôi gia nhập cursor năm tháng trước, thực ra tôi được cho là sẽ tham gia một nhóm khác, kiểu như nhóm cloud agents, nhưng sau đó vì tôi có nhiều kinh nghiệm làm việc với react và cửa sổ agent là một ứng dụng react, nên tôi được yêu cầu cơ bản là giúp đỡ

7:47

with the agent window work.

Với công việc cửa sổ agent.

7:48

Uh but um there wasn't really a lot of like skills to help me.

Nhưng thực sự không có nhiều kỹ năng để giúp tôi.

7:53

So I just found myself that okay uh agents window is going to launch in like week right we have a really tight deadline and um there was uh you know I was just sitting there like okay I'm going to open up the performant the the chrome dev tools and just like take a trace look at it myself and try to

Vậy nên tôi tự nhận ra rằng, được rồi, cửa sổ agent sẽ ra mắt trong khoảng một tuần nữa, chúng tôi có thời hạn rất gấp, và tôi chỉ ngồi đó nghĩ, được rồi, tôi sẽ mở chrome dev tools, xem một trace và tự mình xem xét và cố gắng

8:13

make sense of this flame graph.

Hiểu được biểu đồ flame graph này.

8:14

And keep in mind I was just like in my first week so I had no idea what I was looking at.

Và hãy nhớ rằng tôi chỉ mới ở tuần đầu tiên nên tôi không biết mình đang nhìn cái gì.

8:19

No idea where you know I mean I had some idea but you know the code base was completely fresh to me.

Không biết gì cả, ý tôi là tôi có chút ý tưởng nhưng bạn biết đấy, code base hoàn toàn mới với tôi.

8:24

Uh and I realized like my agent had no idea either you know like I would take a screenshot of the tree I would download trades I would send it to it and it be like yeah it kind of looks like this you know uh and it would like confidently state like it's this thing and then I

Và tôi nhận ra rằng agent của tôi cũng không biết gì cả, kiểu như tôi sẽ chụp ảnh cây, tải trace, gửi cho nó và nó sẽ nói kiểu như ừ, nó trông giống thế này, và nó sẽ tự tin khẳng định rằng đó là cái này, rồi tôi

8:38

try to fix that and turns out that's not the actual thing.

Cố gắng sửa cái đó và hóa ra đó không phải là vấn đề thực sự.

8:42

So this was very slow process and if you've ever done any like performance work yourself or you know just even development with an agent where you don't have a verification skill you are the verifier right you're the bottleneck you you tell your agent to do something and then it goes off and write some code then you open up your you know local dev build and then you

Vậy nên đây là một quá trình rất chậm và nếu bạn từng làm bất kỳ công việc về hiệu năng nào hoặc thậm chí phát triển với agent mà không có kỹ năng xác minh, bạn chính là người xác minh, bạn là nút thắt, bạn bảo agent làm gì đó rồi nó viết code, sau đó bạn mở bản dev local và bạn

9:03

start to say oh you know doesn't work then you got to copy paste screen uh you know screenshots or console errors or whatever uh and then your agent like slowly kind of like uh you know works with that and then tries to understand it and um fix the thing but then you're constantly just in the loop and being a bottleneck.

Bắt đầu nói ồ, không hoạt động, rồi bạn phải copy paste màn hình, ảnh chụp hoặc lỗi console hay gì đó, và agent của bạn từ từ làm việc với nó, cố hiểu và sửa, nhưng bạn liên tục ở trong vòng lặp và trở thành nút thắt.

9:21

So there's really no way to parallelize.

Vậy nên thực sự không có cách nào để song song hóa.

9:23

So the control glass

Vậy nên control glass

9:25

skill is like one of the first skills I built uh for cursor.

Skill là một trong những skill đầu tiên tôi xây dựng cho cursor.

9:29

Uh and glass by the way is the code name for agents window that we use internally but it's just cursor I guess.

Và glass, nhân tiện, là tên mã nội bộ cho cửa sổ agent mà chúng tôi dùng, nhưng tôi đoán nó chỉ là cursor thôi.

9:37

Um, and so this skill uh is I guess the the code itself is not super interesting.

Ừm, và skill này, tôi đoán bản thân code không quá thú vị.

9:43

Your agent can very easily make one for you.

Agent của bạn có thể dễ dàng tạo một cái cho bạn.

9:47

Uh where if you're building an electron app or a web app or even iOS uh applications,

Nếu bạn đang xây dựng ứng dụng electron hoặc web hoặc thậm chí ứng dụng iOS,

9:53

uh you can teach your agent how to use like the Chrome DevTools protocol or through uh Apple has some utilities as well for running the simulator and taking traces and controlling programmatic control as well.

Bạn có thể dạy agent cách sử dụng Chrome DevTools protocol hoặc thông qua Apple cũng có một số tiện ích để chạy simulator, lấy trace và điều khiển lập trình.

10:08

Uh so that's really useful.

Vậy nên điều đó thực sự hữu ích.

10:10

Uh but one thing I want to talk about is uh the this thing uh where is the read me?

Nhưng một điều tôi muốn nói là cái này, read me ở đâu?

10:19

Uh so this skill comes with this very unique

Vậy nên skill này đi kèm với một

10:23

feature called or not feature uh unique file called a feature map.

Tính năng gọi là, không phải tính năng, mà là file độc đáo gọi là feature map.

10:27

And so the story then is like I built this skill and so now the agent was able to uh actually run the agent window and take traces and whatnot.

Và câu chuyện là tôi xây dựng skill này và giờ agent có thể thực sự chạy cửa sổ agent và lấy trace, v.v.

10:38

Uh but it had no idea what the agent's window was.

Nhưng nó không biết cửa sổ agent là gì.

10:43

So um you know like someone would say like oh the left sidebar is like laggy or something like that or you know the right side the PR tab is not working and the agent would just be like kind of flailing around.

Vậy nên ai đó sẽ nói kiểu như thanh bên trái bị lag hoặc tab PR bên phải không hoạt động và agent sẽ loay hoay.

10:54

it would spend a lot of time trying to like look up the code and you know where is this feature?

Nó sẽ mất nhiều thời gian cố tra cứu code và tìm tính năng này ở đâu.

11:00

How do I actually get to it on the UI which made it basically completely useless.

Làm sao để truy cập nó trên UI, điều này khiến nó gần như hoàn toàn vô dụng.

11:05

Uh you know like we would I would run this skill locally and you know it would spawn a dev build uh but then it just be turnurning like I just try to click here.

Tôi sẽ chạy skill này locally và nó sẽ tạo bản dev build, nhưng sau đó nó cứ nói kiểu như tôi chỉ thử click vào đây.

11:18

It wouldn't know how to get to things um and it was just an awful experience.

Nó không biết cách truy cập mọi thứ và đó là một trải nghiệm tồi tệ.

11:23

Uh so who's putting arrows on my screen?

Ai đang đặt mũi tên lên màn hình của tôi vậy?

11:26

Um, so, uh, yeah,

Ừm, vậy, ừ,

11:28

this feature map has been really useful, uh, because it teaches the agent how to get to all of the features that you have.

Feature map này thực sự hữu ích vì nó dạy agent cách truy cập tất cả các tính năng bạn có.

11:36

Um, and in PAC, the plugin that I've made, uh, if you search for PAC cursor on Google, you'll find it.

Và trong PAC, plugin tôi đã làm, nếu bạn tìm PAC cursor trên Google, bạn sẽ thấy nó.

11:43

Uh, but there is a create verification skill in that plugin where it actually helps you set up something like this for yourself.

Nhưng có một create verification skill trong plugin đó giúp bạn thiết lập thứ như thế này cho chính mình.

11:51

Um, including

Bao gồm

11:52

the feature map.

Feature map.

11:53

So it will actually explore the code and build up this initial feature map that tells your agent how to get to all of the different features that you have.

Vậy nên nó sẽ thực sự khám phá code và xây dựng feature map ban đầu này để cho agent biết cách truy cập tất cả các tính năng khác nhau mà bạn có.

12:02

Uh and this is extremely powerful because now like you have these user reports that come in uh you can actually map even like a vague report or even a screenshot.

Và điều này cực kỳ mạnh mẽ vì giờ bạn có các báo cáo người dùng, bạn có thể map ngay cả báo cáo mơ hồ hoặc ảnh chụp.

12:13

So we have this uh internally at cursor where

Vậy nên chúng tôi có cái này nội bộ tại cursor, nơi

12:16

uh we have a slack channel with you know lots of people giving us feedback on the agents window and rockbot and whatnot.

Chúng tôi có một kênh slack với nhiều người đưa phản hồi về cửa sổ agent và rockbot, v.v.

12:23

Uh, and often times the report is very bad, like very low quality, like someone just put very often we get like a screenshot like and then someone just says question mark question mark question mark like what is this?

Và thường thì báo cáo rất tệ, chất lượng rất thấp, kiểu như ai đó chỉ đăng ảnh chụp và rồi ai đó chỉ nói dấu hỏi dấu hỏi dấu hỏi, cái này là gì?

12:35

laughter And you know like the without this your agent is like I have no clue, right?

[cười] Và bạn biết đấy, nếu không có cái này, agent của bạn sẽ kiểu như tôi không biết gì cả, đúng không?

12:39

But with a feature map like this, it has a lot more context and understanding of how to actually navigate how to get to all of the different features.

Nhưng với một bản đồ đặc trưng như thế này, nó có nhiều ngữ cảnh hơn và hiểu rõ cách thực sự điều hướng để đến tất cả các tính năng khác nhau.

12:48

Uh so like you know example like I guess like the sidebar like what is the sidebar uh you know like all the different sub features that

Ừ, ví dụ như thanh bên, thanh bên là gì, bạn biết đấy, tất cả các tính năng con khác nhau

12:56

are present in it um like from the user point of view here's where to how do I get to it all the different keyboard shortcuts uh even like the what do you call it the DOM elements or yeah like the attributes that you use for selecting things through the CDP uh are all there.

Có mặt trong đó, từ góc nhìn người dùng, đây là cách để tôi truy cập vào tất cả các phím tắt khác nhau, thậm chí cả những gì bạn gọi là các phần tử DOM hay các thuộc tính bạn dùng để chọn mọi thứ thông qua CDP đều có ở đó.

13:16

So uh again yeah this is like really really powerful uh for agents - uh and piece stack ships uh that create verification skill but also a maintain verification skill uh so you can keep this up to date.

Vậy nên, một lần nữa, điều này thực sự rất mạnh mẽ đối với các tác nhân và các gói kỹ năng tạo kỹ năng xác minh nhưng cũng duy trì kỹ năng xác minh để bạn có thể cập nhật nó.

13:32

- Cool.

Tuyệt.

13:32

Yeah, I was just going to ask how you created that.

Ừ, tôi chỉ định hỏi bạn đã tạo ra nó như thế nào.

13:34

So do you mind sharing a little bit more about um that process in the context of Pstack and maybe just what Pstack is for the folks who aren't familiar?

Vậy bạn có phiền chia sẻ thêm một chút về quá trình đó trong bối cảnh Pstack và có thể chỉ Pstack là gì cho những người chưa quen không?

13:41

Yeah.

Ừ.

13:41

So, Pstack is pretty interesting because uh well, first of all, the name is kind of goofy.

Vậy, Pstack khá thú vị vì, trước hết, cái tên khá ngớ ngẩn.

13:48

Like the P the P in P stack is like potato stack because I um so uh there's a pretty uh famous person Gary Tan who is the CEO of Y Combinator and he's come up with this plugin called GStack uh Gary Stack and uh funnily enough we share the last name.

Chữ P trong P stack giống như potato stack vì tôi, có một người khá nổi tiếng là Gary Tan, CEO của Y Combinator, và anh ấy đã tạo ra một plugin gọi là GStack, Gary Stack, và thật trùng hợp là chúng tôi cùng họ.

14:09

We have no relations.

Chúng tôi không có quan hệ gì.

14:10

Uh, but I

Nhưng tôi

14:12

thought it would be funny to kind of, you know, poke fun at Gary and make Pstack my version of of his plug-in.

Nghĩ sẽ thật buồn cười khi trêu Gary và biến Pstack thành phiên bản plugin của tôi.

14:20

Uh, but kind of tailor it to my own set of p engineering practices.

Nhưng điều chỉnh nó theo bộ thực hành kỹ thuật p của riêng tôi.

14:26

Uh, but I honestly actually never set out to build PAC.

Nhưng thật lòng tôi chưa bao giờ định xây dựng PAC.

14:29

Uh, it just started with a bunch of skills, right?

Nó chỉ bắt đầu với một loạt kỹ năng, phải không?

14:31

Like I started with that control glass skill and then I started with another skill like called how which I also noticed through like observing agents.

Như tôi bắt đầu với kỹ năng control glass đó và rồi tôi bắt đầu với một kỹ năng khác gọi là how mà tôi cũng nhận ra qua việc quan sát các tác nhân.

14:39

Um so like you know in the early days of me you know trying to climb this ladder I was like super in the loop and I was

Vậy nên, trong những ngày đầu tôi cố gắng leo lên nấc thang này, tôi đã rất theo dõi sát sao và tôi

14:47

basically nitpicking my agents to an extreme degree.

Về cơ bản là bắt lỗi các tác nhân của mình ở mức cực đoan.

14:50

I was like I would tell it um you know this feature has stopped working.

Tôi sẽ nói với nó rằng tính năng này đã ngừng hoạt động.

14:56

Here's a bug report like why isn't it working?

Đây là báo cáo lỗi, tại sao nó không hoạt động?

15:00

And very often the agent would just like confidently state like, "Oh, it has to be this, right?

Và rất thường xuyên, tác nhân sẽ tự tin tuyên bố, "Ồ, chắc chắn là cái này, đúng không?

15:05

It has to be this thing." And I noticed like when I looked at the actual tool calls, I noticed it wasn't actually reading the code that I thought should be affected.

Chắc chắn là cái này." Và tôi nhận ra khi xem các lệnh gọi công cụ thực tế, nó không thực sự đọc mã mà tôi nghĩ nên bị ảnh hưởng.

15:14

And that made me just extremely suspicious.

Và điều đó khiến tôi cực kỳ nghi ngờ.

15:16

And at that point, I was like, I'm not going to I can't trust any this agent anymore

Và lúc đó, tôi nghĩ, tôi không thể tin tưởng bất kỳ tác nhân này nữa

15:21

cuz it's just it's just completely hallucinating.

Vì nó chỉ hoàn toàn ảo giác.

15:23

And I think I think it's very easy to just, you know, like build up that distrust and not and kind of feel helpless like, you know, you don't know how to help your agents succeed.

Và tôi nghĩ rất dễ để xây dựng sự ngờ vực đó và cảm thấy bất lực, bạn biết đấy, bạn không biết cách giúp các tác nhân của mình thành công.

15:34

But like again, I think the the management analogy is super helpful because like imagine if you were a manager of an engineering team and you

Nhưng một lần nữa, tôi nghĩ phép so sánh quản lý rất hữu ích vì hãy tưởng tượng nếu bạn là quản lý của một nhóm kỹ thuật và bạn

15:43

had an engineer on your team who was a really good coder, no business context whatsoever.

Có một kỹ sư trong nhóm là một lập trình viên rất giỏi, nhưng không có chút ngữ cảnh kinh doanh nào.

15:48

you know they just you just hired them and they onboarded you know like 5 seconds ago.

Bạn biết đấy, họ chỉ mới được tuyển và đã được đào tạo khoảng 5 giây trước.

15:53

Uh and so how do you actually teach that person to be effective?

Vậy làm thế nào để bạn thực sự dạy người đó trở nên hiệu quả?

15:57

So how you do that is through a skill.

Cách bạn làm điều đó là thông qua một kỹ năng.

16:00

uh skill being just you know it's just markdown right but you know it encodes a lot of information

Kỹ năng chỉ là markdown thôi, nhưng bạn biết đấy, nó mã hóa rất nhiều thông tin

16:06

instructions a lot of uh you can really draw out a lot of intelligence from an agent by well some people on Twitter call it like you know pull the agent to a different latent space which is kind of like a fancy way of just saying like since uh you LLMs are sort of like they predict the next token uh when you give it some high quality tokens uh to begin with then you know it can kind of

Hướng dẫn, rất nhiều, bạn thực sự có thể khai thác rất nhiều trí tuệ từ một tác nhân bằng cách, một số người trên Twitter gọi là kéo tác nhân đến một không gian tiềm ẩn khác, nghe có vẻ hoa mỹ nhưng thực ra chỉ là vì LLM dự đoán token tiếp theo, khi bạn đưa cho nó những token chất lượng cao ngay từ đầu thì nó có thể

16:31

pattern match on like a higher space that's you know smarter.

Khớp mẫu ở một không gian cao hơn, thông minh hơn.

16:36

Um so that's like a very interesting model there.

Vậy đó là một mô hình rất thú vị.

16:38

But yeah I built PAC very very incrementally.

Nhưng đúng, tôi đã xây dựng PAC rất tăng dần.

16:41

Uh so uh started with just really observing how agents you know all the fail different failure modes of that agents were having and every time I saw that I just okay I'm just going to make that a skill right like stop hallucinating actually go and search up look up the code use a lot of

Vậy nên, bắt đầu bằng việc quan sát cách các tác nhân thất bại, tất cả các chế độ thất bại khác nhau mà chúng gặp phải, và mỗi khi thấy vậy, tôi chỉ nghĩ, được rồi, tôi sẽ biến nó thành một kỹ năng, như là ngừng ảo giác, thực sự đi tìm mã, sử dụng nhiều

17:00

sub agents uh and yeah stop guessing - yeah that makes sense one kind of followup question here both from myself and from a bunch of people in the chat so - I guess it's two parts So one is like how do you maintain these skills?

Tác nhân con, và đúng, ngừng đoán mò. Ừ, điều đó hợp lý. Một câu hỏi tiếp theo từ tôi và từ nhiều người trong chat, nên tôi đoán có hai phần. Một là làm thế nào bạn duy trì những kỹ năng này?

17:15

So like the product changes over time.

Vì sản phẩm thay đổi theo thời gian.

17:17

Obviously there's a lot of people who are shipping against the codebase.

Rõ ràng có nhiều người đang phát triển dựa trên cơ sở mã.

17:20

So how do these skills get maintained?

Vậy làm thế nào những kỹ năng này được duy trì?

17:22

Uh and then second to that is like how do you know when your verification is good enough?

Và thứ hai là làm thế nào bạn biết khi nào xác minh của mình đủ tốt?

17:27

Uh like and you know you can trust that the ver verification loops that you've built are going to I guess you trust that the outputs uh when they're done.

Và bạn biết đấy, bạn có thể tin rằng các vòng lặp xác minh bạn đã xây dựng sẽ, tôi đoán là bạn tin rằng đầu ra khi hoàn thành.

17:36

- Uh yeah maybe I'll talk about um I think somewhat related.

Ừ, có lẽ tôi sẽ nói về, tôi nghĩ có phần liên quan.

17:40

Maybe I'll start with this one first.

Có lẽ tôi sẽ bắt đầu với cái này trước.

17:43

So like how do I maintain these skills?

Vậy làm thế nào tôi duy trì những kỹ năng này?

17:47

So um if you're not familiar with this concept, an eval is essentially like a way to uh well I think the mental model I have is like it's like a unit test for an agent.

Nếu bạn chưa quen với khái niệm này, eval về cơ bản là một cách, tôi nghĩ mô hình tinh thần của tôi là nó giống như một bài kiểm tra đơn vị cho một tác nhân.

17:57

Um and uh you can actually make your own eval.

Và bạn thực sự có thể tạo eval của riêng mình.

18:00

You don't need like a special framework for them.

Bạn không cần một framework đặc biệt cho chúng.

18:03

You can build you can you can build one depending on like you know how scientific and how rigorous you want to

Bạn có thể xây dựng, bạn có thể tạo một cái tùy thuộc vào mức độ khoa học và chặt chẽ mà bạn muốn.

18:10

be.

Được.

18:10

Uh, my screen is red.

Uh, màn hình của tôi đang đỏ.

18:14

- Yeah, there's a little button.

- Ừ, có một nút nhỏ.

18:15

Um, sorry.

Um, xin lỗi.

18:16

Do - you mind like disabling the drawing or something?

Bạn có phiền nếu tắt chức năng vẽ hay gì đó không?

18:18

I can't see my screen.

Tôi không thể nhìn thấy màn hình của mình.

18:20

- Yeah, sorry.

- Ừ, xin lỗi.

18:20

If you guys could not draw on the screen, that'd be great.

Nếu mọi người có thể không vẽ lên màn hình thì thật tuyệt.

18:23

But, um, there's a little button in the - Is that a troll?

Nhưng, um, có một nút nhỏ trong - Đó có phải là trò đùa không?

18:26

- Yeah, the little drop down.

- Ừ, menu thả xuống nhỏ đó.

18:29

- Um, how do I clear?

- Um, làm sao để xóa?

18:31

- Yeah, you got it.

- Ừ, bạn làm được rồi.

18:35

Perfect.

Hoàn hảo.

18:36

- Yeah.

- Ừ.

18:36

Yeah, evals are a way to unit test your skills basically.

Ừ, eval là một cách để kiểm thử đơn vị các kỹ năng của bạn về cơ bản.

18:40

And actually in Pstack, we ship uh under potato mode there's a playbook if you search for it called eval playbook.

Và thực ra trong Pstack, chúng tôi phát hành uh dưới chế độ potato có một playbook nếu bạn tìm kiếm nó gọi là eval playbook.

18:48

Um and it's uh uh it's like not it's actually pretty pretty rigorous the way it's done.

Um và nó uh uh nó giống như không phải nó thực sự khá chặt chẽ theo cách nó được thực hiện.

18:54

Uh but um essentially what I do is I spawn a lot of different sub agents.

Uh nhưng um về cơ bản những gì tôi làm là tôi tạo ra nhiều sub agent khác nhau.

19:00

I have like my main coordinator agent uh come

Tôi có như agent điều phối chính của tôi uh đưa ra

19:04

up with a rubric for uh what I want the skill to do.

Một rubric cho uh những gì tôi muốn kỹ năng làm.

19:09

Um and then it spawns all these sub agents and it creates individual directories for them uh which are cleverly named to not let the sub agent know that it's being evaluated because uh agents can actually tell and when they do they change their behavior.

Um và sau đó nó tạo ra tất cả các sub agent này và tạo các thư mục riêng cho chúng uh được đặt tên khéo léo để không cho sub agent biết rằng nó đang được đánh giá vì uh các agent thực sự có thể nhận ra và khi chúng nhận ra chúng thay đổi hành vi.

19:27

Uh, but it does a bunch of stuff like that to um essentially yeah like test whether or not the skill I'm making or changing is actually doing what I think it does.

Uh, nhưng nó làm một loạt thứ như vậy để um về cơ bản ừ như kiểm tra xem kỹ năng tôi đang tạo hoặc thay đổi có thực sự làm đúng như tôi nghĩ không.

19:37

Um, and one of the really nice things about cursor is that we are we support so many different models.

Um, và một trong những điều thực sự tuyệt vời về cursor là chúng tôi hỗ trợ rất nhiều model khác nhau.

19:44

So you can actually eval your skill across all sorts of different models.

Vì vậy bạn thực sự có thể đánh giá kỹ năng của mình trên tất cả các loại model khác nhau.

19:48

Um, and you know get a sense of how well it performs

Um, và bạn biết đấy, có được cảm nhận về hiệu suất của nó

19:52

across that different matrix.

Trên ma trận khác nhau đó.

19:54

um especially for the models that you use.

Um đặc biệt là đối với các model mà bạn sử dụng.

19:58

Uh so I do this a lot.

Uh vì vậy tôi làm điều này rất nhiều.

20:00

Every time I modify a skill, I will run one of these uh like the Ebal playbook uh and make sure that you know it's actually leading to a result I want.

Mỗi khi tôi sửa đổi một kỹ năng, tôi sẽ chạy một trong những uh như Ebal playbook uh và đảm bảo rằng bạn biết nó thực sự dẫn đến kết quả tôi muốn.

20:10

Uh but I will say like maintaining skills is actually pretty hard.

Uh nhưng tôi sẽ nói rằng việc duy trì kỹ năng thực sự khá khó.

20:14

Uh it requires I think a lot of taste and observation.

Uh nó đòi hỏi tôi nghĩ rất nhiều gu thẩm mỹ và quan sát.

20:17

So you kind of need to be very good at being a backseat driver.

Vì vậy bạn cần phải rất giỏi trong việc làm người chỉ đạo từ ghế sau.

20:22

You know what I mean?

Bạn hiểu ý tôi chứ?

20:24

Like if you do pair if you ever done pair programming for example uh and you watch a coworker code and you just like you could probably do this better you know you could do you know like why did you not do this right you ask a lot of questions to your coworker and it's kind of a similar thing here you like you don't want to just be a passive observer of your agent you want to be

Giống như nếu bạn làm cặp nếu bạn từng làm lập trình cặp ví dụ uh và bạn xem đồng nghiệp viết code và bạn kiểu như bạn có thể làm điều này tốt hơn bạn biết đấy bạn có thể làm bạn biết đấy như tại sao bạn không làm điều này đúng bạn đặt nhiều câu hỏi cho đồng nghiệp và ở đây cũng tương tự bạn không muốn chỉ là người quan sát thụ động agent của mình bạn muốn

20:42

very in the driver seat in the initial stages when you're building up your own set of skills uh you know obviously you can use something like PAC but if you're building your own set of skills it's very I think you opening up the all the tool calls and like reading the code and reading all the to uh the agent behavior and their thinking blocks is a really great way to see where they fail,

Rất chủ động trong giai đoạn đầu khi bạn đang xây dựng bộ kỹ năng của riêng mình uh bạn biết đấy rõ ràng bạn có thể dùng thứ gì đó như PAC nhưng nếu bạn đang xây dựng bộ kỹ năng của riêng mình thì tôi nghĩ việc bạn mở tất cả các tool call và đọc code và đọc tất cả uh hành vi của agent và các khối suy nghĩ của chúng là một cách tuyệt vời để thấy chúng thất bại ở đâu,

21:06

right?

Đúng không?

21:06

like what you know where are they being done and then you can go and build a skill for that and then with verification how you trust it is it's I think it's also a very similar iteration loop uh where you know like I actually did the same process for verifying the verification skill where I actually get um so one thing that's interesting about eval is that you can sort of hill climb

Giống như bạn biết đấy chúng đang bị làm sai ở đâu và sau đó bạn có thể đi và xây dựng một kỹ năng cho điều đó và sau đó với việc xác minh cách bạn tin tưởng nó tôi nghĩ nó cũng là một vòng lặp lặp lại rất tương tự uh nơi bạn biết đấy như tôi thực sự đã làm quy trình tương tự để xác minh kỹ năng xác minh nơi tôi thực sự nhận được um vì vậy một điều thú vị về eval là bạn có thể kiểu như leo đồi

21:30

them meaning that uh your eval can produce a score right uh a score that you can get your coordinator to produce uh but also comp uh you can have a judge agent of a different model to uh kind of cross reference and make sure that the first model is not being biased, right?

Chúng nghĩa là uh eval của bạn có thể tạo ra điểm số đúng uh một điểm số mà bạn có thể yêu cầu điều phối viên của mình tạo ra uh nhưng cũng comp uh bạn có thể có một agent giám khảo từ một model khác để uh kiểu như đối chiếu chéo và đảm bảo rằng model đầu tiên không bị thiên vị, đúng không?

21:49

The model that's judging all of the sub aents that are running the thing.

Model đang đánh giá tất cả các sub agent đang chạy thứ đó.

21:52

Uh but you can also like hill climb.

Uh nhưng bạn cũng có thể kiểu như leo đồi.

21:54

So meaning that you can you can use like /loop in cursor and you can say okay keep looping on this eval right until everything is 10 out of 10 as an example.

Nghĩa là bạn có thể bạn có thể dùng như /loop trong cursor và bạn có thể nói được rồi cứ lặp trên eval này đúng cho đến khi mọi thứ đạt 10 trên 10 như một ví dụ.

22:03

Uh and I did the same the basically the same approach with the control skill.

Uh và tôi đã làm tương tự về cơ bản cùng cách tiếp cận với kỹ năng điều khiển.

22:07

And so I kind of it was very it was very hands-off

Và vì vậy tôi kiểu như nó rất rất ít can thiệp

22:11

actually.

Thực sự.

22:11

Uh so you know I uh I kind of built I built that skill that way like the CLI and that skill.

Uh vì vậy bạn biết đấy tôi uh tôi kiểu như đã xây dựng tôi đã xây dựng kỹ năng đó theo cách đó như CLI và kỹ năng đó.

22:19

Um and over time it's gotten really good.

Um và theo thời gian nó trở nên thực sự tốt.

22:22

Uh but yeah, it was definitely not super smooth at the beginning.

Uh nhưng ừ, ban đầu nó chắc chắn không hề suôn sẻ.

22:26

It required a lot of iteration and I think there's an analogy here for me which is um well I make this analogy later in a different slide on my drawing here.

Nó đòi hỏi rất nhiều lần lặp lại và tôi nghĩ có một sự tương tự ở đây đối với tôi đó là um tôi sẽ tạo ra sự tương tự này sau trong một slide khác trên bản vẽ của tôi ở đây.

22:37

Uh but I think of it like

Uh nhưng tôi nghĩ về nó như

22:40

uh you know as a as a engineer now you're sort of more like you uh like maybe a manager or the analogy I like is like you're like a chef in a restaurant.

Uh bạn biết đấy, với tư cách là một kỹ sư bây giờ bạn giống như uh có thể là một quản lý hoặc phép so sánh tôi thích là bạn giống như một đầu bếp trong nhà hàng.

22:50

uh you know, you're the head chef.

Uh bạn biết đấy, bạn là bếp trưởng.

22:52

Uh you're not cooking all the food yourself anymore.

Uh bạn không còn tự nấu tất cả các món ăn nữa.

22:54

You have a team of cooks, right?

Bạn có một đội ngũ đầu bếp, phải không?

22:57

You have line cooks, you have a sue chef, you have, you know, all these different stations.

Bạn có đầu bếp phụ trách từng công đoạn, bạn có bếp phó, bạn có, bạn biết đấy, tất cả các trạm khác nhau.

23:02

Um and it's your job to really design the environment.

Um và công việc của bạn thực sự là thiết kế môi trường.

23:05

You know, you're in charge of setting up the kitchen.

Bạn biết đấy, bạn chịu trách nhiệm thiết lập nhà bếp.

23:09

You're in charge of, you know, like giving tasks to different people.

Bạn chịu trách nhiệm, bạn biết đấy, như là giao nhiệm vụ cho những người khác nhau.

23:14

So, um yeah, it's a very interesting way of working.

Vậy, um vâng, đó là một cách làm việc rất thú vị.

23:18

Uh but yeah, that's that's how I've basically built uh these verification skills.

Uh nhưng vâng, đó là cách tôi cơ bản đã xây dựng uh những kỹ năng xác minh này.

23:23

- Yeah, just one fault there on like to go try to go one layer deeper.

- Vâng, chỉ có một lỗi ở đó, kiểu như cố gắng đi sâu thêm một lớp nữa.

23:27

So are you let's say we wanted to build um an eval or a skill for something and we wanted to kind of get better on its own which is what I think you're suggesting.

Vậy bạn có phải, giả sử chúng ta muốn xây dựng um một đánh giá hoặc một kỹ năng cho một thứ gì đó và chúng ta muốn nó tự cải thiện, đó là điều tôi nghĩ bạn đang đề xuất.

23:37

Uh are you doing that in like a work tree kind of isolated with like the sub aents and then the reviewer agent and all that?

Uh bạn có đang làm điều đó trong kiểu như một work tree tách biệt với các tác nhân phụ và rồi tác nhân đánh giá và tất cả những thứ đó không?

23:44

Is it

Có phải nó

23:45

happening like in some type of cloud hosted environment?

Đang diễn ra trong một loại môi trường được lưu trữ trên đám mây nào đó không?

23:47

like what's the more the practical steps if I wanted to go do this uh and like set up a verification system for something?

Kiểu như các bước thực tế hơn là gì nếu tôi muốn đi làm điều này uh và thiết lập một hệ thống xác minh cho một thứ gì đó?

23:54

What would I what would I do or where would I start?

Tôi sẽ làm gì hoặc tôi sẽ bắt đầu từ đâu?

23:58

- Um I think that uh the best place to start is local because you can observe you can definitely observe what your agents are doing.

- Um tôi nghĩ rằng uh nơi tốt nhất để bắt đầu là cục bộ vì bạn có thể quan sát, bạn chắc chắn có thể quan sát những gì các tác nhân của bạn đang làm.

24:06

So, uh, if you're building a verification skill for yourself, uh, I would definitely start local and just have your agent bring up the application, whether it's like a CLI or, uh, desktop app or whatever.

Vậy, uh, nếu bạn đang xây dựng một kỹ năng xác minh cho chính mình, uh, tôi chắc chắn sẽ bắt đầu cục bộ và chỉ để tác nhân của bạn khởi động ứng dụng, dù đó là CLI hay uh ứng dụng desktop hay bất cứ thứ gì.

24:17

And so, you can actually observe, right?

Và như vậy, bạn thực sự có thể quan sát, phải không?

24:19

You can

Bạn có thể

24:20

see how the agent is interacting with the application.

Xem cách tác nhân tương tác với ứng dụng.

24:23

You can see it, you know, how it calls like the different APIs that allow it to interact with the uh the application.

Bạn có thể thấy nó, bạn biết đấy, cách nó gọi các API khác nhau cho phép nó tương tác với uh ứng dụng.

24:34

Um but uh for me personally uh I have basically been kind of all in mostly all in on cloud agents because they're extremely powerful.

Um nhưng uh với cá nhân tôi uh tôi cơ bản đã khá là toàn tâm, chủ yếu toàn tâm vào các tác nhân đám mây vì chúng cực kỳ mạnh mẽ.

24:43

Uh and the really powerful thing about cursor is the cloud agents actually where if you spend a little bit of time setting up your environment these control skills these verification skills pay a huge amount of dividends because it's not just something that

Uh và điều thực sự mạnh mẽ về cursor là các tác nhân đám mây, thực sự là vậy, nơi nếu bạn dành một chút thời gian thiết lập môi trường của mình, những kỹ năng kiểm soát này, những kỹ năng xác minh này mang lại lợi ích khổng lồ vì nó không chỉ là thứ

24:59

makes you as a single engineer better.

Khiến bạn với tư cách một kỹ sư đơn lẻ trở nên tốt hơn.

25:02

It actually levels up your whole team uh and even your whole company because uh you can actually start thinking about cloud agents.

Nó thực sự nâng cấp toàn bộ đội của bạn uh và thậm chí toàn bộ công ty của bạn vì uh bạn thực sự có thể bắt đầu nghĩ về các tác nhân đám mây.

25:09

You can start thinking about automations that automatically do things like uh I get I kind of talk about this a bit later but I'll just kind of get into it.

Bạn có thể bắt đầu nghĩ về các tự động hóa tự động làm những việc như uh tôi, tôi kiểu như nói về điều này một chút sau nhưng tôi sẽ đi vào luôn.

25:19

Uh where you know for example like I talk a lot about this agent we have called Benny, right?

Uh nơi bạn biết đấy, ví dụ như tôi nói rất nhiều về tác nhân này mà chúng tôi gọi là Benny, phải không?

25:25

who uh you know takes all of the bug reports that we get and it automatically goes off in the cloud, opens up a cloud uh it's you know its desktop.

Người mà uh bạn biết đấy, nhận tất cả các báo cáo lỗi mà chúng tôi nhận được và nó tự động đi lên đám mây, mở một đám mây uh nó là, bạn biết đấy, desktop của nó.

25:35

It runs cursor in its own computer and it uses the same control skills to interact with the application and try to reproduce the bug uh or the user report, right?

Nó chạy cursor trong máy tính của chính nó và nó sử dụng cùng các kỹ năng kiểm soát để tương tác với ứng dụng và cố gắng tái tạo lỗi uh hoặc báo cáo người dùng, phải không?

25:46

And this is so powerful because at once I can immediately I get so much

Và điều này thật mạnh mẽ vì ngay lập tức tôi có thể ngay lập tức tôi nhận được rất nhiều

25:51

information from this automatically like here in this example you can see that uh the Benny actually reproduced the bug uh but it's already fixed on main.

Thông tin từ việc này một cách tự động, như ở ví dụ này bạn có thể thấy rằng uh Benny thực sự đã tái tạo lỗi uh nhưng nó đã được sửa trên main.

26:00

So it actually confirms that we fixed this problem already and all I need to do is just release another build of cursor.

Vậy nó thực sự xác nhận rằng chúng tôi đã sửa vấn đề này rồi và tất cả những gì tôi cần làm là phát hành một bản build cursor khác.

26:08

Uh so that's like huge information there that I didn't have to go off and sit with an agent you know and spend an hour trying to figure like is this fixed?

Uh vậy đó là thông tin khổng lồ mà tôi không phải đi ngồi với một tác nhân, bạn biết đấy, và dành một giờ cố gắng tìm hiểu xem liệu cái này đã được sửa chưa?

26:15

this is not fixed.

Cái này chưa được sửa.

26:16

So you you gain back so much time.

Vậy bạn, bạn lấy lại được rất nhiều thời gian.

26:18

Uh but you know everybody on my team benefits from this.

Uh nhưng bạn biết đấy, mọi người trong đội của tôi đều hưởng lợi từ điều này.

26:22

Everybody in the company benefits from this.

Mọi người trong công ty đều hưởng lợi từ điều này.

26:24

Uh so definitely think that uh you know keeping these uh using cloud agents is super powerful.

Uh vậy chắc chắn nghĩ rằng uh bạn biết đấy, việc giữ những uh sử dụng các tác nhân đám mây là siêu mạnh mẽ.

26:30

Uh but yeah it's like a journey.

Uh nhưng vâng, nó giống như một hành trình.

26:33

You have to trust it first right before you get to this point.

Bạn phải tin tưởng nó trước, phải không, trước khi bạn đạt đến điểm này.

26:38

And that's it goes back to what I was saying here where you know it's very hard.

Và đó là, nó quay lại điều tôi đã nói ở đây, nơi bạn biết đấy, nó rất khó.

26:42

It's it's almost impossible.

Nó gần như không thể.

26:43

And I would definitely encourage you not to try to jump from, you know, like if you're still in this zone, you don't want to jump to like I'm going to spawn hundred of thous or thousands of cloud agents right now because you're just going to waste a lot of tokens.

Và tôi chắc chắn sẽ khuyến khích bạn đừng cố nhảy từ, bạn biết đấy, kiểu như nếu bạn vẫn còn ở vùng này, bạn không muốn nhảy đến kiểu như tôi sẽ tạo ra hàng trăm nghìn hoặc hàng nghìn tác nhân đám mây ngay bây giờ vì bạn sẽ chỉ lãng phí rất nhiều token.

26:58

Um and

Um và

26:59

it's going to be extremely expensive.

Nó sẽ cực kỳ tốn kém.

27:01

- Yeah.

- Vâng.

27:01

So just to kind of recap so far, basically the if we wanted to go on the journey that you've kind of gone on, it would be to start with verification, building some skills and some ways of determining that the agents are producing at least like correct code.

Vậy chỉ để tóm tắt sơ bộ đến giờ, cơ bản là nếu chúng ta muốn đi theo hành trình mà bạn đã đi, thì sẽ là bắt đầu với xác minh, xây dựng một số kỹ năng và một số cách để xác định rằng các tác nhân đang tạo ra ít nhất là mã đúng.

27:15

Whether like you said, whether it's good code or not is maybe a separate question, but like it's it's technically solving the problem by looking at, you know, stack traces, looking at, you know, the actual behavior in the app and so on.

Dù như bạn nói, liệu nó có phải mã tốt hay không có thể là một câu hỏi riêng, nhưng kiểu như nó về mặt kỹ thuật đang giải quyết vấn đề bằng cách nhìn vào, bạn biết đấy, stack trace, nhìn vào, bạn biết đấy, hành vi thực tế trong ứng dụng và vân vân.

27:25

Um, and then once we trust it locally, then we can start to think about scaling into the cloud and running more agents that are picking up signals

Ừm, và sau khi chúng ta tin tưởng nó ở local, thì chúng ta có thể bắt đầu nghĩ đến việc mở rộng lên cloud và chạy nhiều agent hơn để thu thập tín hiệu

27:32

I guess on their own, right?

Tôi đoán là chúng tự làm, đúng không?

27:33

So whether that's like a bug report that comes in or something, they can go and pick it up and solve the problem and give us back a PR.

Vậy dù đó là một báo cáo lỗi gửi đến hay gì đó, chúng có thể tự nhận và giải quyết vấn đề rồi trả lại cho chúng ta một PR.

27:40

And then maybe the last step is like automerging the PRs, which uh is where you're at, laughter maybe not where everyone is at.

Và có lẽ bước cuối cùng là tự động merge các PR, điều mà ừm bạn đang ở đó, [cười] có thể không phải ai cũng ở đó.

27:46

- Um, and then reviewing the one main, but um, is that is that about right?

- Ừm, và sau đó xem xét cái chính, nhưng ừm, điều đó có đúng không?

27:50

- Yeah, exactly.

- Ừ, chính xác.

27:50

I think yeah, that's why I drew this uh this curve, right?

Tôi nghĩ ừ, đó là lý do tôi vẽ đường cong này, đúng không?

27:53

because that this basically describes my journey of you know when I started barely could use a couple agents and I was just observing every single thing.

Bởi vì điều này cơ bản mô tả hành trình của tôi, bạn biết đấy, khi tôi bắt đầu hầu như chỉ có thể dùng một vài agent và tôi chỉ quan sát từng thứ một.

28:01

I think there's really no shortcut for going from here to there because this is really about your personal level of trust in agents, right?

Tôi nghĩ thực sự không có đường tắt để đi từ đây đến đó vì điều này thực sự liên quan đến mức độ tin tưởng cá nhân của bạn vào agent, đúng không?

28:08

Um obviously, you know, as a as an engineer, you don't want to just slop

Ừm rõ ràng, bạn biết đấy, là một kỹ sư, bạn không muốn chỉ quăng

28:13

code into production.

Code vào production.

28:14

So, how do you actually build up that trust?

Vậy, làm thế nào bạn thực sự xây dựng được lòng tin đó?

28:17

Takes um a lot of uh I guess taste and judgment.

Cần ừm rất nhiều ừm tôi đoán là gu và phán đoán.

28:20

Um but uh you know, like I think plugins like Pstack definitely kind of help you uh get up to speed much quicker.

Ừm nhưng ừ bạn biết đấy, tôi nghĩ những plugin như Pstack chắc chắn giúp bạn ừm bắt kịp tốc độ nhanh hơn nhiều.

28:28

Uh and so I guess it's like if you trust me and you trust PAC then in by extension you can maybe trust your agents but if you don't trust me and I definitely would

Ừ và vậy tôi đoán là nếu bạn tin tôi và bạn tin PAC thì theo đó bạn có thể tin agent của mình, nhưng nếu bạn không tin tôi và tôi chắc chắn sẽ

28:41

not encourage people to blindly trust me uh you know if you build up your own set of skills that you can obviously you know take a look at PAC and kind of fork it make it your own improve the skills definitely encourage that uh but for me it's really all about it just keeps coming back to trust you know every one of us here in this chat have a different standard for engineering.

Không khuyến khích mọi người tin tôi một cách mù quáng ừ bạn biết đấy nếu bạn tự xây dựng bộ kỹ năng của riêng mình thì rõ ràng bạn có thể xem PAC và kiểu fork nó, biến nó thành của bạn, cải thiện các kỹ năng, tôi thực sự khuyến khích điều đó ừ nhưng với tôi thì tất cả chỉ quay lại với lòng tin, bạn biết đấy, mỗi người trong chúng ta ở đây trong cuộc trò chuyện này có một tiêu chuẩn kỹ thuật khác nhau.

29:03

Uh and there

Ừ và có

29:04

are different things that are important for us in our codebase and uh when you are able to encode all of that into skills and you can verify that your agent is actually doing them that allows you to really kind of ascend this curve and um uh you know start automating things.

Những thứ khác nhau quan trọng với chúng ta trong codebase của mình và ừ khi bạn có thể mã hóa tất cả những điều đó vào các kỹ năng và bạn có thể xác minh rằng agent của mình thực sự đang làm chúng, điều đó cho phép bạn thực sự vượt lên trên đường cong này và ừm ừ bắt đầu tự động hóa mọi thứ.

29:21

Uh there's another piece I wanted to talk about um if there's more.

Ừ có một phần khác tôi muốn nói đến ừm nếu còn thời gian.

29:26

- Yeah, go for it.

- Ừ, cứ tiếp đi.

29:27

I'll pick up more questions as I go.

Tôi sẽ nhận thêm câu hỏi khi tiếp tục.

29:29

Yeah, I think there's a third part to this which I haven't talked about yet which is kind of an interesting one which is like refactoring and rewriting.

Ừ, tôi nghĩ có phần thứ ba của việc này mà tôi chưa nói đến, khá thú vị, đó là refactor và viết lại.

29:38

Like one of the uh I guess most controversial one of the most controversial topics in the industry I think is like should you rewrite your app or not?

Giống như một trong những ừ tôi đoán là gây tranh cãi nhất, một trong những chủ đề gây tranh cãi nhất trong ngành, tôi nghĩ là bạn có nên viết lại ứng dụng của mình hay không?

29:47

Um because I

Ừm bởi vì tôi

29:48

think engineers are very prone to this where especially when you join a company you come in and you see like the code base and you're like oh man this is like who wrote this code you know it's terrible I want to rewrite the whole thing is a very common inclination and I think a lot of you know before agents um and I guess arguably even now people will definitely discourage you from re

Nghĩ rằng các kỹ sư rất dễ mắc điều này, đặc biệt khi bạn gia nhập một công ty, bạn đến và nhìn thấy codebase và bạn kiểu ôi trời, ai viết code này vậy, bạn biết đấy, thật tệ, tôi muốn viết lại toàn bộ, đó là một xu hướng rất phổ biến và tôi nghĩ nhiều người, bạn biết đấy, trước khi có agent ừm và tôi đoán thậm chí bây giờ mọi người chắc chắn sẽ khuyên bạn đừng

30:10

rewriting stuff but I'm actually here to make a case for why you might want to consider it.

Viết lại mọi thứ nhưng tôi thực sự ở đây để đưa ra lý lẽ vì sao bạn có thể muốn cân nhắc điều đó.

30:16

Um because I think it really depends.

Ừm bởi vì tôi nghĩ nó thực sự còn tùy.

30:18

Uh you know uh brownfield applications I think are actually in a pretty good spot especially if they're set up well already.

Ừ bạn biết đấy ừ các ứng dụng brownfield tôi nghĩ thực sự đang ở vị thế khá tốt, đặc biệt nếu chúng đã được thiết lập tốt.

30:27

Uh and like recently I've been talking to some people but uh you know I I was just observing I just noticed this parallel which is that a lot of big tech company problems are now everybody's problems.

Ừ và gần đây tôi đã nói chuyện với một số người nhưng ừ bạn biết đấy tôi chỉ quan sát, tôi chỉ nhận ra sự tương đồng này, đó là nhiều vấn đề của các công ty big tech giờ đã trở thành vấn đề của mọi người.

30:41

Um, and the big

Ừm, và vấn đề của các công ty big

30:43

tech company problem, you know, like when I was working at Meta, like we had this giant monor repo, we had like, I don't know, tens of thousands of engineers just, you know, like banging on their keyboards and shipping code.

Tech, bạn biết đấy, khi tôi làm việc ở Meta, chúng tôi có một monorepo khổng lồ, chúng tôi có kiểu, tôi không biết, hàng chục nghìn kỹ sư chỉ, bạn biết đấy, gõ bàn phím và ship code.

30:56

And a lot of really great engineers at Meta.

Và rất nhiều kỹ sư thực sự giỏi ở Meta.

30:59

Uh, but, uh, I'll say like, you know, you'll be surprised that the code quality is actually not that good.

Ừ, nhưng, ừ, tôi sẽ nói kiểu, bạn biết đấy, bạn sẽ ngạc nhiên rằng chất lượng code thực sự không tốt đến thế.

31:04

Um, and so I often joke that like, you know, before AI slop, we had human slop.

Ừm và vì vậy tôi thường đùa rằng, bạn biết đấy, trước khi có AI slop, chúng ta đã có human slop.

31:09

Um and so uh you know I think a lot of big tech infra like uh like what Meta has or Google you know you know really big tech companies are actually designed for that where you're sort of like you're

Ừm và vì vậy ừ bạn biết đấy tôi nghĩ nhiều hạ tầng big tech như ừ như những gì Meta có hay Google, bạn biết đấy, những công ty big tech thực sự lớn thực sự được thiết kế cho điều đó, nơi bạn kiểu như bạn

31:22

catering to the you know like uh this sounds so bad to say but like the the least capable engineer on your team right you build you build frameworks you build conventions you build guard rails you know you restrict credentials so that you know your intern doesn't wipe your production database Um there's uh you know if you have that level of infra already I think your

Phục vụ cho, bạn biết đấy, kiểu ừ nghe thật tệ khi nói ra nhưng kiểu kỹ sư kém cỏi nhất trong nhóm của bạn, đúng không, bạn xây framework, bạn xây quy ước, bạn xây lan can bảo vệ, bạn biết đấy, bạn hạn chế thông tin xác thực để thực tập sinh của bạn không xóa cơ sở dữ liệu production của bạn. Ừm có ừ bạn biết đấy nếu bạn đã có mức hạ tầng đó rồi thì tôi nghĩ

31:45

agents can actually already do a very solid job right because they have the the guard rails are already in place for agents to not cause havoc or not cause too much havoc uh in your codebase.

Agent của bạn thực sự đã có thể làm rất tốt, đúng không, bởi vì các lan can bảo vệ đã có sẵn để agent không gây tàn phá hoặc không gây quá nhiều tàn phá ừ trong codebase của bạn.

31:57

Um and you can always add more you know guard rails.

Ừm và bạn luôn có thể thêm nhiều lan can bảo vệ hơn, bạn biết đấy.

32:01

Uh but I think like green field applications especially are you know like the brand new applications are like the biggest risk in my opinion.

Ừ nhưng tôi nghĩ các ứng dụng greenfield, đặc biệt là, bạn biết đấy, những ứng dụng hoàn toàn mới, theo tôi là rủi ro lớn nhất.

32:09

Ừ

32:10

and also the greatest opportunity because you know if you vibe code a project uh a prototype um like we did for Grockbot you know Grockbot was spun up very very quickly.

Và cũng là cơ hội lớn nhất bởi vì bạn biết đấy nếu bạn vibe code một dự án ừ một nguyên mẫu ừm như chúng tôi đã làm cho Grockbot, bạn biết đấy Grockbot được tạo ra rất rất nhanh.

32:20

Um and if you if you haven't heard of Grockbot it's like our a new application we just launched yesterday.

Ừm và nếu bạn chưa nghe về Grockbot thì đó là ứng dụng mới của chúng tôi, chúng tôi vừa ra mắt hôm qua.

32:26

Uh it's it's really cool.

Ừ nó thực sự rất tuyệt.

32:28

uh lets you orchestrate your create like individual agents that have

Ừ cho phép bạn điều phối, tạo ra kiểu các agent riêng lẻ có

32:32

their own identity and you can kind of orchestrate them.

Danh tính riêng và bạn có thể điều phối chúng.

32:34

It's super cool.

Nó siêu tuyệt.

32:35

Definitely check it out.

Nhất định nên xem thử.

32:36

U but yeah, that was it's like a very it was a very green field application like most prototypes are so like vibe coded very quickly.

Ừ nhưng đúng, đó là một ứng dụng rất greenfield, giống như hầu hết các nguyên mẫu, nên được vibe code rất nhanh.

32:46

Humans were not reading the code at all.

Con người hoàn toàn không đọc code.

32:50

And uh I had this tweet recently uh where I said something about organic architecture.

Và ừ tôi có một tweet gần đây ừ trong đó tôi nói điều gì đó về kiến trúc hữu cơ.

32:56

Um maybe I'll find it.

Ừ, có lẽ tôi sẽ tìm thấy nó.

32:58

Uh but the idea is that uh when you have a completely vibe

Ừ, nhưng ý tưởng là khi bạn có một ứng dụng hoàn toàn được viết theo phong cách "vibe"

33:03

coded application, you essentially have no guard rails whatsoever.

thì về cơ bản bạn không có bất kỳ rào chắn nào cả.

33:06

So uh your agents when you give them a task, they will just solve it in whatever method is the most convenient.

Vậy nên khi bạn giao nhiệm vụ cho các agent, chúng sẽ giải quyết theo bất kỳ cách nào thuận tiện nhất.

33:14

And over time you get into this uh situation where you have a codebase that is spiraling out of control because you don't understand it.

Và theo thời gian, bạn rơi vào tình huống là codebase mất kiểm soát vì bạn không hiểu nó.

33:24

uh your agents understand it I guess in a way but like they've built something that is you know optimized for short for shortcuts uh and uh you know it will you will suffer you'll have a lot of issues with that application uh so I think starting your codebase with uh like very strong constraints is very much needed uh because like when you have a codebase that you can trust

Ừ, các agent của bạn hiểu nó theo một cách nào đó, nhưng chúng đã xây dựng thứ gì đó được tối ưu cho các lối tắt, và bạn sẽ phải chịu đựng, bạn sẽ gặp rất nhiều vấn đề với ứng dụng đó. Vì vậy tôi nghĩ việc bắt đầu codebase với những ràng buộc rất chặt chẽ là rất cần thiết, bởi vì khi bạn có một codebase mà bạn có thể tin tưởng

33:52

right when you have guardrails that actually help you uh help your agents write good code.

Đúng vậy, khi bạn có những rào chắn thực sự giúp bạn, giúp các agent của bạn viết code tốt.

33:57

You can get into the you know like into this part of the curve where I where like I said you know I woke up today and I had like 20 PRs merged u by my agents and that's because I invested a lot a lot of time uh over 600 PRs I I calculated yesterday uh when I refactored all of

Bạn có thể tiến vào phần này của đường cong, nơi mà như tôi đã nói, hôm nay tôi thức dậy và có khoảng 20 PR đã được các agent của tôi merge, và đó là vì tôi đã đầu tư rất nhiều thời gian, hơn 600 PR, tôi đã tính hôm qua, khi tôi refactor toàn bộ

34:18

Grockbot to this new architecture that I've been building.

Grockbot sang kiến trúc mới mà tôi đang xây dựng.

34:20

Um, and yeah, I've gotten to a point where I I don't really look I really don't look at the code anymore.

Ừm, và đúng vậy, tôi đã đạt đến mức mà tôi thực sự không còn nhìn vào code nữa.

34:27

And um, I say that not just, you know, to sell you tokens, but because I, you know, it it took a lot of work to get to that point.

Và ừm, tôi nói điều đó không chỉ để bán token cho bạn, mà vì tôi biết nó đã tốn rất nhiều công sức để đạt đến điểm đó.

34:36

I spent a lot of tokens to get the codebase to this point where I no longer

Tôi đã tiêu rất nhiều token để đưa codebase đến điểm mà tôi không còn

34:42

have to look at it.

phải nhìn vào nó nữa.

34:43

Uh, but I'm very excited because, you know, of the potential where, you know, it's not just this doesn't just benefit me.

Ừ, nhưng tôi rất hào hứng vì tiềm năng của nó, bạn biết đấy, nó không chỉ có lợi cho tôi.

34:50

It benefits everyone contributing to Grockbot and it also empowers you know designers and product managers and you know pe uh even GTM people to add features to Grockbot and I don't have to worry you know I don't have to wake up at night in the middle of the

Nó có lợi cho tất cả những người đóng góp cho Grockbot và nó cũng trao quyền cho các nhà thiết kế, quản lý sản phẩm và cả những người làm GTM để thêm tính năng vào Grockbot, và tôi không phải lo lắng, tôi không phải thức dậy vào giữa

35:05

night and worry like oh someone's just merged a perf regression right I have a ton of constraints and CI like it's actually very annoying to write code in graph web but like agents absorb all of that annoyance Um but yeah, I'm happy to talk about what exactly that is.

đêm và lo rằng ai đó vừa merge một regression về hiệu năng. Tôi có rất nhiều ràng buộc và CI, thực sự viết code trong Graph Web rất khó chịu, nhưng các agent hấp thụ hết sự khó chịu đó. Ừ, tôi sẵn sàng nói về chính xác đó là gì.

35:22

Um - yeah, I think one question um - yeah, - before we get into the this part here is just around that element of like what

Ừm - ừ, tôi nghĩ một câu hỏi ừm - ừ, - trước khi chúng ta đi vào phần này, chỉ là về yếu tố đó, kiểu như

35:31

your your CI looks like or maybe some of the constraints and then also like the average PR size.

CI của bạn trông như thế nào, hoặc có thể là một số ràng buộc, và cả kích thước PR trung bình.

35:36

I saw a question about that earlier just to give people you know kind of a glance.

Tôi thấy một câu hỏi về điều đó trước đó, chỉ để cho mọi người có cái nhìn tổng quan.

35:41

It doesn't have to be like mathematically average but just uh you know like what generally the size of the a PR is.

Không cần phải chính xác về mặt toán học, nhưng chỉ là nói chung kích thước của một PR là bao nhiêu.

35:48

um if it's only a couple lines of code or you know um yeah - um I think it depends uh let me

Ừm, nếu nó chỉ là vài dòng code hay là ừm, ừ - ừm tôi nghĩ nó phụ thuộc, để tôi

35:55

- I'm trying to do this in a way where I'm not going to like - you yeah you don't have to share the actual number like an actual average - I think this is fine - benchmark - but like we have so okay this is not that interesting but uh well fun fact is that virtualization in grockbot and in uh cursor is actually powered by uh Pretext uh which is a sort of new

- Tôi đang cố làm điều này theo cách mà tôi sẽ không - ừ, bạn không cần phải chia sẻ con số thực tế như trung bình thực - Tôi nghĩ điều này ổn - benchmark - nhưng chúng tôi có, okay điều này không thú vị lắm nhưng thực ra một sự thật thú vị là virtualization trong Grockbot và trong Cursor thực ra được cung cấp bởi Pretext, một thư viện

36:19

library that someone's built.

mới mà ai đó đã xây dựng.

36:20

Um that's really interesting.

Ừm, điều đó thực sự thú vị.

36:21

You should you should check it out, but that's not really that important.

Bạn nên xem thử, nhưng điều đó không quan trọng lắm.

36:25

Uh I think the average PR size I actually don't know.

Ừ, tôi thực sự không biết kích thước PR trung bình.

36:28

I I don't know if I want to click on these.

Tôi không biết mình có muốn nhấp vào những cái này không.

36:31

Uh I probably can, but I would say like they can range anywhere from a few hundred lines or 50 lines to like a thousand depending on what the thing is

Ừ, tôi có thể làm được, nhưng tôi muốn nói rằng chúng có thể dao động từ vài trăm dòng hoặc 50 dòng đến khoảng một nghìn dòng tùy thuộc vào việc thứ đó đang

36:41

doing.

làm gì.

36:41

Uh, so like here I'm actually like deleting a bunch of files.

Ừ, nên ở đây tôi thực ra đang xóa một loạt file.

36:45

So I expect that it's just like mostly deletion.

Nên tôi mong đợi nó chủ yếu là xóa.

36:48

Uh, but yeah, it kind of varies.

Ừ, nhưng nó khá đa dạng.

36:51

- There's no like Yeah, - there's no like hard cap or hard limit.

- Không có kiểu ừ, - không có giới hạn cứng hay hạn mức cứng.

36:54

Are they're all like 50 line PR?

Có phải tất cả đều là PR 50 dòng không?

36:55

- There's no hard cap.

- Không có giới hạn cứng.

36:56

Yeah, there's definitely no hard cap, but I do encourage my agents to split up their work into multiple PRs.

Đúng, chắc chắn không có giới hạn cứng, nhưng tôi khuyến khích các agent của mình chia công việc thành nhiều PR.

37:01

Uh I do that mostly because uh I like I like the idea of the I guess maybe this is much harder to do now as in the world of agents and you have like so many commits but I like the idea that you know the git history is a very rich source of context.

Ừ, tôi làm vậy chủ yếu vì tôi thích ý tưởng rằng, tôi đoán có lẽ điều này khó hơn nhiều trong thế giới agent khi bạn có quá nhiều commit, nhưng tôi thích ý tưởng rằng lịch sử git là một nguồn ngữ cảnh rất phong phú.

37:16

Uh,

Ừ,

37:17

and I like the I like each PR to sort of atomically describe what that small piece of thing is doing, which also makes it easier for me to revert changes and like figure out, you know, oh, I shipped a bug and it's just it's here, right?

Và tôi thích mỗi PR mô tả một cách nguyên tử những gì phần nhỏ đó đang làm, điều này cũng giúp tôi dễ dàng revert các thay đổi và tìm ra, kiểu như, ồ, tôi đã ship một bug và nó chỉ ở đây thôi, đúng không?

37:33

It's not in this 40,000 line PR where you who knows what landed in there.

Nó không nằm trong cái PR 40.000 dòng mà bạn không biết cái gì đã vào đó.

37:38

Uh, but I don't have a hard cap on PR size.

Ừ, nhưng tôi không có giới hạn cứng về kích thước PR.

37:42

- Cool.

- Tuyệt.

37:42

And then um yeah, also quick question on like CI.

Và sau đó ừm, đúng rồi, cũng có một câu hỏi nhanh về CI.

37:45

So again, you don't have to go into like uh the screen share of like your CI does, but just generally would you describe what the CI kind of looks like uh or how strict it is?

Vậy một lần nữa, bạn không cần phải đi vào phần chia sẻ màn hình về CI của bạn, nhưng nói chung bạn có thể mô tả CI trông như thế nào hoặc nó nghiêm ngặt đến mức nào không?

37:55

- Uh yeah.

- Ừ, đúng vậy.

37:56

So uh well specifically for Grockbot.

Vậy ừ, cụ thể là cho Grockbot.

37:58

So Dune is the is the sort of cheeky code name for the architecture that we've built for Grockbot.

Vậy Dune là tên mã hơi đùa cợt cho kiến trúc mà chúng tôi đã xây dựng cho Grockbot.

38:06

Um the CI looks pretty annoying because there's checks for everything.

Ừm, CI trông khá khó chịu vì có kiểm tra cho mọi thứ.

38:11

So like literally I have um uh well if you've written any react for example you know you know that one of the biggest foot guns in react is use effect.

Vậy nên thực sự, tôi có ừm, nếu bạn đã từng viết React chẳng hạn, bạn biết rằng một trong những cạm bẫy lớn nhất trong React là useEffect.

38:23

Uh so in

Ừ, vậy trong

38:25

uh Dune and in graphbot we've banned use effect.

Uh Dune và trong graphbot chúng tôi đã cấm sử dụng effect.

38:27

So Dune is just you can the mental model of what Dune is uh you can kind of think of it as like Nex.js for uh electron apps and it's designed for agents to write uh and it's like custom for you know our agent powered applications.

Vậy Dune chỉ là bạn có thể mô hình hóa trong đầu về Dune là gì, ừm bạn có thể nghĩ về nó như kiểu Nex.js cho các ứng dụng electron và nó được thiết kế để các agent viết, ừm và nó tùy chỉnh cho bạn biết đấy, các ứng dụng do agent vận hành của chúng tôi.

38:42

Um so the CI checks are very like specific to that like you know don't use effect it's it's it's

Ừm nên các kiểm tra CI rất là cụ thể cho việc đó, kiểu như bạn biết đấy, đừng dùng effect, nó nó nó

38:49

banned like CI will fail uh and yell at you.

Bị cấm, kiểu như CI sẽ thất bại, ừm và mắng bạn.

38:52

We have like some of the more interesting ones that people might raise eyebrows is like I actually ban code comments as well uh which is very interesting.

Chúng tôi có một số cái thú vị hơn mà mọi người có thể sẽ nhướng mày, kiểu như tôi thực sự cũng cấm cả comment trong code nữa, ừm, điều này rất thú vị.

39:02

Uh, but I've noticed that 99% of the time agents just write code comments that kind of describe some historical thing that is actually totally irrelevant to the code.

Ừm, nhưng tôi đã nhận thấy rằng 99% thời gian các agent chỉ viết comment trong code kiểu mô tả một điều gì đó mang tính lịch sử mà thực ra hoàn toàn không liên quan đến code.

39:13

Um, like

Ừm, kiểu như

39:14

it will often say like, you know, oh, Lauren said you should never do this and it's now in a code comment.

Nó sẽ thường nói kiểu, bạn biết đấy, ồ, Lauren nói rằng bạn không bao giờ nên làm điều này và giờ nó nằm trong một comment trong code.

39:19

I'm like, what?

Tôi kiểu, cái gì?

39:20

Like why?

Kiểu tại sao?

39:21

What?

Cái gì?

39:21

That was I didn't say that as like a durable, you know, global rule.

Đó là, tôi đâu có nói điều đó như một quy tắc toàn cục lâu dài, bạn biết đấy.

39:25

I just meant like your this PR sucks and you should change that part.

Tôi chỉ có ý là cái PR này của bạn tệ và bạn nên thay đổi phần đó.

39:29

agents don't really understand us that well surprisingly uh and or they kind of assume too much and they kind of do things in like very stupid ways.

Các agent thực sự không hiểu chúng ta rõ lắm, đáng ngạc nhiên là vậy, ừm, hoặc là chúng giả định quá nhiều và chúng làm mọi thứ theo những cách khá là ngớ ngẩn.

39:38

So like yeah we just ban everything you can imagine like the agents are bad at we ban.

Nên kiểu như, ừ, chúng tôi cấm mọi thứ bạn có thể tưởng tượng mà các agent làm kém, chúng tôi đều cấm.

39:44

Uh so one example that we actually suffer a lot in the agents window is we have uh you know you if you've used the agents window you've

Ừm nên một ví dụ mà chúng tôi thực sự chịu đựng rất nhiều trong cửa sổ agents là chúng tôi có, ừm, bạn biết đấy, nếu bạn đã dùng cửa sổ agents thì bạn

39:54

definitely seen performance issues and you know we're constantly trying to fix them.

Chắc chắn đã thấy các vấn đề về hiệu năng và bạn biết đấy, chúng tôi liên tục cố gắng sửa chúng.

39:58

Uh but it's like a it's a never- ending struggle because there's so many pull requests that get merged.

Ừm nhưng nó giống như một cuộc đấu tranh không hồi kết vì có quá nhiều pull request được merge.

40:04

Every any one of them could just regress performance or stability or reliability.

Bất kỳ một trong số chúng đều có thể làm suy giảm hiệu năng hoặc độ ổn định hoặc độ tin cậy.

40:09

Uh you know the agents window doesn't have this architecture yet.

Ừm, bạn biết đấy, cửa sổ agents chưa có kiến trúc này.

40:12

I plan to do bring this learning back there and kind of refactor everything there.

Tôi dự định mang những bài học này trở lại đó và kiểu như refactor mọi thứ ở đó.

40:17

uh but uh it just regresses super often uh because uh there's just one example is like we have very poor um isolation between processes.

Ừm nhưng ừm nó cứ bị suy giảm siêu thường xuyên, ừm bởi vì ừm, chỉ một ví dụ thôi là chúng tôi có sự tách biệt rất kém, ừm, giữa các tiến trình.

40:25

So like on you know on Electron you have a renderer thread that renders your UI but you also have like a

Nên kiểu như trên, bạn biết đấy, trên Electron bạn có một luồng renderer để render UI của bạn nhưng bạn cũng có kiểu như một

40:33

main thread that you can run other code that you know doesn't need to block the renderer.

Luồng main mà bạn có thể chạy code khác mà bạn biết đấy, không cần phải chặn renderer.

40:39

Um, but we do a poor job of separating those things and so often times you just accidentally have code that gets pulled into running on the renderer thread and then all of a sudden you're competing with the renderer that you know that has a very if you want like 60 fps you have to every frame that gets drawn has to be done in 16 milliseconds.

Ừm, nhưng chúng tôi làm kém trong việc tách biệt những thứ đó và nên thường thì bạn chỉ vô tình có code bị kéo vào chạy trên luồng renderer và rồi đột nhiên bạn đang cạnh tranh với renderer mà bạn biết đấy, có một, nếu bạn muốn kiểu như 60 fps thì mỗi frame được vẽ phải được hoàn thành trong 16 mili giây.

40:59

So very very small you know deadline per frame

Nên là deadline mỗi frame rất rất nhỏ, bạn biết đấy

41:02

uh if you want you know a very smooth product.

Ừm nếu bạn muốn, bạn biết đấy, một sản phẩm rất mượt mà.

41:05

Uh and when you start building bringing in accidentally bringing in you know things that are like very computationally heavy or they have a lot of IO uh then you just get into like a lot of jank your FPS really drops.

Ừm và khi bạn bắt đầu xây dựng, vô tình mang vào, bạn biết đấy, những thứ kiểu như rất nặng về tính toán hoặc chúng có nhiều IO, ừm thì bạn sẽ rơi vào kiểu như rất nhiều jank, FPS của bạn thực sự tụt giảm.

41:18

You start uh you know losing frames.

Bạn bắt đầu, ừm, bạn biết đấy, mất frame.

41:20

You get long tasks that take more than 16 milliseconds and you just get this

Bạn có những long task mất hơn 16 mili giây và bạn chỉ nhận được cái

41:25

really choppy experience.

Trải nghiệm thực sự giật lag.

41:27

So all of those patterns that we've learned basically building electron apps we've encoded into this framework and it becomes like a hard failure.

Nên tất cả những pattern mà chúng tôi đã học được, cơ bản là từ việc xây dựng các ứng dụng electron, chúng tôi đã mã hóa vào framework này và nó trở thành kiểu như một lỗi cứng.

41:36

So I literally in grabbot we literally have a directory called electron main electron renderer and we have a import uh CI guess where we actually check the dependency graph to make sure you're not accidentally importing code from one

Nên tôi thực sự, trong grabbot, chúng tôi thực sự có một thư mục gọi là electron main, electron renderer và chúng tôi có một import, ừm, đoán là CI, nơi chúng tôi thực sự kiểm tra dependency graph để đảm bảo bạn không vô tình import code từ một

41:52

directory to another.

Thư mục sang thư mục khác.

41:53

Uh so that's enforced by CI um as well as bug bots uh which is our which cursors um like code review tool that runs on CI uh you know in our agents MD it's everywhere like so I I um I have this thing here where I talk about like um you know like there are multiple layers I think for building a good codebase.

Ừm nên điều đó được CI thực thi, ừm, cũng như bug bots, ừm, đó là công cụ review code của cursors, ừm, chạy trên CI, ừm, bạn biết đấy, trong agents MD của chúng tôi, nó ở khắp mọi nơi, kiểu như vậy. Nên tôi, tôi, ừm, tôi có cái này ở đây nơi tôi nói về kiểu như, ừm, bạn biết đấy, có nhiều tầng, tôi nghĩ vậy, để xây dựng một codebase tốt.

42:17

Uh obviously the codebase is one where uh if you have

Ừm rõ ràng là codebase là một trong số đó, ừm, nếu bạn có

42:21

an architecture like this where it's extremely strict uh you know the the way to build features is very conventional that's like the strongest strongest level of enforcement because agents just love to copy existing patterns.

Một kiến trúc như thế này, nơi nó cực kỳ nghiêm ngặt, ừm, bạn biết đấy, cách để xây dựng tính năng rất là theo quy ước, đó là mức độ thực thi mạnh nhất, mạnh nhất, bởi vì các agent rất thích sao chép các pattern có sẵn.

42:33

So uh one example of this in Rockbot is like we have this these concepts called like a feature and we have entry points and transcript cards

Nên ừm, một ví dụ về điều này trong Rockbot là kiểu như chúng tôi có những khái niệm này gọi là feature và chúng tôi có các entry point và transcript card

42:43

like oh you know the cards that you see in the chat these are all like nouns I guess in the framework and so there's a very conventional way of creating them and so like a feature is all in a single directory as an example and so all of the code that contributes to that feature lives in one directory so it's all collocated in one place makes It's super easy.

Kiểu như ồ, bạn biết đấy, những card mà bạn thấy trong chat, đây đều là kiểu như các danh từ, tôi đoán vậy, trong framework và nên có một cách rất theo quy ước để tạo chúng, và kiểu như một feature thì tất cả nằm trong một thư mục duy nhất, ví dụ vậy, và nên tất cả code đóng góp cho feature đó nằm trong một thư mục, nên tất cả được đặt cùng chỗ ở một nơi, khiến nó siêu dễ dàng.

43:05

You know,

Bạn biết đấy,

43:06

agents don't have to like uh grap around and try to figure out like where all the things are.

Các agent không phải kiểu như ừm, mò mẫm xung quanh và cố gắng tìm ra kiểu như mọi thứ ở đâu.

43:11

It just looks at the feature and like, oh, okay, I'm working on the onboarding feature in Grockbot.

Nó chỉ nhìn vào feature và kiểu như, ồ, được rồi, tôi đang làm việc trên feature onboarding trong Grockbot.

43:15

Uh, I'm just going to work in this directory.

Ừm, tôi sẽ chỉ làm việc trong thư mục này.

43:18

And for 80% of the work, it's mostly just very encapsulated there.

Và với 80% công việc, nó hầu như chỉ rất là được đóng gói ở đó.

43:23

clears throat But, uh, like it's like very it's like designed again for you know like the dumbest agent like you don't have to think, right?

[hắng giọng] Nhưng, ừm, kiểu như nó, nó lại được thiết kế, bạn biết đấy, cho cả những agent ngốc nghếch nhất, kiểu như bạn không phải suy nghĩ, đúng không?

43:32

the the one of the key principles I have for this framework is like the shortest the shortest path is the best path.

Một trong những nguyên tắc chính tôi có cho framework này là kiểu như con đường ngắn nhất là con đường tốt nhất.

43:40

So uh because that plays exactly to how agents love to write code is like they like to take shortcuts really you know they'll find the quickest way to solve the problem.

Nên ừm, bởi vì điều đó khớp chính xác với cách các agent thích viết code, kiểu như chúng thích đi đường tắt, bạn biết đấy, chúng sẽ tìm cách nhanh nhất để giải quyết vấn đề.

43:50

So why not make that the best way to solve the problem?

Vậy tại sao không biến đó thành cách tốt nhất để giải quyết vấn đề?

43:54

Uh so I probably won't get into all the specific details.

Ừm nên tôi có lẽ sẽ không đi vào tất cả các chi tiết cụ thể.

43:58

Um and uh the this framework is really more of a collection of ideas and principles rather than

Ừm và ừm, framework này thực sự giống như một tập hợp các ý tưởng và nguyên tắc hơn là

44:04

something that will open source.

Một cái gì đó sẽ được mở mã nguồn.

44:05

Uh you can you can you know screenshot this I guess if you want and uh tell your agent to uh do some build something like this for you too.

Ừ, bạn có thể chụp ảnh màn hình cái này nếu muốn và bảo agent của bạn làm gì đó tương tự cho bạn.

44:15

Um yeah, but it's really all about the layers uh you know like the codebase is one part with features uh and directories and you know import or blocking import dependencies uh that shouldn't be imported uh but and it all enforces that and static analysis.

Ừ, nhưng thực sự tất cả là về các lớp, bạn biết đấy, codebase là một phần với các tính năng và thư mục và bạn biết đấy, import hoặc chặn import các phụ thuộc không nên được import, nhưng tất cả đều thực thi điều đó và phân tích tĩnh.

44:32

So like uh there's CI checks, we have a lot of lints for bad patterns that we observe.

Vì vậy, có các kiểm tra CI, chúng tôi có rất nhiều lint cho các mẫu xấu mà chúng tôi quan sát được.

44:39

uh compiler diagnostics uh there's also rules and bugbot which are um I think like three four five are more soft right these two actually make make CI red right so that you know there's a hard constraint where the agent can't just write crappy code for rules and skills and bogbot your

Chẩn đoán trình biên dịch, cũng có các quy tắc và bugbot, tôi nghĩ là ba bốn năm thì mềm hơn, hai cái này thực sự làm CI đỏ, vì vậy bạn biết đấy, có một ràng buộc cứng mà agent không thể chỉ viết code tồi cho các quy tắc và kỹ năng và bugbot của bạn.

45:02

agents can still forget right you can still or it may not always consistently apply them So, I like to layer them, but I don't I don't like to rely on them as the only source of enforcement because it's very soft, right?

Agent vẫn có thể quên, bạn vẫn có thể hoặc nó có thể không luôn áp dụng chúng một cách nhất quán. Vì vậy, tôi thích xếp lớp chúng, nhưng tôi không thích dựa vào chúng như nguồn thực thi duy nhất vì nó rất mềm, đúng không?

45:15

And if you if you only have rules and bug bar and skills and a style guide for your code, you will it's only a matter of time before your codebase looks like complete

Và nếu bạn chỉ có các quy tắc và bug bar và kỹ năng và hướng dẫn phong cách cho code của bạn, thì chỉ là vấn đề thời gian trước khi codebase của bạn trông hoàn toàn

45:26

trash.

Rác.

45:26

I'm sorry to say that, but uh I definitely recommend yeah like you know investing in you know things that can be hard and forced, right?

Tôi xin lỗi phải nói điều đó, nhưng tôi chắc chắn khuyên bạn nên đầu tư vào những thứ có thể cứng và bắt buộc, đúng không?

45:35

And this is why you know maybe uh the choice of text stack that you use is also very important.

Và đây là lý do tại sao có thể lựa chọn stack văn bản bạn sử dụng cũng rất quan trọng.

45:41

Um like I think for example Rust is sort of making you know it's like getting super popular again.

Ừ, tôi nghĩ ví dụ như Rust đang trở nên siêu phổ biến trở lại.

45:48

Uh because the compiler is so strict right

Ừ, vì trình biên dịch rất nghiêm ngặt, đúng không

45:51

the compiler enforces so many different things.

Trình biên dịch thực thi rất nhiều thứ khác nhau.

45:53

you know, there's a borrow checker that you have to appease and if as long as you make sure your agents don't write unsafe code blocks, uh you can more or less feel somewhat confident that if the code compiles, it's probably works and it's good.

Bạn biết đấy, có một borrow checker mà bạn phải làm hài lòng và miễn là bạn đảm bảo agent của bạn không viết các khối code không an toàn, bạn có thể ít nhiều cảm thấy tự tin rằng nếu code biên dịch được, nó có thể hoạt động và tốt.

46:07

Uh but you see, it gives you that level of trust and confidence that you as a human engineer

Nhưng bạn thấy đấy, nó cho bạn mức độ tin tưởng và tự tin mà bạn với tư cách là một kỹ sư con người

46:13

no longer need to go and check it yourself.

Không còn cần phải tự kiểm tra nữa.

46:16

you know, you rely on code and static analysis to actually make that uh a lot smoother.

Bạn biết đấy, bạn dựa vào code và phân tích tĩnh để thực sự làm cho điều đó trơn tru hơn nhiều.

46:23

Um, and I guess the worst part, the worst place to be in is if you are stuck in code review land where you actually enforce all of the constraints, the invariance in your codebase by literally the human person saying, you know, reading the code and

Ừ, và tôi đoán phần tồi tệ nhất, nơi tồi tệ nhất để ở là nếu bạn bị mắc kẹt trong vùng đánh giá code nơi bạn thực sự thực thi tất cả các ràng buộc, các bất biến trong codebase của bạn bằng cách con người đọc code và

46:41

like, okay, you should not do this, right?

Như kiểu, được rồi, bạn không nên làm điều này, đúng không?

46:43

Every time you have to do that, you should consider that as a code smell, like a anti- pattern and you should say, "Okay, instead of me commenting on the PR, how do I turn this into a hard rule, right?

Mỗi lần bạn phải làm điều đó, bạn nên coi đó là một mùi code, như một mẫu xấu và bạn nên nói, "Được rồi, thay vì tôi bình luận trên PR, làm thế nào để biến điều này thành một quy tắc cứng, đúng không?

46:55

How do I turn this into a lint rule?

Làm thế nào để biến điều này thành một quy tắc lint?

46:57

How do I turn this into a CI failure?

Làm thế nào để biến điều này thành một lỗi CI?

47:00

Or how do I even categorically eliminate this problem uh

Hoặc làm thế nào để tôi thậm chí loại bỏ hoàn toàn vấn đề này một cách triệt để

47:03

entirely?" Uh I can talk about another migration I've done, but I'll probably pause here.

Hoàn toàn?" Ừ, tôi có thể nói về một cuộc di chuyển khác tôi đã làm, nhưng có lẽ tôi sẽ tạm dừng ở đây.

47:09

- Sure.

- Chắc chắn rồi.

47:10

- Yeah.

- Ừ.

47:10

I feel like that's that's where I am to be honest.

Tôi cảm thấy đó là nơi tôi đang ở, thành thật mà nói.

47:12

is what you're describing right now, which is that like I don't have all of these rules.

Là những gì bạn đang mô tả ngay bây giờ, đó là tôi không có tất cả các quy tắc này.

47:16

So, I have some things to go do after this session in terms of being able to scale my agents.

Vì vậy, tôi có một số việc phải làm sau phiên này về khả năng mở rộng agent của tôi.

47:21

I'm I'm definitely on like the uh you know, maybe a couple of parallel ones locally stage.

Tôi chắc chắn đang ở mức có thể là một vài cái song song cục bộ.

47:24

So, like two to three locally, and I'm sure most

Vì vậy, như hai đến ba cục bộ, và tôi chắc hầu hết

47:27

people here are on the same.

Mọi người ở đây cũng vậy.

47:28

So, uh yeah, I know we only couple minutes left.

Vì vậy, ừ, tôi biết chúng ta chỉ còn vài phút.

47:31

Lauren, was there anything else that you wanted to highlight?

Lauren, có điều gì khác bạn muốn nhấn mạnh không?

47:34

Obviously, there's lots of questions, so I can grab more, but I want to give you a few minutes if there's anything else you want to talk Well, I think I've been yapping for quite a lot, so I'm maybe let's just do questions.

Rõ ràng, có rất nhiều câu hỏi, vì vậy tôi có thể lấy thêm, nhưng tôi muốn cho bạn vài phút nếu có điều gì khác bạn muốn nói. Chà, tôi nghĩ tôi đã nói khá nhiều, vì vậy có lẽ chúng ta chỉ làm câu hỏi thôi.

47:43

- Okay, cool.

- Được rồi, tuyệt.

47:43

Uh, one question that had uh a couple of uh came up a couple times was just around like token usage.

Ừ, một câu hỏi đã xuất hiện vài lần là về việc sử dụng token.

47:50

- So, the question is like is what you're describing a realistic thing for people who are on, you know, uh a normal set of token usage.

- Vậy, câu hỏi là liệu những gì bạn đang mô tả có thực tế cho những người đang ở mức sử dụng token bình thường không.

47:59

They don't have, you know, basically unlimited tokens uh to work with.

Họ không có, bạn biết đấy, cơ bản là token không giới hạn để làm việc.

48:04

- I think that's a really good point.

- Tôi nghĩ đó là một điểm rất hay.

48:05

I mean like obviously you know I work at a AI lab where we have unlimited tokens.

Ý tôi là rõ ràng bạn biết tôi làm việc tại một phòng thí nghiệm AI nơi chúng tôi có token không giới hạn.

48:09

So uh I definitely cannot say that you know this is something everyone should do in the exact same way that I did it.

Vì vậy, ừ, tôi chắc chắn không thể nói rằng đây là điều mọi người nên làm theo cách chính xác như tôi đã làm.

48:17

I think it's possible to get to this point without you know breaking the bank.

Tôi nghĩ có thể đạt được điểm này mà không cần phá vỡ ngân hàng.

48:23

But you know if you're like an engineering leader or you know you're you have a startup that you lead um I think to me it's a question of ROI.

Nhưng bạn biết đấy, nếu bạn là một nhà lãnh đạo kỹ thuật hoặc bạn có một startup mà bạn lãnh đạo, tôi nghĩ với tôi đó là câu hỏi về ROI.

48:31

Um, and it's like, uh, yes, you spend a lot of money on tokens in the upfront stage, you know, like refactoring a codebase is going to take a lot of tokens.

Ừ, và nó giống như, vâng, bạn chi rất nhiều tiền cho token ở giai đoạn ban đầu, bạn biết đấy, việc tái cấu trúc một codebase sẽ tốn rất nhiều token.

48:41

Uh, adding all these things uh, is going to take a bunch of tokens.

Ừ, việc thêm tất cả những thứ này sẽ tốn một đống token.

48:45

But if we're

Nhưng nếu chúng ta đang

48:46

heading to a world where agents are writing all the code and, you know, you want to be very lean, right?

Hướng tới một thế giới nơi agent viết tất cả code và bạn biết đấy, bạn muốn rất tinh gọn, đúng không?

48:52

You don't want to have to hire, you don't want to be, you don't want to become like meta, right?

Bạn không muốn phải thuê, bạn không muốn trở thành như meta, đúng không?

48:57

Like I mean like in terms of you don't want to become a 10,000 person engineering org because I mean that's a cool problem to have but also you have so much overhead.

Ý tôi là về mặt bạn không muốn trở thành một tổ chức kỹ thuật 10.000 người vì ý tôi là đó là một vấn đề thú vị để có nhưng cũng có quá nhiều chi phí.

49:07

There's like planning

Có kiểu như lập kế hoạch

49:08

you know like you it's it's a personally I wouldn't uh it's not super fun but um I think you want to stay very nimble right and you want to you want to be like agents are all about allowing you to do things that you couldn't do before.

Bạn biết đấy, cá nhân tôi thì tôi sẽ không, nó không siêu vui nhưng mà tôi nghĩ bạn muốn giữ thật linh hoạt đúng không và bạn muốn bạn muốn giống như các agent là tất cả về việc cho phép bạn làm những thứ mà bạn không thể làm trước đây.

49:22

That's really to me like the value of agents, you know?

Đó thực sự với tôi là giá trị của các agent, bạn biết không?

49:25

It's not just storing tokens on every single little thing, but um to me like the thing I

Nó không chỉ là lưu token vào từng thứ nhỏ nhặt, mà với tôi thì điều tôi

49:31

couldn't do before is like enforce this level of constraints in a codebase by myself, right?

Không thể làm trước đây là kiểu như tự mình thực thi mức độ ràng buộc này trong một codebase, đúng không?

49:36

Like I'm just a single person, you know?

Kiểu như tôi chỉ là một người thôi, bạn biết không?

49:39

Uh it would have taken me years to build this framework uh and do all the refactoring and test everything myself and verify, you know, like run imagine if there it was just me, right?

Ừ thì tôi sẽ mất nhiều năm để xây dựng framework này và làm hết việc refactoring và test mọi thứ một mình và xác minh, bạn biết đấy, kiểu như hãy tưởng tượng nếu chỉ có mình tôi, đúng không?

49:52

you know in pre- agent era just like running you know by it would

Bạn biết đấy, trong thời kỳ tiền agent thì kiểu như chạy, bạn biết đấy, nó sẽ

49:57

take me so long right and my salary is pretty high right like so you know the the question I think an engineering leader might have is just then you know like what is there's a trade-off of do you hire someone to do this or do you spend the tokens to set up a code base so that even the most naive right the dumbest agents can do a good job and when you actually get to this point like

Mất quá lâu cho tôi, đúng không, và lương tôi khá cao, đúng không, nên bạn biết đấy, câu hỏi mà tôi nghĩ một lãnh đạo kỹ thuật có thể có chỉ là, bạn biết đấy, có một sự đánh đổi là bạn thuê ai đó làm việc này hay bạn tiêu token để thiết lập một codebase sao cho ngay cả những agent ngây thơ nhất, đúng không, ngốc nghếch nhất cũng có thể làm tốt, và khi bạn thực sự đạt đến điểm này thì

50:22

even agents that are not you know fable size do an excellent job of writing code and this pays a lot of dividends as well for me personally where I've empowered not just myself but again like PMS designers engineers who are not familiar with Grockbot to just contribute in a way that is sustainable so I think yeah it's definitely like a trade-off for sure you know like nothing

Ngay cả những agent không phải, bạn biết đấy, cỡ huyền thoại cũng làm rất xuất sắc việc viết code và điều này cũng mang lại rất nhiều lợi ích cho cá nhân tôi, nơi tôi đã trao quyền không chỉ cho bản thân mà còn cho cả các PM, designer, kỹ sư những người không quen với Grockbot để họ đóng góp theo cách bền vững, nên tôi nghĩ đúng, nó chắc chắn là một sự đánh đổi, bạn biết đấy, không có gì

50:48

is like free for sure uh and tokens are pretty expensive Uh but oh actually uh I I don't know how many of you have seen this but we actually announced Grock 4.6 today.

Là miễn phí cả, đúng không, và token thì khá đắt. Nhưng ồ thật ra tôi không biết có bao nhiêu người trong các bạn đã thấy điều này nhưng hôm nay chúng tôi thực sự đã công bố Grock 4.6.

50:58

So very exciting finally out.

Rất hào hứng, cuối cùng cũng ra mắt.

51:00

Um so yeah, GRO 4.6 would be like a great it was very smart.

Ừm, vậy đúng, GRO 4.6 sẽ là một cái rất tuyệt, nó rất thông minh.

51:05

Uh it's really good on the on the benchmarks.

Ừ, nó thực sự tốt trên các benchmark.

51:07

Uh and it's the same the tokens uh well uh I hopefully I'm not saying this

Ừ và nó giống nhau, token thì ừm, tôi hy vọng tôi không nói điều này

51:13

incorrectly, but uh I believe the cost per token is the same as 4.5.

Sai, nhưng tôi tin rằng chi phí mỗi token là giống như 4.5.

51:18

So you're actually getting more intelligence for the same cost.

Nên thực ra bạn đang nhận được nhiều trí tuệ hơn với cùng một chi phí.

51:21

Uh I think this is an area that cursor tries to cursor and SpaceX AI try to really optimize for like that heredto frontier of you know cost versus intelligence.

Ừ tôi nghĩ đây là một lĩnh vực mà cursor cố gắng, cursor và SpaceX AI cố gắng thực sự tối ưu hóa cho kiểu như biên giới xa nhất đó của bạn biết đấy, chi phí so với trí tuệ.

51:32

Uh you know we don't necessarily want to build the biggest model ever because that is

Ừ bạn biết đấy, chúng tôi không nhất thiết muốn xây dựng mô hình lớn nhất từng có bởi vì điều đó

51:38

extremely expensive to run.

Cực kỳ tốn kém để vận hành.

51:39

It's really about like how do you find that sweet spot right?

Nó thực sự là về việc làm thế nào bạn tìm được điểm ngọt ngào đó, đúng không?

51:42

you don't you don't need a giant model, but it's just super smart, right?

Bạn không cần một mô hình khổng lồ, nhưng nó chỉ siêu thông minh, đúng không?

51:47

And it's not very expensive for inference.

Và nó không quá đắt cho việc suy luận.

51:49

Uh but um yeah, I think to kind of round it up, um I think it's like a it's it's there's a if you do your own analysis, I feel like it's pretty positive.

Ừ nhưng ừm, đúng, tôi nghĩ để tóm lại thì ừm tôi nghĩ nó kiểu như, có một, nếu bạn tự phân tích thì tôi cảm thấy nó khá tích cực.

51:59

It'll be pretty positive that the ROI you get from investing in stuff like this uh just empowers not just yourself, but your whole team to be so much more productive, right?

Nó sẽ khá tích cực rằng ROI bạn nhận được từ việc đầu tư vào những thứ như thế này ừ chỉ trao quyền không chỉ cho bản thân bạn mà cho cả toàn bộ đội của bạn để họ năng suất hơn rất nhiều, đúng không?

52:10

Like imagine if you have an army of engineers like me who

Kiểu như hãy tưởng tượng nếu bạn có một đội quân kỹ sư như tôi, những người

52:14

are shipping so much improvements and and bug fixes uh you know every day, right?

Đang ship rất nhiều cải tiến và sửa lỗi ừ bạn biết đấy, mỗi ngày, đúng không?

52:21

Like that is pretty exciting.

Kiểu như điều đó khá là thú vị.

52:24

- Cool.

- Tuyệt.

52:24

Uh one last question before we wrap up.

Ừ một câu hỏi cuối trước khi chúng ta kết thúc.

52:26

This one is for the people in product on the on the call.

Câu này dành cho những người làm product trong cuộc gọi.

52:29

- So let's say we do have an army of engineers who are shipping like Lauren.

- Vậy giả sử chúng ta thực sự có một đội quân kỹ sư đang ship như Lauren.

52:33

I'm just curious like how is the product team or other functions of your company keeping up given that like if you're shipping so quickly, have are they using AI more to do their jobs?

Tôi chỉ tò mò kiểu như làm thế nào mà đội product hoặc các chức năng khác trong công ty bạn theo kịp, vì nếu bạn ship nhanh như vậy thì họ có đang dùng AI nhiều hơn để làm việc của họ không?

52:41

Like as much as you can speak to that obviously you don't have like you're not in that role but just curious about how that works.

Kiểu như bạn có thể nói về điều đó bao nhiêu cũng được, rõ ràng bạn không ở vai trò đó nhưng chỉ tò mò về cách nó hoạt động.

52:48

- Um I think this is where grathbot has been actually exceedingly powerful.

- Ừm tôi nghĩ đây là nơi grathbot thực sự cực kỳ mạnh mẽ.

52:52

uh where so before graphbot like you know uh obviously cursor only had cursor like we only had agents window we had a CLI we had an IDE and these are really like power user tools right like de they're designed for developers so it's very very developer centric you can do knowledge work in them but it like the

Ừ thì trước graphbot, bạn biết đấy, rõ ràng cursor chỉ có cursor, kiểu như chúng tôi chỉ có cửa sổ agent, chúng tôi có CLI, chúng tôi có IDE và đây thực sự là những công cụ cho người dùng chuyên sâu, đúng không, chúng được thiết kế cho developer nên nó rất rất tập trung vào developer, bạn có thể làm công việc tri thức trong đó nhưng kiểu như

53:12

UI is not really optimized for that, so we actually didn't really have, uh, well, I think like a lot of people, like, you know, GTM product, like, they might have use Cursor, uh, to do their work, but it definitely wasn't like a delightful experience for them.

UI không thực sự được tối ưu cho việc đó, nên thực ra chúng tôi không thực sự có, ừm, tôi nghĩ như nhiều người, kiểu như bạn biết đấy, GTM product, kiểu như họ có thể đã dùng Cursor để làm việc, nhưng nó chắc chắn không phải là một trải nghiệm thú vị cho họ.

53:29

Um, I think now with Grabbot, uh, it's become—Grockbot is basically like the Cursor moment for people who are not in tech, in my opinion, like, it's

Ừm, tôi nghĩ bây giờ với Grabbot, ừ, nó đã trở thành, Grockbot về cơ bản giống như khoảnh khắc Cursor cho những người không làm trong tech, theo ý tôi, kiểu như nó

53:39

like, it's like a very accessible way to use agents in a very comfortable, very familiar interface.

Kiểu như, nó là một cách rất dễ tiếp cận để sử dụng agent trong một giao diện rất thoải mái, rất quen thuộc.

53:44

It looks like iMessage.

Nó trông giống iMessage.

53:45

Um, and it's very fun to, you know, you can give your agent a fun name.

Ừm, và nó rất vui, bạn biết đấy, bạn có thể đặt cho agent của mình một cái tên vui nhộn.

53:50

Uh, you can have—you can kind of do orchestration with in a very, like, natural way where you can sort of, you know, each agent's like a person, right?

Ừ, bạn có thể, bạn có thể kiểu như điều phối theo một cách rất tự nhiên, nơi bạn có thể kiểu như, bạn biết đấy, mỗi agent giống như một người, đúng không?

53:59

Now, you got a team of agents like working on—you have one agent per account that you manage, as an example.

Bây giờ, bạn có một đội agent kiểu như đang làm việc, ví dụ bạn có một agent cho mỗi tài khoản mà bạn quản lý.

54:04

Or if you're a PM, you have, you know, you can have an agent that summarizes all the work that Lauren did last night and then now you know what I did, right?

Hoặc nếu bạn là PM, bạn có, bạn biết đấy, bạn có thể có một agent tóm tắt tất cả công việc mà Lauren đã làm tối qua và rồi bây giờ bạn biết tôi đã làm gì, đúng không?

54:12

So I think our PMs are leveraging that a lot and they're shipping code too.

Nên tôi nghĩ các PM của chúng tôi đang tận dụng điều đó rất nhiều và họ cũng đang ship code.

54:16

Uh, so, you know, like, often times they will just say, oh, here's a bug, I fixed it, can you look at it?

Ừ, nên bạn biết đấy, thường thì họ sẽ chỉ nói, ồ đây là một bug, tôi đã sửa nó, bạn xem được không?

54:22

And then I'll go review it and actually it's just perfect.

Và rồi tôi sẽ đi review nó và thực ra nó hoàn hảo.

54:25

I'm like, okay, stamp.

Tôi kiểu như, được, đóng dấu.

54:26

Uh, so, uh, that, I think that shows that, you know, the Dune architecture is holding up, right?

Ừ, nên ừ, tôi nghĩ điều đó cho thấy rằng, bạn biết đấy, kiến trúc Dune đang trụ vững, đúng không?

54:32

The all the really strict constraints allow

Tất cả những ràng buộc thực sự nghiêm ngặt cho phép

54:34

people who are not experts in engineering to contribute at a high level.

Những người không phải chuyên gia về kỹ thuật cũng có thể đóng góp ở mức độ cao.

54:38

Uh, so I'm—I feel like I'm already seeing that pay off a lot where, uh, you know, designers and PMs are just able to to ship features directly.

Ừ, nên tôi—tôi cảm thấy mình đã thấy điều đó mang lại lợi ích rất nhiều khi, ừ, bạn biết đấy, các nhà thiết kế và PM chỉ có thể trực tiếp phát hành các tính năng.

54:49

Um, and that just makes the Grockbot team super fast, right?

Ừm, và điều đó khiến đội Grockbot trở nên cực kỳ nhanh, đúng không?

54:53

Where we can ship so quickly.

Nơi chúng tôi có thể phát hành rất nhanh.

54:55

Um, and we have a lot planned.

Ừm, và chúng tôi có rất nhiều kế hoạch.

54:58

So, I'm very excited, uh, to, you know, uh, to ship more, ship more

Vì vậy, tôi rất hào hứng, ừ, để, bạn biết đấy, ừ, phát hành thêm, phát hành thêm

Transcript

Hiển thị

AI as a Pair Programmer: Trust and Verification

The speaker explains that AI is best used as a pair programming partner, not as a replacement for writing code or thinking. There is pressure to overuse AI for productivity, but using AI often means spending more time reviewing and correcting its output. Trust in AI agents is crucial; without it, engineers micromanage and cannot scale to many agents. The speaker's journey with AI agents shows increasing trust, leading to auto-merging PRs and high productivity, such as 1000 PRs in a month. Verification—having agents run code and test it—is the most important skill for building trust in AI agents.

Diễn giả giải thích rằng AI được sử dụng tốt nhất như một đối tác lập trình cặp đôi, không phải là sự thay thế cho việc viết mã hay suy nghĩ. Có áp lực phải lạm dụng AI để tăng năng suất, nhưng sử dụng AI thường có nghĩa là dành nhiều thời gian hơn để xem xét và sửa chữa đầu ra của nó. Niềm tin vào các tác nhân AI là rất quan trọng; nếu không có nó, các kỹ sư sẽ quản lý vi mô và không thể mở rộng quy mô cho nhiều tác nhân. Hành trình của diễn giả với các tác nhân AI cho thấy niềm tin ngày càng tăng, dẫn đến việc tự động hợp nhất các PR và năng suất cao, chẳng hạn như 1000 PR trong một tháng. Xác minh—để các tác nhân chạy mã và kiểm tra nó—là kỹ năng quan trọng nhất để xây dựng niềm tin vào các tác nhân AI.

And I think there's a tendency like, you know, because AI is so exciting, you want to put AI everywhere and be seen as someone who's very, you know, um, what do you call it?

Like, uh, on the ball, I guess, with AI.

Kiểu như, ừ, nhanh nhạy, tôi đoán vậy, với AI.

Uh, that you feel this pressure of like, you know, I'm just going to I got to increase my productivity.

Ừ, rằng bạn cảm thấy áp lực kiểu, bạn biết đấy, tôi phải tăng năng suất của mình lên.

I got to ship like 100 PRs this week and barely understand what I'm

Tôi phải gửi đi kiểu 100 PR trong tuần này và hầu như không hiểu mình đang

doing and, you know, vive code my way to a million ARR or whatever.

Làm gì và, bạn biết đấy, cứ thế vibe code đến một triệu ARR hay gì đó.

So, I assume you can see my screen.

Nên, tôi giả sử bạn có thể thấy màn hình của tôi.

- Yes.

- Vâng.

Yeah, we're good.

Ừ, chúng ta ổn rồi.

clears throat So yeah, today yeah I think I think the big theme for me as I've been using agents to write code and I'm sure a lot of you have had the same experience as well is how do you trust it?

You know especially if you are an engineer that's been writing code for a very long time.

Bạn biết đấy, đặc biệt nếu bạn là một kỹ sư đã viết code rất lâu rồi.

You have a lot of opinions and lessons that you've learned about doing good engineering.

Bạn có rất nhiều quan điểm và bài học mà bạn đã rút ra về việc làm kỹ thuật tốt.

You lose a lot of trust.

Bạn mất rất nhiều niềm tin.

And when you lose when you don't

Và khi bạn mất, khi bạn không

have much trust clears throat in your agents, I feel like you really can't get the most out of them.

Có nhiều niềm tin [hắng giọng] vào các agent của mình, tôi cảm thấy bạn thực sự không thể tận dụng tối đa chúng.

And for me, the parallel is like with management.

Và với tôi, sự tương đồng là với việc quản lý.

So you know like fast forward or

Nên bạn biết đấy, kiểu như tua nhanh về phía trước hoặc

back forward uh or fast back uh fast backwards like a year or so when you know nobody was or not many people were using agents to code.

Tua tới, ừ, hoặc tua nhanh về sau, ừ, tua nhanh về sau kiểu như một năm trước khi, bạn biết đấy, không ai hoặc không nhiều người dùng agent để viết code.

in loop.

Trong vòng lặp.

You're watching every single output.

Bạn đang xem từng kết quả đầu ra một.

point where uh I actually have this sounds kind of scary to say And it makes me sound like a slop artist, but I I promise I'm not.

Điểm mà ừ, tôi thực sự, nghe hơi đáng sợ khi nói ra, và nó khiến tôi nghe như một kẻ làm nội dung rác, nhưng tôi hứa là tôi không phải vậy.

But I actually have my agents now um autoemerging PRs for me.

Nhưng tôi thực sự giờ đã để các agent của mình, ừm, tự động hợp nhất PR cho tôi.

Uh which is like a wild thing to say, but um like I woke up today and there were like 20 PRs landed and I just reviewed them on main like they were already landed and they were good.

Uh so

Ừ nên

how did I get to that point is basically what I wanted to talk about today.

Làm sao tôi đến được điểm đó, về cơ bản đó là điều tôi muốn nói hôm nay.

Uh and again like yeah feel free to jump in if you have questions.

Ừ và một lần nữa, kiểu như ừ, cứ thoải mái tham gia nếu bạn có câu hỏi.

colon.

Dấu hai chấm.

Um but uh oh yeah, of course I got to show this this chart.

Ừm nhưng ừ, ồ ừ, tất nhiên tôi phải cho xem cái biểu đồ này.

laughter Uh where uh no do not trust to someone requested to control my computer.

[tiếng cười] Ừ nơi mà, ừ, không, đừng tin tưởng, ai đó đã yêu cầu điều khiển máy tính của tôi.

Uh I probably won't do that.

Ừ tôi có lẽ sẽ không làm điều đó.

Uh but yeah, so this chart I think I'm I'm sharing this chart not to kind of like flex but to kind of show like the journey like so you can see

like the curve like it sort of like inversely matches the contributions I've been able to land at cursor.

Kiểu như đường cong, nó kiểu như tương phản nghịch với những đóng góp mà tôi đã có thể hợp nhất tại cursor.

of ramp up my productivity uh and again like yeah like last month I shipped a thousand PRs which is ridiculous.

Tăng năng suất của mình lên, ừ, và một lần nữa, kiểu như ừ, tháng trước tôi đã gửi đi một nghìn PR, điều đó thật vô lý.

Uh, and then this month we're only on the 12th.

Ừ, và rồi tháng này chúng ta mới chỉ đến ngày 12.

I'm already at like almost 800 PRs landed.

Tôi đã ở mức gần 800 PR được hợp nhất rồi.

Uh, so the velocity is definitely high and you I'm sure a lot of you will definitely be questioning like how much of this code is actually good.

Ừ, nên tốc độ chắc chắn là cao và bạn, tôi chắc nhiều bạn sẽ chắc chắn đặt câu hỏi kiểu bao nhiêu trong số code này thực sự tốt.

Um, and I think yeah, like that's definitely fair to

Ừm, và tôi nghĩ ừ, kiểu như điều đó chắc chắn là công bằng để

question.

Đặt câu hỏi.

Um but uh yeah, I think I think if you set up your agents well, you can definitely get to a very similar level.

Ừm nhưng ừ, ừ, tôi nghĩ tôi nghĩ nếu bạn thiết lập các agent của mình tốt, bạn chắc chắn có thể đạt đến một mức rất tương tự.

Um and so I'm going to talk about how we do that.

Ừm và nên tôi sẽ nói về cách chúng tôi làm điều đó.

Uh and by verification I mean the ability for an agent to actually run the code uh or take CPU traces or heap snapshots or uh you know open an iOS simulator whatever you know

however your application is exposed to your users.

Tuy nhiên, ứng dụng của bạn được hiển thị cho người dùng.

It can do the same thing and uh run it for real and actually test and verify it don't work because that's the thing that really closes the loop.

Nó có thể làm điều tương tự và chạy thử thật sự, kiểm tra và xác minh rằng nó không hoạt động, vì đó là điều thực sự khép kín vòng lặp.

uh it doesn't guarantee your agent writes good code uh but it allows them to at least write correct code uh which is a big a really big step forward for being able to trust your agents.

Ừm

I will I can share one example that we have uh within cursor.

Tôi có thể chia sẻ một ví dụ mà chúng tôi có trong cursor.

Uh oops where let me open this let's make this uh make full screen.

Ối, để tôi mở cái này, hãy làm cho nó toàn màn hình.

There you go.

Được rồi.

with the agent window work.

Với công việc cửa sổ agent.

Uh but um there wasn't really a lot of like skills to help me.

Nhưng thực sự không có nhiều kỹ năng để giúp tôi.

make sense of this flame graph.

Hiểu được biểu đồ flame graph này.

And keep in mind I was just like in my first week so I had no idea what I was looking at.

Và hãy nhớ rằng tôi chỉ mới ở tuần đầu tiên nên tôi không biết mình đang nhìn cái gì.

No idea where you know I mean I had some idea but you know the code base was completely fresh to me.

Không biết gì cả, ý tôi là tôi có chút ý tưởng nhưng bạn biết đấy, code base hoàn toàn mới với tôi.

try to fix that and turns out that's not the actual thing.

Cố gắng sửa cái đó và hóa ra đó không phải là vấn đề thực sự.

1 / 7