0:00

56:52

Lauren Tan Reveals How to Build a 21+ Agent GrokBot Team

Ai insider·56:52·Technology·C1

Chương · 8

Chương 1·Trusting AI Agents as Colleagues

Hiển thị

Tiếng ViệtAuto-scroll

0:00

And with GrokBot, we really wanted to take, you know, like a fresh perspective on what would it look like if your agent was really more like a colleague?

Và với GrokBot, chúng tôi thực sự muốn có một góc nhìn mới mẻ về việc sẽ như thế nào nếu agent của bạn thực sự giống như một đồng nghiệp hơn.

0:09

- Mhm.

- Ừm.

0:10

- Uh, and so I started thinking about how would I make it so my agents could just automatically fix bugs for me while I sleep?

- À, và thế là tôi bắt đầu nghĩ làm sao để các agent của mình có thể tự động sửa lỗi cho tôi trong khi tôi ngủ?

0:17

And so that was the inspiration for some of our earlier experiments with, you know, building like, uh, like a more like persistent bot.

Và đó chính là nguồn cảm hứng cho một số thí nghiệm ban đầu của chúng tôi với việc xây dựng một con bot kiểu bền bỉ hơn.

0:24

If you invest a lot in in having like early the way I see engineers' roles evolve in the agent world is, uh, you know, like I like I mentioned, you're sort of like an engineering manager for your agents.

Nếu bạn đầu tư nhiều vào việc có được từ sớm, theo cách tôi thấy vai trò của kỹ sư tiến hóa trong thế giới agent, thì đó là, như tôi đã đề cập, bạn giống như một engineering manager cho các agent của mình.

0:37

But I think a big part of our responsibility now as

Nhưng tôi nghĩ một phần lớn trách nhiệm của chúng ta bây giờ với tư cách là

0:41

engineers is also to like, uh, you know, keep the code base in in a condition where, you know, product managers, designers can contribute like high-quality code.

kỹ sư cũng là giữ cho code base ở trong tình trạng mà product manager, designer có thể đóng góp code chất lượng cao.

0:51

Uh, okay, so I assume you can see my screen.

À, được rồi, tôi giả sử bạn có thể thấy màn hình của tôi.

0:55

- Yes.

- Vâng.

0:55

Yeah, we're good.

Ừ, ổn rồi.

0:57

- So yeah, today, yeah, I think I think the big theme for me as I've been using agents to write code, and I'm sure a lot of you have had the same experience as well, is how do you trust it?

- Vậy đấy, hôm nay, tôi nghĩ chủ đề lớn đối với tôi khi tôi dùng agent để viết code, và tôi chắc nhiều bạn cũng đã có trải nghiệm tương tự, là làm sao để tin tưởng nó?

1:10

You know, especially if you are an engineer that's been writing code for a very long time, you have a lot of opinions and lessons that you've learned about doing good engineering.

Bạn biết đấy, đặc biệt nếu bạn là một kỹ sư đã viết code rất lâu, bạn có rất nhiều quan điểm và bài học rút ra về việc làm kỹ thuật tốt.

1:20

And when you see agents just, you know, winging it and, you know, guessing, hallucinating, uh, you know, confidently stating that they found the smoking gun, uh, for the hundredth time, uh, but it's actually not the real problem, you lose a lot of trust.

Và khi bạn thấy agent chỉ làm tùy hứng, đoán mò, ảo giác, tự tin tuyên bố rằng chúng đã tìm ra bằng chứng quyết định lần thứ một trăm, nhưng thực ra đó không phải vấn đề thật sự, bạn mất rất nhiều niềm tin.

1:34

And when you lose, when you don't have much trust in your agents, I feel like you really can't get the most out of them.

Và khi bạn mất, khi bạn không có nhiều niềm tin vào agent của mình, tôi cảm thấy bạn thực sự không thể khai thác tối đa chúng.

1:43

And for me, the parallel is like with management.

Và với tôi, sự tương đồng là với việc quản lý.

1:45

Uh, so if I'm an a manager, an engineering manager for a team, and I have a bunch of, you know, I have a team of engineers, uh, on my team, and I don't trust them, then the mode of operation I'm going to be in is going to be like micro-management, right?

À, nếu tôi là một manager, một engineering manager cho một team, và tôi có một nhóm kỹ sư trong team, và tôi không tin tưởng họ, thì chế độ vận hành của tôi sẽ là micro-management, đúng không?

2:02

I'll have to spend a lot of time looking over my reports' shoulders and checking that

Tôi sẽ phải dành nhiều thời gian nhìn qua vai các báo cáo viên của mình và kiểm tra rằng

2:08

they're doing their work well, you know, that they're not shipping bugs to production.

họ làm việc tốt, rằng họ không đẩy bug lên production.

2:14

And so, I drew this chart because, uh, it's not, it's not a very scientific chart, but like this is how I imagine myself and my journey through using agents.

Và thế là tôi vẽ biểu đồ này bởi vì nó không phải là một biểu đồ khoa học lắm, nhưng đây là cách tôi hình dung bản thân và hành trình sử dụng agent của mình.

2:25

So, you know, like fast forward or back forward, uh, or fast back, uh, fast backwards like a year or so, when, you know, nobody was, or not many people were using agents to code, uh, I think you, uh, you get into this mode where you are in very heavily in the loop with one or several, like a handful of agents, and you find yourself just constantly fig- uh, you know, trying to understand

Vậy, tua nhanh về phía trước hoặc lùi lại, à, tua lùi nhanh khoảng một năm trước, khi không ai, hoặc không nhiều người dùng agent để viết code, tôi nghĩ bạn rơi vào chế độ mà bạn ở rất sâu trong vòng lặp với một hoặc vài agent, kiểu một nhúm agent, và bạn thấy mình liên tục cố gắng hiểu

2:55

what your agents are doing, uh, and you're very in the loop.

agent của bạn đang làm gì, và bạn ở rất sát trong vòng lặp.

2:59

You're watching every single output.

Bạn xem từng đầu ra một.

3:00

You are sitting there prompting, um, and you really can't parallelize beyond that because you don't, again, you don't have that trust, right?

Bạn ngồi đó gõ prompt, và bạn thực sự không thể song song hóa vượt quá mức đó bởi vì, một lần nữa, bạn không có niềm tin đó, đúng không?

3:09

You can't go to 100 agents, uh, like spawn 100 agents when you don't even trust the output of one agent.

Bạn không thể đi đến 100 agent, kiểu sinh ra 100 agent khi bạn còn chưa tin nổi đầu ra của một agent.

3:18

So, over the past 5 months, I feel like I've really been able to, uh, like ascend this trust curve, and now I'm at the point where, uh, I actually have, this sounds kind of scary to say this, and it makes me sound like a slot artist, but I promise I'm not.

Vậy nên, trong 5 tháng qua, tôi cảm thấy mình thực sự đã có thể leo lên đường cong niềm tin này, và giờ tôi đang ở điểm mà tôi thực sự có, nghe hơi đáng sợ khi nói ra, và khiến tôi giống một nghệ sĩ máy đánh bạc, nhưng tôi hứa là không phải.

3:36

But I actually have my agents now, um, auto-merging PRs for me, uh, which is like a wild thing to say, but, um, like I woke up today, and there were like 20 PRs landed, and I just reviewed them on main, like they were already landed.

Nhưng tôi thực sự giờ đã có các agent của mình tự động merge PR cho tôi, điều này nghe thật điên rồ khi nói ra, nhưng sáng nay tôi thức dậy và có khoảng 20 PR đã được merge, và tôi chỉ review chúng trên main, kiểu chúng đã được merge rồi.

3:51

And they were good.

Và chúng đều tốt.

3:53

Uh, so, how did I get to that point?

À, vậy làm sao tôi đến được điểm đó?

3:56

It's basically why I wanted to talk about today.

Đó cơ bản là lý do tôi muốn nói hôm nay.

4:00

And again, like yeah, feel free to jump in if you have questions, Colin.

Và một lần nữa, cứ thoải mái tham gia nếu bạn có câu hỏi, Colin.

4:03

Um, but, uh, oh, yeah, of course I got to show this, this chart.

Ừm, nhưng, ồ, vâng, tất nhiên tôi phải cho xem biểu đồ này.

4:10

Uh, where, don't do not trust to, someone requested to control my computer.

À, nơi, đừng, không tin tưởng đến, ai đó đã yêu cầu điều khiển máy tính của tôi.

4:19

Probably won't do that.

Có lẽ sẽ không làm thế đâu.

4:20

Uh, but yeah, so this chart, I think I'm sharing this chart not to kind of like flex, but to kind of show like the journey.

À, nhưng vâng, biểu đồ này, tôi nghĩ tôi chia sẻ biểu đồ này không phải để khoe khoang, mà để cho thấy hành trình.

4:29

Like so you can see like the curve, like it sort of like inversely matches the contributions I've been able to land at Cursor.

Để bạn có thể thấy đường cong, nó kiểu tương quan nghịch với những đóng góp tôi đã có thể merge tại Cursor.

4:37

So, I joined 5 months ago.

Vậy, tôi gia nhập 5 tháng trước.

4:38

And 5 months ago, like I, you know, my first month I was like not very productive cuz I was, you know, I was learning the code base.

Và 5 tháng trước, tháng đầu tiên tôi không năng suất lắm vì tôi đang học code base.

4:46

Didn't know what the heck was going on.

Không biết chuyện gì đang diễn ra.

4:49

And as I got more confident in my agents, I've really been able to kind of ramp up my productivity.

Và khi tôi tự tin hơn vào agent của mình, tôi thực sự đã có thể tăng năng suất lên.

4:56

Uh, and again, like yeah, like last month I shipped 1,000 PRs, which is ridiculous.

À, và một lần nữa, tháng trước tôi đã ship 1.000 PR, thật là vô lý.

5:03

Uh, and then this month, we're only on the 12th, I'm already at like almost 800 PRs landed.

À, và tháng này, mới chỉ ngày 12, tôi đã gần 800 PR được merge.

5:10

Uh, so the velocity is definitely high.

À, vậy tốc độ chắc chắn là cao.

5:13

And you, I share, a lot of you will definitely be questioning like how much of this code is actually good.

Và bạn, tôi chia sẻ, nhiều bạn chắc chắn sẽ thắc mắc bao nhiêu phần code này thực sự tốt.

5:20

And I think, yeah, like that's definitely fair to question.

Và tôi nghĩ, vâng, thắc mắc vậy là hoàn toàn hợp lý.

5:24

Um, but yeah, I think I think if you set up your agents well, you can definitely get to a very similar level.

Ừm, nhưng vâng, tôi nghĩ nếu bạn thiết lập agent của mình tốt, bạn chắc chắn có thể đạt đến mức tương tự.

5:35

Um, and so I'm going to talk about how we do that.

Ừm, và thế là tôi sẽ nói về cách chúng tôi làm điều đó.

5:40

Uh, so for me, I think I'm curious, like, I guess, Colin, your experience as well, but, uh, for me I think the most important skill that you should have in your toolbox when you work with agents is verification.

À, với tôi, tôi tò mò, tôi đoán, cả trải nghiệm của Colin nữa, nhưng với tôi, tôi nghĩ kỹ năng quan trọng nhất bạn nên có trong bộ công cụ khi làm việc với agent là verification.

5:56

Uh, and by verification I mean the ability for an agent to actually run the code, uh, or take CPU traces or heap snapshots or, uh, you know, open an iOS simulator, whatever, you know, however your application is exposed to users, it can do the same thing and, uh, run it for real and actually test and verify it'll work.

À, và ý tôi là khả năng để agent thực sự chạy code, hoặc lấy CPU trace hay heap snapshot, hoặc mở iOS simulator, bất cứ gì, dù ứng dụng của bạn được tiếp xúc với người dùng thế nào, nó có thể làm điều tương tự và thực sự chạy nó và kiểm tra, xác minh rằng nó sẽ hoạt động.

6:24

Cuz that's the thing that really closes the loop.

Bởi vì đó là thứ thực sự khép kín vòng lặp.

6:27

Uh, it doesn't guarantee your agent writes good code, uh, but it allows them to at least write correct code, uh, which is a big, a really big step forward for being able to trust your agent.

À, nó không đảm bảo agent của bạn viết code tốt, nhưng nó cho phép chúng ít nhất viết code đúng, điều này là một bước tiến rất lớn để có thể tin tưởng agent của bạn.

6:40

Um, I will, I can share one example that we have, uh, within cursor, uh, oops, where let me open this.

Ừm, tôi sẽ, tôi có thể chia sẻ một ví dụ mà chúng tôi có, ừ, trong cursor, ừ, ối, để tôi mở cái này.

7:01

Let me make this bigger.

Để tôi phóng to cái này lên.

7:03

Uh, let me go full screen.

Ừ, để tôi chuyển sang toàn màn hình.

7:05

There you go.

Được rồi đó.

7:06

Uh, so for the, for cursor's agent window, uh, so this is actually an interesting story, but, uh, when I joined cursor five months ago, uh, they're actually, uh, well, I was supposed to join a different team.

Ừ, vậy là đối với, đối với cửa sổ agent của cursor, ừ, đây thực ra là một câu chuyện thú vị, nhưng, ừ, khi tôi gia nhập cursor năm tháng trước, ừ, họ thực ra, ừ, à, tôi lẽ ra đã gia nhập một nhóm khác.

7:20

I was supposed to join like the cloud agents team.

Tôi lẽ ra đã gia nhập nhóm cloud agents.

7:24

Uh, but then since I have a lot of experience working on React and agents window is a React application, uh, I was, uh,

Ừ, nhưng sau đó vì tôi có nhiều kinh nghiệm làm việc với React và cửa sổ agent là một ứng dụng React, ừ, tôi đã được, ừ,

7:34

I was asked to basically help out with, uh, the agent window work.

Tôi được yêu cầu cơ bản là giúp đỡ với, ừ, công việc của cửa sổ agent.

7:39

Uh, but, um, there wasn't really a lot of like skills to help me.

Ừ, nhưng, ừm, thực sự không có nhiều kỹ năng để giúp tôi cả.

7:43

So, I just found myself that okay, uh, Agent Swarm was going to launch in like a week.

Vậy nên, tôi chỉ tự nhận ra rằng được rồi, ừ, Agent Swarm sắp ra mắt trong khoảng một tuần nữa.

7:48

All right, we have a really tight deadline.

Được rồi, chúng tôi có một hạn chót rất gấp.

7:51

And, um, there was, uh, you know, I was just sitting there like okay, I'm going to open up the performance, the Chrome DevTools and just like take a trace, look at it myself, and try to make sense

Và, ừm, có, ừ, bạn biết đấy, tôi chỉ ngồi đó kiểu được rồi, tôi sẽ mở phần hiệu năng, Chrome DevTools và chỉ ghi lại một trace, tự xem nó, và cố gắng hiểu

8:03

of this flame graph.

Cái biểu đồ flame graph này.

8:04

And keep in mind, I was just like in my first week.

Và hãy nhớ rằng, tôi chỉ đang ở tuần đầu tiên của mình.

8:06

So, I had no idea what I was looking at, no idea what, you know, uh, I mean, I had some idea, but, you know, the, the code base was completely fresh to me.

Vậy nên, tôi không biết mình đang nhìn cái gì, không biết cái gì, bạn biết đấy, ừ, ý tôi là, tôi có chút ý tưởng, nhưng, bạn biết đấy, cái code base hoàn toàn mới mẻ với tôi.

8:15

Uh, and I realized like my agent had no idea either, you know, like I would take a screenshot to try to download trace or send it to it and be like, "Yeah, it kind of looks like this, you know." Uh, and it would like confidently state like it's this thing.

Ừ, và tôi nhận ra rằng agent của tôi cũng không biết gì cả, bạn biết đấy, kiểu tôi sẽ chụp màn hình để cố tải trace hoặc gửi nó cho nó và kiểu, "Ừ, nó trông đại khái như thế này, bạn biết đấy." Ừ, và nó sẽ tự tin khẳng định kiểu đó là cái này.

8:28

And then I try to fix that.

Và rồi tôi cố sửa cái đó.

8:30

And it turns out that's not the actual thing.

Và hóa ra đó không phải là cái thực sự.

8:33

So, this was very slow process.

Vậy nên, đây là một quá trình rất chậm chạp.

8:34

And if you've ever done any like performance work yourself or, you know, just even development with an agent where you don't have a verification skill, you are the verifier.

Và nếu bạn đã từng làm bất kỳ công việc hiệu năng nào hoặc, bạn biết đấy, thậm chí chỉ là phát triển với một agent mà bạn không có kỹ năng xác minh, thì bạn chính là người xác minh.

8:43

All right, you, you're the bottleneck.

Được rồi, bạn, bạn chính là nút thắt cổ chai.

8:45

You, you tell your agent to do something, and then it goes off and writes some code.

Bạn, bạn bảo agent của bạn làm gì đó, và rồi nó chạy đi viết một ít code.

8:50

Then you open up your, you know, local dev build,

Rồi bạn mở bản dev build cục bộ của bạn,

8:54

and then you start to say, "Oh, you know, it doesn't work." Then you got to copy-paste screen, you know, screenshots or console errors or whatever.

Và rồi bạn bắt đầu nói, "Ồ, bạn biết đấy, nó không hoạt động." Rồi bạn phải copy-paste màn hình, bạn biết đấy, ảnh chụp màn hình hoặc lỗi console hay gì đó.

9:02

Uh, and then your agent like slowly kind of like, you know, works with that and then tries to understand it and, um, uh, fix the thing.

Ừ, và rồi agent của bạn kiểu từ từ, bạn biết đấy, làm việc với cái đó và rồi cố hiểu nó và, ừm, ừ, sửa cái đó.

9:10

But then you're constantly just in the loop and being a bottleneck.

Nhưng rồi bạn liên tục ở trong vòng lặp và trở thành nút thắt cổ chai.

9:14

So, there's really no way to parallelize.

Vậy nên, thực sự không có cách nào để song song hóa.

9:17

So, the control glass goes like one of the first skills I built, uh, for Cursor.

Vậy nên, control glass trở thành một trong những kỹ năng đầu tiên tôi xây dựng, ừ, cho Cursor.

9:22

Uh, and glass, by the way, is the code name for Agent Window that we use internally, but it's just Cursor, I guess.

Ừ, và nhân tiện, glass là tên mã cho Agent Window mà chúng tôi dùng nội bộ, nhưng tôi đoán nó chỉ là Cursor thôi.

9:30

Um, and so, this skill, uh, is, I guess that that the code itself is, it's super interesting.

Ừm, và vậy là, kỹ năng này, ừ, tôi đoán là bản thân code, nó siêu thú vị.

9:36

Your agent can very easily make one for you.

Agent của bạn có thể rất dễ dàng tạo một cái cho bạn.

9:40

Uh, where if you're building an electron app or a web app or even iOS, uh, and applications, uh, you can teach your agent how to use like the Chrome DevTools protocol or through, uh, Apple has some utilities as well for running the simulator and taking traces

Ừ, nếu bạn đang xây dựng một ứng dụng electron hoặc một ứng dụng web hoặc thậm chí iOS, ừ, và các ứng dụng, ừ, bạn có thể dạy agent của bạn cách sử dụng giao thức Chrome DevTools hoặc thông qua, ừ, Apple cũng có một số tiện ích để chạy simulator và ghi trace

9:58

and controlling programmatic control as well.

Và điều khiển theo kiểu lập trình nữa.

10:01

Uh, so that's really useful.

Ừ, vậy nên điều đó thực sự hữu ích.

10:05

Uh, but one thing I want, actually want to talk about is, uh, the, this thing.

Ừ, nhưng một điều tôi muốn, thực ra tôi muốn nói về, là, ừ, cái, cái này.

10:12

Uh, where is the readme?

Ừ, readme ở đâu nhỉ?

10:14

Uh, so this skill comes with this very unique feature called, or not feature yet, uh, unique file called a feature map.

Ừ, vậy là kỹ năng này đi kèm với một tính năng rất độc đáo gọi là, hoặc chưa phải tính năng, ừ, một tệp độc đáo gọi là feature map.

10:23

And so the story then is like I built this skill and so now the agent was able to, uh, actually run the agent window and take traces and whatnot.

Và vậy là câu chuyện tiếp theo là tôi đã xây dựng kỹ năng này và vậy là giờ agent có thể, ừ, thực sự chạy cửa sổ agent và ghi trace các thứ.

10:34

Uh, but it had no idea what what the agent's window was.

Ừ, nhưng nó không biết cửa sổ agent là cái gì.

10:37

So, um, you know, like someone would say like, oh, the left side bar is like laggy or something like that.

Vậy nên, ừm, bạn biết đấy, kiểu ai đó sẽ nói kiểu, ồ, thanh bên trái bị lag hay gì đó.

10:43

Or, you know, the right side, the PR tab is not working.

Hoặc, bạn biết đấy, phía bên phải, tab PR không hoạt động.

10:46

And the agent would just be like in a flailing around.

Và agent sẽ chỉ kiểu vùng vẫy lung tung.

10:49

It would spend a lot of time trying to like look up the code and, you know, where is this feature?

Nó sẽ dành rất nhiều thời gian cố tra cứu code và, bạn biết đấy, tính năng này ở đâu?

10:55

How do I actually get to it on

Làm sao tôi thực sự đến được nó trên

10:58

the UI?

Giao diện UI?

10:59

Which made it basically completely useless.

Điều đó khiến nó cơ bản là hoàn toàn vô dụng.

11:01

Uh, you know, like we would, I would run this skill locally and, you know, it would spawn a dev build, uh, but then it just be churning like I just try to click here.

Ừ, bạn biết đấy, kiểu chúng tôi sẽ, tôi sẽ chạy kỹ năng này cục bộ và, bạn biết đấy, nó sẽ khởi tạo một bản dev build, ừ, nhưng rồi nó chỉ quay cuồng kiểu tôi chỉ cố bấm vào đây.

11:13

It wouldn't know how to get to things.

Nó sẽ không biết cách đến được mọi thứ.

11:16

Um, and it was just an awful experience.

Ừm, và đó chỉ là một trải nghiệm tồi tệ.

11:18

Uh, so who was putting arrows on my screen?

Ừ, vậy ai đã đặt mấy cái mũi tên lên màn hình của tôi thế?

11:21

Um, so, uh, yeah, this feature map has been really useful, uh, because it teaches the agent how to get to all of the features that you have.

Ừm, vậy, à, đúng rồi, bản đồ tính năng này thực sự rất hữu ích, à, vì nó dạy cho tác nhân cách tiếp cận tất cả các tính năng mà bạn có.

11:33

Um, and in P Sack, the plugin that I've made, uh, if you search for P Sack cursor on Google, you'll, you'll find it.

Ừm, và trong P Sack, plugin mà tôi đã tạo, à, nếu bạn tìm kiếm 'P Sack cursor' trên Google, bạn sẽ, bạn sẽ tìm thấy nó.

11:42

Uh, but there is a create verification skill in that plugin where it actually helps you set up something like this for yourself.

À, nhưng có một kỹ năng xác minh tạo trong plugin đó, nó thực sự giúp bạn thiết lập một thứ tương tự cho chính mình.

11:50

Um, including the feature map, so it will actually explore the code and build up this initial feature map that tells your agent how to get to all of the different features that you have.

Ừm, bao gồm cả bản đồ tính năng, vì vậy nó sẽ thực sự khám phá mã và xây dựng bản đồ tính năng ban đầu này để cho tác nhân của bạn biết cách tiếp cận tất cả các tính năng khác nhau mà bạn có.

12:00

Uh, and this is extremely powerful because now that you have these user reports that come in, uh, you can actually map even like a vague report or even a screenshot.

À, và điều này cực kỳ mạnh mẽ vì bây giờ bạn có những báo cáo người dùng gửi đến, à, bạn thực sự có thể ánh xạ ngay cả một báo cáo mơ hồ hoặc thậm chí là một ảnh chụp màn hình.

12:12

So we have this, uh, internally at Cursor where, uh, we have a Slack channel with, you know, lots of people giving us feedback on the agent's window and walk bar and whatnot.

Vì vậy, chúng tôi có cái này, à, nội bộ tại Cursor, nơi, à, chúng tôi có một kênh Slack với, bạn biết đấy, rất nhiều người cung cấp phản hồi về cửa sổ tác nhân và thanh walk và đủ thứ.

12:23

Uh, and often times the report is very bad, like very low quality, like someone just put, very often we get like a screenshot, like, and then someone just says {question mark} {question mark} {question mark}, like what is this?

À, và thường thì báo cáo rất tệ, kiểu chất lượng rất thấp, như ai đó chỉ đăng, rất thường chúng tôi nhận được một ảnh chụp màn hình, kiểu, và rồi ai đó chỉ nói {dấu hỏi} {dấu hỏi} {dấu hỏi}, kiểu cái này là gì?

12:35

- laughter - And you know, like that, it with without this, your agent says, "I have no clue." Right?

- [tiếng cười] - Và bạn biết đấy, nếu không có cái này, tác nhân của bạn nói, "Tôi không biết gì cả." Đúng không?

12:40

But with a feature map like this, it has a lot more context and understanding of how to actually navigate, how to get to all of the different features.

Nhưng với một bản đồ tính năng như thế này, nó có nhiều ngữ cảnh hơn và hiểu cách thực sự điều hướng, cách tiếp cận tất cả các tính năng khác nhau.

12:49

Uh, so like, you know, example like, I guess, like the sidebar, like what is the sidebar?

À, vậy ví dụ như, tôi đoán, như thanh bên, thanh bên là gì?

12:54

Uh, you know, like all the different

À, bạn biết đấy, như tất cả các

12:56

sub-features that are present in it.

Tính năng con khác nhau có trong đó.

12:58

Um, like from the user point of view, here's where that, how to get to it, all the different keyboard shortcuts.

Ừm, từ góc nhìn người dùng, đây là nơi đó, cách tiếp cận nó, tất cả các phím tắt khác nhau.

13:07

Uh, even like the, the what do you call it?

À, thậm chí như cái, cái bạn gọi là gì nhỉ?

13:11

The DOM elements or, yeah, like the attributes that you use for selecting things through the CDP, uh, are all there.

Các phần tử DOM hoặc, đúng rồi, như các thuộc tính bạn dùng để chọn mọi thứ thông qua CDP, à, đều có ở đó.

13:19

So, uh, again, yeah, this is like really, really powerful, uh, for agents.

Vì vậy, à, một lần nữa, đúng rồi, cái này thực sự rất mạnh mẽ, à, đối với các tác nhân.

13:25

- And - Uh, and a ships, uh, that create verification skill, but also a maintain verification skill.

- Và - À, và nó cung cấp, à, kỹ năng xác minh tạo đó, mà còn cả kỹ năng duy trì xác minh.

13:31

Uh, so you can keep this up-to-date.

À, vì vậy bạn có thể giữ nó luôn cập nhật.

13:35

- Cool.

- Tuyệt.

13:35

Yeah, I was just going to ask how you created that.

Đúng, tôi chỉ định hỏi làm thế nào bạn tạo ra nó.

13:37

So, do you mind sharing a little bit more about, um, that process in the context of P stack?

Vậy, bạn có phiền chia sẻ thêm một chút về, ừm, quá trình đó trong bối cảnh P stack không?

13:41

And maybe just what P stack is for the folks who aren't familiar.

Và có lẽ chỉ cần nói P stack là gì cho những người chưa quen.

13:44

- Yeah, so P stack is pretty interesting because, uh, well, first of all, the name is kind of goofy.

- Đúng, P stack khá thú vị vì, à, đầu tiên, cái tên khá ngớ ngẩn.

13:51

Like the P, the P in P stack is like potato sack.

Kiểu chữ P, chữ P trong P stack giống như bao khoai tây.

13:56

Um, because I, um, so, uh, the, there is a pretty, uh, famous person, Garry Tan, who is the CEO of Y Combinator.

Ừm, vì tôi, ừm, vậy, à, có một người khá, à, nổi tiếng, Garry Tan, CEO của Y Combinator.

14:05

And he's come up with this plugin called G stack.

Và anh ấy đã tạo ra plugin này gọi là G stack.

14:09

Uh, Garry stack.

À, Garry stack.

14:11

And, uh, funnily enough, we share the last name.

Và, thật buồn cười, chúng tôi có cùng họ.

14:14

We have no relation.

Chúng tôi không có quan hệ gì.

14:16

Uh, but I thought it'd be funny to kind of, you know, poke fun at Garry and make P stack my version of of of his plugin.

À, nhưng tôi nghĩ sẽ thú vị khi, bạn biết đấy, trêu Garry và biến P stack thành phiên bản của tôi từ plugin của anh ấy.

14:25

Uh, but kind of just tailor it to my own set of prac- engineering practices.

À, nhưng chỉ điều chỉnh nó cho phù hợp với bộ thực hành kỹ thuật của riêng tôi.

14:31

Uh, but I honestly actually never set out to build P stack.

À, nhưng thật lòng tôi chưa bao giờ đặt ra mục tiêu xây dựng P stack.

14:34

Uh, it just started with a bunch of skills.

À, nó chỉ bắt đầu với một loạt kỹ năng.

14:36

All right?

Được chứ?

14:36

Like I started with that control glass skill.

Kiểu tôi bắt đầu với kỹ năng kiểm soát ly đó.

14:39

And then I started with another skill like called how, which I also noticed through like observing agents.

Và rồi tôi bắt đầu với một kỹ năng khác gọi là how, mà tôi cũng nhận thấy qua việc quan sát các tác nhân.

14:46

Um, so like, you know, in the early days of me, you know, trying to climb this ladder, I was like super in the loop.

Ừm, vậy, bạn biết đấy, trong những ngày đầu tôi cố gắng leo lên nấc thang này, tôi đã cực kỳ tham gia.

14:52

And I was basically nitpicking my agents to an extreme degree.

Và tôi cơ bản là chỉ trích các tác nhân của mình đến mức cực đoan.

14:56

I was like, I would tell it, um, you know, this feature has stopped working.

Tôi kiểu, tôi sẽ nói với nó, ừm, bạn biết đấy, tính năng này đã ngừng hoạt động.

15:02

Here's a bug report.

Đây là báo cáo lỗi.

15:04

Like, why isn't it working?

Kiểu, tại sao nó không hoạt động?

15:06

And very often the agent would just like confidently state like, "Oh, it has to be this, right?

Và rất thường tác nhân sẽ tự tin nói kiểu, "Ồ, chắc chắn là cái này, đúng không?

15:11

It has to be this thing." And I noticed like when I looked at the actual tool calls, I noticed it wasn't actually reading the code that I, they should be affected.

Chắc chắn là cái này." Và tôi nhận thấy khi xem các lệnh gọi công cụ thực tế, tôi nhận ra nó không thực sự đọc mã mà tôi, chúng nên bị ảnh hưởng.

15:22

And that made me just extremely suspicious.

Và điều đó khiến tôi cực kỳ nghi ngờ.

15:23

And at that point I was just like, I'm not going to, I can't trust any this agent anymore cuz it's just, it's just completely hallucinating.

Và lúc đó tôi kiểu, tôi sẽ không, tôi không thể tin tưởng bất kỳ tác nhân này nữa vì nó chỉ, nó hoàn toàn ảo giác.

15:31

And I think, I think it's very easy to just, you know, like build up that distrust and not and kind of feel helpless like, you know, you don't know how to help your agents succeed.

Và tôi nghĩ, tôi nghĩ rất dễ để, bạn biết đấy, xây dựng sự mất tin tưởng đó và không, và kiểu cảm thấy bất lực như, bạn biết đấy, bạn không biết cách giúp tác nhân của mình thành công.

15:44

But like, again, I think the, the management analogy is super helpful because like imagine if you were a manager of an engineering team and you had an engineer in your team who was a really good coder, no business contacts whatsoever, you know, they just, you just hired them and they onboarded, you know, like, uh, 5 seconds ago.

Nhưng kiểu, một lần nữa, tôi nghĩ phép so sánh quản lý rất hữu ích vì hãy tưởng tượng nếu bạn là quản lý của một đội kỹ thuật và bạn có một kỹ sư trong đội viết mã rất giỏi, không có chút kiến thức kinh doanh nào, bạn biết đấy, họ chỉ, bạn vừa thuê họ và họ đã hòa nhập, bạn biết đấy, kiểu, à, 5 giây trước.

16:03

Uh, and so how do you actually teach that person to be effective?

À, và vậy làm thế nào bạn thực sự dạy người đó trở nên hiệu quả?

16:08

So how you do that is through skill.

Vậy cách bạn làm điều đó là thông qua kỹ năng.

16:10

Uh, skill being just, you know, it's just markdown, right?

À, kỹ năng chỉ là, bạn biết đấy, nó chỉ là markdown, đúng không?

16:13

But, you know, it codes a lot of information, instructions, a lot of, uh, you can really draw out a lot of intelligence from an agent by, well, some people on Twitter call it like, you know, pull the agent to a different latent space.

Nhưng bạn biết đấy, nó mã hóa rất nhiều thông tin, hướng dẫn, rất nhiều, ừ, bạn thực sự có thể khai thác rất nhiều trí tuệ từ một agent bằng cách, à, một số người trên Twitter gọi đó là, bạn biết đấy, kéo agent sang một không gian latent khác.

16:27

Which is kind of like a fancy way of just saying like since, uh,

Điều đó kiểu như một cách nói hoa mỹ hơn của việc, vì, ừ,

16:32

you know, LLMs are sort of like they predict the next token.

Bạn biết đấy, các LLM kiểu như chúng dự đoán token tiếp theo.

16:35

Uh, when you give it some high-quality tokens, uh, to begin with, then, you know, it can kind of pattern match on like a higher space that's, you know, smarter.

Ừ, khi bạn đưa cho nó một số token chất lượng cao, ừ, ngay từ đầu, thì, bạn biết đấy, nó có thể khớp mẫu trên một không gian cao hơn, bạn biết đấy, thông minh hơn.

16:47

Um, so that's like a very interesting model there.

Ừm, vậy đó là một mô hình rất thú vị ở đó.

16:50

But yeah, I built P stack very, very incrementally.

Nhưng đúng vậy, tôi đã xây dựng P stack rất, rất dần dần.

16:53

Uh, so, uh, started with just really observing how agents, you know, all the failed, different failure modes of that agents were having.

Ừ, vậy, ừ, bắt đầu bằng việc thực sự quan sát cách các agent, bạn biết đấy, tất cả các chế độ thất bại khác nhau mà các agent đó gặp phải.

17:00

And every time I saw that, I just, okay, I'm just going to make that a skill.

Và mỗi lần tôi thấy điều đó, tôi chỉ, được rồi, tôi sẽ biến nó thành một kỹ năng.

17:06

All right, like stop hallucinating, actually go and search up,

Được rồi, kiểu như đừng ảo giác nữa, thực sự đi tìm kiếm đi,

17:10

look up the code.

Tra cứu mã nguồn.

17:12

Use a lot of sub agents.

Sử dụng nhiều sub agent.

17:16

Uh, and yeah, stop guessing.

Ừ, và đúng vậy, đừng đoán mò nữa.

17:19

- Yeah, that makes sense.

- Ừ, điều đó hợp lý.

17:19

One kind of follow question here both from myself and from a bunch of people in the chat.

Một câu hỏi tiếp theo ở đây, cả từ bản thân tôi và từ nhiều người trong chat.

17:23

So I guess it's two parts.

Vậy tôi đoán nó gồm hai phần.

17:24

So one is like how do you maintain these skills?

Một là làm thế nào bạn duy trì các kỹ năng này?

17:27

So like the product changes over time.

Kiểu như sản phẩm thay đổi theo thời gian.

17:29

Obviously there's a lot of people who are shipping against the code base.

Rõ ràng là có rất nhiều người đang ship dựa trên code base.

17:32

So how do these skills get maintained?

Vậy làm thế nào các kỹ năng này được duy trì?

17:34

And then second to that is like how do you know when your verification is good enough?

Và thứ hai là làm thế nào bạn biết khi nào việc xác minh của bạn đủ tốt?

17:39

Like in, you know, you can trust that the verification loops that you've built are going to, I guess, you trust that would put when they're done.

Kiểu như trong, bạn biết đấy, bạn có thể tin tưởng rằng các vòng lặp xác minh mà bạn đã xây dựng sẽ, tôi đoán, bạn tin tưởng rằng chúng sẽ đặt khi chúng xong.

17:49

- Yeah, maybe I'll talk about, I think I have something related.

- Ừ, có lẽ tôi sẽ nói về, tôi nghĩ tôi có điều gì đó liên quan.

17:53

Maybe I'll start with this one first.

Có lẽ tôi sẽ bắt đầu với cái này trước.

17:56

So like how do I maintain these skills?

Vậy kiểu như làm thế nào tôi duy trì các kỹ năng này?

18:01

So if you're not familiar with this concept and eval, clears throat is essentially like a way to, I think the mental model I have is like it's like a unit test for an agent.

Vậy nếu bạn chưa quen với khái niệm này và eval, [hắng giọng] về cơ bản là một cách để, tôi nghĩ mô hình tinh thần tôi có là nó giống như một unit test cho một agent.

18:12

And you can actually make your own evals.

Và bạn thực sự có thể tự tạo các eval của riêng mình.

18:16

You don't need like a special framework for them.

Bạn không cần một framework đặc biệt nào cho chúng.

18:18

You can build, you can, you can build one depending on like, you know, how scientific and how rigorous you want to be.

Bạn có thể xây dựng, bạn có thể, bạn có thể xây dựng một cái tùy thuộc vào, bạn biết đấy, bạn muốn khoa học và nghiêm ngặt đến mức nào.

18:26

My screen is red.

Màn hình của tôi bị đỏ.

18:28

- Yeah, there's a little button.

- Ừ, có một nút nhỏ.

18:30

Sorry.

Xin lỗi.

18:31

- Are you disabling the drawing or something?

- Bạn đang tắt tính năng vẽ hay gì đó à?

18:33

I can't see my screen.

Tôi không thể thấy màn hình của mình.

18:35

- Yeah, sorry.

- Ừ, xin lỗi.

18:36

If you guys could not draw on the screen that would be great, but there's a little button in the, yeah, the little drop down.

Nếu mọi người có thể không vẽ lên màn hình thì thật tuyệt, nhưng có một nút nhỏ trong, ừ, cái drop down nhỏ.

18:44

- I like clear.

- Tôi thích rõ ràng.

18:47

- Yeah.

- Ừ.

18:47

- Okay, yeah.

- Được rồi, ừ.

18:48

- You got it.

- Bạn làm được rồi.

18:49

Perfect.

Hoàn hảo.

18:50

- Um, yeah, so evals are a way to unit test your skills basically.

- Ừm, đúng vậy, vậy eval là một cách để unit test các kỹ năng của bạn về cơ bản.

18:57

And actually in Pystack we ship under potato mode there's a playbook if you search for it called eval playbook.

Và thực ra trong Pystack chúng tôi ship dưới chế độ potato, có một playbook nếu bạn tìm kiếm nó gọi là eval playbook.

19:04

And it's, uh, it's like, not, it's actually pretty, pretty rigorous the way it's done.

Và nó, ừ, nó kiểu như, không, nó thực sự khá, khá nghiêm ngặt theo cách nó được thực hiện.

19:10

But, um, essentially what I do is I spawn a lot of different sub agents.

Nhưng, ừm, về cơ bản điều tôi làm là tôi sinh ra rất nhiều sub agent khác nhau.

19:16

I have like my main coordinator agent, uh, come up with a rubric for, uh, what I want the skill to do.

Tôi có kiểu như agent điều phối chính của mình, ừ, nghĩ ra một rubric cho, ừ, những gì tôi muốn kỹ năng đó làm.

19:26

Um, and then it spawns all these sub agents and it creates individual directories for them, uh, which are cleverly named to not let the sub agent know that it's being evaluated because, uh, agents can actually tell and when they do they change their behavior.

Ừm, và sau đó nó sinh ra tất cả các sub agent này và tạo các thư mục riêng cho chúng, ừ, được đặt tên khéo léo để không cho sub agent biết rằng nó đang bị đánh giá, vì, ừ, các agent thực sự có thể nhận ra và khi chúng nhận ra thì chúng thay đổi hành vi.

19:45

Uh, but it does a bunch of stuff like that to, um, essentially, yeah, like test whether or not the skill I'm making or changing is actually doing what I think it does.

Ừ, nhưng nó làm một loạt thứ như vậy để, ừm, về cơ bản, đúng vậy, kiểu như kiểm tra xem kỹ năng tôi đang tạo hoặc thay đổi có thực sự làm đúng như tôi nghĩ không.

19:57

Um, and one of the really nice things about Cursor is that we are, we have, we support so many different models.

Ừm, và một trong những điều thực sự tuyệt vời về Cursor là chúng tôi, chúng tôi hỗ trợ rất nhiều mô hình khác nhau.

20:03

So you can actually eval your skill across all sorts of different models.

Vậy bạn thực sự có thể eval kỹ năng của mình trên đủ loại mô hình khác nhau.

20:07

Um, and, you know, get a sense of how well it performs across that different matrix.

Ừm, và, bạn biết đấy, có được cảm giác về việc nó hoạt động tốt đến đâu trên ma trận khác nhau đó.

20:14

Um, especially for the models that you use.

Ừm, đặc biệt là đối với các mô hình mà bạn sử dụng.

20:18

Uh, so I do this a lot.

Ờ, nên là tôi làm việc này rất nhiều.

20:19

Every time I modify a skill, I will run one of these.

Mỗi lần tôi sửa một kỹ năng, tôi sẽ chạy một trong những cái này.

20:22

Uh, like the eval playbook, uh, and make sure that, you know, it's actually leading to a result I want.

Ờ, giống như cái sổ tay đánh giá, ờ, và đảm bảo rằng, bạn biết đấy, nó thực sự dẫn đến kết quả mà tôi muốn.

20:29

Uh, but I will say like maintaining skills is actually pretty hard.

Ờ, nhưng tôi phải nói rằng việc duy trì các kỹ năng thực sự khá khó.

20:34

Uh, it requires, I think, a lot of taste and observation.

Ờ, tôi nghĩ nó đòi hỏi nhiều gu thẩm mỹ và khả năng quan sát.

20:39

So you kind of need to be very good at being a backseat driver.

Nên là bạn cần phải rất giỏi trong việc làm người ngồi sau chỉ đạo.

20:44

You know what I mean?

Bạn hiểu ý tôi chứ?

20:45

Like if you do pair, if you've ever done pair programming for example, uh, and you watch a coworker code and you just like, you, you could probably do this better.

Kiểu như nếu bạn lập trình cặp, nếu bạn đã từng lập trình cặp chẳng hạn, ờ, và bạn nhìn đồng nghiệp viết code và bạn kiểu, bạn, bạn có thể làm việc này tốt hơn.

20:51

You know, you could do, you know, you like, why did you not do this, right?

Bạn biết đấy, bạn có thể làm, bạn biết đấy, bạn kiểu, tại sao bạn không làm cái này, đúng không?

20:55

You ask a lot of questions to your coworker.

Bạn đặt rất nhiều câu hỏi cho đồng nghiệp của mình.

20:57

And it's kind of a similar thing here.

Và ở đây cũng kiểu tương tự như vậy.

20:58

You like, you don't want to just be a passive

Bạn kiểu, bạn không muốn chỉ là một người

21:01

observer of agent.

Quan sát thụ động đối với tác nhân.

21:01

You want to be very in the driver seat in the initial stages when you're building up your own set of skills.

Bạn muốn thực sự ngồi vào ghế lái trong những giai đoạn đầu khi bạn đang xây dựng bộ kỹ năng của riêng mình.

21:08

Uh, you know, obviously you can use something like P Sack, but if you're building your own set of skills, it's very, I think, you know, opening up the all the tool calls and like reading the code and reading all the, uh, the agent behavior

Ờ, bạn biết đấy, rõ ràng là bạn có thể dùng thứ gì đó như P Sack, nhưng nếu bạn đang xây dựng bộ kỹ năng của riêng mình, thì tôi nghĩ, bạn biết đấy, việc mở ra tất cả các lệnh gọi công cụ và đọc code và đọc tất cả, ờ, hành vi của tác nhân

21:22

and their thinking blocks is, uh, a really great way to see where they fail, right?

Và các khối suy nghĩ của chúng, ờ, là một cách tuyệt vời để thấy chúng thất bại ở đâu, đúng không?

21:27

Like what, you know, where are they being done?

Kiểu như cái gì, bạn biết đấy, chúng đang bị làm sai ở đâu?

21:30

And then you can go and build a skill for that.

Và sau đó bạn có thể đi xây dựng một kỹ năng cho việc đó.

21:34

And then with verification, how you trust it is, it's, I think it's also a very similar iteration loop, uh, where, you know, like I actually did the same process for verifying the verification skill where I actually get, um, so, one thing that's interesting about evals is that you can sort of hill climb them, meaning that, uh, your eval can produce a score, right?

Và rồi với việc xác minh, cách bạn tin tưởng nó, tôi nghĩ nó cũng là một vòng lặp lặp đi lặp lại rất tương tự, ờ, khi mà, bạn biết đấy, tôi thực sự đã làm quy trình tương tự để xác minh kỹ năng xác minh, khi mà tôi thực sự nhận được, ừm, nên là, một điều thú vị về đánh giá là bạn có thể kiểu leo đồi chúng, nghĩa là, ờ, đánh giá của bạn có thể tạo ra một điểm số, đúng không?

21:57

Uh, a score that you can get your

Ờ, một điểm số mà bạn có thể khiến

22:00

coordinator to produce, uh, but also, uh, you can have a judge agent of a different model to, uh, kind of cross-reference and make sure that the first model is not being biased, right?

Điều phối viên của bạn tạo ra, ờ, nhưng cũng có thể, ờ, bạn có thể có một tác nhân giám khảo thuộc một mô hình khác để, ờ, kiểu đối chiếu chéo và đảm bảo rằng mô hình đầu tiên không bị thiên vị, đúng không?

22:13

The model that's judging all of the sub agents that are running the thing.

Mô hình đang đánh giá tất cả các tác nhân con đang chạy thứ đó.

22:17

Uh, but you can also like hill climb.

Ờ, nhưng bạn cũng có thể kiểu leo đồi.

22:19

So, meaning that you can, you can use like {slash} loop in cursor and you can say, "Okay, keep looping on this eval, right?

Nên là, nghĩa là bạn có thể, bạn có thể dùng kiểu {slash} loop trong cursor và bạn có thể nói, "Được rồi, cứ lặp đi lặp lại trên cái đánh giá này, đúng không?

22:27

Until everything is 10 out of 10." as an example.

Cho đến khi mọi thứ đều 10 trên 10." như một ví dụ.

22:30

Uh, and I did the same, the basically the same approach with the control skill.

Ờ, và tôi đã làm tương tự, về cơ bản là cùng một cách tiếp cận với kỹ năng điều khiển.

22:34

And so, I kind of, it was very, it was very hands-off, actually.

Và thế là, tôi kiểu, nó rất, thực ra nó rất ít can thiệp.

22:38

Uh, so, you know, I, uh, I kind of built, I built that skill that way, like the CLI in that skill.

Ờ, bạn biết đấy, tôi, ờ, tôi kiểu đã xây dựng, tôi đã xây dựng kỹ năng đó theo cách đó, giống như CLI trong kỹ năng đó.

22:45

Um, and over time it's gotten really good.

Ừm, và theo thời gian nó đã trở nên thực sự tốt.

22:47

Uh, but yeah, it was definitely not super smooth

Ờ, nhưng đúng là nó chắc chắn không hề suôn sẻ lắm

22:50

at the beginning.

Lúc ban đầu.

22:51

It required a lot of iteration.

Nó đòi hỏi rất nhiều lần lặp lại.

22:53

And I think there's an analogy here for me, which is, um, well, I make this analogy later in a different slide on my drawing here.

Và tôi nghĩ có một sự tương tự ở đây đối với tôi, đó là, ừm, à, tôi sẽ đưa ra sự tương tự này sau trong một slide khác trên hình vẽ của tôi ở đây.

23:03

Uh, but I think of it like, uh, you know, as a, as a engineer now, you're sort of more like you, uh, like maybe a manager or the analogy I like is like you're like a chef in a restaurant.

Ờ, nhưng tôi nghĩ về nó kiểu, ờ, bạn biết đấy, với tư cách là một, một kỹ sư bây giờ, bạn kiểu giống như bạn, ờ, kiểu như một người quản lý hoặc sự tương tự mà tôi thích là bạn giống như một đầu bếp trong một nhà hàng.

23:16

Uh, you know, you're the head chef.

Ờ, bạn biết đấy, bạn là bếp trưởng.

23:19

Uh, you're not cooking all the food yourself anymore.

Ờ, bạn không còn tự nấu tất cả các món ăn nữa.

23:22

You have a team of cooks, right?

Bạn có một đội ngũ đầu bếp, đúng không?

23:24

You have a line cooks, you have a sous chef, you have, you know, all these different stations.

Bạn có các đầu bếp chính, bạn có bếp phó, bạn có, bạn biết đấy, tất cả các trạm khác nhau này.

23:29

Um, and it's your job to really the environment.

Ừm, và công việc của bạn là thực sự tạo ra môi trường.

23:32

You know, you, you're in charge of setting up the kitchen.

Bạn biết đấy, bạn, bạn phụ trách việc thiết lập nhà bếp.

23:37

You're in charge of, you know, like giving tasks to different people.

Bạn phụ trách việc, bạn biết đấy, kiểu như giao nhiệm vụ cho những người khác nhau.

23:42

So, um, yeah, it's a very interesting way of working.

Nên là, ừm, đúng, đó là một cách làm việc rất thú vị.

23:46

Uh, but yeah, that's, that's how I basically built, uh, these verification skills.

Ờ, nhưng đúng, đó là, đó là cách tôi về cơ bản đã xây dựng, ờ, những kỹ năng xác minh này.

23:51

- Yeah, just one thought there and like I try to go, try to go one layer deeper.

- Ừ, chỉ một suy nghĩ ở đó và kiểu như tôi cố gắng đi, cố gắng đi sâu thêm một lớp.

23:56

So, are you, let's say we wanted to build, um, an eval or a skill for something and we wanted to kind of get better on its own, which is what I think you're suggesting.

Nên là, bạn có, giả sử chúng ta muốn xây dựng, ừm, một đánh giá hoặc một kỹ năng cho một việc gì đó và chúng ta muốn nó kiểu tự cải thiện, đó là điều tôi nghĩ bạn đang gợi ý.

24:06

Uh, are you doing that in like a work tree kind of isolated with like the sub agents and then the reviewer agents and all that?

Ờ, bạn có đang làm việc đó trong kiểu một work tree tách biệt với kiểu các tác nhân con và rồi các tác nhân đánh giá và tất cả những thứ đó không?

24:13

Có phải

24:14

it happening like in some type of cloud-hosted environment?

Nó đang diễn ra kiểu trong một môi trường được lưu trữ trên đám mây nào đó không?

24:16

Like what's the more, the practical steps?

Kiểu như những bước thực tế hơn là gì?

24:18

If I wanted to go do this, uh, and like set up a verification system for something, what would I, what would I do or where would I start?

Nếu tôi muốn làm điều này, ừm, và kiểu như thiết lập một hệ thống xác minh cho một thứ gì đó, tôi sẽ làm gì, tôi sẽ làm gì hoặc bắt đầu từ đâu?

24:27

- Um, I think that, uh, the best way to start is local because you can observe.

- Ừm, tôi nghĩ rằng, ừm, cách tốt nhất để bắt đầu là cục bộ vì bạn có thể quan sát.

24:34

You can definitely observe what your agents are doing.

Bạn chắc chắn có thể quan sát những gì các tác nhân của bạn đang làm.

24:37

So, uh, if you're building a verification skill for yourself, uh, I would definitely start local and just have your agent bring up the application, whether it's like a CLI or a desktop app or whatever.

Vì vậy, ừm, nếu bạn đang xây dựng một kỹ năng xác minh cho chính mình, ừm, tôi chắc chắn sẽ bắt đầu cục bộ và chỉ để tác nhân của bạn khởi động ứng dụng, cho dù đó là CLI hay ứng dụng desktop hay bất cứ thứ gì.

24:49

And so, you can actually observe, right?

Và vì vậy, bạn thực sự có thể quan sát, phải không?

24:50

You can see how the agent is interacting with the, the application.

Bạn có thể thấy cách tác nhân tương tác với ứng dụng.

24:55

You can see it, you know, how it calls like the different APIs that allow it to interact with the, uh, the application.

Bạn có thể thấy nó, bạn biết đấy, cách nó gọi các API khác nhau cho phép nó tương tác với ứng dụng.

25:05

Um, but, uh, for me personally, uh, I have basically been kind of all in, mostly all in on cloud agents because they're extremely powerful.

Ừm, nhưng, ừm, đối với cá nhân tôi, ừm, tôi về cơ bản đã khá là dấn thân hoàn toàn, chủ yếu là dấn thân hoàn toàn vào các tác nhân đám mây vì chúng cực kỳ mạnh mẽ.

25:14

Uh, and the really powerful thing about cursor is the cloud agents actually, where if you spend a little bit of time setting up your environment, these control skills, these verification skills pay a huge amount of dividend because it's not just something that

Ừm, và điều thực sự mạnh mẽ về cursor chính là các tác nhân đám mây, nơi mà nếu bạn dành một chút thời gian thiết lập môi trường của mình, những kỹ năng điều khiển này, những kỹ năng xác minh này mang lại lợi ích to lớn bởi vì nó không chỉ là thứ

25:31

makes you as a single engineer better, it actually levels up your whole team, uh, and even your whole company because, uh, you can actually start thinking about cloud agents and start thinking about automations that automatically do things like, uh, I'll, I get, I kind of talk about this a bit later, but I'll just kind of get into it, uh, where, you know, for example, like I talk a lot about this

Khiến bạn với tư cách là một kỹ sư đơn lẻ trở nên tốt hơn, nó thực sự nâng cấp toàn bộ nhóm của bạn, ừm, và thậm chí toàn bộ công ty của bạn bởi vì, ừm, bạn thực sự có thể bắt đầu nghĩ về các tác nhân đám mây và bắt đầu nghĩ về các tự động hóa tự động làm những việc như, ừm, tôi sẽ, tôi có, tôi sẽ nói về điều này một chút sau, nhưng tôi sẽ đi vào vấn đề, ừm, ở đó, bạn biết đấy, ví dụ, như tôi nói rất nhiều về điều này

25:57

agent we have called Benny, right?

Tác nhân mà chúng tôi có tên là Benny, phải không?

25:59

Who, who, uh, you know, takes all of the bug reports that we get and it automatically goes off in the cloud, opens up a cloud, uh, it's, you know, it's desktop, it runs cursor in its own computer, and it uses the same control skills to interact with the application and try to reproduce the bug, uh, or the user report, right?

Người mà, ừm, bạn biết đấy, nhận tất cả các báo cáo lỗi mà chúng tôi nhận được và nó tự động chạy trên đám mây, mở một đám mây, ừm, nó là, bạn biết đấy, nó là desktop, nó chạy cursor trên máy tính riêng của nó, và nó sử dụng cùng các kỹ năng điều khiển để tương tác với ứng dụng và cố gắng tái tạo lỗi, ừm, hoặc báo cáo người dùng, phải không?

26:19

And this is so powerful because at once I can

Và điều này thật mạnh mẽ bởi vì cùng một lúc tôi có thể

26:23

immediately I get so much information from this automatically.

Ngay lập tức tôi nhận được rất nhiều thông tin từ việc này một cách tự động.

26:26

Like here in this example, you can see that, uh, the Benny actually reproduce the bug, uh, but it's already fixed on main.

Như ở đây trong ví dụ này, bạn có thể thấy rằng, ừm, Benny thực sự đã tái tạo lỗi, ừm, nhưng nó đã được sửa trên main.

26:36

So, it actually confirms that we fixed this problem already, and all I need to do is just release another build of cursor.

Vì vậy, nó thực sự xác nhận rằng chúng tôi đã sửa vấn đề này rồi, và tất cả những gì tôi cần làm là phát hành một bản build cursor khác.

26:42

Uh, so, that's like huge information there that I didn't have to go off and sit with an agent, you know, and spend an hour trying to figure out is this fixed or is this not fixed?

Ừm, vậy đó là thông tin khổng lồ mà tôi không cần phải đi ngồi với một tác nhân, bạn biết đấy, và dành một giờ để cố gắng tìm hiểu xem điều này đã được sửa hay chưa?

26:52

So, you, you can max so much time, uh, but, you know, everybody on my team benefits from this.

Vì vậy, bạn có thể tối đa hóa rất nhiều thời gian, ừm, nhưng, bạn biết đấy, mọi người trong nhóm của tôi đều hưởng lợi từ điều này.

26:57

Everybody at the company benefits from this.

Mọi người trong công ty đều hưởng lợi từ điều này.

27:00

Uh, so, definitely think that, you know, keeping these, using cloud agents is super powerful.

Ừm, vì vậy, chắc chắn nghĩ rằng, bạn biết đấy, giữ những điều này, sử dụng các tác nhân đám mây là cực kỳ mạnh mẽ.

27:09

Uh, but yeah, it's like a journey.

Ừm, nhưng đúng vậy, nó giống như một hành trình.

27:11

You have to trust it first, right?

Bạn phải tin tưởng nó trước, phải không?

27:13

Before you get to this point, and that's, it goes back to what I was saying here where, you know, it's very hard, it's almost impossible, and I would definitely encourage you not to try to jump from, you know, like if you're still in this zone, you don't want to jump to like I'm going to spawn a hundred

Trước khi bạn đạt đến điểm này, và đó là, nó quay trở lại điều tôi đã nói ở đây, bạn biết đấy, rất khó, gần như không thể, và tôi chắc chắn khuyến khích bạn không cố gắng nhảy từ, bạn biết đấy, nếu bạn vẫn còn trong vùng này, bạn không muốn nhảy sang kiểu như tôi sẽ tạo ra một trăm

27:30

or a thousand of cloud agents right now because you're just going to waste a lot of tokens and it's going to be extremely expensive.

Hoặc một nghìn tác nhân đám mây ngay bây giờ bởi vì bạn sẽ chỉ lãng phí rất nhiều token và nó sẽ cực kỳ tốn kém.

27:38

- Yeah, so just to kind of recap so far, basically the, if we wanted to go on the journey that you've kind of gone on, it would be just start with verification, building some skills and some ways of determining that the agents are producing at least like correct code or there, like you said, whether it's good code or not is maybe a separate question, but like it's, it's technically solving the

- Vâng, vậy chỉ để tóm tắt lại cho đến nay, về cơ bản, nếu chúng ta muốn đi trên hành trình mà bạn đã đi, thì sẽ chỉ là bắt đầu với xác minh, xây dựng một số kỹ năng và một số cách để xác định rằng các tác nhân đang tạo ra ít nhất là mã chính xác hoặc ở đó, như bạn đã nói, liệu đó có phải là mã tốt hay không có thể là một câu hỏi riêng, nhưng nó đang giải quyết vấn đề về mặt kỹ thuật bằng cách

27:57

Problem by looking at, you know, stack traces, looking at, you know, the actual behavior in the app and so on.

Xem xét, bạn biết đấy, các dấu vết ngăn xếp, xem xét, bạn biết đấy, hành vi thực tế trong ứng dụng, v.v.

28:03

And once we trust it locally, then we can start to think about scaling into the cloud and running more agents that are picking up signals, I guess, on their own, right?

Và một khi chúng ta tin tưởng nó ở cục bộ, thì chúng ta có thể bắt đầu nghĩ về việc mở rộng sang đám mây và chạy nhiều tác nhân hơn để nhận tín hiệu, tôi đoán vậy, một cách tự động, phải không?

28:10

So, whether that's like a bug report that comes in or something and they can go and pick it up and solve the problem and give us back a PR.

Vì vậy, cho dù đó là một báo cáo lỗi đến hay gì đó và chúng có thể đi nhận nó và giải quyết vấn đề và trả lại cho chúng ta một PR.

28:18

And then maybe the last step is like auto merging the PRs, which is where you're at.

Và sau đó có lẽ bước cuối cùng là tự động hợp nhất các PR, đó là nơi bạn đang ở.

28:23

- Maybe not where everyone is.

- Có lẽ không phải nơi mọi người đang ở.

28:24

- Yeah, yeah.

- Vâng, vâng.

28:24

- And then reviewing them on main, but is that, is that about right?

- Và sau đó xem xét chúng trên main, nhưng điều đó có đúng không?

28:29

- Yeah, exactly.

- Vâng, chính xác.

28:29

I think, yeah, that's why I drew this, this curve, right?

Tôi nghĩ vậy, đúng, đó là lý do tại sao tôi vẽ đường cong này, phải không?

28:33

Because that, this basically describes my journey of, you know, when I started, barely could use a couple agents and I was just observing every single thing.

Bởi vì điều đó, điều này về cơ bản mô tả hành trình của tôi, bạn biết đấy, khi tôi bắt đầu, hầu như không thể sử dụng một vài tác nhân và tôi chỉ quan sát từng thứ một.

28:42

I think there's really no shortcut for going from here to there because this is really about your personal level of trust in the agents.

Tôi nghĩ thực sự không có đường tắt nào để đi từ đây đến đó bởi vì điều này thực sự liên quan đến mức độ tin tưởng cá nhân của bạn vào các tác nhân.

28:49

Right?

Phải không?

28:50

Um, obviously, you know, as an engineer, you don't want to just slop code into production.

Ừm, rõ ràng, bạn biết đấy, với tư cách là một kỹ sư, bạn không muốn chỉ đưa mã ẩu vào sản xuất.

28:55

So, how do you actually build up that trust?

Vậy, làm thế nào bạn thực sự xây dựng được sự tin tưởng đó?

28:58

Takes, um, a lot of, uh, I guess, taste and judgment.

Cần, ừm, rất nhiều, ừm, tôi đoán là, gu và phán đoán.

29:02

Um, but, uh, you know, like I think plugins like Pstack definitely kind of help you get, uh, get up to speed much quicker.

Ừm, nhưng, ừm, bạn biết đấy, tôi nghĩ các plugin như Pstack chắc chắn giúp bạn, ừm, bắt kịp tốc độ nhanh hơn nhiều.

29:11

Uh, and so, I guess it's like if you trust me and you trust Pstack, then in, by extension, you can maybe trust your agents.

Ừm, và vì vậy, tôi đoán nó giống như nếu bạn tin tưởng tôi và bạn tin tưởng Pstack, thì theo đó, bạn có thể tin tưởng các tác nhân của mình.

29:19

But if you don't trust me, and I, I definitely would not encourage people to blindly trust me.

Nhưng nếu bạn không tin tưởng tôi, và tôi, tôi chắc chắn sẽ không khuyến khích mọi người tin tưởng tôi một cách mù quáng.

29:25

Uh, uh, you know, if you build up your own set of skills that you can, obviously, you know, take a look at Pstack and kind of fork it, make it your own, improve the skills, definitely encourage that.

Ừm, ừm, bạn biết đấy, nếu bạn xây dựng bộ kỹ năng của riêng mình, bạn có thể, rõ ràng, bạn biết đấy, xem Pstack và fork nó, biến nó thành của bạn, cải thiện các kỹ năng, chắc chắn khuyến khích điều đó.

29:36

Uh, but for me, it's really all about, it just keeps coming back to trust.

Ừm, nhưng đối với tôi, nó thực sự chỉ là, nó cứ quay trở lại với sự tin tưởng.

29:40

You know, every one of us here in this chat have a different standard for engineering.

Bạn biết đấy, mỗi người trong chúng ta ở đây trong cuộc trò chuyện này có một tiêu chuẩn khác nhau về kỹ thuật.

29:45

Uh, and there are different things that are important for us in our code base.

Ừm, và có những điều khác nhau quan trọng đối với chúng ta trong cơ sở mã của chúng ta.

29:49

And, uh, when you are able to encode all of that into skills and you can verify that your agents actually doing them, that allows you to really kind of ascend

Và, ừm, khi bạn có thể mã hóa tất cả những điều đó vào các kỹ năng và bạn có thể xác minh rằng các tác nhân của bạn thực sự đang làm chúng, điều đó cho phép bạn thực sự vươn lên

29:59

this curve.

Đường cong này.

30:00

And, um, uh, you know, start automating things.

Và, ừm, ừm, bạn biết đấy, bắt đầu tự động hóa mọi thứ.

30:05

Uh, there's another piece I wanted to talk about, um, if there's - Yeah, go for it.

Ừ, còn một phần nữa tôi muốn nói, ừm, nếu có - Ừ, cứ nói đi.

30:09

I'll, I'll pick up more questions as I go, but - Yeah, I think there's a third part to this which I haven't talked about yet, which is kind of an interesting one, which is like refactoring and rewriting.

Tôi sẽ, tôi sẽ nhận thêm câu hỏi khi tôi tiếp tục, nhưng - Ừ, tôi nghĩ có phần thứ ba của vấn đề này mà tôi chưa nói đến, khá thú vị, đó là việc tái cấu trúc và viết lại.

30:21

Like one of the, uh, I guess most controversial, one of the most controversial topics in the

Giống như một trong những, ừ, tôi đoán là chủ đề gây tranh cãi nhất, một trong những chủ đề gây tranh cãi nhất trong

30:26

industry, I think, is like, should you rewrite your app or not?

ngành, tôi nghĩ vậy, là liệu bạn có nên viết lại ứng dụng của mình hay không?

30:30

Um, because I think engineers are very prone to this where, especially when you join a company, you come in and you see like the code base and you're like, "Man, this is, like, who wrote this code?

Ừm, bởi vì tôi nghĩ các kỹ sư rất dễ mắc phải điều này, đặc biệt là khi bạn gia nhập một công ty, bạn đến và bạn nhìn thấy cơ sở mã và bạn kiểu, "Trời ạ, cái này, ai viết mã này vậy?"

30:41

You know, it's, it's terrible.

Bạn biết đấy, nó, nó thật tệ.

30:43

Want to rewrite the whole thing.

Muốn viết lại toàn bộ.

30:45

There is a very common inclination and I think a lot of, you know, before agents, um, and I guess arguably even now, people will

Có một xu hướng rất phổ biến và tôi nghĩ nhiều người, bạn biết đấy, trước khi có agent, ừm, và tôi đoán có thể cả bây giờ, mọi người sẽ

30:53

definitely discourage you from rewriting stuff.

Chắc chắn khuyên bạn không nên viết lại mọi thứ.

30:57

But I'm actually here to make a case for why you might want to consider it.

Nhưng thực ra tôi ở đây để đưa ra lý lẽ tại sao bạn có thể muốn cân nhắc điều đó.

31:01

Um, because I think it really depends.

Ừm, bởi vì tôi nghĩ nó thực sự phụ thuộc.

31:04

Uh, you know, brownfield applications I think are actually in a pretty good spot, especially if they're set up well already.

Ừ, bạn biết đấy, các ứng dụng brownfield tôi nghĩ thực sự đang ở vị trí khá tốt, đặc biệt nếu chúng đã được thiết lập tốt.

31:14

Uh, and like recently I've been talking to some people about, uh, you know, I, I was just observing.

Ừ, và gần đây tôi đã nói chuyện với một số người về, ừ, bạn biết đấy, tôi, tôi chỉ quan sát.

31:21

I just noticed this parallel, which is that a lot of big tech company problems are now everybody's problems.

Tôi chỉ nhận thấy sự tương đồng này, đó là nhiều vấn đề của các công ty công nghệ lớn giờ đây là vấn đề của mọi người.

31:28

Um, and the big tech company problem, you know, like when I was working at Meta, like we had this giant monorepo.

Ừm, và vấn đề của công ty công nghệ lớn, bạn biết đấy, như khi tôi làm việc tại Meta, chúng tôi có một monorepo khổng lồ.

31:34

We had like, I don't know, tens of thousands of engineers just, you know, like banging on their keyboards and shipping code.

Chúng tôi có, tôi không biết, hàng chục nghìn kỹ sư chỉ, bạn biết đấy, gõ bàn phím và gửi mã.

31:41

And a lot of really great engineers at Meta, uh, but, uh, I'll say like, you know, you'll be surprised that the code quality is actually not that good.

Và nhiều kỹ sư thực sự giỏi tại Meta, ừ, nhưng, ừ, tôi sẽ nói là, bạn biết đấy, bạn sẽ ngạc nhiên rằng chất lượng mã thực ra không tốt lắm.

31:52

Um, and so I often joke that like, you know, before AI sloth, we had human sloth.

Ừm, và vì vậy tôi thường đùa rằng, bạn biết đấy, trước khi có AI lười biếng, chúng ta đã có con người lười biếng.

31:58

Um, and so, uh, you know, I think a lot of big tech infra, like, uh, like what Meta has or Google, you know, you know, really big tech companies, are actually designed for that where you're sort of like, you're catering to the, you know, like, uh, sound, this sounds so bad to say, but like the least capable engineer on your team, right?

Ừm, và vì vậy, ừ, bạn biết đấy, tôi nghĩ nhiều cơ sở hạ tầng của công ty công nghệ lớn, như, ừ, như những gì Meta có hoặc Google, bạn biết đấy, những công ty công nghệ thực sự lớn, thực ra được thiết kế cho điều đó, nơi bạn kiểu như, bạn phục vụ cho, bạn biết đấy, như, ừ, nghe có vẻ tệ quá, nhưng kiểu như kỹ sư kém cỏi nhất trong nhóm của bạn, phải không?

32:18

You build, you build frameworks, you build conventions, you

Bạn xây dựng, bạn xây dựng các framework, bạn xây dựng các quy ước, bạn

32:21

build guardrails, you know, you restrict credentials so that, you know, your intern doesn't wipe your production database.

Xây dựng các rào chắn, bạn biết đấy, bạn hạn chế thông tin đăng nhập để, bạn biết đấy, thực tập sinh của bạn không xóa cơ sở dữ liệu sản xuất của bạn.

32:28

Um, there's, uh, you know, if you have that level of infra already, I think your agents can actually already do a very solid job.

Ừm, có, ừ, bạn biết đấy, nếu bạn đã có mức cơ sở hạ tầng đó, tôi nghĩ các agent của bạn thực sự có thể làm rất tốt.

32:37

Right?

Đúng không?

32:38

Because they have the guardrails are already in place for agents to not cause havoc or not cause too much havoc in your code base.

Bởi vì các rào chắn đã có sẵn để agent không gây hỗn loạn hoặc không gây quá nhiều hỗn loạn trong cơ sở mã của bạn.

32:48

Um, and you can always add more, you know, guardrails.

Ừm, và bạn luôn có thể thêm nhiều rào chắn hơn, bạn biết đấy.

32:51

Uh, but I think like greenfield applications, especially are, you know, like the brand new applications are like the biggest risk in my opinion.

Ừ, nhưng tôi nghĩ các ứng dụng greenfield, đặc biệt là, bạn biết đấy, những ứng dụng hoàn toàn mới là rủi ro lớn nhất theo ý tôi.

32:59

Uh, and also the greatest opportunity.

Ừ, và cũng là cơ hội lớn nhất.

33:02

Because, you know, if you vibe code a project, uh, a prototype, um, like we did for Grokbot, you know, Grokbot was spun up very, very quickly.

Bởi vì, bạn biết đấy, nếu bạn vibe code một dự án, ừ, một nguyên mẫu, ừm, như chúng tôi đã làm cho Grokbot, bạn biết đấy, Grokbot được tạo ra rất, rất nhanh.

33:10

Um, and if you, if you haven't heard of Grokbot, it's like our new application we just launched yesterday.

Ừm, và nếu bạn, nếu bạn chưa nghe về Grokbot, đó là ứng dụng mới của chúng tôi vừa ra mắt hôm qua.

33:17

Uh, it's, it's really cool.

Ừ, nó, nó thực sự tuyệt vời.

33:19

Uh, lets you orchestrate your, create like individual agents that have their own identity and you can kind of orchestrate them.

Ừ, cho phép bạn điều phối, tạo ra các agent riêng lẻ có danh tính riêng và bạn có thể điều phối chúng.

33:26

It's super cool, definitely check it out.

Nó siêu tuyệt, nhất định phải xem thử.

33:29

Um, but yeah, that was, it's like a very, it was a very greenfield application like most prototypes are.

Ừm, nhưng đúng vậy, đó là, nó giống như một ứng dụng rất greenfield như hầu hết các nguyên mẫu.

33:34

So it was like vibe coded very quickly.

Vì vậy nó được vibe code rất nhanh.

33:36

Humans were not reading the code at all.

Con người hoàn toàn không đọc mã.

33:39

And, uh, I had this tweet recently, uh, where I said something about organic architecture.

Và, ừ, gần đây tôi có một tweet, ừ, trong đó tôi nói điều gì đó về kiến trúc hữu cơ.

33:47

Um, maybe I'll find it.

Ừm, có lẽ tôi sẽ tìm thấy nó.

33:49

Uh, but the idea is that, uh, when you have a completely vibe coded application, you essentially have no guardrails whatsoever.

Ừ, nhưng ý tưởng là, ừ, khi bạn có một ứng dụng hoàn toàn được vibe code, về cơ bản bạn không có rào chắn nào cả.

33:58

So, uh, your agents, when you give them a task, they will just solve it in whatever method is the most convenient.

Vì vậy, ừ, các agent của bạn, khi bạn giao cho chúng một nhiệm vụ, chúng sẽ chỉ giải quyết nó bằng bất kỳ phương pháp nào thuận tiện nhất.

34:09

And over time you get into this, uh, situation where you have a code base that is spiraling out of control because you don't understand it.

Và theo thời gian, bạn rơi vào tình huống này, ừ, nơi bạn có một cơ sở mã đang mất kiểm soát vì bạn không hiểu nó.

34:17

Uh, your agents understand it, I guess, in a way, but like they've built something that is, you know, optimized for short, for shortcuts.

Ừ, các agent của bạn hiểu nó, tôi đoán vậy, theo một cách nào đó, nhưng kiểu như chúng đã xây dựng một thứ được tối ưu hóa cho các lối tắt.

34:26

Uh, and, uh, you know, it will, you will suffer, you have a lot of issues with that application.

Ừ, và, ừ, bạn biết đấy, nó sẽ, bạn sẽ gặp nhiều vấn đề với ứng dụng đó.

34:34

Uh, so, I think starting your code base with, uh, like very strong strains is very much needed.

Ừ, vì vậy, tôi nghĩ bắt đầu cơ sở mã của bạn với, ừ, những ràng buộc rất mạnh là rất cần thiết.

34:41

Uh, because like when you have a code base that you can trust, right?

Ừ, bởi vì khi bạn có một cơ sở mã mà bạn có thể tin tưởng, phải không?

34:46

When you have guardrails that actually help you, uh, uh, help your agents, right?

Khi bạn có những rào chắn thực sự giúp bạn, ừ, ừ, giúp các agent của bạn, phải không?

34:52

Good code.

Mã tốt.

34:53

You can get into the, you know, like into this part of the curve where I, where I like I said, you know, I woke up today and I had like 20 PRs merged, uh, by my agents.

Bạn có thể đạt đến, bạn biết đấy, phần này của đường cong nơi tôi, như tôi đã nói, bạn biết đấy, tôi thức dậy hôm nay và có khoảng 20 PR được hợp nhất, ừ, bởi các agent của tôi.

35:05

And that's because I invested a lot of, a lot of time, uh, over 600 PRs I, I calculated yesterday, uh, I when I refactored all of GrokBot to this new architecture that I've been building.

Và đó là vì tôi đã đầu tư rất nhiều thời gian, ừ, hơn 600 PR tôi đã tính hôm qua, ừ, khi tôi tái cấu trúc toàn bộ GrokBot sang kiến trúc mới mà tôi đang xây dựng.

35:17

Um, and yeah, I've gotten to a point where I, I don't really look, I really don't look at the code anymore.

Ừm, và đúng vậy, tôi đã đạt đến điểm mà tôi thực sự không nhìn vào mã nữa.

35:23

And, um, I say that not just, you know, to sell you tokens, but because it, I, you know, it, it took a lot of work to get to that point.

Và, ừm, tôi nói điều đó không chỉ để bán token cho bạn, mà vì nó, tôi biết, nó đã tốn rất nhiều công sức để đạt đến điểm đó.

35:32

I spent a lot of tokens to get the code base to this point where I no longer have to look at it.

Tôi đã tốn rất nhiều token để đưa code base đến mức này, nơi tôi không còn phải nhìn vào nó nữa.

35:39

Uh, but I'm very excited because, you know, of the potential where, you know, it's not just, it, this doesn't just benefit me.

Uh, nhưng tôi rất hào hứng vì, bạn biết đấy, tiềm năng ở đây, bạn biết đấy, nó không chỉ, nó không chỉ có lợi cho tôi.

35:46

It benefits everyone contributing to GrokBot.

Nó có lợi cho tất cả mọi người đóng góp cho GrokBot.

35:48

And it also empowers, you know, designers and product managers and, you know, even GTM people to add features to GrokBot.

Và nó cũng trao quyền cho, bạn biết đấy, các nhà thiết kế và quản lý sản phẩm và, bạn biết đấy, cả những người làm GTM để thêm tính năng vào GrokBot.

35:55

And I don't have to worry, you know, I don't have to wake up at night in the middle of the night and

Và tôi không phải lo lắng, bạn biết đấy, tôi không phải thức dậy vào giữa đêm và

36:03

worry like, oh, someone's just merged a perf regression.

Lo lắng kiểu, ôi, ai đó vừa merge một perf regression.

36:06

Right?

Đúng không?

36:06

I have a ton of constraints and CI is like, it's actually very annoying to write code in GrokBot, but like agents absorb all of that annoyance.

Tôi có vô số ràng buộc và CI thì, thực sự rất khó chịu khi viết code trong GrokBot, nhưng các agent hấp thụ hết mọi sự khó chịu đó.

36:17

Um, but yeah, I'm happy to talk about what exactly that is.

Um, nhưng vâng, tôi sẵn lòng nói về chính xác đó là gì.

36:21

Um - Yeah, I think one question, um - Yeah.

Um - Vâng, tôi nghĩ một câu hỏi, um - Vâng.

36:25

- before we get into the, this part here is just around that element of like what your, your CI looks like or maybe some of the constraints and then also like the average PR size.

- trước khi chúng ta đi vào phần này, phần này chỉ xoay quanh yếu tố như CI của bạn trông như thế nào hoặc có thể một số ràng buộc và sau đó là kích thước PR trung bình.

36:34

I saw a question about that earlier.

Tôi đã thấy một câu hỏi về điều đó trước đó.

36:36

Just to give people a, you know, kind of a glance.

Chỉ để cho mọi người, bạn biết đấy, một cái nhìn tổng quan.

36:39

It doesn't have to be like mathematically average but just a, you know, like what generally the size of the, a PR is

Không cần phải chính xác về mặt toán học, nhưng chỉ là, bạn biết đấy, nhìn chung kích thước của một PR là bao nhiêu

36:45

um, if it's only a couple lines of code or, you know, um, yeah.

Um, nếu nó chỉ là vài dòng code hay, bạn biết đấy, um, vâng.

36:48

- Um, I think it depends.

- Um, tôi nghĩ còn tùy.

36:50

Um, maybe I'm trying to do this in a way where I'm not going to like - Yeah, you don't have to share the actual number if you like the actual average just - this is fine.

Um, có lẽ tôi đang cố làm điều này theo cách mà tôi sẽ không kiểu - Vâng, bạn không cần phải chia sẻ con số thực tế nếu bạn muốn, chỉ là mức trung bình thực tế thì - thế này ổn rồi.

37:02

- Benchmark.

- Điểm chuẩn.

37:03

- But like we have, so okay.

- Nhưng kiểu chúng tôi có, được rồi.

37:05

This is not that interesting but, uh, well, fun fact is that virtualization in Grugbot and in, uh, Cursor is actually powered by, uh, Pretext, uh, which is a sort of new library that someone's built.

Điều này không thú vị lắm nhưng, uh, thực ra một sự thật thú vị là virtualization trong Grugbot và trong, uh, Cursor thực ra được cung cấp bởi, uh, Pretext, uh, một thư viện khá mới mà ai đó đã xây dựng.

37:20

Um, that's really interesting.

Um, điều đó thực sự thú vị.

37:22

You should, you should check it out.

Bạn nên, bạn nên xem thử.

37:25

But that's not really that important.

Nhưng điều đó không thực sự quan trọng lắm.

37:26

Uh, I think the average PR size, I actually don't know, I probably, I don't know if I want to click on these.

Uh, tôi nghĩ kích thước PR trung bình, thực ra tôi không biết, có lẽ tôi, tôi không biết mình có muốn nhấp vào những cái này không.

37:33

Uh, I probably can, but I would say like they can range anywhere from a few hundred lines or 50 lines to like a thousand depending on what the thing is doing.

Uh, có lẽ tôi có thể, nhưng tôi muốn nói là chúng có thể dao động từ vài trăm dòng hoặc 50 dòng đến khoảng một nghìn tùy thuộc vào việc thứ đó đang làm gì.

37:44

Uh, so like here I'm actually like deleting a bunch of files so I expect that it's just this like mostly deletion.

Uh, nên ở đây thực ra tôi đang xóa một loạt file nên tôi mong nó chủ yếu là xóa.

37:50

Uh, but yeah, it kind of varies.

Uh, nhưng vâng, nó khá đa dạng.

37:53

There's no like, yeah.

Không có kiểu, vâng.

37:55

- like a hard cap for how many of them are like 50 line PRs?

- kiểu giới hạn cứng cho việc có bao nhiêu trong số đó là PR 50 dòng?

37:58

- cap.

- giới hạn.

37:58

There's definitely no hard cap but I do encourage my agents to split up their work into multiple PRs.

Chắc chắn không có giới hạn cứng nhưng tôi khuyến khích các agent của mình chia nhỏ công việc thành nhiều PR.

38:03

Uh, I do that mostly because, uh, I like, I like the idea of, I guess maybe this is much harder to do now is in the world of agents and you have like so many commits.

Uh, tôi làm vậy chủ yếu vì, uh, tôi thích, tôi thích ý tưởng rằng, có lẽ điều này giờ khó hơn nhiều trong thế giới của các agent và bạn có kiểu quá nhiều commit.

38:16

But I like the idea that, you know, the Git history is a very rich source of context.

Nhưng tôi thích ý tưởng rằng, bạn biết đấy, lịch sử Git là một nguồn ngữ cảnh rất phong phú.

38:21

Uh, and I like the, I like each PR to sort of atomically describe what that small piece of thing is doing.

Uh, và tôi thích việc, tôi thích mỗi PR mô tả một cách nguyên tử những gì phần nhỏ đó đang làm.

38:29

Which also makes it easier for me to revert changes and like figure out, you know, oh, I shipped a bug and it's this, it's here, right?

Điều đó cũng giúp tôi dễ dàng revert các thay đổi hơn và kiểu tìm ra, bạn biết đấy, ôi, tôi đã ship một bug và nó ở đây, nó ở chỗ này, đúng không?

38:37

It's not in this 40,000 line PR where, you know, who knows what landed in there.

Nó không nằm trong cái PR 40.000 dòng này, nơi, bạn biết đấy, ai mà biết cái gì đã vào đó.

38:42

Uh, but yeah, I don't have a hard cap on PR size.

Uh, nhưng vâng, tôi không có giới hạn cứng về kích thước PR.

38:47

- Cool.

- Tuyệt.

38:47

And then, um, yeah, also quick question on like CI.

Và sau đó, um, vâng, cũng một câu hỏi nhanh về CI.

38:50

So, again, you don't have to go into like, uh, the screen share of like your CI does, but just generally, would you describe what the CI kind of looks like, uh, or how strict it is?

Vậy, một lần nữa, bạn không cần phải đi vào kiểu, uh, chia sẻ màn hình về việc CI của bạn làm gì, nhưng chỉ nói chung, bạn có thể mô tả CI trông như thế nào không, uh, hoặc nó nghiêm ngặt đến mức nào?

39:00

- Uh, yeah, so, uh, well, specifically for Grokbot, so Dune is the, is the sort of cheeky code, code name for the architecture that we built for Grokbot.

- Uh, vâng, vậy, uh, cụ thể với Grokbot, Dune là, là kiểu tên code, tên mã hơi đùa cợt cho kiến trúc mà chúng tôi đã xây dựng cho Grokbot.

39:13

Um, the CI looks pretty annoying because there's checks for everything.

Um, CI trông khá khó chịu vì có các kiểm tra cho mọi thứ.

39:19

So, like literally, I have, um, uh, well, if you've read any React, for example, you know, you know that one of the biggest footguns in React is useEffect.

Vậy, kiểu đúng nghĩa là, tôi có, um, uh, à, nếu bạn đã đọc bất kỳ React nào, ví dụ, bạn biết đấy, bạn biết rằng một trong những cái bẫy lớn nhất trong React là useEffect.

39:29

Uh, so in, uh, Dune and in Grokbot, we've banned useEffect.

Uh, nên trong, uh, Dune và trong Grokbot, chúng tôi đã cấm useEffect.

39:32

So, Dune is just, you can, the, the mental model of what Dune is, uh, you can kind of think of it as like Next.js for, uh, Electron apps and it's designed for agents to write.

Vậy, Dune chỉ là, bạn có thể, mô hình tư duy về Dune là gì, uh, bạn có thể coi nó như kiểu Next.js cho, uh, các ứng dụng Electron và nó được thiết kế để các agent viết.

39:45

Uh, and

Uh, và

39:46

it's like custom for, you know, our agent powered applications.

Nó kiểu tùy chỉnh cho, bạn biết đấy, các ứng dụng được cung cấp bởi agent của chúng tôi.

39:50

Um, so the CI checks are very like specific to that.

Um, nên các kiểm tra CI rất kiểu đặc thù cho điều đó.

39:53

Like, you know, don't use effect.

Kiểu, bạn biết đấy, đừng dùng effect.

39:55

It's, it's, it's banned.

Nó, nó, nó bị cấm.

39:56

Like, CI will fail, uh, and yell at you.

Giống như, CI sẽ thất bại, uh, và mắng bạn.

39:59

We have like some of the more interesting ones that people might raise eyebrows is like I actually banned code comments as well.

Chúng tôi có một số điều thú vị hơn mà mọi người có thể nhướng mày, như việc tôi thực sự đã cấm cả chú thích mã.

40:07

Uh, which is very interesting.

Uh, điều đó rất thú vị.

40:09

Um, but I've noticed that 99% of the time agents just write code comments that kind of describe some historical thing that is actually totally irrelevant to the code.

Um, nhưng tôi nhận thấy rằng 99% thời gian các tác nhân chỉ viết chú thích mã mô tả một điều gì đó lịch sử mà thực sự hoàn toàn không liên quan đến mã.

40:21

Um, like it will often say like, you know, "Oh, Lauren said you should never do this." And it's now in the, in the code comment.

Um, giống như nó thường nói kiểu, bạn biết đấy, "Ồ, Lauren nói bạn không bao giờ nên làm điều này." Và bây giờ nó nằm trong chú thích mã.

40:28

I'm like, "What?

Tôi kiểu, "Cái gì?"

40:29

Like, why, what, that was, I didn't say that as like a durable, you know, global rule.

Kiểu, tại sao, cái gì, đó là, tôi không nói điều đó như một quy tắc toàn cầu bền vững, bạn biết đấy.

40:35

I just meant like your, this PR sucks and you should change that part." Like, agents don't really understand this that well, surprisingly.

Tôi chỉ có ý là PR này tệ và bạn nên thay đổi phần đó. Giống như, các tác nhân không thực sự hiểu điều này tốt lắm, thật ngạc nhiên.

40:42

Uh, and or they kind of assume too much and kind of do things in like very stupid ways.

Uh, và hoặc chúng giả định quá nhiều và làm mọi thứ theo những cách rất ngớ ngẩn.

40:48

So, like, yeah, we just ban everything, everything you can imagine like the agents are bad at, we ban.

Vì vậy, kiểu, yeah, chúng tôi chỉ cấm mọi thứ, mọi thứ bạn có thể tưởng tượng mà các tác nhân làm kém, chúng tôi cấm.

40:54

Uh, so, one example that we actually suffer a lot in the agents window is we have, uh, you know, you know, if you've used agents window, you've definitely seen performance issues and, you know, we're constantly trying to fix them.

Uh, vì vậy, một ví dụ mà chúng tôi thực sự chịu đựng rất nhiều trong cửa sổ tác nhân là chúng tôi có, uh, bạn biết đấy, nếu bạn đã sử dụng cửa sổ tác nhân, bạn chắc chắn đã thấy các vấn đề về hiệu suất và, bạn biết đấy, chúng tôi liên tục cố gắng sửa chúng.

41:08

Uh, but it's like a, it's a never-ending struggle because

Uh, nhưng nó giống như một cuộc đấu tranh không hồi kết bởi vì

41:12

there's so many pull requests that get merged.

Có rất nhiều yêu cầu kéo được hợp nhất.

41:14

Every, anyone of them could just regress performance or stability or reliability.

Mỗi, bất kỳ ai trong số chúng đều có thể làm giảm hiệu suất hoặc độ ổn định hoặc độ tin cậy.

41:19

Uh, you know, the agents window doesn't have this architecture yet.

Uh, bạn biết đấy, cửa sổ tác nhân chưa có kiến trúc này.

41:22

I plan to do bring this learning back there and kind of refactor everything there.

Tôi dự định mang bài học này trở lại đó và tái cấu trúc mọi thứ ở đó.

41:27

Uh, but, uh, it just regresses super often, uh, because, uh, there's, there's one example is like we have very poor, um, isolation between processes.

Uh, nhưng, uh, nó chỉ bị giảm sút siêu thường xuyên, uh, bởi vì, uh, có, có một ví dụ là chúng tôi có sự cách ly rất kém, um, giữa các tiến trình.

41:36

So, like, on, you know, on Electron, you have a renderer thread that renders your UI.

Vì vậy, kiểu, trên, bạn biết đấy, trên Electron, bạn có một luồng renderer hiển thị UI của bạn.

41:42

But you also have like a main thread that you can run other code that, you know, doesn't need to block the renderer.

Nhưng bạn cũng có một luồng chính mà bạn có thể chạy mã khác mà, bạn biết đấy, không cần chặn renderer.

41:51

Um, but we do a poor job of separating those things.

Um, nhưng chúng tôi làm kém việc tách biệt những thứ đó.

41:54

And so, often times you just accidentally have code that gets pulled into running on the renderer thread.

Và vì vậy, thường thì bạn vô tình có mã bị kéo vào chạy trên luồng renderer.

41:59

Uh, and then all of a sudden you're competing with the renderer that, you know, that has a very, if you want like 60 FPS, you have to every frame that gets drawn has to be done in 16 ms.

Uh, và rồi đột nhiên bạn đang cạnh tranh với renderer mà, bạn biết đấy, có một, nếu bạn muốn 60 FPS, bạn phải mỗi khung hình được vẽ phải được thực hiện trong 16 ms.

42:11

So, very small, you know,

Vì vậy, rất nhỏ, bạn biết đấy,

42:13

deadline per frame.

Thời hạn mỗi khung hình.

42:14

Uh, if you want, you know, a very smooth product.

Uh, nếu bạn muốn, bạn biết đấy, một sản phẩm rất mượt mà.

42:17

Uh, and when you start building, bringing in, accidentally bringing in, you know, things that are like very computationally heavy or they have a lot of IO, uh, then you just get into like a lot of jank.

Uh, và khi bạn bắt đầu xây dựng, mang vào, vô tình mang vào, bạn biết đấy, những thứ như rất nặng về tính toán hoặc chúng có nhiều IO, uh, thì bạn sẽ gặp phải rất nhiều sự giật lag.

42:30

And your FPS really drops, you start, uh, you know, losing frames, you get long tasks that

Và FPS của bạn thực sự giảm, bạn bắt đầu, uh, bạn biết đấy, mất khung hình, bạn nhận được các tác vụ dài mà

42:36

take more than 16 milliseconds and you just get this really choppy experience.

Mất hơn 16 mili giây và bạn chỉ nhận được trải nghiệm rất giật lag.

42:41

So, all of those patterns that we've learned basically building Electron apps, we've encoded into this framework.

Vì vậy, tất cả những mẫu mà chúng tôi đã học được khi xây dựng ứng dụng Electron, chúng tôi đã mã hóa vào framework này.

42:47

And it becomes like a hard failure.

Và nó trở thành một thất bại cứng.

42:49

So, I literally in Grokbot, we literally have a directory called electron main, electron renderer, and we have, uh, import, uh, CI, I guess, where we actually check the dependency graph to make sure you're not accidentally importing code from one directory to another.

Vì vậy, tôi thực sự trong Grokbot, chúng tôi thực sự có một thư mục gọi là electron main, electron renderer, và chúng tôi có, uh, import, uh, CI, tôi đoán, nơi chúng tôi thực sự kiểm tra đồ thị phụ thuộc để đảm bảo bạn không vô tình nhập mã từ thư mục này sang thư mục khác.

43:08

Uh, so that's enforced by the CI, um, as well as Bobbocks, uh, which is our, which cursors, um, like code review tool that runs on CI.

Uh, vì vậy điều đó được thực thi bởi CI, um, cũng như Bobbocks, uh, công cụ đánh giá mã của cursors, um, chạy trên CI.

43:19

Uh, you know, in our agents MD, it's everywhere.

Uh, bạn biết đấy, trong MD tác nhân của chúng tôi, nó ở khắp mọi nơi.

43:22

Like, so I, I, um, I have this thing here where I talk about like, um, you know, like there are multiple layers, I think, for building a good code base.

Kiểu, vì vậy tôi, tôi, um, tôi có điều này ở đây nơi tôi nói về, um, bạn biết đấy, có nhiều lớp, tôi nghĩ, để xây dựng một cơ sở mã tốt.

43:34

Uh, obviously the code base is one where, uh, if you have an architecture like this, where it's extremely strict, uh, you know, the, the way to build features is very conventional.

Uh, rõ ràng cơ sở mã là một trong đó, uh, nếu bạn có một kiến trúc như thế này, nơi nó cực kỳ nghiêm ngặt, uh, bạn biết đấy, cách để xây dựng các tính năng là rất quy ước.

43:46

That's like the strongest level of enforcement because agents just love to copy existing patterns.

Đó giống như mức độ thực thi mạnh nhất bởi vì các tác nhân chỉ thích sao chép các mẫu hiện có.

43:52

So, uh, one example of this in Grokbot is like we have this, these concepts called like a feature and we have entry points and transcript cards.

Vì vậy, uh, một ví dụ về điều này trong Grokbot là chúng tôi có những khái niệm gọi là tính năng và chúng tôi có các điểm vào và thẻ bản ghi.

43:59

Like, all, you know, the cards that you see in the chat.

Kiểu, tất cả, bạn biết đấy, các thẻ bạn thấy trong cuộc trò chuyện.

44:03

These are all like, like nouns, I guess, in the framework.

Đây đều là những danh từ, tôi đoán, trong framework.

44:06

And so there's a very conventional way of creating them.

Và vì vậy có một cách rất quy ước để tạo chúng.

44:09

And so like a feature is all in a single directory as an example, and so all of the code that contributes to that feature lives in one directory.

Và vì vậy một tính năng, như một ví dụ, tất cả nằm trong một thư mục duy nhất, và vì vậy tất cả mã đóng góp cho tính năng đó nằm trong một thư mục.

44:18

So, it's all co-located in one place.

Vì vậy, tất cả được đặt cùng vị trí ở một nơi.

44:20

Makes it super easy, you know, agents don't have to like grep around and try to figure

Làm cho nó siêu dễ dàng, bạn biết đấy, các tác nhân không phải grep xung quanh và cố gắng tìm ra

44:26

out like where all the things are.

Mọi thứ ở đâu.

44:28

It just looks at the feature and like, "Oh, okay, I'm working on the onboarding feature in GrokBot.

Nó chỉ nhìn vào tính năng và kiểu, "Ồ, được rồi, tôi đang làm việc trên tính năng onboarding trong GrokBot.

44:35

I'm just going to work in this directory." And for 80% of the work, it's mostly just very encapsulated there.

Tôi sẽ chỉ làm việc trong thư mục này." Và trong 80% công việc, nó chủ yếu chỉ được đóng gói rất gọn ở đó.

44:42

- clears throat - But like it's like very, it's like designed again for, you know, like the dumbest agent.

- [hắng giọng] - Nhưng nó giống như rất, nó giống như được thiết kế lại cho, bạn biết đấy, tác nhân ngớ ngẩn nhất.

44:48

Like, you don't have to think.

Kiểu, bạn không cần phải suy nghĩ.

44:50

All right, the, the, one of the key principles I have for this framework is like the shortest, the shortest path is the best path.

Được rồi, một trong những nguyên tắc chính tôi có cho framework này là con đường ngắn nhất là con đường tốt nhất.

44:59

So, because that plays exactly to how agents love to write code.

Vì vậy, bởi vì điều đó phù hợp chính xác với cách các tác nhân thích viết mã.

45:03

Like, they like to take shortcuts, really.

Kiểu, họ thích đi đường tắt, thật đấy.

45:05

You know, they'll, they'll find the quickest way to solve the problem.

Bạn biết đấy, họ sẽ, họ sẽ tìm cách nhanh nhất để giải quyết vấn đề.

45:10

So, why not make that the best way to solve the problem?

Vậy tại sao không biến đó thành cách tốt nhất để giải quyết vấn đề?

45:14

So, I probably won't get into all the specific details.

Nên có lẽ tôi sẽ không đi vào tất cả các chi tiết cụ thể.

45:18

And this framework is really more of a collection of ideas and principles

Và framework này thực sự giống một tập hợp các ý tưởng và nguyên tắc hơn

45:23

rather than something that will open source.

Chứ không phải là thứ sẽ được mã nguồn mở.

45:25

You can, you can, you know, screenshot this, I guess, if you want and tell your agent to do some build something like this for you, too.

Bạn có thể, bạn có thể, bạn biết đấy, chụp ảnh màn hình cái này, tôi đoán vậy, nếu bạn muốn và bảo agent của bạn xây dựng thứ gì đó như thế này cho bạn luôn.

45:36

Um, yeah, but it's really all about the layers.

Ừm, đúng vậy, nhưng thực sự tất cả là về các lớp.

45:40

You know, like the code base is one part with features and directories and, you know, import blocking, import dependencies that shouldn't be imported.

Bạn biết đấy, giống như code base là một phần với các tính năng và thư mục và, bạn biết đấy, chặn import, phụ thuộc import không nên được import.

45:51

But and it all enforces that and static analysis.

Nhưng và tất cả đều thực thi điều đó và phân tích tĩnh.

45:54

So, like there's CI checks.

Vậy, giống như có các kiểm tra CI.

45:57

We have a lot of lints for bad patterns that we observe.

Chúng tôi có rất nhiều lint cho các mẫu xấu mà chúng tôi quan sát được.

46:02

Compiler diagnostics.

Chẩn đoán trình biên dịch.

46:03

There's also rules in bug bot which are, um, I think like three, four, five are more soft, right?

Cũng có các quy tắc trong bug bot, mà, ừm, tôi nghĩ giống như ba, bốn, năm thì mềm hơn, đúng không?

46:11

These two actually make, make CI red, right?

Hai cái này thực sự làm, làm CI đỏ, đúng không?

46:14

So that, you know, there's a hard constraint where the agent can just write crappy code.

Vậy, bạn biết đấy, có một ràng buộc cứng mà agent không thể chỉ viết code tồi.

46:21

For rules and skills and bug bot, your agents can still forget, all right?

Đối với các quy tắc và kỹ năng và bug bot, agent của bạn vẫn có thể quên, được chứ?

46:27

You can still or it may not always consistently apply them.

Bạn vẫn có thể hoặc nó có thể không luôn áp dụng chúng một cách nhất quán.

46:30

So, I like to layer them, but I don't, I don't like to rely on them as the only source of enforcement because it's very soft, right?

Nên tôi thích phân lớp chúng, nhưng tôi không, tôi không thích dựa vào chúng như nguồn thực thi duy nhất vì nó rất mềm, đúng không?

46:39

And if you, if you only have rules and bug bot and skills and a style guide for your code, you will, it's only a matter of time before your code base looks like complete trash.

Và nếu bạn, nếu bạn chỉ có các quy tắc và bug bot và kỹ năng và hướng dẫn phong cách cho code của bạn, bạn sẽ, chỉ là vấn đề thời gian trước khi code base của bạn trông như rác hoàn toàn.

46:51

I'm sorry to say that, but I definitely recommend, yeah, like you know, investing in, you know, things that can be hard enforced, right?

Tôi xin lỗi phải nói điều đó, nhưng tôi thực sự khuyên, đúng vậy, giống như bạn biết đấy, đầu tư vào, bạn biết đấy, những thứ có thể được thực thi cứng, đúng không?

46:59

And that's this why, you know, maybe, uh, the choice of tech stack that you use is also very important.

Và đó là lý do tại sao, bạn biết đấy, có lẽ, ừ, việc lựa chọn tech stack bạn sử dụng cũng rất quan trọng.

47:06

Um, like I think for example, Rust is sort of making, you know, it's like getting super popular again, uh, because the compiler is so strict, right?

Ừm, ví dụ tôi nghĩ Rust đang phần nào trở nên, bạn biết đấy, nó giống như trở nên siêu phổ biến trở lại, ừ, vì trình biên dịch rất nghiêm ngặt, đúng không?

47:15

The compiler enforces so many different things, you know, there's a borrow checker that you have to appease.

Trình biên dịch thực thi rất nhiều thứ khác nhau, bạn biết đấy, có một borrow checker mà bạn phải làm hài lòng.

47:21

And if as long as you make sure your agents don't write unsafe code blocks, uh, you can more or less feel somewhat confident that if the code compiles, it's probably works and it's good.

Và miễn là bạn đảm bảo agent của bạn không viết các khối code unsafe, ừ, bạn có thể ít nhiều cảm thấy tự tin rằng nếu code biên dịch được, nó có thể hoạt động và tốt.

47:32

Uh, but you see, it gives you that level of trust and confidence that you as a human engineer no longer need to go and check it yourself.

Ừ, nhưng bạn thấy đấy, nó cho bạn mức độ tin tưởng và tự tin mà bạn với tư cách là một kỹ sư con người không cần phải tự kiểm tra nữa.

47:43

You know, you rely on code and static analysis to actually make that, uh, a lot smoother.

Bạn biết đấy, bạn dựa vào code và phân tích tĩnh để thực sự làm cho điều đó, ừ, mượt mà hơn nhiều.

47:51

Um, and I guess the worst part, the worst place to be in is if you are stuck in code review land where you actually enforce all of the constraints, the invariants in your code base by literally the human person saying, you know, reading the code and be like, "Okay, you should not do this." Right?

Ừm, và tôi đoán phần tồi tệ nhất, nơi tồi tệ nhất để ở là nếu bạn bị kẹt trong vùng review code nơi bạn thực sự thực thi tất cả các ràng buộc, các bất biến trong code base của bạn bằng cách literally một người thật nói rằng, bạn biết đấy, đọc code và nói, "Được rồi, bạn không nên làm điều này." Đúng không?

48:10

Every time you have to do that, you should consider that as a code smell, like an anti-pattern.

Mỗi khi bạn phải làm điều đó, bạn nên coi đó là một code smell, giống như một anti-pattern.

48:15

And you should say, "Okay, instead of me commenting on the PR, how do I turn this into a hard rule?" Right?

Và bạn nên nói, "Được rồi, thay vì tôi bình luận trên PR, làm thế nào để tôi biến điều này thành một quy tắc cứng?" Đúng không?

48:22

How do I turn this into a lint rule?

Làm thế nào để tôi biến điều này thành một quy tắc lint?

48:25

How do I turn this into a CI failure?

Làm thế nào để tôi biến điều này thành một lỗi CI?

48:28

Or how do I even categorically eliminate this problem, uh, entirely?

Hoặc làm thế nào để tôi thậm chí loại bỏ hoàn toàn vấn đề này, ừ, một cách phân loại?

48:32

Uh, I can talk about another migration I've done, but I'll probably pause here.

Ừ, tôi có thể nói về một cuộc di chuyển khác tôi đã làm, nhưng có lẽ tôi sẽ tạm dừng ở đây.

48:37

- Sure.

- Chắc chắn rồi.

48:38

Yeah, I feel like that's, that's where I am, to be honest, is what you're describing right now, which is that like I don't have all of these rules.

Đúng vậy, tôi cảm thấy đó là, đó là nơi tôi đang ở, thành thật mà nói, là những gì bạn đang mô tả ngay bây giờ, đó là tôi không có tất cả các quy tắc này.

48:45

Uh, so I have some things to go do after this session in terms of being able to scale my agents.

Ừ, nên tôi có một số việc phải làm sau phiên này về việc có thể mở rộng quy mô agent của mình.

48:50

I'm, I'm definitely on like the, uh, you know, maybe a couple of parallel ones locally stage, so like two to three locally.

Tôi, tôi chắc chắn đang ở kiểu, ừ, bạn biết đấy, có lẽ một vài cái song song ở giai đoạn cục bộ, kiểu như hai đến ba cái cục bộ.

48:55

And I'm sure most people here

Và tôi chắc hầu hết mọi người ở đây

48:57

are on the same, so, uh, yeah, I know we only have a couple minutes left.

Đều ở cùng trạng thái, vậy, ừ, đúng vậy, tôi biết chúng ta chỉ còn vài phút.

49:00

Uh, Lauren, was there anything else that you wanted to highlight?

Ừ, Lauren, có điều gì khác bạn muốn nhấn mạnh không?

49:02

I obviously there's lots of questions, so I can grab more, but I want to give you a few minutes if there's anything else you want to talk about.

Tôi rõ ràng là có rất nhiều câu hỏi, nên tôi có thể lấy thêm, nhưng tôi muốn dành cho bạn vài phút nếu có điều gì khác bạn muốn nói.

49:08

- Well, I think I've been yapping for quite a lot, so I'm maybe let's just do questions.

- Chà, tôi nghĩ tôi đã nói luyên thuyên khá nhiều rồi, nên có lẽ chúng ta hãy chỉ hỏi đáp thôi.

49:13

- Okay, cool.

- Được, tuyệt.

49:13

Uh, one question that I had, uh, a couple of came up a couple times was just around like token usage.

Ừ, một câu hỏi mà tôi có, ừ, một vài lần được đặt ra là về việc sử dụng token.

49:19

So the question is like, is what you're describing a realistic thing for people who are on, you know, uh, a normal set of token usage, they don't have, you know, basically unlimited tokens, uh, to work with.

Vậy câu hỏi là, liệu những gì bạn đang mô tả có thực tế cho những người đang ở, bạn biết đấy, ừ, mức sử dụng token bình thường, họ không có, bạn biết đấy, về cơ bản là token không giới hạn, ừ, để làm việc.

49:34

- Well, I think that's a really good point.

- Chà, tôi nghĩ đó là một điểm thực sự hay.

49:36

I mean, like obviously, you know, I work at an AI lab where we have unlimited tokens, so, uh, I definitely cannot say that, you know, this is something everyone should do in the exact same way that I did it.

Ý tôi là, rõ ràng là, bạn biết đấy, tôi làm việc tại một phòng thí nghiệm AI nơi chúng tôi có token không giới hạn, nên, ừ, tôi chắc chắn không thể nói rằng, bạn biết đấy, đây là điều mọi người nên làm theo đúng cách tôi đã làm.

49:49

I think it's possible to get to this point without, you know, breaking the bank.

Tôi nghĩ có thể đạt được điểm này mà không, bạn biết đấy, phá sản.

49:54

But, you know, if you are like an engineering leader or, you know, you're, you're, you have a startup that you lead, um, I think the main is a question of ROI.

Nhưng, bạn biết đấy, nếu bạn là một nhà lãnh đạo kỹ thuật hoặc, bạn biết đấy, bạn là, bạn, bạn có một startup mà bạn lãnh đạo, ừm, tôi nghĩ câu hỏi chính là về ROI.

50:03

Um, and it's like yes, you spend a lot of money on tokens in the upfront stage.

Ừm, và nó giống như là đúng vậy, bạn chi rất nhiều tiền cho token trong giai đoạn ban đầu.

50:08

You know, you like refactoring a code base is going to take a lot of tokens.

Bạn biết đấy, việc tái cấu trúc một cơ sở mã sẽ tốn rất nhiều token.

50:13

Uh, adding all these things, uh, is going to take a bunch of tokens.

Ừ, việc thêm tất cả những thứ này, ừ, sẽ tốn một đống token.

50:18

But, if we're heading to a world where agents are writing all the code, and you know, you want to be very lean, right?

Nhưng, nếu chúng ta đang hướng tới một thế giới nơi các tác nhân viết tất cả mã, và bạn biết đấy, bạn muốn thật tinh gọn, phải không?

50:24

You don't want to have to hire, you don't want to be, you don't want to become like meta, right?

Bạn không muốn phải thuê, bạn không muốn trở thành, bạn không muốn trở nên giống như Meta, phải không?

50:30

Like I mean like in terms of you don't want to become a 10,000-person engineering org because I mean, that's a cool problem to have, but also you need, you have so much

Ý tôi là về mặt bạn không muốn trở thành một tổ chức kỹ thuật 10.000 người bởi vì ý tôi là, đó là một vấn đề thú vị để có, nhưng bạn cũng cần, bạn có quá nhiều

50:39

overhead.

Chi phí quản lý.

50:39

There's like planning, you know, like you, it's, it's, uh, personally I, I wouldn't, uh, it's not super fun.

Có những thứ như lập kế hoạch, bạn biết đấy, cá nhân tôi, tôi sẽ không, ừ, nó không vui lắm.

50:45

But, um, I think you want to stay very nimble, right?

Nhưng, ừm, tôi nghĩ bạn muốn giữ thật nhanh nhẹn, phải không?

50:49

And you want to, you want to be like agents are all about allowing you to do things that you couldn't do before.

Và bạn muốn, bạn muốn giống như các tác nhân là tất cả về việc cho phép bạn làm những điều mà bạn không thể làm trước đây.

50:57

That's really to me like the value of agents.

Đó thực sự là đối với tôi giống như giá trị của các tác nhân.

51:00

You know, it's not just throwing tokens on every single little thing,

Bạn biết đấy, nó không chỉ là ném token vào mọi thứ nhỏ nhặt,

51:04

but, um, to me like the thing I couldn't do before is like enforce this level of constraints in a code base by myself.

Nhưng, ừm, đối với tôi, điều tôi không thể làm trước đây là thực thi mức độ ràng buộc này trong một cơ sở mã một mình.

51:12

Right?

Đúng không?

51:12

Like I'm just a single person, you know, uh, it would have taken me years to build this framework, uh, and do all the refactoring and test everything myself and verify, you know, like run, imagine if there was just me, right?

Giống như tôi chỉ là một người, bạn biết đấy, ừ, tôi sẽ mất nhiều năm để xây dựng khung này, ừ, và làm tất cả việc tái cấu trúc và kiểm tra mọi thứ một mình và xác minh, bạn biết đấy, giống như chạy, hãy tưởng tượng nếu chỉ có tôi, phải không?

51:27

No, in pre-agent era, just like running, you know, by my, it would take me so long, right?

Không, trong thời kỳ trước tác nhân, chỉ việc chạy, bạn biết đấy, một mình tôi, sẽ mất rất lâu, phải không?

51:34

And my salary is pretty high, right?

Và lương của tôi khá cao, phải không?

51:36

Like, so, you know,

Giống như, vậy, bạn biết đấy,

51:38

the question I think an engineering leader might have is just then, you know, like what is, there's a trade-off of do you hire someone to do this, or do you spend the tokens to set up a code base so that even the most naive, right, the dumbest agents can do a good job.

Câu hỏi mà tôi nghĩ một nhà lãnh đạo kỹ thuật có thể có là sau đó, bạn biết đấy, có một sự đánh đổi giữa việc bạn thuê ai đó làm việc này, hay bạn chi token để thiết lập một cơ sở mã sao cho ngay cả những tác nhân ngây thơ nhất, đúng vậy, ngốc nghếch nhất cũng có thể làm tốt.

51:56

And when you actually get to this point, like even agents that are not, you know, fable size, do an excellent job of writing code.

Và khi bạn thực sự đạt đến điểm này, ngay cả những tác nhân không phải, bạn biết đấy, cỡ fable, cũng làm rất xuất sắc việc viết mã.

52:04

And this pays a lot of dividends as well for me in personally where I have empowered not just myself, but again, like PMs, designers, engineers who are not familiar with Grok to just contribute in a way that is sustainable.

Và điều này mang lại nhiều lợi ích cho cá nhân tôi, nơi tôi đã trao quyền không chỉ cho bản thân mà còn cho các PM, nhà thiết kế, kỹ sư không quen với Grok để đóng góp theo cách bền vững.

52:22

So, I think, yeah, it's definitely like a trade-off for sure, you know, like nothing is like free for sure.

Vì vậy, tôi nghĩ, đúng, nó chắc chắn là một sự đánh đổi, bạn biết đấy, không có gì là miễn phí cả.

52:27

Uh, and tokens are pretty expensive.

Ừ, và token khá đắt.

52:29

Uh, but oh, actually, uh, I, I don't know how many of you have seen this, but we actually announced Grok 4.6 today.

Ừ, nhưng ồ, thực ra, ừ, tôi, tôi không biết có bao nhiêu người trong số các bạn đã thấy điều này, nhưng chúng tôi thực sự đã công bố Grok 4.6 hôm nay.

52:36

So, very exciting, finally out.

Thật hào hứng, cuối cùng đã ra mắt.

52:38

Um, so, yeah, Grok 4.6 would be like a great, it is very, very smart.

Ừm, vậy, đúng, Grok 4.6 sẽ là một, nó rất, rất thông minh.

52:43

Uh, it's really good on the, on the benchmarks.

Ừ, nó thực sự tốt trên các bài kiểm tra chuẩn.

52:46

Uh, and it's the same, the tokens, uh, I hopefully I'm not saying this incorrectly, but, uh, I believe the cost per token is the same as 4.5.

Ừ, và nó giống nhau, token, ừ, tôi hy vọng tôi không nói sai điều này, nhưng, ừ, tôi tin rằng chi phí mỗi token giống như 4.5.

52:57

So, you're actually getting more intelligence for the same cost.

Vậy là bạn thực sự nhận được nhiều trí tuệ hơn với cùng chi phí.

53:01

Uh, I think this is an area that Cursor tries to, Cursor and SpaceX AI try to really optimize for, like that Pareto frontier of, you know, cost versus intelligence.

Ừ, tôi nghĩ đây là lĩnh vực mà Cursor cố gắng, Cursor và SpaceX AI cố gắng thực sự tối ưu hóa, giống như biên giới Pareto về chi phí so với trí tuệ.

53:13

Uh, you know, we don't necessarily want to build the biggest model ever because that is extremely expensive to run.

Ừ, bạn biết đấy, chúng tôi không nhất thiết muốn xây dựng mô hình lớn nhất từ trước đến nay vì nó cực kỳ tốn kém để vận hành.

53:19

It's really about like how do you find that sweet spot, right?

Nó thực sự là về việc làm thế nào để bạn tìm thấy điểm ngọt ngào đó, phải không?

53:22

You don't, you don't need a giant model, but it's just super smart, right, and it's not very expensive for inference.

Bạn không cần một mô hình khổng lồ, nhưng nó chỉ siêu thông minh, phải không, và nó không quá đắt để suy luận.

53:29

Uh, but, um, yeah, I think to kind of round it up, um, I think it's like a, it's, it's, there's a, if you do your own analysis, I feel like it's pretty positive.

Ừ, nhưng, ừm, đúng, tôi nghĩ để tóm lại, ừm, tôi nghĩ nó giống như một, nếu bạn tự phân tích, tôi cảm thấy nó khá tích cực.

53:41

It'll be pretty positive that the ROI you get from investing in stuff like this just empowers not just yourself but your whole team to be so much more productive.

Sẽ khá tích cực rằng ROI bạn nhận được từ việc đầu tư vào những thứ như thế này không chỉ trao quyền cho bản thân mà còn cho cả nhóm của bạn để năng suất hơn rất nhiều.

53:51

Right?

Đúng không?

53:51

Like imagine if you have an army of engineers like me who are shipping so much improvements and, and bug fixes, uh, you know, every day.

Giống như hãy tưởng tượng nếu bạn có một đội quân kỹ sư như tôi, những người đang giao nhiều cải tiến và sửa lỗi, ừ, bạn biết đấy, mỗi ngày.

54:01

All right, like that is pretty exciting.

Được rồi, điều đó thật thú vị.

54:05

- Cool.

- Tuyệt.

54:05

Uh, one last question before we wrap up.

Ừ, một câu hỏi cuối trước khi chúng ta kết thúc.

54:07

Uh, this one is for the people in product on the, on the call.

Ừ, câu này dành cho những người trong bộ phận sản phẩm trên cuộc gọi.

54:11

So, let's say we do have an army of engineers who are shipping like Lauren.

Vậy, giả sử chúng ta có một đội quân kỹ sư đang giao hàng như Lauren.

54:15

I'm just curious like how is the product team or other functions of your company keeping up given that like if you're shipping so quickly, have, are they using AI more to do their jobs?

Tôi chỉ tò mò là làm thế nào nhóm sản phẩm hoặc các chức năng khác của công ty bạn theo kịp, vì nếu bạn giao hàng nhanh như vậy, họ có đang sử dụng AI nhiều hơn để làm công việc của họ không?

54:24

Like as much as

Giống như nhiều như

54:25

you can speak to that.

Bạn có thể nói về điều đó.

54:26

I obviously you don't have like you're not in that role but just curious about how that works.

Tôi rõ ràng là bạn không có, bạn không ở trong vai trò đó nhưng chỉ tò mò về cách nó hoạt động.

54:31

- Um, I think this is where Grok Bot has been actually exceedingly powerful.

- Ừm, tôi nghĩ đây là nơi Grok Bot thực sự mạnh mẽ vô cùng.

54:36

Uh, where so before Grok Bot, like you know, obviously Cursor only had Cursor.

Ừ, vậy trước Grok Bot, bạn biết đấy, rõ ràng Cursor chỉ có Cursor.

54:41

Like we only had agents window, we had a CLI, we had an IDE.

Giống như chúng tôi chỉ có cửa sổ tác nhân, chúng tôi có CLI, chúng tôi có IDE.

54:46

And these are really like power user tools, right?

Và đây thực sự là những công cụ cho người dùng chuyên nghiệp, phải không?

54:49

Like, they're designed for developers, so it's very developer-centric.

Kiểu, chúng được thiết kế cho lập trình viên, nên nó rất thiên về lập trình viên.

54:52

You can do knowledge work in them, but it like the UI is not really optimized for that.

Bạn có thể làm công việc tri thức trong đó, nhưng giao diện người dùng không thực sự được tối ưu cho việc đó.

54:59

So, we actually didn't really have...

Vậy nên, thực ra chúng tôi không thực sự có...

55:01

Well, I think like a lot of people in like, you know, GTM product, like they might have used Cursor to do their work, but it definitely wasn't like a delightful experience for them.

Chà, tôi nghĩ giống như nhiều người trong, bạn biết đấy, sản phẩm GTM, họ có thể đã dùng Cursor để làm việc, nhưng chắc chắn đó không phải là trải nghiệm thú vị đối với họ.

55:12

Um, I think now with Grok Bot, uh, it's become...

Ừm, tôi nghĩ bây giờ với Grok Bot, ừ, nó đã trở thành...

55:15

Grok Bot is basically like the Cursor moment for people who are not in tech, in my opinion.

Theo tôi, Grok Bot về cơ bản giống như khoảnh khắc Cursor dành cho những người không làm trong ngành công nghệ.

55:22

Like, it's like, it's like a very accessible way to use agents in a very comfortable, very familiar interface.

Kiểu, nó giống như một cách rất dễ tiếp cận để sử dụng các agent trong một giao diện rất thoải mái, rất quen thuộc.

55:29

It looks like iMessage.

Nó trông giống như iMessage.

55:30

Um, and it's very fun too.

Ừm, và nó cũng rất vui nữa.

55:32

You know, you can give your agent to have name.

Bạn biết đấy, bạn có thể đặt tên cho agent của mình.

55:36

Uh, you can have, you can kind of do orchestration

Ừ, bạn có thể, bạn có thể phần nào điều phối

55:40

with in a very like natural way where you can sort of, you know, each agent is like a person and now you have a team of agents like working on...

Theo một cách rất tự nhiên, nơi bạn có thể, bạn biết đấy, mỗi agent giống như một người và giờ bạn có một đội ngũ agent đang làm việc trên...

55:47

you have one agent per account that you manage, as an example.

Ví dụ, bạn có một agent cho mỗi tài khoản mà bạn quản lý.

55:50

Or if you're a PM, you have, you know, you can have an agent that summarizes all the work that Lauren did last night and then now you know what I did, right?

Hoặc nếu bạn là một PM, bạn có, bạn biết đấy, bạn có thể có một agent tóm tắt toàn bộ công việc mà Lauren đã làm tối qua và giờ bạn biết tôi đã làm gì, đúng không?

55:58

So I think our PMs are leveraging that a lot.

Nên tôi nghĩ các PM của chúng tôi đang tận dụng điều đó rất nhiều.

56:01

And they're shipping code too.

Và họ cũng đang ship code nữa.

56:03

So you know, like often times they will just say, oh, here's a bug, I fix it.

Nên bạn biết đấy, thường thì họ sẽ chỉ nói, ồ, đây là một lỗi, tôi sửa rồi.

56:08

Can you look at it?

Bạn xem qua được không?

56:09

And then I'll go review it and actually it's just perfect.

Rồi tôi sẽ đi review nó và thực ra nó hoàn hảo luôn.

56:12

I'm like, okay, stamp.

Tôi kiểu, được, đóng dấu duyệt.

56:14

So I think that shows that, you know, the, the Dune architecture is holding up, right?

Nên tôi nghĩ điều đó cho thấy rằng, bạn biết đấy, kiến trúc Dune đang đứng vững, đúng không?

56:18

The all the really strict constraints allow people who are not experts in engineering to contribute at a high level.

Tất cả những ràng buộc thực sự nghiêm ngặt cho phép những người không phải chuyên gia về kỹ thuật đóng góp ở mức độ cao.

56:25

So I'm, I feel like I'm already seeing that pay off a lot where, you know, designers and PMs are just able to, to ship features directly.

Nên tôi cảm thấy mình đã thấy điều đó mang lại lợi ích rất nhiều, nơi mà, bạn biết đấy, các nhà thiết kế và PM chỉ có thể ship tính năng trực tiếp.

56:36

And that just makes the Grok Bot team super fast, right?

Và điều đó khiến đội ngũ Grok Bot siêu nhanh, đúng không?

56:40

Where we can ship so quickly.

Nơi chúng tôi có thể ship nhanh đến vậy.

56:43

Um, and we have a lot planned, so I'm very excited to, you know, to ship more, ship more stuff.

Ừm, và chúng tôi có rất nhiều kế hoạch, nên tôi rất hào hứng để, bạn biết đấy, ship thêm, ship thêm nhiều thứ nữa.

Transcript

Hiển thị

Trusting AI Agents as Colleagues

Lauren Tan introduces GrokBot and the idea of treating AI agents like trusted colleagues rather than tools. The central challenge is learning how to trust agents, since hallucinated or confidently wrong outputs destroy trust and turn the human into a bottleneck. A trust curve shows the journey from heavy oversight to agents that auto-merge pull requests.

Lauren Tan giới thiệu GrokBot và ý tưởng đối xử với các tác nhân AI như những đồng nghiệp đáng tin cậy thay vì công cụ. Thách thức trung tâm là học cách tin tưởng các tác nhân, vì những đầu ra bị ảo giác hoặc sai một cách tự tin sẽ phá hủy niềm tin và biến con người thành nút thắt cổ chai. Một đường cong niềm tin cho thấy hành trình từ giám sát chặt chẽ đến các tác nhân tự động hợp nhất pull request.

And with GrokBot, we really wanted to take, you know, like a fresh perspective on what would it look like if your agent was really more like a colleague?

Và với GrokBot, chúng tôi thực sự muốn có một góc nhìn mới mẻ về việc sẽ như thế nào nếu agent của bạn thực sự giống như một đồng nghiệp hơn.

- Mhm.

- Ừm.

- Uh, and so I started thinking about how would I make it so my agents could just automatically fix bugs for me while I sleep?

- À, và thế là tôi bắt đầu nghĩ làm sao để các agent của mình có thể tự động sửa lỗi cho tôi trong khi tôi ngủ?

And so that was the inspiration for some of our earlier experiments with, you know, building like, uh, like a more like persistent bot.

Và đó chính là nguồn cảm hứng cho một số thí nghiệm ban đầu của chúng tôi với việc xây dựng một con bot kiểu bền bỉ hơn.

But I think a big part of our responsibility now as

Nhưng tôi nghĩ một phần lớn trách nhiệm của chúng ta bây giờ với tư cách là

engineers is also to like, uh, you know, keep the code base in in a condition where, you know, product managers, designers can contribute like high-quality code.

kỹ sư cũng là giữ cho code base ở trong tình trạng mà product manager, designer có thể đóng góp code chất lượng cao.

Uh, okay, so I assume you can see my screen.

À, được rồi, tôi giả sử bạn có thể thấy màn hình của tôi.

- Yes.

- Vâng.

Yeah, we're good.

Ừ, ổn rồi.

- So yeah, today, yeah, I think I think the big theme for me as I've been using agents to write code, and I'm sure a lot of you have had the same experience as well, is how do you trust it?

You know, especially if you are an engineer that's been writing code for a very long time, you have a lot of opinions and lessons that you've learned about doing good engineering.

Bạn biết đấy, đặc biệt nếu bạn là một kỹ sư đã viết code rất lâu, bạn có rất nhiều quan điểm và bài học rút ra về việc làm kỹ thuật tốt.

And when you lose, when you don't have much trust in your agents, I feel like you really can't get the most out of them.

Và khi bạn mất, khi bạn không có nhiều niềm tin vào agent của mình, tôi cảm thấy bạn thực sự không thể khai thác tối đa chúng.

And for me, the parallel is like with management.

Và với tôi, sự tương đồng là với việc quản lý.

I'll have to spend a lot of time looking over my reports' shoulders and checking that

Tôi sẽ phải dành nhiều thời gian nhìn qua vai các báo cáo viên của mình và kiểm tra rằng

they're doing their work well, you know, that they're not shipping bugs to production.

họ làm việc tốt, rằng họ không đẩy bug lên production.

And so, I drew this chart because, uh, it's not, it's not a very scientific chart, but like this is how I imagine myself and my journey through using agents.

what your agents are doing, uh, and you're very in the loop.

agent của bạn đang làm gì, và bạn ở rất sát trong vòng lặp.

You're watching every single output.

Bạn xem từng đầu ra một.

You are sitting there prompting, um, and you really can't parallelize beyond that because you don't, again, you don't have that trust, right?

Bạn ngồi đó gõ prompt, và bạn thực sự không thể song song hóa vượt quá mức đó bởi vì, một lần nữa, bạn không có niềm tin đó, đúng không?

You can't go to 100 agents, uh, like spawn 100 agents when you don't even trust the output of one agent.

Bạn không thể đi đến 100 agent, kiểu sinh ra 100 agent khi bạn còn chưa tin nổi đầu ra của một agent.

And they were good.

Và chúng đều tốt.

Uh, so, how did I get to that point?

À, vậy làm sao tôi đến được điểm đó?

It's basically why I wanted to talk about today.

Đó cơ bản là lý do tôi muốn nói hôm nay.

And again, like yeah, feel free to jump in if you have questions, Colin.

Và một lần nữa, cứ thoải mái tham gia nếu bạn có câu hỏi, Colin.

Um, but, uh, oh, yeah, of course I got to show this, this chart.

Ừm, nhưng, ồ, vâng, tất nhiên tôi phải cho xem biểu đồ này.

Uh, where, don't do not trust to, someone requested to control my computer.

À, nơi, đừng, không tin tưởng đến, ai đó đã yêu cầu điều khiển máy tính của tôi.

Probably won't do that.

Có lẽ sẽ không làm thế đâu.

Uh, but yeah, so this chart, I think I'm sharing this chart not to kind of like flex, but to kind of show like the journey.

À, nhưng vâng, biểu đồ này, tôi nghĩ tôi chia sẻ biểu đồ này không phải để khoe khoang, mà để cho thấy hành trình.

Like so you can see like the curve, like it sort of like inversely matches the contributions I've been able to land at Cursor.

Để bạn có thể thấy đường cong, nó kiểu tương quan nghịch với những đóng góp tôi đã có thể merge tại Cursor.

So, I joined 5 months ago.

Vậy, tôi gia nhập 5 tháng trước.

And 5 months ago, like I, you know, my first month I was like not very productive cuz I was, you know, I was learning the code base.

Và 5 tháng trước, tháng đầu tiên tôi không năng suất lắm vì tôi đang học code base.

Didn't know what the heck was going on.

Không biết chuyện gì đang diễn ra.

And as I got more confident in my agents, I've really been able to kind of ramp up my productivity.

Và khi tôi tự tin hơn vào agent của mình, tôi thực sự đã có thể tăng năng suất lên.

Uh, and again, like yeah, like last month I shipped 1,000 PRs, which is ridiculous.

À, và một lần nữa, tháng trước tôi đã ship 1.000 PR, thật là vô lý.

Uh, and then this month, we're only on the 12th, I'm already at like almost 800 PRs landed.

À, và tháng này, mới chỉ ngày 12, tôi đã gần 800 PR được merge.

Uh, so the velocity is definitely high.

À, vậy tốc độ chắc chắn là cao.

And you, I share, a lot of you will definitely be questioning like how much of this code is actually good.

Và bạn, tôi chia sẻ, nhiều bạn chắc chắn sẽ thắc mắc bao nhiêu phần code này thực sự tốt.

And I think, yeah, like that's definitely fair to question.

Và tôi nghĩ, vâng, thắc mắc vậy là hoàn toàn hợp lý.

Um, but yeah, I think I think if you set up your agents well, you can definitely get to a very similar level.

Ừm, nhưng vâng, tôi nghĩ nếu bạn thiết lập agent của mình tốt, bạn chắc chắn có thể đạt đến mức tương tự.

Um, and so I'm going to talk about how we do that.

Ừm, và thế là tôi sẽ nói về cách chúng tôi làm điều đó.

1 / 8