Andrej Karpathy describes a dramatic shift in software development since December, where he now delegates coding to multiple AI agents and feels constant pressure to maximize token throughput. He claims he hasn't typed a line of code since then, experiencing 'AI psychosis' from trying to parallelize agents. The bottleneck is no longer typing speed but skill in instructing agents and managing macro actions. He compares maximizing token usage to maximizing GPU flops during his PhD. The binding constraint is now human skill, making improvement addictive. Future direction involves multiple agents collaborating and going up the stack.
Andrej Karpathy mô tả một sự thay đổi mạnh mẽ trong phát triển phần mềm kể từ tháng 12, khi anh ủy thác việc viết mã cho nhiều tác nhân AI và cảm thấy áp lực liên tục để tối đa hóa thông lượng token. Anh tuyên bố đã không gõ một dòng mã nào kể từ đó, trải qua 'chứng loạn thần AI' khi cố gắng song song hóa các tác nhân. Nút thắt không còn là tốc độ gõ mà là kỹ năng hướng dẫn tác nhân và quản lý các hành động vĩ mô. Anh so sánh việc tối đa hóa sử dụng token với việc tối đa hóa flops GPU trong thời gian làm tiến sĩ. Ràng buộc hiện tại là kỹ năng con người, khiến việc cải thiện trở nên gây nghiện. Hướng đi tương lai liên quan đến nhiều tác nhân cộng tác và đi lên các tầng cao hơn.
Code's not even the right verb anymore, right?
Mã nguồn thậm chí không còn là từ đúng nữa, phải không?
laughter But I have to express my will to my agents for 16 hours a day.
[cười] Nhưng tôi phải thể hiện ý chí của mình với các tác nhân của tôi trong 16 giờ mỗi ngày.
Manifest.
Hiện thực hóa.
music How can I have not just a single session of Claude code or Codex or some of these agent harnesses?
[nhạc] Làm thế nào tôi có thể có không chỉ một phiên duy nhất của Claude code hay Codex hay một số công cụ tác nhân này?
How can I have more of them?
Làm thế nào tôi có thể có nhiều hơn chúng?
How can I do that appropriately?
Làm thế nào tôi có thể làm điều đó một cách phù hợp?
The agent part is now taken for granted.
Phần tác nhân bây giờ đã được coi là hiển nhiên.
Now the claw-like entities are taken for granted and now you can have multiple of them and now you can have instructions to them and now you can have optimization over the instructions.
Giờ đây, các thực thể giống như móng vuốt được coi là hiển nhiên và bạn có thể có nhiều thực thể như vậy, và bạn có thể có hướng dẫn cho chúng, và bạn có thể tối ưu hóa các hướng dẫn đó.
But there - laughter - I mean this is why it gets to the psychosis is that this is like infinite and everything is a skill issue.
Nhưng rồi - [cười] - Ý tôi là đây là lý do tại sao nó dẫn đến chứng loạn thần, bởi vì điều này giống như vô hạn và mọi thứ đều là vấn đề kỹ năng.
Hi listeners, welcome back to No Priors.
Xin chào các thính giả, chào mừng trở lại với No Priors.
Today I'm here with Andre Karpathy and we have a wide-ranging conversation for you about code agents, the future of engineering and AI research, how more people can contribute to research, what's happening in robotics, his prediction for how agents can reach out music into the real world, and education in this next age.
Hôm nay tôi ở đây với Andre Karpathy và chúng tôi có một cuộc trò chuyện rộng mở dành cho bạn về các tác nhân mã nguồn, tương lai của kỹ thuật và nghiên cứu AI, cách nhiều người hơn có thể đóng góp vào nghiên cứu, điều gì đang xảy ra trong lĩnh vực robot, dự đoán của anh ấy về cách các tác nhân có thể vươn ra [nhạc] thế giới thực, và giáo dục trong thời đại mới này.
Welcome, Andre.
Chào mừng, Andre.
Andre, thanks for doing this.
Andre, cảm ơn vì đã tham gia.
Yeah, thank you for having me.
Vâng, cảm ơn bạn đã mời tôi.
Uh so it's been a very exciting couple of months in AI.
Ừm, vài tháng qua thực sự rất thú vị trong lĩnh vực AI.
Uh yeah, you could say that.
Ừ, bạn có thể nói vậy.
- I remember um walking into the office at some point and you were like really locked in and I was asking what you were up to and you're like, I just I have to code for 16 hours a day or code's not even the right verb anymore, right?
- Tôi nhớ là đã bước vào văn phòng lúc nào đó và bạn đang rất tập trung và tôi hỏi bạn đang làm gì và bạn nói, tôi chỉ phải code 16 giờ một ngày hoặc code thậm chí không còn là từ đúng nữa, phải không?
But I have to um express my will to my agents for 16 hours a day.
Nhưng tôi phải thể hiện ý chí của mình với các tác nhân của tôi trong 16 giờ mỗi ngày.
Manifest um because like there's been a jump in capability.
Hiện thực hóa bởi vì đã có một bước nhảy vọt về khả năng.
Uh what's happening?
Ừ, chuyện gì đang xảy ra vậy?
Tell me about your experience.
Hãy kể cho tôi nghe về trải nghiệm của bạn.
Yeah, I kind of feel like I was just in this perpetual I still am often in this state of AI psychosis just like all the time um because there was a huge unlock in what you can achieve as a person as an individual, right?
Vâng, tôi cảm thấy như mình đã ở trong trạng thái loạn thần AI vĩnh viễn, tôi vẫn thường xuyên ở trong trạng thái đó, bởi vì đã có một sự bùng nổ lớn về những gì bạn có thể đạt được với tư cách là một con người, một cá nhân, phải không?
Because you were bottlenecked by, you know, your typing speed and so on.
Bởi vì trước đây bạn bị giới hạn bởi tốc độ gõ phím và những thứ tương tự.
But now with these agents it really, I would say in
Nhưng bây giờ với các tác nhân này, tôi có thể nói là vào
December is when it really just something flipped where I kind of went from 80/20 of like, you know, uh to like 20/80 of writing code by myself versus just delegating to agents.
Tháng 12 là khi một điều gì đó thực sự thay đổi, tôi đã chuyển từ tỷ lệ 80/20, bạn biết đấy, ừm, sang 20/80 giữa việc tự viết code và giao phó cho các tác nhân.
And I don't even think it's 20/80 by now.
Và tôi thậm chí không nghĩ bây giờ là 20/80 nữa.
I think it's a lot more than that.
Tôi nghĩ nó còn nhiều hơn thế.
I don't think I've typed like a line of code probably since December basically.
Tôi nghĩ tôi đã không gõ một dòng code nào kể từ tháng 12 về cơ bản.
- laughter - Um which is like an extremely large uh change.
- [cười] - Ừm, đó là một sự thay đổi cực kỳ lớn.
Um I was talking to it like for example, I was talking about it to for example my parents and so on and I don't think like a normal person actually realizes that this happened or how dramatic it was.
Ừm, tôi đã nói chuyện về điều này với, ví dụ, bố mẹ tôi và tôi không nghĩ một người bình thường thực sự nhận ra điều này đã xảy ra hoặc nó đã thay đổi mạnh mẽ như thế nào.
Like literally like if you just find a random software engineer or something like that at their at their desk and what they're doing,
Giống như thực sự, nếu bạn tìm một kỹ sư phần mềm ngẫu nhiên nào đó tại bàn làm việc của họ và xem họ đang làm gì,
like their default workflow of, you know, building software is completely different as of basically December.
Quy trình làm việc mặc định của họ để xây dựng phần mềm đã hoàn toàn khác kể từ tháng 12.
Uh so I'm just like in this state of psychosis of trying to figure out like what's possible, uh trying to push it to the limit.
Ừm, vì vậy tôi đang ở trong trạng thái loạn thần này, cố gắng tìm ra những gì có thể, cố gắng đẩy nó đến giới hạn.
How is it how can I have not just a single session of, you know, um Claude code or Codex or some of these agent harnesses?
Làm thế nào tôi có thể có không chỉ một phiên duy nhất của, bạn biết đấy, ừm, Claude code hay Codex hay một số công cụ tác nhân này?
How can I have more of them?
Làm thế nào tôi có thể có nhiều hơn chúng?
How can I do that uh appropriately?
Làm thế nào tôi có thể làm điều đó một cách phù hợp?
And then how can I use these claws?
Và sau đó làm thế nào tôi có thể sử dụng những móng vuốt này?
What are these claws?
Những móng vuốt này là gì?
Uh
Ừm
and uh so there's like a lot of new things.
Và ừm, có rất nhiều điều mới.
I want to be at the forefront of it, you know, and I'm very antsy that I'm not at the forefront of it and I see lots of people on Twitter doing all kinds of things and they all sound like really good ideas and I need to be at the forefront or I feel extremely nervous.
Tôi muốn đi đầu trong lĩnh vực này, bạn biết đấy, và tôi rất lo lắng rằng mình không ở vị trí tiên phong và tôi thấy nhiều người trên Twitter làm đủ thứ và tất cả đều nghe có vẻ là những ý tưởng hay và tôi cần phải đi đầu nếu không tôi sẽ cảm thấy cực kỳ lo lắng.
And so I guess I'm just in this psychosis of like what's
Và vì vậy tôi đoán tôi chỉ đang ở trong trạng thái loạn thần này về những gì
possible like because it's unexplored fundamentally.
Có thể, bởi vì về cơ bản nó chưa được khám phá.
Well, if you're nervous, the rest of us are nervous.
Chà, nếu bạn lo lắng, thì phần còn lại của chúng tôi cũng lo lắng.
We have a we have a team that we work with at Conviction that their setup is everybody is like, you know, none of the engineers write code by hand and they're all microphoned and they just like whisper to their agents all the time.
Chúng tôi có một đội ngũ làm việc cùng tại Conviction, cách họ sắp xếp là mọi người đều, bạn biết đấy, không có kỹ sư nào viết code bằng tay và tất cả đều đeo micro và họ thì thầm với các tác nhân của mình mọi lúc.
It's the strangest work setting ever.
Đó là môi trường làm việc kỳ lạ nhất từ trước đến nay.
Uh and I thought they were crazy and now I like I fully accept I was like, oh this was the way.
Ừm và tôi đã nghĩ họ điên rồ, nhưng bây giờ tôi hoàn toàn chấp nhận, tôi đã nghĩ, ồ, đây là cách đúng đắn.
Like you're just ahead of it.
Giống như bạn chỉ đi trước nó thôi.
Um what uh how do you think about your own capacity now to like explore or to do projects?
Ừm, bạn nghĩ thế nào về khả năng hiện tại của mình để khám phá hoặc thực hiện các dự án?
Like what is it limited by?
Nó bị giới hạn bởi điều gì?
Yeah, what is it limited by?
Ừ, nó bị giới hạn bởi cái gì?
Uh just I think everything like so many things even if they don't work, I think to a large extent you feel like it's a skill issue.
Ừ, tôi nghĩ mọi thứ, nhiều thứ ngay cả khi chúng không hoạt động, tôi nghĩ phần lớn bạn cảm thấy đó là vấn đề kỹ năng.
It's not that the capability is not there.
Không phải là khả năng không có.
It's that you just haven't found a way to string it together of what's available.
Mà là bạn chưa tìm ra cách kết nối những gì có sẵn.
Like I just don't I didn't give good enough instructions in the agents from the file or whatever it
Giống như tôi chỉ không đưa ra hướng dẫn đủ tốt trong các agent từ file hay gì đó
may be.
Có thể.
I don't have a nice enough memory tool that I put in there or something like that.
Tôi không có công cụ bộ nhớ đủ tốt mà tôi đặt vào đó hay đại loại thế.
So it all kind of feels like skill issue when it doesn't work to some extent.
Vì vậy, tất cả đều cảm thấy như vấn đề kỹ năng khi nó không hoạt động ở một mức độ nào đó.
You want to see how you can parallelize them etc.
Bạn muốn xem cách bạn có thể song song hóa chúng, v.v.
and you want to be Peter Steinberg basically.
Và về cơ bản bạn muốn trở thành Peter Steinberg.
Uh so Peter is famous.
Ừ, Peter nổi tiếng.
He has a funny photo where he's in front of a monitor with lots of uh like he uses Codex.
Anh ấy có một bức ảnh hài hước khi đứng trước màn hình với rất nhiều, ừ, như anh ấy dùng Codex.
So lots
Rất nhiều
of Codex agents tiling the monitor and they all take about 20 minutes if you prompt them correctly and use the high effort.
Agent Codex xếp kín màn hình và tất cả đều mất khoảng 20 phút nếu bạn nhắc chúng đúng cách và dùng nỗ lực cao.
And so they all take about 20 minutes.
Và vì vậy tất cả đều mất khoảng 20 phút.
They have multiple, you know, 10 repos checked out.
Chúng có nhiều, bạn biết đấy, 10 repo đã được checkout.
And so he's just um going between them and giving them work.
Và vì vậy anh ấy chỉ, ừ, đi qua lại giữa chúng và giao việc cho chúng.
It's just like you can you can you can move in much larger macro actions.
Nó giống như bạn có thể, bạn có thể, bạn có thể di chuyển trong các hành động vĩ mô lớn hơn nhiều.
It's not just like here's a
Nó không chỉ là đây là một
line of code, here's a new function.
Dòng code, đây là một hàm mới.
It's like here's a new functionality and delegate it to agent one.
Nó giống như đây là một chức năng mới và ủy thác nó cho agent một.
Here's a new functionality that's not going to interfere with the other one.
Đây là một chức năng mới sẽ không can thiệp vào cái kia.
Give it agent two.
Giao nó cho agent hai.
And then try to uh review their work as best as you can - laughter - depending on how much you care about that code.
Và sau đó cố gắng, ừ, xem xét công việc của chúng tốt nhất có thể - [cười] - tùy thuộc vào mức độ bạn quan tâm đến code đó.
Like where are these macro actions that I can like manipulate my software repository by?
Giống như những hành động vĩ mô này ở đâu mà tôi có thể thao tác kho phần mềm của mình?
And like another
Và như một
agent is doing some like research, another agent is writing code, another one is coming up with a plan for some new implementation.
Agent khác đang làm nghiên cứu, agent khác đang viết code, agent khác đang lên kế hoạch cho một triển khai mới.
And so everything is just like happens in these like macro actions over your repository.
Và vì vậy mọi thứ chỉ diễn ra trong những hành động vĩ mô này trên kho của bạn.
Um and you're just trying to become like really good at it and develop like a muscle memory for it is extremely um Yeah, it's very rewarding number one
Ừ, và bạn chỉ đang cố gắng trở nên thực sự giỏi về nó và phát triển trí nhớ cơ bắp cho nó, điều này cực kỳ, ừ, vâng, nó rất bổ ích, số một
because it actually works.
Bởi vì nó thực sự hoạt động.
Uh but it's also kind of like the new thing to learn.
Ừ, nhưng nó cũng giống như một thứ mới để học.
So that's why hence the psychosis.
Vì vậy đó là lý do tại sao có chứng loạn thần.
Yeah, I do feel like my instinct is like whenever I'm waiting for an agent to complete something, the obvious thing to do is like, well, I can do more work, right?
Vâng, tôi cảm thấy bản năng của mình là bất cứ khi nào tôi chờ đợi một agent hoàn thành việc gì đó, điều hiển nhiên là, ừ, tôi có thể làm thêm việc, phải không?
Like if I have access to more tokens then like I should just parallelize at tasks.
Giống như nếu tôi có quyền truy cập vào nhiều token hơn thì tôi nên song song hóa các tác vụ.
And so that's that's very stressful because if you don't feel very bounded by your ability to spend on tokens, then you know, you
Và vì vậy điều đó rất căng thẳng bởi vì nếu bạn không cảm thấy bị giới hạn bởi khả năng chi tiêu cho token, thì bạn biết đấy, bạn
are the bottleneck in the system that is max capability.
Là nút thắt cổ chai trong hệ thống có khả năng tối đa.
Yeah, if you're not maximizing your subscription at least.
Vâng, nếu bạn không tối đa hóa đăng ký của mình ít nhất.
And ideally for multiple agents.
Và lý tưởng nhất là cho nhiều agent.
Like if you run out of the quota on Codex, you should switch to Claude or whatnot.
Giống như nếu bạn hết hạn mức trên Codex, bạn nên chuyển sang Claude hay gì đó.
I don't know.
Tôi không biết.
Like that's what I've been trying to do a little bit and I feel nervous when I have subscription left over.
Giống như đó là điều tôi đã cố gắng làm một chút và tôi cảm thấy lo lắng khi còn đăng ký dư.
That just means I haven't maximized my token throughput.
Điều đó chỉ có nghĩa là tôi chưa tối đa hóa thông lượng token của mình.
So I actually kind of experienced this when I was a PhD student.
Vì vậy, tôi thực sự đã trải nghiệm điều này khi còn là nghiên cứu sinh.
You would feel
Bạn sẽ cảm thấy
nervous when your GPUs are not running.
Lo lắng khi GPU của bạn không chạy.
Like you have GPU capability and you're not maximizing your the available flops to you.
Giống như bạn có khả năng GPU và bạn không tối đa hóa flops có sẵn cho mình.
But now it's not about flops, it's about tokens.
Nhưng bây giờ không phải là flops, mà là token.
So what is your token throughput and what token throughput do you command?
Vậy thông lượng token của bạn là gì và bạn điều khiển thông lượng token nào?
I would actually argue that it's very interesting that we had, you know, at least 10 years where in many engineering tasks people just did they didn't feel compute bound.
Tôi thực sự muốn tranh luận rằng điều rất thú vị là chúng ta đã có, bạn biết đấy, ít nhất 10 năm mà trong nhiều nhiệm vụ kỹ thuật, mọi người chỉ làm mà không cảm thấy bị giới hạn tính toán.