0:00

54:21

Build Hour: Valuemaxxing with GPT-5.6

OpenAI·54:21·Technology·B2

Chương · 7

Chương 1·From Token Maxing to Value Maxing

Hiển thị

Tiếng ViệtAuto-scroll

0:01

Hi everyone, welcome back to OpenAI Build Hours.

Chào mọi người, chào mừng trở lại với OpenAI Build Hours.

0:03

I'm Christine on the startup marketing team, and today I'm here with Charlie.

Tôi là Christine trong nhóm marketing khởi nghiệp, và hôm nay tôi ở đây cùng với Charlie.

0:07

- Hi, I'm Charlie from the developer experience team.

- Chào, tôi là Charlie từ nhóm trải nghiệm nhà phát triển.

0:10

- So today our topic is going to be about value maxing with GPT-3.5.

- Vậy chủ đề hôm nay của chúng ta sẽ là về tối đa hóa giá trị với GPT-3.5.

0:15

So next slide.

Vậy tiếp theo slide.

0:15

If this is your first time with us, uh, the whole purpose of Build Hours is to empower you with the best practices, tools, and AI expertise to scale your company using OpenAI APIs and models.

Nếu đây là lần đầu tiên bạn đến với chúng tôi, uh, toàn bộ mục đích của Build Hours là trao cho bạn những thực tiễn tốt nhất, công cụ và chuyên môn AI để mở rộng công ty của bạn bằng cách sử dụng API và mô hình của OpenAI.

0:25

Uh, down below is our homepage.

Uh, bên dưới là trang chủ của chúng tôi.

0:27

So we're constantly posting new sessions as they come up.

Vì vậy chúng tôi liên tục đăng các phiên mới khi chúng xuất hiện.

0:29

Feel free to check back, and you can also catch up on demand.

Hãy thoải mái quay lại kiểm tra, và bạn cũng có thể xem lại theo yêu cầu.

0:33

We also post all of these

Chúng tôi cũng đăng tất cả những

0:35

sessions on YouTube um on the day of.

Phiên trên YouTube um vào ngày diễn ra.

0:38

So check back later in case you want to review anything that we're chatting about today.

Vì vậy hãy quay lại sau trong trường hợp bạn muốn xem lại bất cứ điều gì chúng tôi đang thảo luận hôm nay.

0:44

So we've traditionally started every Build Hour with a meme, and we're back.

Vậy chúng tôi thường bắt đầu mỗi Build Hour bằng một meme, và chúng tôi đã trở lại.

0:50

Uh, so if we have any Office fans around, um, this is really about just getting more value per token, um, and Charlie's going to walk you through uh some tips and tricks on how to do this.

Uh, vậy nếu có ai là fan của Office ở đây, um, điều này thực sự chỉ là về việc nhận được nhiều giá trị hơn trên mỗi token, um, và Charlie sẽ hướng dẫn bạn uh một số mẹo và thủ thuật về cách làm điều này.

1:04

So this is our first Build Hour after GPT-3.5 release.

Vậy đây là Build Hour đầu tiên của chúng tôi sau khi phát hành GPT-3.5.

1:07

Um, so right after we released this model, we asked everyone on X kind of why they love this model, um, and we were really just like humbled and and also like taken away by all the reasons that people submitted.

Um, vậy ngay sau khi chúng tôi phát hành mô hình này, chúng tôi đã hỏi mọi người trên X kiểu tại sao họ yêu thích mô hình này, um, và chúng tôi thực sự cảm thấy khiêm nhường và cũng như bị choáng ngợp bởi tất cả những lý do mà mọi người đã gửi.

1:21

And I think a common theme that we saw was just how token efficient this model is, particularly in just having you guys get

Và tôi nghĩ một chủ đề chung mà chúng tôi thấy chỉ là mô hình này tiết kiệm token đến mức nào, đặc biệt là trong việc để các bạn có được

1:30

the most bang for per token.

Giá trị lớn nhất trên mỗi token.

1:32

Um, and recently actually, I think this is two days ago on X, uh, we reached a new milestone.

Um, và gần đây thực sự, tôi nghĩ đây là hai ngày trước trên X, uh, chúng tôi đã đạt được một cột mốc mới.

1:39

Um, so we're we're really happy to see that this is resonating with people, um, and that this new model um is letting people do more with less tokens.

Um, vậy chúng tôi thực sự rất vui khi thấy điều này đang cộng hưởng với mọi người, um, và rằng mô hình mới này um đang cho phép mọi người làm được nhiều hơn với ít token hơn.

1:50

So to give you a snapshot of what we're talking about today, the first is we're going to explain this shift that's gone from token maxing to value maxing.

Vậy để cho bạn một cái nhìn tổng quan về những gì chúng ta nói hôm nay, đầu tiên là chúng tôi sẽ giải thích sự chuyển dịch này từ tối đa hóa token sang tối đa hóa giá trị.

1:59

Um, we're going to show you value maxing in Code X, and then also value maxing your harness.

Um, chúng tôi sẽ cho bạn thấy tối đa hóa giá trị trong Code X, và sau đó cũng là tối đa hóa giá trị trong harness của bạn.

2:04

And then I'm really excited that we will have Floy, um, one of our favorite startups, uh, join today to chat about how they've actually migrated their AI agent over.

Và sau đó tôi thực sự hào hứng rằng chúng ta sẽ có Floy, um, một trong những startup yêu thích của chúng tôi, uh, tham gia hôm nay để trò chuyện về cách họ thực sự đã chuyển đổi AI agent của họ sang.

2:13

And last but not least is Q&A.

Và cuối cùng nhưng không kém phần quan trọng là Q&A.

2:15

Um, so on the right side of your screen, if you toggle over to the Q&A button, you can actually submit questions, and our team will be in the room um answering them on chat and then also selecting a few to answer live towards the end.

Um, vậy ở phía bên phải màn hình của bạn, nếu bạn chuyển sang nút Q&A, bạn thực sự có thể gửi câu hỏi, và nhóm của chúng tôi sẽ ở trong phòng um trả lời chúng trên chat và sau đó cũng chọn một vài câu để trả lời trực tiếp về cuối.

2:28

And we'll have our friends from Floy also join.

Và chúng tôi sẽ có những người bạn từ Floy cũng tham gia.

2:30

So feel free to ask any questions, um, and we're really excited to kick this

Vậy hãy thoải mái đặt bất kỳ câu hỏi nào, um, và chúng tôi thực sự hào hứng bắt đầu điều này

2:35

off.

Off.

2:35

So over to you, Charlie.

Vậy chuyển sang bạn, Charlie.

2:37

- Thanks so much, Christine.

- Cảm ơn rất nhiều, Christine.

2:38

Um, thanks everybody for joining.

Um, cảm ơn mọi người đã tham gia.

2:39

So excited to be here.

Rất hào hứng được ở đây.

2:40

Uh, I want to talk about value maxing, but I'm sure there's, you know, a lot of questions about what is that, right?

Uh, tôi muốn nói về tối đa hóa giá trị, nhưng tôi chắc chắn có, bạn biết đấy, rất nhiều câu hỏi về đó là gì, đúng không?

2:46

And I think you can't quite explain what it is without first starting with token maxing.

Và tôi nghĩ bạn không thể giải thích nó là gì mà không bắt đầu với tối đa hóa token.

2:50

Um, and I think token maxing is a term that emerged, you know, earlier in this year.

Um, và tôi nghĩ tối đa hóa token là một thuật ngữ xuất hiện, bạn biết đấy, sớm hơn trong năm nay.

2:55

Um, and to kind of encapsulate it, right?

Um, và để tóm gọn nó, đúng không?

2:58

It was essentially this idea of measuring progress by how much AI you're using.

Nó về cơ bản là ý tưởng đo lường tiến độ bằng việc bạn đang sử dụng bao nhiêu AI.

3:02

I think that might be how many tokens you're burning, how many prompts you're sending, how many agents you're managing at the same time.

Tôi nghĩ đó có thể là bạn đang đốt bao nhiêu token, bạn đang gửi bao nhiêu prompt, bạn đang quản lý bao nhiêu agent cùng một lúc.

3:09

And I think we even saw companies that had stood up internal leaderboards to just track, you know, how many tokens their employees were using day over day or week over week.

Và tôi nghĩ chúng tôi thậm chí đã thấy các công ty đã lập bảng xếp hạng nội bộ để chỉ theo dõi, bạn biết đấy, nhân viên của họ đang sử dụng bao nhiêu token mỗi ngày hoặc mỗi tuần.

3:19

Later on in the year though, I think some of that sentiment started to change, right?

Tuy nhiên, sau đó trong năm, tôi nghĩ một số cảm nhận đó bắt đầu thay đổi, đúng không?

3:23

Uh, we started to see uh, you know, companies that were accidentally burning through their entire annual budget for AI in a handful of months, right?

Uh, chúng tôi bắt đầu thấy uh, bạn biết đấy, các công ty vô tình đốt hết toàn bộ ngân sách hàng năm cho AI trong vài tháng, đúng không?

3:30

And we started to see a lot of enterprises start to pull back and say, "Well, maybe we should be throttling our AI spend." Um, or even

Và chúng tôi bắt đầu thấy nhiều doanh nghiệp bắt đầu rút lại và nói, "Chà, có lẽ chúng ta nên hạn chế chi tiêu AI của mình." Um, hoặc thậm chí

3:37

some AI CEOs saying that, you know, some companies may have gotten carried away with their with their token leaderboards.

Một số CEO AI nói rằng, bạn biết đấy, một số công ty có thể đã bị cuốn đi với bảng xếp hạng token của họ.

3:43

Um, and importantly that we should be measuring employees on the outputs instead, right?

Um, và quan trọng là chúng ta nên đo lường nhân viên dựa trên kết quả đầu ra thay vào đó, đúng không?

3:48

And the value that they're generating.

Và giá trị mà họ đang tạo ra.

3:50

So that brings us to value maxing.

Vậy điều đó đưa chúng ta đến tối đa hóa giá trị.

3:52

In contrast with token maxing, it's measuring progress not by how much AI you're using, but what AI is actually helping you to accomplish, right?

Trái ngược với tối đa hóa token, nó đo lường tiến độ không phải bằng việc bạn đang sử dụng bao nhiêu AI, mà bằng những gì AI thực sự đang giúp bạn đạt được, đúng không?

4:01

How much work you're getting done, how much time are you saving, how much, you know, quality are you improving in the code and the artifacts that you're making.

Bạn đang hoàn thành bao nhiêu công việc, bạn đang tiết kiệm bao nhiêu thời gian, bạn đang cải thiện bao nhiêu, bạn biết đấy, chất lượng trong mã và các sản phẩm bạn đang tạo ra.

4:11

I think a question that I like to come back to when I think about, you know, this framing of value is something like if you doubled your token spend tomorrow, how would you know if it was worth it, right?

Tôi nghĩ một câu hỏi mà tôi thích quay lại khi tôi nghĩ về, bạn biết đấy, cách đóng khung giá trị này là điều gì đó như nếu bạn tăng gấp đôi chi tiêu token vào ngày mai, làm sao bạn biết liệu nó có đáng không, đúng không?

4:22

You know, there is perhaps a naive assumption of like, yeah, like we spend more on tokens, it's going to be better, but, you know, how does that work back to concrete outcomes?

Bạn biết đấy, có lẽ có một giả định ngây thơ kiểu, yeah, kiểu chúng ta chi nhiều hơn cho token, nó sẽ tốt hơn, nhưng, bạn biết đấy, làm sao điều đó quay lại với kết quả cụ thể?

4:31

And I think there are a few questions that you can start to ask yourself as you're thinking through this for your own processes or your own company.

Và tôi nghĩ có một vài câu hỏi mà bạn có thể bắt đầu tự hỏi khi bạn đang suy nghĩ về điều này cho quy trình hoặc công ty của riêng bạn.

4:38

Things like what are the outcomes that you are trying to improve?

Những điều như: những kết quả nào mà bạn đang cố gắng cải thiện?

4:43

With those outcomes, what are the workflows that lead to, you know, good quality outputs?

Với những kết quả đó, những quy trình làm việc nào dẫn đến, bạn biết đấy, những đầu ra chất lượng tốt?

4:48

Where in those workflows can you add intelligence, can you add AI, can you add tokens, right?

Ở đâu trong những quy trình đó bạn có thể thêm trí tuệ, bạn có thể thêm AI, bạn có thể thêm token, đúng không?

4:54

And maybe accelerate or improve quality.

Và có thể tăng tốc hoặc cải thiện chất lượng.

4:57

And, you know, what evidence do you have that you are improving the quality or that you are, you know, using, building a working system here, right?

Và, bạn biết đấy, bạn có bằng chứng gì cho thấy bạn đang cải thiện chất lượng hoặc rằng bạn đang, bạn biết đấy, sử dụng, xây dựng một hệ thống hoạt động được ở đây, đúng không?

5:04

A lot of this, I think when it when folks work with AI, you've probably heard the term evals, and I think a lot of AI research and engineering these days is driven by having good evals, which to boil it down, to oversimplify it, basically means

Nhiều điều trong số này, tôi nghĩ khi mọi người làm việc với AI, bạn có thể đã nghe thuật ngữ evals, và tôi nghĩ rất nhiều nghiên cứu và kỹ thuật AI ngày nay được thúc đẩy bởi việc có những evals tốt, mà nói một cách ngắn gọn, đơn giản hóa quá mức, về cơ bản có nghĩa là

5:17

how do you define what good looks like?

Làm thế nào bạn định nghĩa thế nào là tốt?

5:19

And I think as we move from just having to AI, you know, having AI chatbots perform simple tasks to having AI agents be responsible for entire outcomes, that question is still very valuable.

Và tôi nghĩ khi chúng ta chuyển từ việc chỉ để AI, bạn biết đấy, để các chatbot AI thực hiện các tác vụ đơn giản sang việc để các tác nhân AI chịu trách nhiệm cho toàn bộ kết quả, câu hỏi đó vẫn rất có giá trị.

5:31

What does good look like and how do you define that and track that within your company or your role?

Thế nào là tốt và làm thế nào bạn định nghĩa điều đó và theo dõi nó trong công ty hoặc vai trò của bạn?

5:38

And I think I think I I do want to say too that, you know, in some cases it might seem like the answer here is, well, we should spend fewer tokens, right?

Và tôi nghĩ tôi nghĩ tôi tôi cũng muốn nói rằng, bạn biết đấy, trong một số trường hợp có vẻ như câu trả lời ở đây là, à, chúng ta nên chi ít token hơn, đúng không?

5:45

Like we should um our models or cut spend, and I'm sure in some cases that's that's absolutely true.

Kiểu như chúng ta nên um các mô hình của chúng ta hoặc cắt giảm chi tiêu, và tôi chắc rằng trong một số trường hợp điều đó hoàn toàn đúng.

5:50

Um, I did also want to point out there might be some cases where you want to spend more tokens and that's actually still driving

Um, tôi cũng muốn chỉ ra rằng có thể có một số trường hợp bạn muốn chi nhiều token hơn và điều đó thực ra vẫn đang mang lại

5:56

more value, right?

Nhiều giá trị hơn, đúng không?

5:56

Um, you may decide, "Hey, we actually want to ensure that we have a high-quality result, so we're going to bump the reasoning level on the model um or switch to a bigger model." You might say, um, "It's important that this gets done faster, so we are going to spend more on tokens now in order to save uh you know, real-world all clock time." Um, that might be the case.

Um, bạn có thể quyết định, "Này, chúng tôi thực sự muốn đảm bảo rằng chúng tôi có một kết quả chất lượng cao, vì vậy chúng tôi sẽ nâng mức suy luận trên mô hình um hoặc chuyển sang một mô hình lớn hơn." Bạn có thể nói, um, "Điều quan trọng là việc này được hoàn thành nhanh hơn, vì vậy chúng tôi sẽ chi nhiều hơn cho token bây giờ để tiết kiệm uh bạn biết đấy, thời gian thực tế." Um, đó có thể là trường hợp.

6:17

You

Bạn

6:18

maybe you've got a big migration and you want to migrate something into a different programming language.

Có thể bạn có một cuộc di chuyển lớn và bạn muốn di chuyển một thứ gì đó sang một ngôn ngữ lập trình khác.

6:21

Um, maybe you could do it, you know, in a couple of months with fewer tokens or, you know, maybe you can do it in a couple of weeks and spend some more.

Um, có thể bạn có thể làm điều đó, bạn biết đấy, trong vài tháng với ít token hơn hoặc, bạn biết đấy, có thể bạn có thể làm điều đó trong vài tuần và chi nhiều hơn một chút.

6:28

Uh, similarly, if you know your workflows are working well and you want to scale them, then you can decide to spend more uh in order

Uh, tương tự, nếu bạn biết các quy trình làm việc của mình đang hoạt động tốt và bạn muốn mở rộng quy mô chúng, thì bạn có thể quyết định chi nhiều hơn uh để

6:34

to just scale those outputs if they're working well.

Chỉ để mở rộng quy mô những đầu ra đó nếu chúng đang hoạt động tốt.

6:36

And last but not least, you know, if you want to manage risk, um, you might have a system where it's really important that the output is high quality and, you know, and bulletproof.

Và cuối cùng nhưng không kém phần quan trọng, bạn biết đấy, nếu bạn muốn quản lý rủi ro, um, bạn có thể có một hệ thống mà ở đó thực sự quan trọng là đầu ra phải chất lượng cao và, bạn biết đấy, và không thể phá vỡ.

6:44

Um, and in that case, you may want to do something like use LLMs as a judge, um, and you may want to use more or use a diverse range of them,

Um, và trong trường hợp đó, bạn có thể muốn làm điều gì đó như sử dụng LLM làm giám khảo, um, và bạn có thể muốn sử dụng nhiều hơn hoặc sử dụng một loạt đa dạng các mô hình đó,

6:52

right?

Đúng không?

6:52

In order to ensure that it's catching uh all sorts of different edge cases.

Để đảm bảo rằng nó bắt được uh đủ loại trường hợp biên khác nhau.

6:59

Okay.

Được rồi.

6:59

So, with that in mind, I want to talk about two ways of thinking about value maxing here.

Vì vậy, với suy nghĩ đó, tôi muốn nói về hai cách suy nghĩ về việc tối đa hóa giá trị ở đây.

7:04

I think one is as an individual developer while you're using Codex.

Tôi nghĩ một cách là với tư cách một nhà phát triển cá nhân khi bạn đang sử dụng Codex.

7:08

Uh, and I think another is uh as an organization or as a company that's building on top of OpenAI's APIs.

Uh, và tôi nghĩ một cách khác là uh với tư cách một tổ chức hoặc một công ty đang xây dựng dựa trên các API của OpenAI.

7:14

We're going to start with Codex.

Chúng ta sẽ bắt đầu với Codex.

7:17

Um, like Christine mentioned, I think this the story of value maxing in Codex uh really starts with the GPT-3.5 family, right?

Um, như Christine đã đề cập, tôi nghĩ câu chuyện về tối đa hóa giá trị trong Codex uh thực sự bắt đầu với dòng GPT-3.5, đúng không?

7:24

Um, if you're not familiar, we've got three new models in this family: Soul, Terra, and Luna.

Um, nếu bạn chưa quen, chúng tôi có ba mô hình mới trong dòng này: Soul, Terra và Luna.

7:30

Uh, Soul is, you know, our frontier model, our um flagship model for the most complex coding and professional tasks.

Uh, Soul là, bạn biết đấy, mô hình tiên phong của chúng tôi, mô hình um hàng đầu của chúng tôi cho các tác vụ lập trình và chuyên môn phức tạp nhất.

7:37

Terra is a really great daily driver, um, and I

Terra là một mô hình hàng ngày thực sự tuyệt vời, um, và tôi

7:41

think it is, you know, good for uh for more balanced work where intelligence and cost or latency both matter.

Nghĩ rằng nó, bạn biết đấy, tốt cho uh cho công việc cân bằng hơn, nơi cả trí tuệ và chi phí hoặc độ trễ đều quan trọng.

7:48

And Luna, you know, is we really like and we've gotten a lot of positive feedback around it for high-volume workloads where, you know, the intelligence level is not as demanding, but you really do care about cost and latency.

Và Luna, bạn biết đấy, là mô hình chúng tôi thực sự thích và chúng tôi đã nhận được nhiều phản hồi tích cực về nó cho các khối lượng công việc lớn, nơi mà, bạn biết đấy, mức độ trí tuệ không đòi hỏi cao như vậy, nhưng bạn thực sự quan tâm đến chi phí và độ trễ.

8:02

And I think we've we've put a lot of work Open AI has put a lot of work into making these models, especially 5.6, token efficient.

Và tôi nghĩ chúng tôi đã chúng tôi đã bỏ rất nhiều công sức, OpenAI đã bỏ rất nhiều công sức để làm cho những mô hình này, đặc biệt là 5.6, tiết kiệm token.

8:11

If you kind of look at this is Deep Suey, a benchmark popular coding benchmark that's out there.

Nếu bạn nhìn vào đây là Deep Suey, một benchmark lập trình phổ biến đang có.

8:17

And if you take a look at, you know, the performance on the benchmark relative to how many tokens you're spending, you can see that like the most bang for your token, as Christine mentioned, is coming from the 5.6 family.

Và nếu bạn nhìn vào, bạn biết đấy, hiệu suất trên benchmark so với số lượng token bạn đang chi, bạn có thể thấy rằng kiểu như giá trị cao nhất cho token của bạn, như Christine đã đề cập, đến từ dòng 5.6.

8:31

And it's a mix of different models at different

Và đó là sự kết hợp của các mô hình khác nhau ở các

8:34

reasoning levels.

Mức độ suy luận khác nhau.

8:34

So, I think as as we've gotten better models and as we've as we've gotten them to run for longer, one of the most important things to think about is not just how many tokens does it spit out or even like what is necessarily the highest amount of intelligence that it has.

Vì vậy, tôi nghĩ khi chúng ta có được những mô hình tốt hơn và khi chúng ta làm cho chúng chạy lâu hơn, một trong những điều quan trọng nhất cần suy nghĩ không chỉ là nó tạo ra bao nhiêu token hay thậm chí là mức độ trí tuệ cao nhất mà nó có.

8:48

I think we're finding that you can take a model that is maybe not as smart at one shotting

Tôi nghĩ chúng tôi đang nhận thấy rằng bạn có thể lấy một mô hình có thể không thông minh bằng trong việc giải quyết một phát

8:54

something, and if you're willing to spend more tokens on it, you can get similar performance.

Một thứ gì đó, và nếu bạn sẵn sàng chi nhiều token hơn cho nó, bạn có thể đạt được hiệu suất tương tự.

8:58

So, I think as you evaluate some of this type of work, it's useful to take a look at not just cost per token, but cost per overall task to completion, right?

Vì vậy, tôi nghĩ khi bạn đánh giá một số loại công việc này, sẽ hữu ích khi nhìn vào không chỉ chi phí mỗi token, mà là chi phí cho toàn bộ tác vụ đến khi hoàn thành, đúng không?

9:08

And you can you can start to like fiddle with these and see how different things compare along different axes.

Và bạn có thể bạn có thể bắt đầu kiểu như tinh chỉnh những thứ này và xem các thứ khác nhau so sánh như thế nào dọc theo các trục khác nhau.

9:15

Speaking of comparing along different axes, I want to jump into a demo to explore a little bit around these models and their reasoning levels to kind of get an idea of you know, what we're doing.

Nói về so sánh dọc theo các trục khác nhau, tôi muốn nhảy vào một bản demo để khám phá một chút về những mô hình này và các mức độ suy luận của chúng để có chút ý niệm về, bạn biết đấy, những gì chúng tôi đang làm.

9:30

So, this is a value maxing lab that I built with the help of GPT 5.6 and Codex.

Vì vậy, đây là một phòng thí nghiệm tối đa hóa giá trị mà tôi đã xây dựng với sự giúp đỡ của GPT 5.6 và Codex.

9:34

We're going to make sure this is open source after the build hour today, so everybody's going to have access to this code and you can run this yourself.

Chúng tôi sẽ đảm bảo rằng cái này là mã nguồn mở sau giờ xây dựng hôm nay, vì vậy mọi người sẽ có quyền truy cập vào mã này và bạn có thể tự chạy nó.

9:42

Um, here just on this first page, uh I had 5.6 build a three-dimensional chart comparing, you know, a lot of the leading models in the artificial analysis intelligence index.

Um, ở đây chỉ trên trang đầu tiên này, uh tôi đã để 5.6 xây dựng một biểu đồ ba chiều so sánh, bạn biết đấy, nhiều mô hình hàng đầu trong chỉ số trí tuệ phân tích nhân tạo.

9:53

Um, and you can take a look at how they kind of compare along these different axes of intelligence, um, cost, and speed, right?

Um, và bạn có thể xem cách chúng kiểu như so sánh dọc theo các trục khác nhau của trí tuệ, um, chi phí và tốc độ, đúng không?

10:03

And how often how long it actually takes to generate these outputs.

Và tần suất cũng như thời gian thực tế để tạo ra những kết quả đầu ra này là bao lâu.

10:08

Um, but I think the more interesting thing here is this visual matrix, uh where um if you supply an API key, like I've done here, um I actually I'm going to render a number of SVGs along the different models and the different reasoning modes, so we can kind of see what the output looks like.

Ừm, nhưng tôi nghĩ điều thú vị hơn ở đây là ma trận trực quan này, ừm, khi mà nếu bạn cung cấp một API key, như tôi đã làm ở đây, ừm, thực ra tôi sẽ render một số lượng SVG theo các model khác nhau và các chế độ suy luận khác nhau, để chúng ta có thể phần nào thấy được kết quả đầu ra trông như thế nào.

10:31

So, um let's just say instead of a pelican riding a bicycle, I want a panda bear, uh riding a jet ski.

Vậy, ừm, cứ cho là thay vì một con bồ nông đang đạp xe, tôi muốn một con gấu trúc, ừm, đang lái mô tô nước.

10:40

And I've selected all of them.

Và tôi đã chọn tất cả chúng.

10:42

Let's go ahead and run the matrix.

Hãy cứ chạy ma trận này.

10:45

Um, it's going to work in the background.

Ừm, nó sẽ chạy ở chế độ nền.

10:47

I think to start with though, I do want to show everybody, um, I previously ran this with the pelican on a bicycle and you can start to see I think the difference in sophistication, um, as the models move up, right?

Tuy nhiên, tôi nghĩ để bắt đầu, tôi thực sự muốn cho mọi người thấy, ừm, trước đó tôi đã chạy cái này với con bồ nông trên xe đạp và bạn có thể bắt đầu thấy tôi nghĩ sự khác biệt về độ tinh vi, ừm, khi các model tiến lên cao hơn, đúng không?

11:00

And even if you take a single model, um, I think you can see the difference in sophistication, um, along, you know, if

Và ngay cả khi bạn chỉ lấy một model duy nhất, ừm, tôi nghĩ bạn có thể thấy sự khác biệt về độ tinh vi, ừm, dọc theo, bạn biết đấy, nếu

11:07

you just take Luna for example, this first model is, I think, you know, to be fair is a little bit crude, right?

Bạn chỉ lấy Luna làm ví dụ, model đầu tiên này, tôi nghĩ, bạn biết đấy, công bằng mà nói thì hơi thô sơ, đúng không?

11:13

Um, but as you introduce more reasoning, uh the final result is actually pretty good, right?

Ừm, nhưng khi bạn đưa vào nhiều suy luận hơn, ừm, kết quả cuối cùng thực ra khá tốt, đúng không?

11:18

Um, it looks like we're getting some results in here, um, but you can see like for example Sol starts out pretty high fidelity, um, and then as it goes up, it just gets even more more powerful, right?

Ừm, có vẻ như chúng ta đang nhận được một số kết quả ở đây, ừm, nhưng bạn có thể thấy ví dụ như Sol khởi đầu với độ trung thực khá cao, ừm, và rồi khi nó tiến lên, nó còn trở nên mạnh mẽ hơn nữa, đúng không?

11:30

Obviously, you want your own benchmarks, you want your own evals to measure, and I think a

Rõ ràng, bạn muốn có các benchmark của riêng mình, bạn muốn có các eval của riêng mình để đo lường, và tôi nghĩ một

11:36

great product will have this sort of thing coming in.

Sản phẩm tuyệt vời sẽ có kiểu thứ như thế này được đưa vào.

11:39

Um but uh this is just a nice little demo to kind of out of the box take a look at um what is it like how does it compare across multiple different uh reasoning levels, right?

Ừm nhưng ừm đây chỉ là một demo nhỏ xinh để phần nào đó, ngay từ đầu, xem thử ừm nó như thế nào, nó so sánh ra sao qua nhiều mức suy luận khác nhau, đúng không?

11:50

And so we can see um we can see the run that I just started, right?

Và vậy chúng ta có thể thấy ừm chúng ta có thể thấy lần chạy mà tôi vừa bắt đầu, đúng không?

11:54

It's coming in and you know already uh you know even just on a few examples here, you can see there's like not much shading going on in this first one uh versus now we've added like green for the islands, uh bigger like more detailed waves, uh shading on the sun and the clouds in the background, um

Nó đang hiện ra và bạn biết đấy, chỉ với một vài ví dụ ở đây thôi, bạn có thể thấy kiểu như không có nhiều đổ bóng trong cái đầu tiên này ừm so với bây giờ chúng ta đã thêm màu xanh lá cho các hòn đảo, ừm những con sóng lớn hơn, chi tiết hơn, ừm đổ bóng trên mặt trời và những đám mây ở phía sau, ừm

12:13

which I think is pretty cool just to be able to visually see everything that's going on here.

Điều mà tôi nghĩ khá thú vị khi chỉ cần có thể nhìn trực quan mọi thứ đang diễn ra ở đây.

12:23

- Cool.

- Tuyệt.

12:24

- Um I think some more practical tips and tricks when it comes to uh using Codex and trying to get the most value out of it.

- Ừm tôi nghĩ đến một số mẹo và thủ thuật thực tế hơn khi nói đến việc ừm sử dụng Codex và cố gắng tận dụng tối đa giá trị của nó.

12:31

Uh you know, we saw a little bit of the grid there in terms of how the reasoning levels differ, but my rule of thumb here is to start with Soul uh and specifically start with Soul on medium.

Ừm bạn biết đấy, chúng ta đã thấy một chút về cái lưới ở đó về việc các mức suy luận khác nhau như thế nào, nhưng quy tắc ngón tay cái của tôi ở đây là bắt đầu với Soul ừm và cụ thể là bắt đầu với Soul ở mức medium.

12:42

Um I think it's a really great model, and I do want to kind of dispel the notion here.

Ừm tôi nghĩ nó là một model thực sự tuyệt vời, và tôi muốn phần nào đó xóa bỏ quan niệm ở đây.

12:47

I see a lot of developers who just assume I have to be on extra high for everything out of the box, right?

Tôi thấy nhiều developer chỉ mặc định rằng tôi phải ở mức extra high cho mọi thứ ngay từ đầu, đúng không?

12:54

Um and I think that is definitely true for sophisticated workloads, for complex projects that you're tackling, but a lot of day-to-day stuff is actually going to be really well

Ừm và tôi nghĩ điều đó chắc chắn đúng với những workload tinh vi, với những dự án phức tạp mà bạn đang xử lý, nhưng nhiều thứ hằng ngày thực ra sẽ được phục vụ

13:04

served by 5.6 Soul on medium.

Rất tốt bởi 5.6 Soul ở mức medium.

13:05

Um I think if you're finding it's not quite as intelligent as you need, or it's not quite as thorough as you were hoping for, um you can tune up.

Ừm tôi nghĩ nếu bạn thấy nó không đủ thông minh như bạn cần, hoặc không đủ kỹ lưỡng như bạn mong đợi, ừm bạn có thể tăng lên.

13:14

Uh and in some cases, you might even decide to tune down and to swap to uh the light reasoning or even to 5.6 Tera um if the work you're doing is not very coding, you know, intensive.

Ừm và trong một số trường hợp, bạn thậm chí có thể quyết định giảm xuống và chuyển sang ừm chế độ suy luận light hoặc thậm chí sang 5.6 Tera ừm nếu công việc bạn đang làm không thiên về coding, bạn biết đấy, chuyên sâu lắm.

13:26

Um I think the second tip here is to consider when you might want to trade tokens for time.

Ừm tôi nghĩ mẹo thứ hai ở đây là cân nhắc khi nào bạn có thể muốn đánh đổi token để lấy thời gian.

13:31

I think there's like uh a number of ways where uh you might just want something to go faster and you might want to save your own time in exchange for more tokens.

Tôi nghĩ có kiểu như ừm một số cách mà ừm bạn chỉ muốn một thứ gì đó chạy nhanh hơn và bạn có thể muốn tiết kiệm thời gian của chính mình để đổi lấy nhiều token hơn.

13:40

Fast mode is the obvious um use case here.

Chế độ fast là trường hợp sử dụng ừm rõ ràng ở đây.

13:42

You can turn on fast mode uh to run your outputs at 1.5 x speed.

Bạn có thể bật chế độ fast ừm để chạy các kết quả đầu ra với tốc độ gấp 1.5 lần.

13:47

Though, it will consume your usage limits a bit faster.

Tuy nhiên, nó sẽ tiêu tốn giới hạn sử dụng của bạn nhanh hơn một chút.

13:50

Um, you we highly recommend auto approval as the default mode um for a number of reasons.

Ừm, chúng tôi rất khuyến nghị auto approval là chế độ mặc định ừm vì một số lý do.

13:55

I think um you know, we don't recommend using full access in Codex at this point.

Tôi nghĩ ừm bạn biết đấy, chúng tôi không khuyến nghị dùng full access trong Codex ở thời điểm này.

14:00

Um, and I would you know, I know personally and from hearing from a lot of developers uh requesting permissions on every single action is a little bit

Ừm, và tôi sẽ bạn biết đấy, tôi biết cá nhân tôi và từ việc nghe nhiều developer ừm yêu cầu quyền cho từng hành động một thì hơi

14:09

frustrating.

Bực bội.

14:09

So, um auto approval I think is a great sweet spot uh to have another model review the uh the outputs and make sure that they're safe.

Vậy nên, ừm auto approval tôi nghĩ là một điểm ngọt tuyệt vời ừm để có một model khác xem xét ừm các kết quả đầu ra và đảm bảo rằng chúng an toàn.

14:20

Um, and Chronicle is a relatively new feature in Codex.

Ừm, và Chronicle là một tính năng tương đối mới trong Codex.

14:22

Um, and if you turn that on, that will allow you to I think record your screen and it basically develops memory for the task that you're doing.

Ừm, và nếu bạn bật nó lên, nó sẽ cho phép bạn tôi nghĩ ghi lại màn hình của bạn và về cơ bản nó phát triển bộ nhớ cho tác vụ mà bạn đang làm.

14:30

So, as you start to do similar tasks over and over again, um you can you know, use you'll use more tokens to to remember what's happening, but it'll get smarter about the type of work that

Vậy nên, khi bạn bắt đầu làm những tác vụ tương tự lặp đi lặp lại, ừm bạn có thể bạn biết đấy, bạn sẽ dùng nhiều token hơn để ghi nhớ điều gì đang diễn ra, nhưng nó sẽ thông minh hơn về loại công việc mà

14:40

you do every day.

Bạn làm mỗi ngày.

14:42

Uh the third thing here is um take a look at your agent's MD and your skills.

Ừm điều thứ ba ở đây là ừm hãy xem lại agent's MD và các skill của bạn.

14:46

I think models have gotten um you know, very much more sophisticated, much more intelligent, and I think a lot of the things that we had in our agent's MD and our skill instructions 6 or 12 months ago um might be unnecessary now.

Tôi nghĩ các model đã trở nên ừm bạn biết đấy, tinh vi hơn rất nhiều, thông minh hơn rất nhiều, và tôi nghĩ nhiều thứ mà chúng ta có trong agent's MD và hướng dẫn skill của mình 6 hay 12 tháng trước ừm có thể giờ đây không cần thiết nữa.

14:58

I think when it comes to instruction following and persistence, um you know, we can go back and audit and say, "Hey, do we really need to be explicit about every

Tôi nghĩ khi nói đến việc tuân theo hướng dẫn và tính kiên trì, ừm bạn biết đấy, chúng ta có thể quay lại kiểm tra và nói, "Này, chúng ta có thực sự cần phải nói rõ ràng về từng

15:08

single thing in here?" Or is there a way to make this concise and save on our input tokens?

Thứ một ở đây không?" Hay có cách nào để làm cho nó ngắn gọn và tiết kiệm input token của chúng ta không?

15:16

So, now I want to switch to talking about value maxing your harness, right?

Vậy, giờ tôi muốn chuyển sang nói về việc tối đa hóa giá trị harness của bạn, đúng không?

15:19

Or you know, your product if you're building on top of uh our APIs.

Hay bạn biết đấy, sản phẩm của bạn nếu bạn đang xây dựng dựa trên ừm các API của chúng tôi.

15:24

Um there are a handful of I think key API features here that um we've recently introduced or somewhat recently introduced to try to help uh developers get more value.

Ừm có một số ừm tính năng API chính ở đây mà tôi nghĩ ừm chúng tôi đã giới thiệu gần đây hoặc tương đối gần đây để cố gắng giúp ừm các developer nhận được nhiều giá trị hơn.

15:33

Um and I'm going to talk through a few of them here.

Ừm và tôi sẽ nói qua một vài trong số đó ở đây.

15:37

I think programmatic tool calling is a big one.

Tôi nghĩ programmatic tool calling là một cái lớn.

15:40

Uh we recently introduced this with the launch of 5.6.

Ừm chúng tôi đã giới thiệu điều này gần đây với sự ra mắt của 5.6.

15:44

And this is a really cool new feature where um to oversimplify a little bit, we give the model access to a sandbox, a JavaScript sandbox, and it can write code to execute in that sandbox.

Và đây là một tính năng mới thực sự thú vị, nói một cách đơn giản hóa một chút, chúng tôi cho mô hình quyền truy cập vào một sandbox, một sandbox JavaScript, và nó có thể viết mã để thực thi trong sandbox đó.

15:55

Um that code can do things like call tools or run computations.

Mã đó có thể làm những việc như gọi các công cụ hoặc chạy các phép tính.

15:59

Um and you're moving all of that, you know, all of that work out of the model's chain of thought, out of its reasoning, um and into the

Và bạn đang chuyển tất cả những điều đó, bạn biết đấy, tất cả công việc đó ra khỏi chuỗi suy nghĩ của mô hình, ra khỏi lý luận của nó, và đưa vào

16:08

sandbox.

Sandbox.

16:08

And so, you're both saving tokens because it's not, you know, itself reasoning through the math or the logic of something, and you're saving time potentially because it can make a bunch of tool calls um without having to round trip all the way through the model and then all the way back uh to the end user.

Và như vậy, bạn vừa tiết kiệm token vì nó không tự lý luận qua phép toán hay logic của một thứ gì đó, và bạn có thể tiết kiệm thời gian vì nó có thể thực hiện một loạt lệnh gọi công cụ mà không cần phải đi vòng qua toàn bộ mô hình rồi quay trở lại người dùng cuối.

16:24

Um we also have had prompt caching.

Chúng tôi cũng đã có tính năng lưu đệm prompt.

16:25

I think that's changed a little bit recently with the introduction of 5.6.

Tôi nghĩ điều đó đã thay đổi một chút gần đây với sự ra đời của 5.6.

16:29

Um but now uh we Yeah, we have the ability for you to specify, you know, which parts of your prompts you want to cache.

Nhưng bây giờ, vâng, chúng tôi có khả năng cho phép bạn chỉ định, bạn biết đấy, những phần nào trong prompt của bạn mà bạn muốn lưu đệm.

16:36

Um this can be a really great way to save both time and tokens as well.

Đây có thể là một cách rất tuyệt vời để tiết kiệm cả thời gian lẫn token.

16:40

Um I think you can do some things um You can be also a little bit smart about how you're using your prompts.

Tôi nghĩ bạn có thể làm một số điều. Bạn cũng có thể thông minh một chút trong cách sử dụng prompt của mình.

16:47

I think one example here is let's say you have a product where it's

Tôi nghĩ một ví dụ ở đây là giả sử bạn có một sản phẩm mà việc

16:51

important to know what date it is, for example, right?

Biết hôm nay là ngày nào là quan trọng, phải không?

16:53

Um you would want to actually append that information to the end of your prompt.

Bạn sẽ muốn thực sự thêm thông tin đó vào cuối prompt của mình.

16:57

Um and if you may maybe you've got like a massive a 10,000 token prompt, and then you want to append at the end, oh, and by the way, today's date is, you know, July 23rd, right?

Và nếu bạn có thể có một prompt khổng lồ khoảng 10.000 token, rồi bạn muốn thêm vào cuối, ồ, và nhân tiện, hôm nay là ngày 23 tháng 7, phải không?

17:06

Um and by doing so, like if you did it at the beginning, uh it would

Và bằng cách làm như vậy, nếu bạn làm điều đó ở đầu, thì nó sẽ

17:11

make your life a lot harder when it comes to trying to cache that prompt.

Khiến cuộc sống của bạn khó khăn hơn nhiều khi cố gắng lưu đệm prompt đó.

17:15

Um and if you do it at the end, you can take all of that, you know, chunks of your prompt that don't change and save a lot of money by caching them.

Và nếu bạn làm điều đó ở cuối, bạn có thể lấy tất cả những phần, bạn biết đấy, những khối trong prompt của bạn không thay đổi và tiết kiệm rất nhiều tiền bằng cách lưu đệm chúng.

17:24

Uh persistent reasoning is another new feature.

Lý luận liên tục là một tính năng mới khác.

17:25

Um basically, we've exposed the ability in the API to uh previously, it would we would have like reasoning

Về cơ bản, chúng tôi đã công khai khả năng trong API để trước đây, chúng tôi sẽ có những bản tóm tắt

17:31

summaries or you would just chain the the final assistant messages together.

Lý luận hoặc bạn sẽ chỉ nối các tin nhắn trợ lý cuối cùng lại với nhau.

17:35

But now with persistent reasoning, you can save the reasoning turns across and we do find this um this improves uh continuity of answers.

Nhưng bây giờ với lý luận liên tục, bạn có thể lưu các lượt lý luận xuyên suốt và chúng tôi thấy rằng điều này cải thiện tính liên tục của câu trả lời.

17:41

So, it is a boost to performance and capability, but also cache efficiency, right?

Vì vậy, nó tăng cường hiệu suất và khả năng, nhưng cũng tăng hiệu quả lưu đệm, phải không?

17:45

If you do want to just say, "Okay, we're we're just going to keep sending all of these through and we can get better on our caching." Um and last but not least,

Nếu bạn chỉ muốn nói, "Được rồi, chúng ta sẽ cứ tiếp tục gửi tất cả những thứ này qua và chúng ta có thể cải thiện việc lưu đệm của mình." Và cuối cùng nhưng không kém phần quan trọng,

17:54

compaction.

Nén.

17:54

Uh this one has been around for a little while, but definitely want to call this one out because um if you are finding that your use case has a lot of user prompts that get very long, uh very heavy, lots of tool calls, lots of things that were exploratory, but maybe not useful in the long run, um you can uh turn on auto compaction um or you can decide if you want to explicitly trigger

Cái này đã tồn tại được một thời gian rồi, nhưng chắc chắn tôi muốn đề cập đến nó vì nếu bạn thấy rằng trường hợp sử dụng của mình có nhiều prompt người dùng rất dài, rất nặng, nhiều lệnh gọi công cụ, nhiều thứ mang tính khám phá nhưng có thể không hữu ích về lâu dài, thì bạn có thể bật tự động nén hoặc bạn có thể quyết định xem có muốn kích hoạt

18:16

compaction yourself through the API, uh and then, you know, just reduce the amount of inputs that you're sending every time.

Nén một cách rõ ràng thông qua API hay không, và sau đó, bạn biết đấy, chỉ cần giảm lượng đầu vào mà bạn gửi mỗi lần.

18:24

Cool.

Tuyệt.

18:24

So, if we go back to uh the demo, uh we can see I think a bunch of these pandas finished up, right?

Vậy, nếu chúng ta quay lại phần demo, chúng ta có thể thấy tôi nghĩ một loạt những chú gấu trúc này đã hoàn thành, phải không?

18:33

Um again, I think some of them to varying degrees of realism and accuracy here.

Một lần nữa, tôi nghĩ một số trong đó có mức độ chân thực và chính xác khác nhau.

18:40

Um but I want to go to this third tab here um in our uh optimization lab, right?

Nhưng tôi muốn chuyển đến tab thứ ba này trong phòng thí nghiệm tối ưu hóa của chúng ta, phải không?

18:47

And I want to share maybe I need to refresh this real quick.

Và tôi muốn chia sẻ, có lẽ tôi cần làm mới cái này một chút.

18:53

Um I think I want to share uh some of these outputs um because we're going to do a little bit of AB testing across some of the features that I just talked about, right?

Tôi nghĩ tôi muốn chia sẻ một số kết quả đầu ra này vì chúng ta sẽ thực hiện một chút kiểm thử AB trên một số tính năng mà tôi vừa nói đến, phải không?

19:02

Um this first one is prompt caching.

Cái đầu tiên là lưu đệm prompt.

19:04

And so, in this demo, uh behind the scenes, I'm making an API request um with a I think it's like a 5 and 1/2 thousand token prompt.

Và trong bản demo này, ở hậu trường, tôi đang thực hiện một yêu cầu API với một prompt tôi nghĩ khoảng 5.500 token.

19:12

Um, and we're going to go ahead and cache it and then

Và chúng ta sẽ tiến hành lưu đệm nó và sau đó

19:16

we're going to do two API requests to see um, how the results ended up coming out with and without caching, right?

Chúng ta sẽ thực hiện hai yêu cầu API để xem kết quả sẽ ra sao khi có và không có lưu đệm, phải không?

19:24

And so we can see here that um, the input costs were 90% lower um, when it comes to using the cache, right?

Và chúng ta có thể thấy ở đây rằng chi phí đầu vào thấp hơn 90% khi sử dụng bộ đệm, phải không?

19:33

Um, and uh, if you have things it looks like the wait time slowed down by a couple of seconds.

Và có vẻ như thời gian chờ đã chậm đi vài giây.

19:39

Um, but if you're if you don't need, you know, like the absolute most latency and you know you're going to reuse a bunch of prompts, um, if you've got like a massive, you know, system prompt that you want to cache, uh, this is uh, a really great way to uh, to save on cost.

Nhưng nếu bạn không cần độ trễ thấp nhất tuyệt đối và bạn biết mình sẽ tái sử dụng một loạt prompt, nếu bạn có một system prompt khổng lồ mà bạn muốn lưu đệm, thì đây là một cách thực sự tuyệt vời để tiết kiệm chi phí.

19:56

Um, the second here is going to be uh, programmatic tool calling.

Cái thứ hai ở đây sẽ là gọi công cụ theo lập trình.

20:01

And so uh, behind the scenes I've I've crafted a prompt um, that's basically asking for a specific task.

Và ở hậu trường, tôi đã tạo một prompt về cơ bản yêu cầu một tác vụ cụ thể.

20:06

Uh, it needs to call a number of tools, it needs to list accounts, track their usage, um, and then, you know, create a support ticket.

Nó cần gọi một số công cụ, nó cần liệt kê các tài khoản, theo dõi mức sử dụng của chúng, và sau đó tạo một phiếu hỗ trợ.

20:14

Um, and normally with uh, without programmatic tool calling, um, we would have the model, it would call tools, those results would be returned

Và thông thường, nếu không có gọi công cụ theo lập trình, chúng ta sẽ để mô hình gọi các công cụ, những kết quả đó sẽ được trả về

20:22

to the model, it would decide what to do next, maybe call more tools, and then generate the final answer.

Cho mô hình, nó sẽ quyết định làm gì tiếp theo, có thể gọi thêm công cụ, và sau đó tạo ra câu trả lời cuối cùng.

20:27

Um, with programmatic tool calling though, the model, like I said, has this JavaScript sandbox.

Tuy nhiên, với gọi công cụ theo lập trình, mô hình, như tôi đã nói, có sandbox JavaScript này.

20:31

It's writing code to just inject into that sandbox, and the sandbox is going to call the tools, it's going to crunch the numbers, uh, and then return the final results, and then

Nó viết mã để đưa vào sandbox đó, và sandbox sẽ gọi các công cụ, xử lý các con số, và sau đó trả về kết quả cuối cùng, rồi

20:40

the model is going to decide to answer, right?

Mô hình sẽ quyết định trả lời, phải không?

20:43

And so we can see here um, that yeah, we ended up with 24% fewer tokens, uh, input tokens by using programmatic tool calling.

Và chúng ta có thể thấy ở đây rằng, vâng, chúng ta đã có ít hơn 24% token, token đầu vào, bằng cách sử dụng gọi công cụ theo lập trình.

20:51

Um, we saved I think an entire model turn, uh, by using the sandbox.

Chúng ta đã tiết kiệm tôi nghĩ là cả một lượt của mô hình bằng cách sử dụng sandbox.

20:56

Um, and not only I think is the, you know, this is a little bit of a toy example, right?

Và không chỉ tôi nghĩ rằng, bạn biết đấy, đây chỉ là một ví dụ nhỏ thôi, phải không?

21:00

Um, so I think, you know, if you want to test this yourself, definitely use a real world use case.

Ừm, nên tôi nghĩ, bạn biết đấy, nếu bạn muốn tự mình kiểm tra điều này, chắc chắn hãy dùng một trường hợp sử dụng thực tế.

21:05

Um, but not only did we save on input tokens, um, we actually save on output tokens cuz the model had to do less reasoning about the final answer um, and then figure out how it's going to like return that to the user.

Ừm, nhưng không chỉ tiết kiệm token đầu vào, ừm, chúng tôi thực sự còn tiết kiệm token đầu ra vì mô hình phải suy luận ít hơn về câu trả lời cuối cùng, ừm, và sau đó tìm cách trả lại nó cho người dùng.

21:15

Um, and in this demo too, we can just check um, you know, if you if you behind the scenes change the prompt, you can check like did it actually get to the same uh,

Ừm, và trong bản demo này nữa, chúng ta chỉ cần kiểm tra, ừm, bạn biết đấy, nếu bạn thay đổi prompt ở hậu trường, bạn có thể kiểm tra xem liệu nó có thực sự đạt đến cùng một, ừ,

21:23

output, right?

Đầu ra không?

21:23

Which in this case it did and that's what we want to see.

Trong trường hợp này thì đúng là như vậy và đó là điều chúng tôi muốn thấy.

21:27

Um, in this one uh, this is a also a quick context compaction one, right?

Ừm, trong cái này, ừ, đây cũng là một ví dụ nhanh về nén ngữ cảnh, đúng không?

21:31

So, um, basically, you know, there's a uh, pretty big history.

Vậy, ừm, về cơ bản, bạn biết đấy, có một lịch sử khá lớn.

21:35

I think there was like 72 prior turns or hand-offs in this uh, in this use case.

Tôi nghĩ có khoảng 72 lượt trước đó hoặc các lần chuyển giao trong, ừ, trong trường hợp sử dụng này.

21:40

Um, and I want to see how it compares when we um, ask a question and ask for the answer versus if we trigger a compaction first uh, and then ask for the answer, right?

Ừm, và tôi muốn xem nó so sánh thế nào khi chúng ta, ừm, đặt một câu hỏi và yêu cầu câu trả lời so với khi chúng ta kích hoạt nén trước, ừ, rồi sau đó yêu cầu câu trả lời, đúng không?

21:52

And what I'm expecting to see um, is hopefully the same answer, but also um, I think significantly fewer uh, input tokens when it comes to uh, comes to our costs, right?

Và điều tôi mong đợi thấy, ừm, là hy vọng có cùng câu trả lời, nhưng cũng, ừm, tôi nghĩ số token đầu vào ít hơn đáng kể, ừ, khi nói đến, ừ, chi phí của chúng ta, đúng không?

22:03

Yeah, and so I think this is you know, uh, quite a dramatic output.

Đúng vậy, và tôi nghĩ đây là, bạn biết đấy, ừ, một kết quả khá ấn tượng.

22:08

We've got 82% fewer input tokens for the same task.

Chúng ta có ít hơn 82% token đầu vào cho cùng một tác vụ.

22:12

Um, without compaction, we were sending 24,000 input tokens and then after it

Ừm, nếu không nén, chúng ta đã gửi 24.000 token đầu vào và sau đó nó

22:17

was, you know, a little over 4,000.

Là, bạn biết đấy, chỉ hơn 4.000 một chút.

22:18

Um, in this case it's just asking for a single answer, so there was not a ton of of output or reasoning.

Ừm, trong trường hợp này nó chỉ yêu cầu một câu trả lời duy nhất, nên không có nhiều đầu ra hay suy luận.

22:24

Um, but I think again a useful experiment for your own use cases.

Ừm, nhưng tôi nghĩ đây lại là một thử nghiệm hữu ích cho các trường hợp sử dụng của riêng bạn.

22:28

If you think you will need a lot of reasoning tokens, can we tune this prompt or this scenario to figure out how it's going to go, right?

Nếu bạn nghĩ mình sẽ cần nhiều token suy luận, liệu chúng ta có thể tinh chỉnh prompt này hoặc kịch bản này để tìm hiểu xem nó sẽ diễn ra thế nào không, đúng không?

22:36

Um, I think in this case it was a little bit faster um, but uh, you did ultimately take a hit on the compaction time.

Ừm, tôi nghĩ trong trường hợp này nó nhanh hơn một chút, ừm, nhưng ừ, cuối cùng bạn vẫn phải chịu thiệt về thời gian nén.

22:43

It looks like it took uh, a little under 30 seconds to compact.

Có vẻ như mất, ừ, chỉ dưới 30 giây để nén.

22:47

Um, and then yeah, we expect to see the exact same answer coming out uh, which is what we see here.

Ừm, và sau đó đúng vậy, chúng ta mong đợi thấy đúng câu trả lời y hệt xuất ra, ừ, đó là điều chúng ta thấy ở đây.

22:54

- clears throat - Cool.

- [hắng giọng] - Tuyệt.

22:55

Um, and so I've talked a lot about you know, uh, theoreticals and in how OpenAI sees stuff, but I also want to make sure we're we're talking about some real-world use cases.

Ừm, và tôi đã nói rất nhiều về, bạn biết đấy, ừ, những điều mang tính lý thuyết và cách OpenAI nhìn nhận mọi thứ, nhưng tôi cũng muốn đảm bảo rằng chúng ta đang nói về một số trường hợp sử dụng thực tế.

23:07

And for that, we're going to turn it over to Ploy.

Và vì điều đó, chúng tôi sẽ chuyển sang cho Ploy.

23:11

- Awesome.

- Tuyệt vời.

23:11

Thanks so much.

Cảm ơn rất nhiều.

23:13

Um Let's please welcome Ploy on stage.

Ừm, xin hãy chào đón Ploy lên sân khấu.

23:23

We'll just give them a minute.

Chúng ta sẽ cho họ một phút.

23:25

Ryan, Lorenzo.

23:27

- Yeah.

- Vâng.

23:27

Can you guys hear me?

Mọi người có nghe thấy tôi không?

23:29

- Yes, you're good.

- Có, bạn ổn.

23:31

Hey Ryan.

Chào Ryan.

23:32

Hey Lorenzo.

Chào Lorenzo.

23:34

Okay.

Được rồi.

23:34

Thanks for joining us today.

Cảm ơn vì đã tham gia cùng chúng tôi hôm nay.

23:35

Um we saw on the front page of Hacker News, you guys put out a great guide on migrating a production agent over um to 5.6 Soul.

Ừm, chúng tôi thấy trên trang nhất của Hacker News, các bạn đã đăng một hướng dẫn tuyệt vời về việc di chuyển một agent production sang, ừm, 5.6 Soul.

23:44

Um so really excited for you guys to be here with us live chat through.

Ừm, nên thực sự rất hào hứng khi các bạn ở đây với chúng tôi để trò chuyện trực tiếp.

23:49

Um first, a little bit about what you guys are building over at Ploy.

Ừm, trước tiên, một chút về những gì các bạn đang xây dựng tại Ploy.

23:53

Um and then also just kind of a step-by-step guide um through this um

Ừm, và sau đó cũng chỉ là một hướng dẫn từng bước, ừm, xuyên qua, ừm

23:58

through how you guys migrate your agent.

Qua cách các bạn di chuyển agent của mình.

23:59

So feel free to take it away.

Vậy cứ thoải mái bắt đầu.

24:02

- Amazing.

- Tuyệt vời.

24:02

Um hi everyone.

Ừm, chào mọi người.

24:03

Uh I'm just trying to share my screen.

Ừ, tôi chỉ đang cố chia sẻ màn hình của mình.

24:05

It's disabled.

Nó bị vô hiệu hóa.

24:06

- We'll stop sharing screen on our side.

- Chúng tôi sẽ dừng chia sẻ màn hình ở phía chúng tôi.

24:10

- Okay, great.

- Được, tuyệt.

24:16

Amazing.

Tuyệt vời.

24:16

Um all right.

Ừm, được rồi.

24:18

Welcome everyone.

Chào mừng mọi người.

24:19

Um my name is Bryant and I'm excited to uh share a little bit about what we're building here at Ploy.

Ừm tên tôi là Bryant và tôi rất hào hứng được chia sẻ một chút về những gì chúng tôi đang xây dựng ở đây tại Ploy.

24:28

And uh today uh I have my AI engineer extraordinaire Lorenzo joining me.

Và ừm hôm nay ừm tôi có kỹ sư AI siêu đẳng của mình là Lorenzo tham gia cùng.

24:34

Um so I was previously the co-founder and CTO of Webflow.

Ừm trước đây tôi là đồng sáng lập và CTO của Webflow.

24:38

So I spent about 12 and 1/2 years there.

Vậy nên tôi đã dành khoảng 12 năm rưỡi ở đó.

24:41

And about eight or nine months ago, you know, AI happened, agents happened, and I'm like, well, what can the website actually do to help a business grow?

Và khoảng tám hoặc chín tháng trước, bạn biết đấy, AI xuất hiện, các agent xuất hiện, và tôi nghĩ, à, trang web thực sự có thể làm gì để giúp một doanh nghiệp phát triển?

24:52

You know, I made a tool that made it easy for folks to design, but I just had this incredible itch to take the website much further.

Bạn biết đấy, tôi đã tạo ra một công cụ giúp mọi người dễ dàng thiết kế, nhưng tôi chỉ có một sự thôi thúc mãnh liệt là đưa trang web đi xa hơn nhiều.

25:03

So, that's what we're building at Play.

Vậy nên, đó là những gì chúng tôi đang xây dựng tại Play.

25:04

So, what Play is, it's an entire marketing platform that's starting with your website.

Vậy Play là gì, nó là một nền tảng marketing toàn diện bắt đầu từ trang web của bạn.

25:09

It gives you the ability to run SEO, AEO optimization, helps you improve your conversions.

Nó cho bạn khả năng chạy SEO, tối ưu hóa AEO, giúp bạn cải thiện tỷ lệ chuyển đổi.

25:15

It's also a web host.

Nó cũng là một dịch vụ lưu trữ web.

25:17

But, then on top of that, it can also power your ads, it can help you find customers, it can de-anonymize the visitors coming to your website, all with the purpose to help

Nhưng, trên hết đó, nó cũng có thể vận hành quảng cáo của bạn, giúp bạn tìm khách hàng, có thể giải ẩn danh những khách truy cập đến trang web của bạn, tất cả đều nhằm mục đích giúp

25:30

turn your website into your hardest working employee.

Biến trang web của bạn thành nhân viên làm việc chăm chỉ nhất của bạn.

25:33

And by that, I mean help you drive revenue as automatically as possible.

Và ý tôi là giúp bạn tạo ra doanh thu một cách tự động nhất có thể.

25:39

So, how does it work?

Vậy, nó hoạt động như thế nào?

25:41

So, very simple, you sign up and within 60 seconds, you have a Slurp'd website.

Vậy, rất đơn giản, bạn đăng ký và trong vòng 60 giây, bạn có một trang web đã được Slurp'd.

25:47

So, what that means is that we're crawling your sites, we're taking all of the CSS, we're looking at every single responsive breakpoint, and we're actually deterministically converting your existing homepage into a design system that Play can then use to build subsequent pages or optimize your

Vậy điều đó có nghĩa là chúng tôi đang thu thập dữ liệu từ các trang của bạn, chúng tôi lấy tất cả CSS, chúng tôi xem xét từng điểm ngắt responsive, và chúng tôi thực sự chuyển đổi một cách xác định trang chủ hiện tại của bạn thành một hệ thống thiết kế mà Play sau đó có thể sử dụng để xây dựng các trang tiếp theo hoặc tối ưu hóa những trang

26:07

existing ones.

Hiện có của bạn.

26:09

And if you actually want to design from scratch, uh you can also use Play to do that, too.

Và nếu bạn thực sự muốn thiết kế từ đầu, ừm bạn cũng có thể sử dụng Play để làm điều đó.

26:15

So, really sort of proud of the fact that Play's platform doesn't have any AI tells or as few of them as possible.

Vậy nên, tôi thực sự khá tự hào về việc nền tảng của Play không có bất kỳ dấu hiệu AI nào hoặc càng ít càng tốt.

26:23

Every single site is actually incredibly bespoke.

Mỗi trang web thực sự đều được thiết kế riêng một cách đáng kinh ngạc.

26:27

So, there's a lot of different things that Play can do for you.

Vậy nên, có rất nhiều điều khác nhau mà Play có thể làm cho bạn.

26:31

So, it can design with human taste, it can drive revenue outcomes, it can help you measure your entire sort of marketing funnel with built-in analytics.

Vậy nên, nó có thể thiết kế với gu thẩm mỹ của con người, nó có thể tạo ra kết quả doanh thu, nó có thể giúp bạn đo lường toàn bộ phễu marketing của mình với các phân tích tích hợp sẵn.

26:39

And then, we also have these expert Playbooks that you can run, and you can think of them as marketing skills.

Và sau đó, chúng tôi cũng có những Playbook chuyên gia mà bạn có thể chạy, và bạn có thể nghĩ về chúng như những kỹ năng marketing.

26:46

Just to drive home this sort of point a little bit.

Chỉ để làm rõ điểm này một chút.

26:49

So, this is something that people can actually do with Play, which is they can actually create this whole sort of marketing funnel that's autonomous.

Vậy nên, đây là điều mà mọi người thực sự có thể làm với Play, đó là họ thực sự có thể tạo ra toàn bộ phễu marketing tự động này.

26:58

So, someone comes to your site, we can deanonymize that person, we can help qualify that person to see if they're your ICP, and we can activate that lead.

Vậy nên, ai đó đến trang web của bạn, chúng tôi có thể giải ẩn danh người đó, chúng tôi có thể giúp đánh giá người đó xem họ có phải là ICP của bạn không, và chúng tôi có thể kích hoạt khách hàng tiềm năng đó.

27:07

We can sync it to your CRM,

Chúng tôi có thể đồng bộ nó với CRM của bạn,

27:10

we can draft the email and send it out.

Chúng tôi có thể soạn email và gửi đi.

27:12

These are just some of the ways that we can really turn your website into a growth engine.

Đây chỉ là một số cách mà chúng tôi thực sự có thể biến trang web của bạn thành một cỗ máy tăng trưởng.

27:18

And you can do a bunch of things, too.

Và bạn cũng có thể làm rất nhiều thứ.

27:20

So, we actually have these playbooks that, you know, really well-known growth and marketing leaders throughout the tech startup scene have created for Play.

Vậy nên, chúng tôi thực sự có những playbook này mà, bạn biết đấy, những nhà lãnh đạo tăng trưởng và marketing nổi tiếng trong giới startup công nghệ đã tạo ra cho Play.

27:29

So, to help you create AEO comparison pages, to help you build a content strategy, or even email your ICP website visitors.

Vậy nên, để giúp bạn tạo các trang so sánh AEO, giúp bạn xây dựng chiến lược nội dung, hoặc thậm chí gửi email cho những khách truy cập trang web thuộc ICP của bạn.

27:38

And just to wrap it up, it's really for a lot of different audiences.

Và để kết thúc, nó thực sự dành cho rất nhiều đối tượng khác nhau.

27:43

So, large startups, large enterprises, clears throat agencies, and a place where I have a lot of affinity for, which is YC startups.

Vậy nên, các startup lớn, các doanh nghiệp lớn, [hắng giọng] các agency, và một nơi mà tôi có nhiều thiện cảm, đó là các startup YC.

27:52

And I was part of the last YC batch, and really proud to say that around 13% of the startups in the last batch are also using Play.

Và tôi đã là một phần của batch YC gần nhất, và thực sự tự hào khi nói rằng khoảng 13% các startup trong batch gần nhất cũng đang sử dụng Play.

28:03

So, I'll just hand it over to let Lorenzo to actually talk about the true value maxing part that we spent a lot of time on here at Play.

Vậy nên, tôi sẽ nhường lại cho Lorenzo để thực sự nói về phần tối đa hóa giá trị thực sự mà chúng tôi đã dành rất nhiều thời gian ở đây tại Play.

28:11

- For sure.

- Chắc chắn rồi.

28:13

Um let me get my presentation up.

Ừm để tôi mở bài thuyết trình của mình lên.

28:20

All right.

Được rồi.

28:21

What up, fam?

Có gì mới không, mọi người?

28:23

My name's Lorenzo, and I'm an AI engineer.

Tên tôi là Lorenzo, và tôi là một kỹ sư AI.

28:26

I just I actually started AI engineering when I joined Play, and I've just been obsessed and having so much fun.

Tôi thực ra chỉ bắt đầu kỹ thuật AI khi tôi gia nhập Play, và tôi đã bị cuốn hút và có rất nhiều niềm vui.

28:35

Um I really love optimizing things and saving costs.

Ừm tôi thực sự thích tối ưu hóa mọi thứ và tiết kiệm chi phí.

28:39

So, this is actually something we've been working on for a long time with our agent even before we switched to GPT 5.6.

Vậy nên, đây thực sự là điều chúng tôi đã làm việc trong một thời gian dài với agent của mình ngay cả trước khi chuyển sang GPT 5.6.

28:49

Um but all the work that we've done prior carries over to GPT 5.6 and I figured that was probably the most valuable thing to talk about in this presentation.

Ừm nhưng tất cả công việc chúng tôi đã làm trước đó đều được chuyển sang GPT 5.6 và tôi nghĩ đó có lẽ là điều giá trị nhất để nói trong bài thuyết trình này.

29:00

So, this dovetails really nicely off of um Charlie's talk about, you know, compaction, efficient tool calling, uh programmatic tool calling, um caching.

Vậy nên, điều này ăn khớp rất đẹp với bài nói của ừm Charlie về, bạn biết đấy, nén, gọi công cụ hiệu quả, ừm gọi công cụ theo lập trình, ừm caching.

29:16

I of those four, I would say caching is kind of the most important and sort of easily overlooked.

Trong bốn điều đó, tôi muốn nói caching là điều quan trọng nhất và dễ bị bỏ qua nhất.

29:27

And there's a lot of details, so I figured it's worth diving in.

Và có rất nhiều chi tiết, nên tôi nghĩ đáng để đi sâu vào.

29:31

So, just a quick explainer on how exactly KV caching or prompt caching works um in your typical agent loop.

Vậy nên, chỉ một giải thích nhanh về cách chính xác KV caching hay prompt caching hoạt động ừm trong vòng lặp agent điển hình của bạn.

29:42

When you Every time the agent try decides what to do next, it has to process all of the prior input tokens.

Khi bạn Mỗi lần agent cố quyết định làm gì tiếp theo, nó phải xử lý tất cả các token đầu vào trước đó.

29:51

So, if you have an agent loop that calls, you know, 10 tools across 10 different steps, there's actually a n squared amount of like tokens that get processed because um the context accumulates and every time you call the next tool call, you have to process all the previous tokens and that's just, you know, building up is kind of what you're seeing here.

Vì vậy, nếu bạn có một vòng lặp agent gọi, bạn biết đấy, 10 công cụ qua 10 bước khác nhau, thì thực ra có một lượng token bằng n bình phương được xử lý vì ừm ngữ cảnh tích lũy và mỗi lần bạn gọi công cụ tiếp theo, bạn phải xử lý tất cả các token trước đó và điều đó chỉ, bạn biết đấy, tích tụ lại chính là những gì bạn thấy ở đây.

30:18

So, with caching enabled, what that allows is uh basically a 10x reduction in cost for all of the tokens that have already been processed uh cuz OpenAI and other AI providers store the embeddings from all those tokens.

Vì vậy, với caching được bật, điều đó cho phép ừm về cơ bản giảm 10 lần chi phí cho tất cả các token đã được xử lý ừm vì OpenAI và các nhà cung cấp AI khác lưu trữ embeddings từ tất cả các token đó.

30:36

And so, you know, this is just massive for cost efficiency and um it also helps with um responsiveness in generally with with really long contexts.

Và vì vậy, bạn biết đấy, điều này thật sự to lớn cho hiệu quả chi phí và ừm nó cũng giúp ích cho ừm khả năng phản hồi nói chung với những ngữ cảnh thực sự dài.

30:53

Um but even if you have uh caching enabled it's really easy for this cache to break because this context window needs to be append only in order for the um for the caching to accumulate and persist.

Ừm nhưng ngay cả khi bạn có ừm caching được bật thì cache này rất dễ bị phá vỡ vì cửa sổ ngữ cảnh này cần phải chỉ được thêm vào ở cuối để ừm cho việc caching tích lũy và tồn tại.

31:11

So this example here, if you're trying to be smart about saving tokens and say like dynamically loading tools, the tools actually live at the very beginning of the uh context window.

Vì vậy, ví dụ ở đây, nếu bạn đang cố gắng thông minh trong việc tiết kiệm token và nói như là tải công cụ một cách động, thì các công cụ thực ra nằm ở ngay đầu ừm cửa sổ ngữ cảnh.

31:27

Vì vậy

31:28

if you are modifying the tools as you are going through different steps uh in the agent loop, that breaks your cache and you're going to end up with a ton of next cost um like we talked about on the previous slide.

Nếu bạn đang sửa đổi các công cụ khi bạn đi qua các bước khác nhau ừm trong vòng lặp agent, điều đó phá vỡ cache của bạn và bạn sẽ phải chịu một lượng lớn chi phí tiếp theo ừm như chúng ta đã nói ở slide trước.

31:45

Um as Charlie mentioned too, like if you're updating any information in the system prompt like uh the current time, that will break the system uh the KB cache as well um which really hurts your uh cost.

Ừm như Charlie cũng đã đề cập, nếu bạn đang cập nhật bất kỳ thông tin nào trong system prompt như ừm thời gian hiện tại, điều đó cũng sẽ phá vỡ hệ thống ừm cache KV ừm điều này thực sự làm tổn hại đến ừm chi phí của bạn.

32:04

So um there's a few tricks that we've implemented um in order to first load tools on demand without breaking the cache.

Vì vậy ừm có một vài thủ thuật mà chúng tôi đã triển khai ừm để đầu tiên tải công cụ theo yêu cầu mà không phá vỡ cache.

32:15

So all we've really done here is we decided what tools need to be always on.

Vì vậy tất cả những gì chúng tôi thực sự làm ở đây là chúng tôi quyết định những công cụ nào cần phải luôn bật.

32:23

And those are like the core tools that we see um but based on usage patterns they are used in like you know 70% or more of sessions.

Và đó là những công cụ cốt lõi mà chúng tôi thấy ừm nhưng dựa trên các mẫu sử dụng chúng được dùng trong khoảng bạn biết đấy 70% hoặc hơn các phiên.

32:32

And then we have a lot of tools that are more niche and we call these on-demand tools.

Và sau đó chúng tôi có rất nhiều công cụ mang tính ngách hơn và chúng tôi gọi đây là các công cụ theo yêu cầu.

32:38

And so when the agent needs to use one of these on-demand tools, it simply loads this tool schema.

Và vì vậy khi agent cần sử dụng một trong những công cụ theo yêu cầu này, nó chỉ đơn giản tải schema của công cụ này.

32:45

It gets appended to the end of the uh context window.

Nó được thêm vào cuối ừm cửa sổ ngữ cảnh.

32:49

So, you don't break any of the cash up here.

Vì vậy, bạn không phá vỡ bất kỳ cache nào ở trên này.

32:53

And then the agent is able to use the these on-demand tools perfectly fine using the on-demand tools tool.

Và sau đó agent có thể sử dụng những công cụ theo yêu cầu này hoàn toàn ổn bằng cách dùng công cụ công cụ theo yêu cầu.

33:02

And um yeah, in our testing we saw a 45% We're able to reduce the tokens of our tool schemas by 45%.

Và ừm vâng, trong thử nghiệm của chúng tôi chúng tôi thấy giảm 45% Chúng tôi có thể giảm token của các schema công cụ đi 45%.

33:13

Um and in evals that showed like a 33% cost reduction, which was really awesome.

Ừm và trong các đánh giá điều đó cho thấy giảm 33% chi phí, điều này thực sự tuyệt vời.

33:20

Um and and quick side note is like if we had broken the cash every time we're like updating the tool schema, this would actually end up being more expensive.

Ừm và và một lưu ý nhanh là nếu chúng tôi phá vỡ cache mỗi lần chúng tôi cập nhật schema công cụ, điều này thực ra sẽ trở nên đắt hơn.

33:30

So, it's a it's a really great uh strategy, but you need to make sure you do it right to not break the KV cache.

Vì vậy, đây là một chiến lược thực sự tuyệt vời ừm nhưng bạn cần đảm bảo làm đúng để không phá vỡ cache KV.

33:37

Um another thing that is really helpful for uh maximizing the cache hit rate is using breakpoints.

Ừm một điều khác thực sự hữu ích cho ừm việc tối đa hóa tỷ lệ cache hit là sử dụng các breakpoint.

33:48

And this is something that I went over in uh my GPT-5.6 implementation guide.

Và đây là điều mà tôi đã trình bày trong ừm hướng dẫn triển khai GPT-5.6 của tôi.

33:54

Um this is slightly different between AI providers.

Ừm điều này hơi khác nhau giữa các nhà cung cấp AI.

33:58

We've we've used both uh Claude, Gemini, and GPT models.

Chúng tôi đã ừm sử dụng cả mô hình Claude, Gemini và GPT.

34:03

And um this is this is a part where there's a little bit of variation between providers.

Và ừm đây là đây là phần có một chút biến thiên giữa các nhà cung cấp.

34:11

Um but the core concept is the same.

Ừm nhưng khái niệm cốt lõi thì giống nhau.

34:15

Uh which is you if if you have a user that is um creating multiple chats within your platform, you will likely have a set of tools and a system prompt that is the same for every chat.

Ừm đó là nếu nếu bạn có một người dùng đang ừm tạo nhiều cuộc trò chuyện trong nền tảng của bạn, bạn sẽ có khả năng có một bộ công cụ và một system prompt giống nhau cho mọi cuộc trò chuyện.

34:30

So, this like we were talking about before, you don't need to process the system prompt and the tools every single time.

Vì vậy, điều này như chúng ta đã nói trước đó, bạn không cần xử lý system prompt và các công cụ mỗi lần.

34:39

So, you if you if you set a breakpoint to cache the system prompt and the tools, this now gets saved for every single chat afterwards.

Vì vậy, nếu bạn nếu bạn đặt một breakpoint để cache system prompt và các công cụ, thì điều này giờ được lưu cho mọi cuộc trò chuyện sau đó.

34:50

And so, you can save a lot of tokens this way.

Và vì vậy, bạn có thể tiết kiệm rất nhiều token theo cách này.

34:55

Um and then on top of that, there there's like um a feature that we have in the Play Agent is working memory or the workspace memory.

Ừm và thêm vào đó, có có một tính năng mà chúng tôi có trong Play Agent là bộ nhớ hoạt động hay bộ nhớ workspace.

35:07

So, this is persistent across chats.

Vì vậy, điều này tồn tại lâu dài qua các cuộc trò chuyện.

35:10

And this is unique to each workspace.

Và điều này là duy nhất cho mỗi workspace.

35:14

And this may change between chats, but it may not.

Và điều này có thể thay đổi giữa các cuộc trò chuyện, nhưng có thể không.

35:18

So, we set another breakpoint after the workspace memory.

Vì vậy, chúng tôi đặt một breakpoint khác sau bộ nhớ workspace.

35:22

So, if there's multiple chats where the workspace memory does not change, then we're able to cache that as well and uh increase the cache hit rate um by And yeah, and the results of this was the first message, if you're able to cache the system prompt, uh and the tool calls, which is really large for us, we saw an 89% reduction in the first message in a new chat.

Vì vậy, nếu có nhiều cuộc trò chuyện mà bộ nhớ workspace không thay đổi, thì chúng tôi có thể cache điều đó luôn và ừm tăng tỷ lệ cache hit ừm bằng Và vâng, và kết quả của điều này là tin nhắn đầu tiên, nếu bạn có thể cache system prompt, ừm và các lệnh gọi công cụ, điều này thực sự lớn đối với chúng tôi, chúng tôi thấy giảm 89% ở tin nhắn đầu tiên trong một cuộc trò chuyện mới.

35:51

And um yeah, this reduced our token spend by 5% overall in production.

Và ừm vâng, điều này giảm chi tiêu token của chúng tôi đi 5% tổng thể trong production.

35:58

And um this is a trick I love because it's so simple um and kind of like right under your nose sort of thing.

Và ừm đây là một thủ thuật tôi yêu thích vì nó quá đơn giản ừm và kiểu như ngay dưới mũi bạn vậy.

36:07

So, if you have a an agent that's making a lot of tool calls, for example, a coding agent, like uh the Play Agent, there's going to be a lot of token uh a lot of tool calls within a single uh session.

Vì vậy, nếu bạn có một agent đang thực hiện rất nhiều lệnh gọi công cụ, ví dụ, một coding agent, như ừm Play Agent, sẽ có rất nhiều token ừm rất nhiều lệnh gọi công cụ trong một ừm phiên.

36:25

So, and batching these together makes a huge difference.

Vì vậy, và việc gộp những cái này lại với nhau tạo ra sự khác biệt lớn.

36:29

So, this example is three tool calls: edit file A, read file B, read file C.

Vì vậy, ví dụ này là ba lệnh gọi công cụ: sửa file A, đọc file B, đọc file C.

36:36

They're all independent.

Chúng đều độc lập.

36:38

Um but if the agent is doing these in three separate steps, it has to re uh process all of the input tokens and the whole context window, and it actually does a little bit of thinking for each tool call.

Ừm nhưng nếu agent thực hiện những cái này trong ba bước riêng biệt, nó phải xử lý lại ừm tất cả các token đầu vào và toàn bộ cửa sổ ngữ cảnh, và nó thực ra suy nghĩ một chút cho mỗi lệnh gọi công cụ.

36:54

Um but this is all this can be saved if you just prompt the agent to try to batch together tool calls into a single step.

Ừm nhưng tất cả điều này có thể được tiết kiệm nếu bạn chỉ cần nhắc agent cố gắng gộp các lệnh gọi công cụ lại thành một bước duy nhất.

37:04

Um that looks like this, and you save all of these um cached input tokens and the extra thinking tokens here.

Ừm nó trông như thế này, và bạn tiết kiệm tất cả những ừm token đầu vào được cache và các token suy nghĩ thêm ở đây.

37:14

Um lastly, you can also design your tools to perform multiple actions in one tool call.

Ừm cuối cùng, bạn cũng có thể thiết kế các công cụ của mình để thực hiện nhiều hành động trong một lệnh gọi công cụ.

37:20

So, that's what we've done here, where you say read file B and file C in one tool call, and that saves um output tokens.

Vì vậy, đó là những gì chúng tôi đã làm ở đây, khi bạn nói đọc file B và file C trong một lệnh gọi công cụ, và điều đó tiết kiệm ừm token đầu ra.

37:29

And so, when we implemented this, ran some evals, we saw a 14% cost reduction with the same pass rate, and I think it was actually a little bit faster, too.

Và vì vậy, khi chúng tôi triển khai điều này, chạy một số đánh giá, chúng tôi thấy giảm 14% chi phí với cùng tỷ lệ pass, và tôi nghĩ nó thực ra cũng nhanh hơn một chút.

37:42

So, win across the board.

Vì vậy, thắng trên mọi phương diện.

37:44

Um lastly, I just There's a lot more I didn't cover here, but as kind of a general tip or area of focus for me is really optimizing your tools.

Ừm cuối cùng, tôi chỉ Còn rất nhiều thứ tôi chưa đề cập ở đây, nhưng như một mẹo chung hay lĩnh vực tập trung của tôi thực sự là tối ưu hóa các công cụ của bạn.

37:59

So, Charlie, again, mentioned programmatic tool calling.

Vậy, Charlie, một lần nữa, đã đề cập đến việc gọi công cụ theo chương trình.

38:03

There's so much you can do just if you or just design your tools in an intelligent way.

Có rất nhiều thứ bạn có thể làm chỉ cần bạn hoặc chỉ cần thiết kế các công cụ của mình một cách thông minh.

38:10

Um one really easy win for us, we use Exa as our web search provider, and they have a feature called highlights, which slims down the output to just the most important sort of like bullet points.

Ừm, một điểm thắng rất dễ dàng cho chúng tôi, chúng tôi sử dụng Exa làm nhà cung cấp tìm kiếm web, và họ có một tính năng gọi là highlights, giúp thu gọn đầu ra chỉ còn những điểm quan trọng nhất dạng như các gạch đầu dòng.

38:26

Immediate 70% reduction in the web tool response size, and that's estimated to save us $37,000 a year in tokens.

Giảm ngay 70% kích thước phản hồi của công cụ web, và ước tính tiết kiệm cho chúng tôi 37.000 đô la mỗi năm tiền token.

38:37

Um and the same quality on our evals.

Ừm và chất lượng tương đương trên các bài đánh giá của chúng tôi.

38:42

Um another thing here, we have put a lot of thought into thinking about what needs to be done by the agent versus what can we just make deterministic.

Ừm một điều nữa ở đây, chúng tôi đã suy nghĩ rất nhiều về việc điều gì cần được tác nhân thực hiện so với điều gì chúng ta có thể chỉ cần làm cho mang tính xác định.

38:53

Um there's one tool where we um were able to save like a huge round trip from the tool to the agent to the next tool call.

Ừm có một công cụ mà chúng tôi ừm đã có thể tiết kiệm được một vòng khứ hồi lớn từ công cụ đến tác nhân đến lệnh gọi công cụ tiếp theo.

39:05

Um and yeah, that was like a 54% reduction in token spend.

Ừm và vâng, đó là mức giảm khoảng 54% chi phí token.

39:12

So, yeah, that's pretty much it.

Vậy, vâng, đại khái chỉ có thế.

39:15

Uh lot more I could cover, and then as Christine mentioned, we have a blog post here on actually migrating to GPT-5.6.

Ừ, còn nhiều thứ nữa tôi có thể đề cập, và như Christine đã nói, chúng tôi có một bài đăng blog ở đây về việc thực sự chuyển sang GPT-5.6.

39:24

There were for the most part, like I said, everything carried over really easily from the previous agent in terms of our caching stuff, but there were some details on the breakpoints and stuff that we cover in that blog.

Phần lớn thì, như tôi đã nói, mọi thứ đều chuyển sang rất dễ dàng từ tác nhân trước đó về mặt lưu đệm của chúng tôi, nhưng có một số chi tiết về các điểm ngắt và những thứ khác mà chúng tôi đề cập trong blog đó.

39:37

Uh but yeah, that's it for me.

Ừ nhưng vâng, phần của tôi đến đây là hết.

39:41

- Awesome.

- Tuyệt vời.

39:41

Thanks so much for joining us.

Cảm ơn rất nhiều vì đã tham gia cùng chúng tôi.

39:44

Um we'll go back and share screen.

Ừm chúng tôi sẽ quay lại và chia sẻ màn hình.

39:46

Thanks everyone who submitted so many questions.

Cảm ơn mọi người đã gửi rất nhiều câu hỏi.

39:48

We answered as many as we could.

Chúng tôi đã trả lời càng nhiều càng tốt.

39:50

We had chat, there's a couple that we flagged to answer live and chat go through them, especially with Brian Lorenzo here with us to kind of share this actual real-life example.

Chúng tôi có phần chat, có một vài câu chúng tôi đã đánh dấu để trả lời trực tiếp và đi qua chúng trong chat, đặc biệt là với Brian Lorenzo ở đây cùng chúng tôi để chia sẻ ví dụ thực tế này.

40:00

Um so, the first one was probably the most important.

Ừm vậy, câu đầu tiên có lẽ là quan trọng nhất.

40:05

Brian, - snorts - Troy really loved it.

Brian, - [khịt mũi] - Troy thực sự rất thích điều đó.

40:09

I think it's awesome for you to be here, especially as a founder.

Tôi nghĩ thật tuyệt vời khi bạn ở đây, đặc biệt là với tư cách một nhà sáng lập.

40:12

We have a ton of startup founders who are building really on early on in their journey.

Chúng tôi có rất nhiều nhà sáng lập startup đang xây dựng thực sự ở giai đoạn đầu trong hành trình của họ.

40:16

Would love to hear from you, just like kind of a quick update on like why you chose to migrate and some of the trade-offs, especially as a second-time founder.

Rất muốn nghe từ bạn, kiểu như một cập nhật nhanh về lý do bạn chọn chuyển đổi và một số đánh đổi, đặc biệt là với tư cách một nhà sáng lập lần thứ hai.

40:26

- Yeah.

- Vâng.

40:28

I think, you know, as a startup, we're constantly looking for some type of alpha, right?

Tôi nghĩ, bạn biết đấy, với tư cách một startup, chúng tôi liên tục tìm kiếm một loại lợi thế nào đó, phải không?

40:33

Some type of advantage.

Một loại lợi thế nào đó.

40:35

But then, honestly, with building AI tools, you really just have to try every single model that's out there, right?

Nhưng rồi, thành thật mà nói, với việc xây dựng các công cụ AI, bạn thực sự chỉ cần thử mọi mô hình đang có, phải không?

40:43

And we have spent a lot of time making sure that our evals reflect real-world use cases, and that whenever a new model comes out, many companies do this, obviously, but we really want to stress test, you know, whether or not they fit Poe's use cases.

Và chúng tôi đã dành rất nhiều thời gian để đảm bảo rằng các bài đánh giá của chúng tôi phản ánh các trường hợp sử dụng thực tế, và rằng mỗi khi một mô hình mới ra mắt, nhiều công ty làm điều này, rõ ràng, nhưng chúng tôi thực sự muốn kiểm tra căng thẳng, bạn biết đấy, liệu chúng có phù hợp với các trường hợp sử dụng của Poe hay không.

41:02

So, you know,

Vậy, bạn biết đấy,

41:04

everything from marketing strategy to following really long instructions to redesigning a whole page to importing a WordPress site.

Mọi thứ từ chiến lược tiếp thị đến việc tuân theo các hướng dẫn rất dài đến thiết kế lại toàn bộ một trang đến nhập một trang WordPress.

41:10

You know, these are all things that are our agents uh need to be really good at.

Bạn biết đấy, đây đều là những thứ mà các tác nhân của chúng tôi ừ cần phải thực sự giỏi.

41:17

So, um as a second-time founder, I don't know, maybe there's potentially even a disadvantage in this in the sense that AI is just so uh quick that a lot of my learned experiences may need to be unlearned, and I have to really drink from the firehose now.

Vậy, ừm với tư cách một nhà sáng lập lần thứ hai, tôi không biết, có lẽ thậm chí có một bất lợi trong việc này theo nghĩa là AI nhanh đến mức nhiều kinh nghiệm đã học được của tôi có thể cần phải gỡ bỏ, và tôi phải thực sự uống từ vòi cứu hỏa ngay bây giờ.

41:34

So, that's um that's been really, really fun.

Vậy, đó ừm đó thực sự, thực sự thú vị.

41:37

- Love that.

- Thích điều đó.

41:37

Thanks for sharing.

Cảm ơn vì đã chia sẻ.

41:38

Um okay, let's dive into some of the technical questions.

Ừm được rồi, hãy đi sâu vào một số câu hỏi kỹ thuật.

41:41

Um this first one, when using GPT-5 uh 0.6 with Ultra Effort, it seems extremely token intensive when delegating work to sub agents.

Ừm câu đầu tiên này, khi sử dụng GPT-5 ừ 0.6 với Ultra Effort, có vẻ như cực kỳ tốn token khi giao việc cho các tác nhân phụ.

41:48

Are sub agents given only the specific context needed for their task, or do they receive and maintain the full context of the current chat or workspace?

Các tác nhân phụ chỉ được cung cấp ngữ cảnh cụ thể cần thiết cho nhiệm vụ của chúng, hay chúng nhận và duy trì toàn bộ ngữ cảnh của cuộc trò chuyện hoặc không gian làm việc hiện tại?

41:57

- Um I love that somebody asked this.

- Ừm tôi thích việc ai đó đã hỏi điều này.

41:59

Thank you for asking this question, cuz I think there's currently a lot of confusion out there around the differences between Ultra and Max and Pro.

Cảm ơn vì đã hỏi câu hỏi này, vì tôi nghĩ hiện tại có nhiều sự nhầm lẫn xung quanh sự khác biệt giữa Ultra và Max và Pro.

42:07

Um and so, I think to maybe start, like, I want to explain the difference between um Max and Pro, and then we'll get to Ultra.

Ừm và vậy, tôi nghĩ có lẽ để bắt đầu, kiểu như, tôi muốn giải thích sự khác biệt giữa ừm Max và Pro, rồi chúng ta sẽ đến Ultra.

42:16

So, uh Max is a new reasoning effort level above extra high.

Vậy, ừ Max là một mức độ nỗ lực suy luận mới trên mức cực cao.

42:20

Prior to GPT 5.6, uh the highest you could go was

Trước GPT 5.6, ừ mức cao nhất bạn có thể đạt là

42:24

extra high.

Cực cao.

42:24

Um and then now with 5.6, there is there is Max, which essentially just like, you know, fully takes the leash off and tells the model like, "Use as much reasoning as you think you might need to solve this problem." Um that is in contrast to Pro, which historically is, you know, been available as an option in ChatGPT and not Codex.

Ừm và rồi bây giờ với 5.6, có Max, về cơ bản chỉ là, bạn biết đấy, hoàn toàn thả lỏng dây xích và bảo mô hình rằng, "Hãy sử dụng bao nhiêu suy luận mà bạn nghĩ mình có thể cần để giải quyết vấn đề này." Ừm điều đó tương phản với Pro, mà theo lịch sử là, bạn biết đấy, đã có sẵn như một tùy chọn trong ChatGPT chứ không phải Codex.

42:42

Um as well as through the API.

Ừm cũng như thông qua API.

42:44

Uh you may

Ừ bạn có thể

42:45

have noticed if you're a heavy API user, you may have noticed that there's no GPT 5.6 Pro uh model slug in the API.

Đã nhận thấy nếu bạn là người dùng API nhiều, bạn có thể đã nhận thấy rằng không có slug mô hình GPT 5.6 Pro ừ trong API.

42:53

Um and that's because we've actually moved it into a new reasoning mode uh parameter.

Ừm và đó là vì chúng tôi thực sự đã chuyển nó vào một tham số chế độ suy luận mới ừ.

42:58

And so, you can take uh any of the new 5.6 models in reasoning mode, you know, there's like standard and Pro.

Và vậy, bạn có thể lấy ừ bất kỳ mô hình 5.6 mới nào ở chế độ suy luận, bạn biết đấy, có như là standard và Pro.

43:04

Um and that'll essentially give you the same uh the same effect as using Pro in chat.

Ừm và điều đó về cơ bản sẽ cho bạn hiệu ứng tương tự như việc sử dụng Pro trong chat.

43:09

Um but it'll spend significantly more tokens, will take significantly longer to come back to you with an answer.

Ừm nhưng nó sẽ tiêu tốn nhiều token hơn đáng kể, sẽ mất nhiều thời gian hơn đáng kể để trả lời bạn.

43:15

Um Okay.

Ừm Được rồi.

43:15

So, now that we've talked about those two, let's talk about Ultra.

Vậy, bây giờ chúng ta đã nói về hai cái đó, hãy nói về Ultra.

43:19

Um Ultra is not quite a new reasoning level, but it's it's a little bit of a new mode that exists on top of Max reasoning.

Ừm Ultra không hẳn là một cấp độ suy luận mới, nhưng nó là một chế độ hơi mới tồn tại trên nền suy luận Max.

43:27

And so, in Codex or in ChatGPT work, um if you select Ultra mode, and by the way, to get to Max and Ultra, um I believe they're not enabled out of the box uh because, you know, we

Và vì vậy, trong Codex hoặc trong ChatGPT work, ừm nếu bạn chọn chế độ Ultra, và nhân tiện, để có được Max và Ultra, ừm tôi tin rằng chúng không được bật sẵn theo mặc định vì, bạn biết đấy, chúng tôi

43:39

we want folks to be mindful about their token spend.

Chúng tôi muốn mọi người lưu tâm đến việc chi tiêu token của họ.

43:42

Um and so, if you go into settings, you can enable those two options.

Ừm và vì vậy, nếu bạn vào cài đặt, bạn có thể bật hai tùy chọn đó.

43:46

But, Ultra takes Max reasoning, um which already is like uses many reasoning tokens as you need, um and then also modifies the underlying system prompt to um push it in the direction of using more subagents, right?

Nhưng, Ultra lấy suy luận Max, ừm cái mà đã giống như sử dụng bao nhiêu token suy luận tùy theo nhu cầu của bạn, ừm và sau đó cũng sửa đổi system prompt cơ bản để ừm đẩy nó theo hướng sử dụng nhiều subagent hơn, đúng không?

43:57

And 5.6 is the first model that we've trained that's like

Và 5.6 là mô hình đầu tiên mà chúng tôi đã huấn luyện mà giống như

44:01

natively um meant to use subagents.

Về bản chất ừm được thiết kế để sử dụng subagent.

44:02

I think in previous models in Codex, you could tell it, "Hey, use subagents for this task." and it would do so.

Tôi nghĩ trong các mô hình trước đây trong Codex, bạn có thể bảo nó, "Này, sử dụng subagent cho tác vụ này." và nó sẽ làm như vậy.

44:09

But, 5.6 is the first model where it is making calls for itself and like, "Okay, here's where I should probably use a sub agent or not." And Ultra basically turns that behavior also to the max, right?

Nhưng, 5.6 là mô hình đầu tiên mà nó tự đưa ra quyết định và kiểu như, "Được rồi, đây là chỗ tôi có lẽ nên sử dụng subagent hoặc không." Và Ultra về cơ bản cũng biến hành vi đó thành tối đa, đúng không?

44:20

So, if it seems extremely token intensive, it 100% is extremely token intensive.

Vì vậy, nếu nó có vẻ cực kỳ tốn token, thì nó 100% là cực kỳ tốn token.

44:24

And we do recommend it for like the, you know, the really heavy hitter use cases where, just, you know, you need to spin up sub agents to accomplish a ton of work.

Và chúng tôi khuyến nghị nó cho những trường hợp sử dụng thực sự nặng, nơi mà bạn biết đấy, bạn cần tạo ra các subagent để hoàn thành một khối lượng công việc lớn.

44:35

Otherwise, you know, if you're using it to check your email, it's a little bit like bringing a bazooka to a knife fight, right?

Nếu không, bạn biết đấy, nếu bạn đang sử dụng nó để kiểm tra email, thì nó hơi giống như mang bazooka đến một cuộc đấu dao, đúng không?

44:41

Like, you probably don't need that much firepower.

Kiểu như, bạn có lẽ không cần nhiều hỏa lực đến thế.

44:43

Um, but let's get back to the to the meat of the question here.

Ừm, nhưng hãy quay lại phần chính của câu hỏi ở đây.

44:46

You know, are sub agents given only the specific context needed or do they receive the full context?

Bạn biết đấy, các subagent chỉ được cung cấp ngữ cảnh cụ thể cần thiết hay chúng nhận được toàn bộ ngữ cảnh?

44:52

They're given the context that they need, right?

Chúng được cung cấp ngữ cảnh mà chúng cần, đúng không?

44:55

And so, the main agent will dispatch a sub agent and that can go and perform tasks and then return.

Và vì vậy, agent chính sẽ điều phối một subagent và nó có thể đi thực hiện các tác vụ rồi quay lại.

45:03

That's different to say like a side chat in Codex, which is going to get the full context of the current chat as it works.

Điều đó khác với ví dụ như một side chat trong Codex, cái mà sẽ nhận được toàn bộ ngữ cảnh của chat hiện tại khi nó hoạt động.

45:13

- Thanks for sharing that, Lorenzo.

- Cảm ơn vì đã chia sẻ điều đó, Lorenzo.

45:15

Anything on your end that you wanted to add to this if you've you've tried it?

Có điều gì từ phía bạn mà bạn muốn thêm vào đây nếu bạn đã thử nó chưa?

45:19

- Um, this clears throat Yeah, my first thought when I saw this question was you could actually, if from a developer's standpoint, you could implement it either way.

- Ừm, cái này [hắng giọng] Vâng, suy nghĩ đầu tiên của tôi khi tôi thấy câu hỏi này là bạn thực sự có thể, nếu từ quan điểm của nhà phát triển, bạn có thể triển khai nó theo cả hai cách.

45:29

I haven't tried this, but I have thought about um, this clears throat this idea of giving a sub agent the full context.

Tôi chưa thử điều này, nhưng tôi đã nghĩ về ừm, cái này [hắng giọng] ý tưởng này về việc cung cấp cho một subagent toàn bộ ngữ cảnh.

45:36

It would almost be like forking the context window.

Nó gần như sẽ giống như phân nhánh cửa sổ ngữ cảnh.

45:40

Um, I haven't tried this.

Ừm, tôi chưa thử điều này.

45:42

I think most implementations just have the orchestrator agent write up a summary of whatever the sub agent needs.

Tôi nghĩ hầu hết các triển khai chỉ để agent điều phối viết một bản tóm tắt về bất cứ thứ gì mà subagent cần.

45:50

That's probably more efficient in most cases.

Điều đó có lẽ hiệu quả hơn trong hầu hết các trường hợp.

45:53

- Awesome, thanks for sharing.

- Tuyệt vời, cảm ơn vì đã chia sẻ.

45:54

Okay, next question.

Được rồi, câu hỏi tiếp theo.

45:55

How does agent depth, meaning the number of delegation layers where sub agents can spin up their own sub agents, affect performance?

Độ sâu của agent, nghĩa là số lớp ủy quyền mà các subagent có thể tạo ra các subagent của riêng chúng, ảnh hưởng đến hiệu suất như thế nào?

46:02

What types of tasks benefit from greater depth, and when is a wider but shallower agent structure more effective.

Những loại tác vụ nào hưởng lợi từ độ sâu lớn hơn, và khi nào thì cấu trúc agent rộng nhưng nông lại hiệu quả hơn.

46:09

- Um I think the first question is that's a really good question.

- Ừm tôi nghĩ câu hỏi đầu tiên là đó là một câu hỏi thực sự hay.

46:12

I don't know that I that I have all the data to recommend something on here, right?

Tôi không biết rằng tôi có đủ dữ liệu để khuyến nghị điều gì đó ở đây, đúng không?

46:16

In terms of performance.

Về mặt hiệu suất.

46:17

Um I think I what I can say about the types of tasks is uh you know I think it's you know, I think it's it's I personally in the work that I do, I think I personally um find it less effective

Ừm tôi nghĩ điều tôi có thể nói về các loại tác vụ là ừm bạn biết đấy tôi nghĩ nó là bạn biết đấy, tôi nghĩ nó là cá nhân tôi trong công việc tôi làm, tôi nghĩ cá nhân tôi ừm thấy nó kém hiệu quả hơn

46:28

once you get past maybe two layers of sub agents because I think you're losing a lot of context um as you continue to delegate and again that's that's totally anecdotal.

Khi bạn vượt qua có lẽ hai lớp subagent vì tôi nghĩ bạn đang mất rất nhiều ngữ cảnh ừm khi bạn tiếp tục ủy quyền và một lần nữa đó hoàn toàn là giai thoại.

46:38

Um and in general I think I find that agents like sub agents in general are more useful when the work can be like parallelized pretty um effectively, right?

Ừm và nói chung tôi nghĩ tôi thấy rằng các agent như subagent nói chung hữu ích hơn khi công việc có thể được song song hóa khá ừm hiệu quả, đúng không?

46:49

And you're not super worried about like having to share state

Và bạn không quá lo lắng về việc phải chia sẻ trạng thái

46:53

or having to like touch the exact same files as you go um and you're able to like, you know, carve out independent lanes for each sub agent to work with, but again, Lorenzo, happy to hear your take.

Hoặc phải chạm vào cùng những tệp chính xác khi bạn làm việc ừm và bạn có thể kiểu như, bạn biết đấy, tạo ra các làn đường độc lập cho mỗi subagent làm việc, nhưng một lần nữa, Lorenzo, rất vui được nghe ý kiến của bạn.

47:06

- Yeah, the we've been experimenting with sub agents for a while in Poe and we found with, you know, the models that were around 3 months ago we're actually way better off just not using sub agents at all in terms of costs, uh performance, and time.

- Vâng, chúng tôi đã thử nghiệm với subagent một thời gian trong Poe và chúng tôi nhận thấy với, bạn biết đấy, các mô hình khoảng 3 tháng trước, chúng tôi thực sự tốt hơn nhiều nếu chỉ không sử dụng subagent chút nào về mặt chi phí, ừm hiệu suất và thời gian.

47:25

Um I think the meat of this question really comes down to which model are you using and how good are the orchestration abilities of that model cuz sub agents, like delegating a task from one LLM to another LLM, is a bit lossy.

Ừm tôi nghĩ phần chính của câu hỏi này thực sự nằm ở việc bạn đang sử dụng mô hình nào và khả năng điều phối của mô hình đó tốt đến đâu vì subagent, giống như ủy quyền một tác vụ từ một LLM sang một LLM khác, có phần mất mát.

47:43

Um you want these, you know, tasks or the direction to be as human-driven as possible or expert-driven.

Ừm bạn muốn những, bạn biết đấy, tác vụ hoặc hướng dẫn này được định hướng bởi con người càng nhiều càng tốt hoặc bởi chuyên gia.

47:52

Um, that is changing with recent models.

Ừm, điều đó đang thay đổi với các mô hình gần đây.

47:56

Um, like G G5.6 Souls orchestration abilities are much better.

Ừm, giống như khả năng điều phối của G G5.6 Souls tốt hơn nhiều.

48:01

Um, if you want to do multiple layers, the question is the if you're having a an orchestrator agent delegate to a sub agent and then that sub agent delegates

Ừm, nếu bạn muốn làm nhiều lớp, câu hỏi là nếu bạn có một agent điều phối ủy quyền cho một subagent và sau đó subagent đó ủy quyền

48:17

to another sub agent, is that second level sub agent good at orchestrating sub agent tasks?

Cho một subagent khác, liệu subagent cấp hai đó có giỏi điều phối các tác vụ subagent không?

48:24

If you're doing Soul Soul, maybe, but if you're doing Soul Terra Luna, you might be losing uh some efficiency there, but overall, I'd just say proceed with caution and yeah.

Nếu bạn đang làm Soul Soul, có thể, nhưng nếu bạn đang làm Soul Terra Luna, bạn có thể đang mất ừm một số hiệu quả ở đó, nhưng nhìn chung, tôi chỉ muốn nói hãy tiến hành thận trọng và vâng.

48:38

laughter - Love that.

[tiếng cười] - Thích điều đó.

48:40

Great advice.

Lời khuyên tuyệt vời.

48:41

Um, okay.

Ừm, được rồi.

48:41

Next question.

Câu hỏi tiếp theo.

48:42

Are there instances where starting a new chat in a project such repo is better than compaction?

Có trường hợp nào mà việc bắt đầu một cuộc trò chuyện mới trong một dự án như repo lại tốt hơn so với việc nén không?

48:50

- Um, yeah, I don't know if this is a little bit of a spicy take, but I think there probably still are some instances.

- Ừm, đúng vậy, tôi không biết liệu đây có phải là một quan điểm hơi gây tranh cãi không, nhưng tôi nghĩ có lẽ vẫn có một số trường hợp.

48:56

Um, and by and large, I don't think about compaction anymore.

Ừm, và nhìn chung, tôi không còn nghĩ về việc nén nữa.

48:59

I think when I work in Codex, I'm happy to work in the same thread for days if not weeks and I, you know, just keep going.

Tôi nghĩ khi tôi làm việc trong Codex, tôi thấy vui khi làm việc trong cùng một luồng trong nhiều ngày, thậm chí nhiều tuần và tôi cứ tiếp tục thôi.

49:05

I think I used to be a year ago I used to be one of those people that was like every

Tôi nghĩ cách đây một năm, tôi từng là một trong những người mà mỗi

49:11

single new thing is like new thread, new chat, right?

Một điều mới mẻ đều là luồng mới, cuộc trò chuyện mới, đúng không?

49:13

To avoid, you know, context pollution.

Để tránh, bạn biết đấy, ô nhiễm ngữ cảnh.

49:15

Um, and now I don't worry about that as much.

Ừm, và bây giờ tôi không còn lo lắng về điều đó nhiều nữa.

49:18

I think the instances where it is so useful is if your uh personal setup is like very heavily loaded with like a ton of context out of the box, um, and you are enabling like a ton of plugins or skills or, you know, attaching files, um,

Tôi nghĩ những trường hợp nó hữu ích là khi thiết lập cá nhân của bạn, ừm, được nạp rất nhiều ngữ cảnh ngay từ đầu, ừm, và bạn đang bật rất nhiều plugin hoặc kỹ năng hoặc, bạn biết đấy, đính kèm tệp, ừm,

49:32

because that is going to be stuff that you want to, you know, presumably they're all relevant, but that is stuff that you're going to want to be bringing in.

Bởi vì đó sẽ là những thứ mà bạn muốn, bạn biết đấy, có lẽ tất cả đều liên quan, nhưng đó là những thứ mà bạn sẽ muốn mang vào.

49:38

Um, and if it's, you know, if it's stuff that the model has to keep in mind for every answer, then in that case, uh it probably makes sense to start a new chat rather than relying on compaction.

Ừm, và nếu đó là, bạn biết đấy, nếu đó là những thứ mà mô hình phải ghi nhớ cho mọi câu trả lời, thì trong trường hợp đó, ừm, có lẽ nên bắt đầu một cuộc trò chuyện mới thay vì dựa vào việc nén.

49:47

- Yeah.

- Đúng vậy.

49:48

All right, so are you team new chat, same chat?

Được rồi, vậy bạn thuộc nhóm trò chuyện mới hay trò chuyện cũ?

49:52

Thoughts?

Suy nghĩ gì không?

49:53

- Yeah, we've seen users have super long chats in work sessions in play and then just use that for everything.

- Đúng vậy, chúng tôi đã thấy người dùng có những cuộc trò chuyện siêu dài trong các phiên làm việc và sau đó chỉ dùng nó cho mọi thứ.

50:01

And it's like if you're working on your website and then you want to do some random search after, you're just wasting tokens if it's a completely separate task.

Và giống như nếu bạn đang làm việc trên trang web của mình và sau đó bạn muốn thực hiện một tìm kiếm ngẫu nhiên, bạn chỉ đang lãng phí token nếu đó là một nhiệm vụ hoàn toàn tách biệt.

50:12

Uh so this is something that is kind of a UX new UX problem of like when do you switch to a new chat?

Ừm, vậy đây là một vấn đề về UX mới, kiểu như khi nào bạn chuyển sang một cuộc trò chuyện mới?

50:21

Do you let users

Bạn có để người dùng

50:23

decide?

Quyết định không?

50:23

Do you use LLMs to decide?

Bạn có dùng LLM để quyết định không?

50:26

And that's still an area that we're thinking about.

Và đó vẫn là một lĩnh vực mà chúng tôi đang suy nghĩ.

50:30

- Yeah, good point of view.

- Ừm, quan điểm hay đấy.

50:32

Okay, we have two more questions left.

Được rồi, chúng ta còn hai câu hỏi nữa.

50:34

Uh the presentation covers the benefits of caching well.

Ừm, bài trình bày đã đề cập đến lợi ích của việc lưu trữ đệm khá tốt.

50:37

Can you please touch on the downsides to overly relying on caching for value maxing?

Bạn có thể vui lòng nói về những mặt trái của việc phụ thuộc quá nhiều vào lưu trữ đệm để tối đa hóa giá trị không?

50:44

- Uh - I can I can say a few words.

- Ừm - Tôi có thể nói vài lời.

50:47

- Um yeah, like we like I think Charlie's portion was a great overview of like all the tools.

- Ừm, đúng vậy, giống như chúng tôi, tôi nghĩ phần của Charlie là một tổng quan tuyệt vời về tất cả các công cụ.

50:57

Um I definitely did more of a deep dive into caching.

Ừm, tôi chắc chắn đã đi sâu hơn vào lưu trữ đệm.

51:01

So this is assuming that you're like you've you've already done a little bit of an audit of all your traces and say like oh, this tool call is outputting way too many tokens.

Vậy điều này giả định rằng bạn đã thực hiện một chút kiểm tra tất cả các dấu vết của mình và nói rằng ồ, lệnh gọi công cụ này đang xuất ra quá nhiều token.

51:15

Um or you're like duplicating um outputs in the in the context window or you are making the agent do stuff that it doesn't need to do, that you could just write code for.

Ừm hoặc bạn đang sao chép các đầu ra trong cửa sổ ngữ cảnh hoặc bạn đang bắt tác nhân làm những việc mà nó không cần làm, mà bạn chỉ cần viết mã cho.

51:29

Um so that all comes down to just basics of um like auditing the traces of what your agent is doing.

Ừm, vậy tất cả điều đó quy về những điều cơ bản của việc kiểm tra dấu vết về những gì tác nhân của bạn đang làm.

51:39

Um and then once you've done, you know, uh the 80% of the job there, then you can you can definitely get a lot of value from the caching side.

Ừm, và sau khi bạn đã làm xong, bạn biết đấy, ừm, 80% công việc ở đó, thì bạn chắc chắn có thể nhận được nhiều giá trị từ phía lưu trữ đệm.

51:55

- Nice.

- Tốt lắm.

51:56

- Yeah, I think the only thing I'd add is is, you know, um caching as a general concept, right?

- Đúng vậy, tôi nghĩ điều duy nhất tôi muốn thêm là, bạn biết đấy, ừm, lưu trữ đệm như một khái niệm chung, đúng không?

52:01

I think it like it is often very beneficial, but um you want to introduce it when you're ready for it.

Tôi nghĩ nó thường rất có lợi, nhưng ừm, bạn muốn giới thiệu nó khi bạn đã sẵn sàng cho nó.

52:07

I think when you feel like you have a good grip on like the parts of the application that will benefit, otherwise you can get brittle, right?

Tôi nghĩ khi bạn cảm thấy mình nắm rõ các phần của ứng dụng sẽ được hưởng lợi, nếu không bạn có thể trở nên dễ vỡ, đúng không?

52:15

And you can you can feel a little bit hamstrung.

Và bạn có thể cảm thấy hơi bị trói buộc.

52:18

- Awesome.

- Tuyệt vời.

52:18

Thanks.

Cảm ơn.

52:19

Okay, last question before we wrap up.

Được rồi, câu hỏi cuối cùng trước khi chúng ta kết thúc.

52:22

Does Compact run differently on different models and reasoning levels?

Compact có chạy khác nhau trên các mô hình và mức độ suy luận khác nhau không?

52:27

- Uh the underlying endpoint should work should work the same, right?

- Ừm, điểm cuối cơ bản sẽ hoạt động, sẽ hoạt động giống nhau, đúng không?

52:31

And I think like with different models, um you know, essentially uh there's some secret sauce, so I can't talk about everything here, but uh essentially we're taking the um the history of the conversation and turning it into like uh a representation that the model can understand and reuse in the future.

Và tôi nghĩ với các mô hình khác nhau, ừm, bạn biết đấy, về cơ bản ừm, có một số công thức bí mật, nên tôi không thể nói về mọi thứ ở đây, nhưng ừm, về cơ bản chúng tôi đang lấy ừm lịch sử của cuộc trò chuyện và biến nó thành một biểu diễn mà mô hình có thể hiểu và tái sử dụng trong tương lai.

52:49

Um and uh

Ừm và ừm

52:50

that, you know, depending on the model and the reasoning level, um you know, what gets encoded maybe slightly different, but that also depends on the chat, right?

Điều đó, bạn biết đấy, tùy thuộc vào mô hình và mức độ suy luận, ừm, bạn biết đấy, những gì được mã hóa có thể hơi khác một chút, nhưng điều đó cũng phụ thuộc vào cuộc trò chuyện, đúng không?

53:00

And so I think like uh you would expect um as a mechanism, it runs the same, but, you know, per chat the outputs might be a little bit different.

Và vì vậy tôi nghĩ ừm, bạn sẽ mong đợi ừm như một cơ chế, nó chạy giống nhau, nhưng, bạn biết đấy, mỗi cuộc trò chuyện, đầu ra có thể hơi khác một chút.

53:11

- Okay, awesome.

- Được rồi, tuyệt vời.

53:12

Lorenzo, Bryant, thanks so much for joining us, um especially on the Q&A, super insightful, and I think a lot of um the startup founders and developers um really appreciated it.

Lorenzo, Bryant, cảm ơn rất nhiều vì đã tham gia cùng chúng tôi, đặc biệt là trong phần Q&A, cực kỳ hữu ích, và tôi nghĩ rất nhiều nhà sáng lập startup và nhà phát triển thực sự đánh giá cao điều đó.

53:22

So, to wrap up, here are some resources.

Vậy, để kết thúc, đây là một số tài nguyên.

53:25

Um first and foremost, GPT 5.6 blog, um programmatic tool calling guide, um compare models, um and Cohere's uh migrating a production AI agent um uh blog.

Đầu tiên và quan trọng nhất là blog GPT 5.6, hướng dẫn gọi công cụ theo lập trình, so sánh các mô hình, và blog của Cohere về việc di chuyển một AI agent trong môi trường production.

53:36

And then a couple of people asked in the post actually about your demo and if you can try it themselves.

Và sau đó có vài người thực sự đã hỏi trong bài đăng về bản demo của bạn và liệu họ có thể tự thử hay không.

53:45

So the answer is yes.

Vậy câu trả lời là có.

53:46

Our all the code that we use for build hours is shared on our build our repo.

Tất cả mã chúng tôi sử dụng cho các build hour đều được chia sẻ trên repo build của chúng tôi.

53:50

So feel free to check it out.

Vậy hãy thoải mái xem qua.

53:51

And as I mentioned earlier, we're going to post all of this on demand, send out an email with all of these links.

Và như tôi đã đề cập trước đó, chúng tôi sẽ đăng tất cả nội dung này theo yêu cầu, gửi email với tất cả các liên kết này.

53:57

So don't worry too much about copying all of this down.

Vậy đừng quá lo lắng về việc sao chép tất cả những thứ này.

54:00

Next we have our upcoming build hour on July 29th.

Tiếp theo chúng ta có build hour sắp tới vào ngày 29 tháng 7.

54:03

This one's going to be on ImageGen 2.

Buổi này sẽ nói về ImageGen 2.

54:05

So you'll learn the latest on that.

Vậy bạn sẽ tìm hiểu những thông tin mới nhất về nó.

54:07

And as always, copy down this link.

Và như mọi khi, hãy sao chép liên kết này.

54:09

We're constantly posting new sessions.

Chúng tôi liên tục đăng các phiên mới.

54:11

Feel free also to reach out if you have any ideas on what you want to hear next.

Hãy thoải mái liên hệ nếu bạn có bất kỳ ý tưởng nào về những gì bạn muốn nghe tiếp theo.

54:16

And with that, thanks so much.

Và với điều đó, cảm ơn rất nhiều.

54:18

And we'll see you next time.

Và hẹn gặp lại các bạn lần sau.

54:20

- Thanks, everybody.

- Cảm ơn mọi người.

Transcript

Hiển thị

From Token Maxing to Value Maxing

The session introduces a shift in how AI usage is measured, moving from counting tokens and prompts to evaluating actual outcomes. It outlines key questions for value maxing and previews applications in Codex and organizational harnesses.

Phiên này giới thiệu sự thay đổi trong cách đo lường việc sử dụng AI, chuyển từ việc đếm token và prompt sang đánh giá kết quả thực tế. Nó phác thảo các câu hỏi chính cho việc tối đa hóa giá trị và xem trước các ứng dụng trong Codex và các harness của tổ chức.