0:00

10:17

28 Trillion Tokens a Week: What OpenRouter's COO Sees About AI Agents

More SaaStr·10:17·Technology·B2

Chương · 5

Chương 1·Introduction to OpenRouter

Hiển thị

Tiếng ViệtAuto-scroll

0:00

CEO.

0:00

I'm the uh CEO and co-founder of OpenRouter.

Tôi là CEO và đồng sáng lập của OpenRouter.

0:03

Uh we are the world's largest AI gateway.

Chúng tôi là cổng kết nối AI lớn nhất thế giới.

0:06

So, we work with about 70 different model providers, hundreds of different actual models, um and it helps make sure that your agent succeed, that it's easy and delightful to build on top of AI.

Chúng tôi làm việc với khoảng 70 nhà cung cấp mô hình khác nhau, hàng trăm mô hình thực tế, và điều đó giúp đảm bảo rằng agent của bạn thành công, dễ dàng và thú vị khi xây dựng trên nền tảng AI.

0:19

Um we do things like automatic failover and rate limit management and unified billing and

Chúng tôi thực hiện các việc như tự động chuyển đổi dự phòng, quản lý giới hạn tốc độ, thanh toán hợp nhất và

0:25

unified APIs.

API hợp nhất.

0:25

Basically, you can integrate once with OpenRouter and know that come what may in the world of AI, uh whether it's this lab or that cloud, um or this modality or that modality, it'll work if you integrate with OpenRouter.

Về cơ bản, bạn có thể tích hợp một lần với OpenRouter và biết rằng dù điều gì xảy ra trong thế giới AI, dù là phòng thí nghiệm này hay đám mây kia, hay phương thức này hay phương thức khác, nó sẽ hoạt động nếu bạn tích hợp với OpenRouter.

0:37

So, we preserve that optionality for you through time, give you a single pane of glass for observability, and we process this week

Vì vậy, chúng tôi bảo toàn tính linh hoạt đó cho bạn theo thời gian, cung cấp cho bạn một bảng điều khiển duy nhất để quan sát, và chúng tôi xử lý trong tuần này

0:44

I think we'll process about 28 trillion tokens this week, which is like quite a few more than I think Salesforce has processed in the lifetime of the entire company.

Tôi nghĩ chúng tôi sẽ xử lý khoảng 28 nghìn tỷ token trong tuần này, con số này nhiều hơn đáng kể so với tổng số token mà Salesforce đã xử lý trong suốt vòng đời của công ty.

0:53

So, there's some real scale here.

Vì vậy, có một quy mô thực sự ở đây.

0:55

Um we are probably doing something like 1% of total global inference.

Chúng tôi có lẽ đang xử lý khoảng 1% tổng số suy luận toàn cầu.

0:59

Um and as a result, we have a great viewpoint all over the world about what models are being used for what, um

Và kết quả là, chúng tôi có một góc nhìn tuyệt vời trên toàn thế giới về việc các mô hình được sử dụng cho mục đích gì,

1:07

and a whole lot of institutions use us, and maybe some people here have actually looked at our data as well.

Và rất nhiều tổ chức sử dụng chúng tôi, và có thể một số người ở đây đã xem dữ liệu của chúng tôi.

1:12

We publish rankings data for all the different models, um and for uh all the different use cases that you can go on and look.

Chúng tôi công bố dữ liệu xếp hạng cho tất cả các mô hình khác nhau, và cho tất cả các trường hợp sử dụng khác nhau mà bạn có thể xem.

1:18

It's totally free, um to help customers and users of AI and even model labs do better and make better software and also build better models and help the AI ecosystem move forward.

Hoàn toàn miễn phí, để giúp khách hàng và người dùng AI và thậm chí cả các phòng thí nghiệm mô hình làm tốt hơn, tạo ra phần mềm tốt hơn và cũng xây dựng các mô hình tốt hơn và giúp hệ sinh thái AI tiến về phía trước.

1:29

Um about 50% of the businesses in the US, 50% is the rest of the world, and we feel really good that a lot of the trends that are reflected on OpenRouter are in fact true global trends.

Khoảng 50% doanh nghiệp ở Mỹ, 50% là phần còn lại của thế giới, và chúng tôi cảm thấy rất tốt khi nhiều xu hướng phản ánh trên OpenRouter thực sự là xu hướng toàn cầu.

1:42

Um and they're coming from a lot of models.

Và chúng đến từ rất nhiều mô hình.

1:45

This is all of the models we launched in It's like totally insane.

Đây là tất cả các mô hình chúng tôi ra mắt. Nó thật điên rồ.

1:48

There are a lot more than this that existed.

Có nhiều mô hình hơn thế này đã tồn tại.

1:50

These are the ones we actually launched.

Đây là những mô hình chúng tôi thực sự ra mắt.

1:51

So, we can figure out these, launch them, set up the API, um and a of these labs and a lot of these folks are sort of like building towards what's next, right?

Vì vậy, chúng tôi có thể tìm ra chúng, ra mắt chúng, thiết lập API, và nhiều phòng thí nghiệm và nhiều người trong số này đang hướng tới những gì tiếp theo, phải không?

1:59

That's why all of the labs continue researching, continue making

Đó là lý do tại sao tất cả các phòng thí nghiệm tiếp tục nghiên cứu, tiếp tục tạo ra

2:02

new models, because they're trying to actually make AI a reality, right?

Các mô hình mới, bởi vì họ đang cố gắng biến AI thành hiện thực, phải không?

2:05

We spent a couple of years sort of in the post-Chat GPT moment with all these companies, maybe some of the people in this room, maybe bosses of people in this room, sort of pounding the table and say, "Go make AI work for your company." Um and then suddenly, and it's kind of hard, right?

Chúng tôi đã dành vài năm trong thời kỳ hậu Chat GPT với tất cả các công ty này, có thể một số người trong phòng này, có thể là sếp của những người trong phòng này, đập bàn và nói, "Hãy làm cho AI hoạt động cho công ty của bạn." Và rồi đột nhiên, và nó hơi khó, phải không?

2:19

We're like chatting with

Chúng ta đang trò chuyện với

2:20

things, maybe like had some custom data in like a project in Chat GPT, but suddenly, in the last couple of months, it started working, right?

Mọi thứ, có thể có một số dữ liệu tùy chỉnh trong một dự án Chat GPT, nhưng đột nhiên, trong vài tháng qua, nó bắt đầu hoạt động, phải không?

2:27

All of a sudden, agents like They're like, "Oh my god, I can actually ask an agent to do something and it's actually going to work." And we see agentic token usage taking off and all of a sudden overtaking human usage.

Đột nhiên, các agent như... Chúng kiểu như, "Ôi chúa ơi, tôi thực sự có thể yêu cầu một agent làm điều gì đó và nó sẽ thực sự hoạt động." Và chúng tôi thấy việc sử dụng token cho agent tăng vọt và đột nhiên vượt qua việc sử dụng của con người.

2:38

We can see this

Chúng tôi có thể thấy điều này

2:40

in our data, right?

Trong dữ liệu của chúng tôi, phải không?

2:41

And this is a real trend.

Và đây là một xu hướng thực sự.

2:43

I think Look, even if we didn't have the data, everybody can feel this anyway, right?

Tôi nghĩ... Ngay cả khi chúng tôi không có dữ liệu, mọi người cũng có thể cảm nhận được điều này, phải không?

2:47

And you see agentic usage like totally taking off.

Và bạn thấy việc sử dụng agent tăng vọt hoàn toàn.

2:50

Um and there's something else that's happening as agentic usage takes off, which is that like it's way more expensive and burns way more tokens than I think many people anticipated.

Và có một điều khác đang xảy ra khi việc sử dụng agent tăng vọt, đó là nó đắt hơn nhiều và đốt cháy nhiều token hơn tôi nghĩ nhiều người dự đoán.

2:59

Um this is an

Đây là một

3:01

average uh turn from an agentic request, which often has like a whole lot of context, right?

Lượt trung bình từ một yêu cầu agent, thường có rất nhiều ngữ cảnh, phải không?

3:06

It's not just somebody chatting with a little extra data.

Không chỉ là ai đó trò chuyện với một chút dữ liệu thêm.

3:09

It's a whole lot of context.

Đó là rất nhiều ngữ cảnh.

3:10

It might have a ton of tool call definitions or like MCP gateway definitions, uh skill, um front matter, right?

Nó có thể có rất nhiều định nghĩa gọi công cụ hoặc định nghĩa cổng MCP, kỹ năng, phần đầu trang, phải không?

3:16

And so you end up with a lot of tokens.

Và vì vậy bạn có rất nhiều token.

3:19

You have reasoning and tool calls going back and forth versus

Bạn có lý luận và các cuộc gọi công cụ qua lại so với

3:23

uh what was happening when like humans were interacting largely in a chat modality.

Những gì đang xảy ra khi con người tương tác chủ yếu ở dạng trò chuyện.

3:29

So, what do agents need to be successful?

Vậy, các agent cần gì để thành công?

3:31

We're going to answer that question in a second.

Chúng tôi sẽ trả lời câu hỏi đó trong giây lát.

3:33

I'm doing a really complicated live demo at the same time.

Tôi đang thực hiện một bản demo trực tiếp rất phức tạp cùng lúc.

3:36

So, I'm going to start a demo in the background that we're going to return to later.

Vì vậy, tôi sẽ bắt đầu một bản demo ở chế độ nền mà chúng ta sẽ quay lại sau.

3:41

And I'm going to I'd say there's like a 30% chance this works.

Và tôi sẽ nói rằng có khoảng 30% khả năng điều này hoạt động.

3:43

Okay.

Được rồi.

3:44

So, agents are chugging ahead using all these tokens, and they need a bunch of stuff to be successful.

Vì vậy, các agent đang tiến về phía trước sử dụng tất cả các token này, và chúng cần một loạt thứ để thành công.

3:50

Um one of the things they need to be successful is high-quality inference, right?

Một trong những thứ chúng cần để thành công là suy luận chất lượng cao, phải không?

3:54

So, here is a benchmark GPTQA 16 against GBOSS 120B, which is a popular open weight model.

Vì vậy, đây là một benchmark GPTQA 16 so với GBOSS 120B, một mô hình trọng số mở phổ biến.

4:00

Uh this was done by the fine folks at Artificial Analysis, uh good good friends of ours.

Uh, việc này được thực hiện bởi những người tốt tại Artificial Analysis, uh những người bạn tốt của chúng tôi.

4:05

And they

Và họ

4:06

benchmarked I'm making them throw our providers under the bus.

Đã benchmark, tôi đang bắt họ ném các nhà cung cấp của chúng tôi xuống xe buýt.

4:09

We're not doing it.

Chúng tôi không làm điều đó.

4:10

It's not OpenRouter.

Không phải OpenRouter.

4:11

It's all Artificial Analysis.

Tất cả là Artificial Analysis.

4:13

They benchmarked the same model GBOSS 120B against all of these different providers.

Họ đã benchmark cùng một mô hình GBOSS 120B trên tất cả các nhà cung cấp khác nhau này.

4:17

And it actually shows that there's variable performance on the same benchmark from the same model that varies by provider, right?

Và nó thực sự cho thấy rằng có hiệu suất biến đổi trên cùng một benchmark từ cùng một mô hình, thay đổi tùy theo nhà cung cấp, phải không?

4:25

So, inference quality can vary depending on where you are sourcing those tokens from.

Vì vậy, chất lượng suy luận có thể thay đổi tùy thuộc vào nơi bạn lấy các token đó.

4:30

And this is not quantization, right?

Và đây không phải là lượng tử hóa, phải không?

4:33

Um that could be a factor, but that's generally not what's

Um, đó có thể là một yếu tố, nhưng đó thường không phải là điều

4:37

actually happening.

Thực sự đang xảy ra.

4:37

Um what we see largely is that if you think about models as being like a pile of math and a bunch of numbers like running on a GPU, right?

Um, điều chúng ta thấy phần lớn là nếu bạn nghĩ về các mô hình như một đống toán học và một loạt các con số chạy trên GPU, phải không?

4:46

The model weights.

Trọng số mô hình.

4:47

There's a lot of software between the math model weights and actually serving a valid API.

Có rất nhiều phần mềm giữa trọng số mô hình toán học và việc thực sự phục vụ một API hợp lệ.

4:51

And there are a lot of ways to misconfigure or introduce bugs or parse tool calls incorrectly or do all kinds of wacky stuff that can create variability in the actual performance of that model, even when the weights are identical, right?

Và có rất nhiều cách để cấu hình sai hoặc giới thiệu lỗi hoặc phân tích cú pháp các lệnh gọi công cụ không chính xác hoặc làm tất cả các loại điều kỳ lạ có thể tạo ra sự biến đổi trong hiệu suất thực tế của mô hình đó, ngay cả khi trọng số giống hệt nhau, phải không?

5:04

And so, we don't view this as like adversarial.

Và vì vậy, chúng tôi không xem điều này như là đối nghịch.

5:07

Không

5:08

one's trying to like There's a lot of chatter like, "Oh, people are trying to monkey with the weights so the models don't perform as well." We don't really see that.

Ai đang cố gắng như thế Có rất nhiều tin đồn như, "Ồ, mọi người đang cố gắng can thiệp vào trọng số để các mô hình không hoạt động tốt." Chúng tôi không thực sự thấy điều đó.

5:16

We see a lot of clouds, a lot of providers trying to serve high-quality inference, and sometimes it doesn't work out because there's issues in the implementation.

Chúng tôi thấy rất nhiều đám mây, rất nhiều nhà cung cấp cố gắng phục vụ suy luận chất lượng cao, và đôi khi nó không hoạt động vì có vấn đề trong việc triển khai.

5:24

But for agents to succeed, they need high-quality inference.

Nhưng để các tác nhân thành công, họ cần suy luận chất lượng cao.

5:27

And they also need to call tools, right?

Và họ cũng cần gọi các công cụ, phải không?

5:29

This is the trend in the percentage of requests.

Đây là xu hướng trong tỷ lệ phần trăm của các yêu cầu.

5:32

This ends in I think March, but it continues through April, um of just looking at Anthropic models like on OpenRouter, what percentage of those contain tool definitions?

Điều này kết thúc vào tháng Ba, tôi nghĩ vậy, nhưng nó tiếp tục qua tháng Tư, um chỉ nhìn vào các mô hình Anthropic trên OpenRouter, bao nhiêu phần trăm trong số đó chứa định nghĩa công cụ?

5:42

Or sorry, this is a tool called function trees.

Hoặc xin lỗi, đây là một công cụ gọi là cây hàm.

5:44

They actually use the tool.

Họ thực sự sử dụng công cụ.

5:45

And you can just see this number is inexorably marching upwards.

Và bạn có thể thấy con số này đang tăng lên không ngừng.

5:48

It really maps to how agents are using these things.

Nó thực sự phản ánh cách các tác nhân sử dụng những thứ này.

5:51

They need tool call definitions to work successfully.

Họ cần định nghĩa lệnh gọi công cụ để hoạt động thành công.

5:53

So, we see in this case like 55% of requests ask for tools.

Vì vậy, trong trường hợp này, chúng ta thấy 55% yêu cầu yêu cầu công cụ.

5:57

The model used those 83% of the time.

Mô hình đã sử dụng chúng 83% thời gian.

6:00

And so, 46% of the time uh the reason that the LM returned a result was because of tool call.

Và vì vậy, 46% thời gian, lý do mà LM trả về kết quả là vì lệnh gọi công cụ.

6:05

So, models need high-quality inference and they need to call tools a whole heck of a lot.

Vì vậy, các mô hình cần suy luận chất lượng cao và chúng cần gọi các công cụ rất nhiều.

6:09

All right.

Được rồi.

6:10

Now, we're doing my really complicated demo.

Bây giờ, chúng ta đang thực hiện demo thực sự phức tạp của tôi.

6:12

I'm going to pause this.

Tôi sẽ tạm dừng cái này.

6:12

We'll go back.

Chúng ta sẽ quay lại.

6:13

This will all make sense later.

Điều này sẽ có ý nghĩa sau.

6:15

All right.

Được rồi.

6:17

And the tool calls need to succeed.

Và các lệnh gọi công cụ cần phải thành công.

6:18

So, uh this is actual data from us.

Vì vậy, uh đây là dữ liệu thực tế từ chúng tôi.

6:20

This is for GPT- OSS 20B.

Đây là cho GPT- OSS 20B.

6:22

It's sort of an obscure model I picked on purpose because it's going to demo a little bit easier.

Đó là một mô hình khá mơ hồ mà tôi chọn có chủ đích vì nó sẽ demo dễ dàng hơn một chút.

6:26

And I'm not trying to throw anybody under the bus, but if we look at how many tool calls were successful, right?

Và tôi không cố gắng ném ai xuống xe buýt, nhưng nếu chúng ta nhìn vào bao nhiêu lệnh gọi công cụ đã thành công, phải không?

6:32

So, a tool call is like a JSON result from an LLM that says, "Please

Vì vậy, một lệnh gọi công cụ giống như một kết quả JSON từ LLM nói rằng, "Làm ơn

6:36

call the tool with these parameters." And if the JSON's not valid, if it made up a tool call name, if the parameters weren't right, then the tool call failed.

Gọi công cụ với các tham số này." Và nếu JSON không hợp lệ, nếu nó bịa ra tên lệnh gọi công cụ, nếu các tham số không đúng, thì lệnh gọi công cụ đã thất bại.

6:44

And you actually see there's quite a bit of variability tool calls were.

Và bạn thực sự thấy có khá nhiều biến đổi trong các lệnh gọi công cụ.

6:48

And then also the different uh uh providers are actually asking for the tools a different amount of time, which generally is due to like again weird

Và sau đó, các nhà cung cấp khác nhau cũng thực sự yêu cầu các công cụ với số lần khác nhau, điều này thường là do lại những điều kỳ lạ

6:56

bugs in infrastructure.

Lỗi trong cơ sở hạ tầng.

6:56

So, we detect all this and help agents route around it.

Vì vậy, chúng tôi phát hiện tất cả điều này và giúp các tác nhân định tuyến xung quanh nó.

6:59

So, if you're using GPT- OSS 20B, it should simply succeed and you kind of don't have to worry about it cuz we're going to solve a lot of these problems for you under the covers, right?

Vì vậy, nếu bạn đang sử dụng GPT-OSS 20B, nó sẽ đơn giản thành công và bạn không cần phải lo lắng về điều đó vì chúng tôi sẽ giải quyết nhiều vấn đề này cho bạn ở phía sau, phải không?

7:09

Um All right.

Ừm, được rồi.

7:10

So, where does that leave us?

Vậy, điều đó để lại cho chúng ta điều gì?

7:12

It leaves us there very risky to live demo, which everybody's waiting with baited breath.

Nó để lại cho chúng ta một buổi demo trực tiếp rất rủi ro, mà mọi người đang háo hức chờ đợi.

7:17

All right.

Được rồi.

7:17

So, what I've done here is we have made a ton of tool calls to GPT- OSS 20B, the one we just talked about.

Vì vậy, những gì tôi đã làm ở đây là chúng tôi đã thực hiện rất nhiều cuộc gọi công cụ đến GPT-OSS 20B, cái mà chúng ta vừa nói đến.

7:26

We made 213 tool calls.

Chúng tôi đã thực hiện 213 cuộc gọi công cụ.

7:28

We got one error.

Chúng tôi gặp một lỗi.

7:30

This is uh basically a sort of a demo environment we created which has a it's making but it's making real live actual LLM calls.

Đây là một môi trường demo mà chúng tôi tạo ra, nó thực hiện các cuộc gọi LLM thực tế trực tiếp.

7:38

Um and it's giving a prompt and it's giving some fairly complex tool call schemas and seeing how frequently these calls succeed and don't succeed.

Và nó đưa ra một lời nhắc và một số lược đồ cuộc gọi công cụ khá phức tạp và xem tần suất các cuộc gọi này thành công và không thành công.

7:44

We managed to get one error.

Chúng tôi đã cố gắng gặp một lỗi.

7:46

I was hoping to get a couple of errors, but one of the problems working with LLMs is they are not deterministic, so I can't make them cough up errors on demand.

Tôi đã hy vọng gặp một vài lỗi, nhưng một trong những vấn đề khi làm việc với LLM là chúng không xác định, vì vậy tôi không thể bắt chúng tạo ra lỗi theo yêu cầu.

7:54

All right.

Được rồi.

7:55

So, OpenRouter.

Vì vậy, OpenRouter.

7:56

This is a console application that is running through OpenRouter.

Đây là một ứng dụng console đang chạy thông qua OpenRouter.

7:59

And it is running to a preconfigured preset that I have that says only ever send these requests to Amazon Bedrock and always use GPT-OSS-20B.

Và nó đang chạy với một cấu hình đặt trước mà tôi có, nói rằng chỉ gửi các yêu cầu này đến Amazon Bedrock và luôn sử dụng GPT-OSS-20B.

8:10

And basically you can use this as a model slug in my SaaS for demo.

Và về cơ bản bạn có thể sử dụng cái này như một model slug trong SaaS của tôi cho demo.

8:14

So, all of my code is pointing to this model slug and saying, "Hey, use this provider and use uh this model." And I can edit this, right?

Vì vậy, tất cả mã của tôi đang trỏ đến model slug này và nói, "Này, sử dụng nhà cung cấp này và sử dụng mô hình này." Và tôi có thể chỉnh sửa cái này, phải không?

8:23

And so, you can store your configurations here and I can say, "Hey, instead of using Bedrock, let's use Fireworks." I can save this.

Và vì vậy, bạn có thể lưu trữ cấu hình của mình ở đây và tôi có thể nói, "Này, thay vì sử dụng Bedrock, hãy sử dụng Fireworks." Tôi có thể lưu cái này.

8:31

And I can rerun the exact same code, uh but this time it'll route all the requests to Fireworks.

Và tôi có thể chạy lại chính xác cùng một mã, nhưng lần này nó sẽ định tuyến tất cả các yêu cầu đến Fireworks.

8:39

And in an ideal world, we won't get any errors because Fireworks has an extremely low error rate.

Và trong một thế giới lý tưởng, chúng ta sẽ không gặp bất kỳ lỗi nào vì Fireworks có tỷ lệ lỗi cực kỳ thấp.

8:44

So, you can see the provider is now Fireworks.

Vì vậy, bạn có thể thấy nhà cung cấp bây giờ là Fireworks.

8:47

And we're going to start jamming tool calls over towards Fireworks and we'll like see how many of them are valid, how many times the model actually chooses to use tools and not.

Và chúng ta sẽ bắt đầu gửi các cuộc gọi công cụ đến Fireworks và chúng ta sẽ xem có bao nhiêu trong số chúng hợp lệ, bao nhiêu lần mô hình thực sự chọn sử dụng công cụ và không.

8:56

Um and in a normal environment, what would be happening is you just simply are sending requests to OpenRouter for this particular model and we're going to figure all this out for you, right?

Và trong một môi trường bình thường, điều sẽ xảy ra là bạn chỉ đơn giản gửi các yêu cầu đến OpenRouter cho mô hình cụ thể này và chúng tôi sẽ tìm ra tất cả điều này cho bạn, phải không?

9:04

I'm trying to induce a couple of errors and then induce fewer errors the next time around.

Tôi đang cố gắng tạo ra một vài lỗi và sau đó tạo ra ít lỗi hơn vào lần tiếp theo.

9:08

Um but what we'll actually do in the uh when you use this live is we monitor all of this in real time across

Nhưng những gì chúng tôi thực sự sẽ làm khi bạn sử dụng trực tiếp là chúng tôi theo dõi tất cả điều này trong thời gian thực trên

9:15

thousands of API endpoints.

Hàng ngàn điểm cuối API.

9:16

And if you have tool calls or if you have different parameters that your agents are using, we will help the that agent actually succeed uh by not sending it to providers that are having problems, whether that's uptime or all sorts of other issues.

Và nếu bạn có các cuộc gọi công cụ hoặc nếu bạn có các tham số khác nhau mà các tác nhân của bạn đang sử dụng, chúng tôi sẽ giúp tác nhân đó thực sự thành công bằng cách không gửi nó đến các nhà cung cấp đang gặp vấn đề, cho dù đó là thời gian hoạt động hay tất cả các loại vấn đề khác.

9:32

So, there's a variety of things that we do like guardrails or accuracy tracking or throughput tracking uh cost management

Vì vậy, có nhiều thứ chúng tôi làm như rào chắn an toàn, theo dõi độ chính xác, theo dõi thông lượng, quản lý chi phí

9:40

normalizing tool calling across different API shapes that allows your agents to be successful in open router versus going directly to the underlying inference.

Chuẩn hóa việc gọi công cụ trên các hình dạng API khác nhau cho phép các tác nhân của bạn thành công trong open router so với việc đi trực tiếp đến suy luận cơ bản.

9:47

So, it is now hit the clock is at zero.

Vì vậy, bây giờ đồng hồ đã về không.

9:50

We've had zero errors.

Chúng ta đã có không lỗi.

9:52

I'm going to stop it quickly before something changes, but we saw a couple of errors from a provider that often coughs up errors and then when we switch to different provider exact same model exact same API, but errors sort of disappear because of the implementation of the underlying thing.

Tôi sẽ dừng nó nhanh chóng trước khi có gì đó thay đổi, nhưng chúng ta đã thấy một vài lỗi từ một nhà cung cấp thường xuyên tạo ra lỗi và sau đó khi chúng ta chuyển sang nhà cung cấp khác cùng một mô hình cùng một API, nhưng các lỗi biến mất vì việc triển khai của thứ cơ bản.

10:06

So, open router will abstract this away for you and your agents will be more successful.

Vì vậy, open router sẽ trừu tượng hóa điều này cho bạn và các tác nhân của bạn sẽ thành công hơn.

10:11

Thanks.

Cảm ơn.

10:11

That's it.

Đó là tất cả.

10:12

We have a booth.

Chúng tôi có một gian hàng.

10:13

Go say hi.

Hãy đến chào hỏi.

10:14

Happy to answer questions, etc.

Sẵn sàng trả lời các câu hỏi, v.v.

10:16

Great to see everybody.

Rất vui được gặp mọi người.

Transcript

Hiển thị

Introduction to OpenRouter

The speaker introduces himself as the CEO and co-founder of OpenRouter, describing it as the world's largest AI gateway. He explains that OpenRouter works with about 70 model providers and hundreds of models, offering features like automatic failover, rate limit management, unified billing, and unified APIs. He mentions that they process about 28 trillion tokens per week, which is more than Salesforce has processed in its lifetime, and that they handle about 1% of global inference. He also notes that they publish free rankings data for models and use cases, and that about 50% of their business is in the US and 50% in the rest of the world.

Diễn giả giới thiệu mình là CEO và đồng sáng lập của OpenRouter, mô tả nó như là cổng kết nối AI lớn nhất thế giới. Ông giải thích rằng OpenRouter làm việc với khoảng 70 nhà cung cấp mô hình và hàng trăm mô hình, cung cấp các tính năng như tự động chuyển đổi dự phòng, quản lý giới hạn tốc độ, thanh toán hợp nhất và API hợp nhất. Ông đề cập rằng họ xử lý khoảng 28 nghìn tỷ token mỗi tuần, nhiều hơn tổng số Salesforce đã xử lý trong suốt thời gian tồn tại, và họ xử lý khoảng 1% suy luận toàn cầu. Ông cũng lưu ý rằng họ công bố dữ liệu xếp hạng miễn phí cho các mô hình và trường hợp sử dụng, và khoảng 50% doanh nghiệp của họ ở Mỹ và 50% ở phần còn lại của thế giới.

CEO.

I'm the uh CEO and co-founder of OpenRouter.

Tôi là CEO và đồng sáng lập của OpenRouter.

Uh we are the world's largest AI gateway.

Chúng tôi là cổng kết nối AI lớn nhất thế giới.

So, we work with about 70 different model providers, hundreds of different actual models, um and it helps make sure that your agent succeed, that it's easy and delightful to build on top of AI.

Um we do things like automatic failover and rate limit management and unified billing and

Chúng tôi thực hiện các việc như tự động chuyển đổi dự phòng, quản lý giới hạn tốc độ, thanh toán hợp nhất và

1 / 5