Harry introduces the interview with Satya Nadella, reflecting on the significance of the conversation. Satya begins by discussing how his views on AI alignment have changed, moving away from the belief that alignment would naturally emerge from scaling laws.
Harry giới thiệu cuộc phỏng vấn với Satya Nadella, suy ngẫm về ý nghĩa của cuộc trò chuyện. Satya bắt đầu bằng việc thảo luận về cách quan điểm của ông về căn chỉnh AI đã thay đổi, rời xa niềm tin rằng căn chỉnh sẽ tự nhiên xuất hiện từ các định luật mở rộng quy mô.
And Dario, and Ilya, and Sam, and Greg, and Elon were all, I guess, one happy family.
Và Dario, Ilya, Sam, Greg, và Elon đều là, tôi đoán vậy, một gia đình hạnh phúc.
They were really the believers in scaling laws, and that's what I believed in back in 2018, 2019.
Họ thực sự là những người tin vào các định luật scaling, và đó là điều tôi tin tưởng vào năm 2018, 2019.
I think the biggest change now I have is I used to always think that alignment will just fall out.
Tôi nghĩ thay đổi lớn nhất hiện nay là trước đây tôi luôn nghĩ rằng alignment sẽ tự nhiên xuất hiện.
I no longer believe that.
Tôi không còn tin vào điều đó nữa.
Now, this show, honestly, is quite an emotional one for me.
Giờ thì, thật lòng mà nói, chương trình này là một chương trình khá xúc động đối với tôi.
I started 20VC from my bedroom in London.
Tôi bắt đầu 20VC từ phòng ngủ của mình ở London.
I was 18 years old.
Khi đó tôi 18 tuổi.
I had no money.
Tôi không có tiền.
I had no contacts in my phone book.
Tôi không có liên hệ nào trong danh bạ điện thoại.
And today, I have the chance to sit down with Satya Nadella, CEO of Microsoft, one of the greatest companies of the last three or four decades.
Và hôm nay, tôi có cơ hội ngồi xuống trò chuyện với Satya Nadella, CEO của Microsoft, một trong những công ty vĩ đại nhất trong ba hoặc bốn thập kỷ qua.
And I music will just say on Satya, the warmth that he was able to imbue in this interview in such a short space of time was almost unlike anything I've music seen before.
Và tôi [nhạc] chỉ muốn nói về Satya, sự ấm áp mà ông ấy có thể truyền tải trong cuộc phỏng vấn này trong khoảng thời gian ngắn như vậy gần như không giống bất cứ điều gì tôi [nhạc] từng thấy trước đây.
The clarity of his arguments and his ideas, his ability to go very deep, very quickly.
Sự rõ ràng trong các lập luận và ý tưởng của ông ấy, khả năng đi rất sâu, rất nhanh.
It was almost unlike anything I've ever seen before.
Điều đó gần như không giống bất cứ điều gì tôi từng thấy trước đây.
It was a show I'll always remember, and I really hope you enjoy it.
Đó là một chương trình tôi sẽ luôn nhớ, và tôi thực sự hy vọng bạn sẽ thích nó.
Ready to go?
Sẵn sàng chưa?
music Satya, thank you so much for doing this with us.
[nhạc] Satya, cảm ơn ông rất nhiều vì đã làm điều này với chúng tôi.
Um I would say, you know, thank you for coming to the studio, but you're actually hosting us here.
Ừm tôi muốn nói rằng, bạn biết đấy, cảm ơn bạn vì đã đến studio, nhưng thực ra bạn đang tiếp đón chúng tôi ở đây.
So, really appreciate you taking the time.- - Thank you so much for having me on the show, Harry.
Vì vậy, thực sự cảm kích vì bạn đã dành thời gian.- - Cảm ơn bạn rất nhiều vì đã mời tôi lên chương trình, Harry.
It's been a long time coming, but I'm finally glad we were able to do it.- - Now, you wrote a seminal piece 10 days ago or so, and you said that we should assume a model is compromised.
Đã lâu rồi mới có dịp, nhưng cuối cùng tôi rất vui vì chúng ta đã có thể làm được.- - Giờ thì, ông đã viết một bài viết quan trọng cách đây khoảng 10 ngày, và ông nói rằng chúng ta nên giả định rằng một mô hình đã bị xâm phạm.
And I just wanted to expand on that.
Và tôi chỉ muốn mở rộng về điều đó.
Does that mean that we can't or shouldn't rely on the disclosures of the model provider companies?- - No, I think the challenge, the way I see it right now, is the models are becoming more and more capable, right?
Điều đó có nghĩa là chúng ta không thể hoặc không nên dựa vào các tiết lộ của các công ty cung cấp mô hình?- - Không, tôi nghĩ thách thức, theo cách tôi nhìn nhận hiện nay, là các mô hình đang ngày càng có năng lực hơn, đúng không?
Scaling laws are working.
Các định luật scaling đang hoạt động.
Except, one of the assumptions I had was that you'll have alignment just fall out of scaling, and it doesn't seem to be.
Ngoại trừ việc, một trong những giả định của tôi là bạn sẽ có alignment tự nhiên xuất hiện từ scaling, và điều đó dường như không xảy ra.
Um there's more signs uh challenges there that need to be tackled, right?
Ừm có nhiều dấu hiệu ừm thách thức hơn ở đó cần được giải quyết, đúng không?
And mechanistic understanding is also elusive.
Và sự hiểu biết cơ chế cũng rất khó nắm bắt.
And so, given that, I think the best posture to have, if you want to continue to use these sophisticated models, is to treat these models in a trust architecture.
Và vì vậy, với điều đó, tôi nghĩ tư thế tốt nhất để có, nếu bạn muốn tiếp tục sử dụng các mô hình tinh vi này, là đối xử với các mô hình này trong một kiến trúc tin cậy.
I mean, you after all, zero trust is not something new, right?
Ý tôi là, xét cho cùng, zero trust không phải là điều gì mới, đúng không?
We have had zero trust architectural approaches.
Chúng ta đã có các phương pháp tiếp cận kiến trúc zero trust.
So, the claim at least I'm making is, let's create an engineered zero trust environment that can contain any malfunctioning agent um, before it does any harm, right?
Vì vậy, tuyên bố mà ít nhất tôi đang đưa ra là, hãy tạo ra một môi trường zero trust được thiết kế kỹ lưỡng có thể chứa bất kỳ tác nhân bị trục trặc nào ừm, trước khi nó gây ra bất kỳ tổn hại nào, đúng không?
So, that's the point.
Vì vậy, đó là điểm mấu chốt.
Because if you're really going to have agents that are more capable uh and yet less uh aligned, uh then you need to have a trust system uh that you can rely on.- - Can I ask, what does that trust system look like?
Bởi vì nếu bạn thực sự sẽ có các tác nhân có năng lực hơn ừm và lại ít ừm được căn chỉnh hơn, ừm thì bạn cần có một hệ thống tin cậy ừm mà bạn có thể dựa vào.- - Tôi có thể hỏi, hệ thống tin cậy đó trông như thế nào không?
Who's the architecture of it?
Ai là kiến trúc sư của nó?
Who's the arbiter of it?- - It's a great point.
Ai là trọng tài của nó?- - Đó là một điểm hay.
And so, the that's why I kind of look at it and say, you leave AI safety outside of this, right?
Và vì vậy, đó là lý do tại sao tôi nhìn nhận nó và nói rằng, bạn để an toàn AI ra ngoài việc này, đúng không?
Because that alignment, for example, at least my take is that it's it's really mostly has to show up in training, right?
Bởi vì alignment đó, ví dụ, ít nhất quan điểm của tôi là nó thực sự chủ yếu phải xuất hiện trong quá trình huấn luyện, đúng không?
In fact, maybe even in pre-training.
Trên thực tế, có lẽ thậm chí trong quá trình tiền huấn luyện.
I don't think you can even RL your way to alignment.
Tôi không nghĩ bạn thậm chí có thể dùng RL để đạt được alignment.
You have to uh truly get alignment uh to be something that truly gets embedded uh in the weights uh right at the very beginning of it.
Bạn phải ừm thực sự làm cho alignment ừm trở thành thứ thực sự được nhúng ừm vào các trọng số ừm ngay từ đầu.
And so, that's the model itself, hopefully at some point will get aligned.
Và vì vậy, đó là bản thân mô hình, hy vọng rằng đến một lúc nào đó sẽ được căn chỉnh.
So, if you leave AI safety, then the trust architecture is going to be just, you know, what a company like Microsoft does or all the cyber folks do.
Vì vậy, nếu bạn để an toàn AI ra ngoài, thì kiến trúc tin cậy sẽ chỉ là, bạn biết đấy, những gì một công ty như Microsoft làm hoặc tất cả những người làm về mạng làm.
So, what we've done, for example, is we built these two things, right?
Vì vậy, những gì chúng tôi đã làm, ví dụ, là chúng tôi đã xây dựng hai thứ này, đúng không?
Agent 365 and Perception, right?
Agent 365 và Perception, đúng không?
What does it do?
Nó làm gì?
It gives every agent an identity.
Nó cung cấp cho mỗi tác nhân một danh tính.
Um, it then logs all of its activity, all its tool calls, in fact, every model call and the COT in it.
Ừm, sau đó nó ghi lại tất cả hoạt động của nó, tất cả các lệnh gọi công cụ, trên thực tế, mọi lệnh gọi mô hình và COT trong đó.
In fact, that's where I'm also asking that all the COT better be in English and not in New Release.
Trên thực tế, đó cũng là nơi tôi đang yêu cầu rằng tất cả COT tốt hơn nên bằng tiếng Anh chứ không phải bằng New Release.
Uh and then you can check using multiple models.
Ừm và sau đó bạn có thể kiểm tra bằng cách sử dụng nhiều mô hình.
Uh it can better be tamper-proof, right?
Ừm nó tốt hơn nên chống giả mạo, đúng không?
You can't have the agent go modify its own um uh logs.
Bạn không thể để tác nhân tự sửa đổi ừm nhật ký của chính nó.
Um, and then on that, you set policy, and then you behaviorally monitor the activity of the agents to the confirmed to the policy.
Ừm, và sau đó trên đó, bạn đặt chính sách, và sau đó bạn giám sát hành vi hoạt động của các tác nhân theo chính sách đã được xác nhận.
So, that's the architecture.- - We don't have that architecture today.
Vậy đó là kiến trúc.- - Chúng ta không có kiến trúc đó ngày hôm nay.
Is that just symbolic of where we are in the- - Well, that architecture exists.
Đó có phải chỉ là biểu tượng cho vị trí của chúng ta không- - À, kiến trúc đó tồn tại.
So, there two I think people conflate what I would call an engineered security zero trust architectural system for containment and AI safety, right?
Vậy có hai thứ mà tôi nghĩ mọi người nhầm lẫn giữa cái tôi gọi là hệ thống kiến trúc zero trust bảo mật được thiết kế để ngăn chặn và an toàn AI, đúng không?
Because I think people say, well, AI safety is hard and elusive and uh, not yet achieved.
Bởi vì tôi nghĩ mọi người nói, à, an toàn AI thì khó và khó nắm bắt và ừ, chưa đạt được.
So, therefore, there must be nothing we can do on security.
Vậy nên, do đó, hẳn là không có gì chúng ta có thể làm về bảo mật.
And I'm not saying that um, that these two things are all got to come together at the same time.
Và tôi không nói rằng ừ, hai thứ này đều phải đến cùng một lúc.
In fact, I would just say, hey, we have to deal with the situation as it exists.
Thực ra, tôi chỉ muốn nói, này, chúng ta phải đối phó với tình hình như nó đang tồn tại.
So, let's build a trust system outside in fact of the model.
Vậy hãy xây dựng một hệ thống tin cậy bên ngoài thực tế của mô hình.
Uh, and then just be super aggressive in um, setting policy and monitoring for policy deviation.- - On the monitoring side, if we think about chain of thoughts, how reliable is that?- - It's not, right?
Ừ, và sau đó cứ cực kỳ quyết liệt trong việc ừ, đặt ra chính sách và giám sát sự lệch khỏi chính sách.- - Về phía giám sát, nếu chúng ta nghĩ về chuỗi suy nghĩ, nó đáng tin cậy đến mức nào?- - Nó không đáng tin, đúng không?
We know that the chain of thought itself can be unfaithful and and in fact it can be made worse when the model company says, well, it's unfaithful and I'm going to hide it.
Chúng ta biết rằng bản thân chuỗi suy nghĩ có thể không trung thực và thực tế nó có thể trở nên tồi tệ hơn khi công ty mô hình nói, à, nó không trung thực và tôi sẽ giấu nó đi.
laughter Um, and uh, and so it becomes even more problematic.
[tiếng cười] Ừ, và ừ, và vì vậy nó trở nên còn rắc rối hơn nữa.
And that's where I think a little bit of the push for standardization uh, and the COT at least for trusted partners being available as is so that it's inspectable, it's auditable, and I can check using multiple models and what have you, right?
Và đó là chỗ tôi nghĩ có một chút thúc đẩy cho việc chuẩn hóa ừ, và COT ít nhất là đối với các đối tác tin cậy được cung cấp sẵn để nó có thể được kiểm tra, có thể kiểm toán, và tôi có thể kiểm tra bằng nhiều mô hình và đại loại thế, đúng không?
So, that's going to be one of the In fact, that's one of the things that may even drive more open weights, uh, quite frankly.
Vậy đó sẽ là một trong những Thực ra, đó là một trong những điều thậm chí có thể thúc đẩy nhiều trọng số mở hơn, ừ, thẳng thắn mà nói.
Because if you can't trust It's funny, closed weight models are more powerful, uh, but if they kind of don't recognize the need to be more transparent, uh, especially as their trusted partners use it, then we may have a problem.- - Can I ask you when we think about that rise of open source?
Bởi vì nếu bạn không thể tin tưởng Thật buồn cười, các mô hình trọng số đóng mạnh mẽ hơn, ừ, nhưng nếu chúng không nhận ra nhu cầu phải minh bạch hơn, ừ, đặc biệt là khi các đối tác tin cậy của họ sử dụng nó, thì chúng ta có thể gặp vấn đề.- - Tôi có thể hỏi anh khi chúng ta nghĩ về sự trỗi dậy của mã nguồn mở không?