Diyi Yang shifts focus from raw model performance to human-facing concerns in large language models. She argues that culture, trust, and interaction matter as much as benchmarks, and shows how current systems carry hidden biases and safety gaps.
Diyi Yang chuyển trọng tâm từ hiệu suất thô của mô hình sang các mối quan tâm hướng tới con người trong các mô hình ngôn ngữ lớn. Bà lập luận rằng văn hóa, niềm tin và tương tác quan trọng không kém các chỉ số đánh giá, đồng thời chỉ ra cách các hệ thống hiện tại mang theo những định kiến ẩn và lỗ hổng an toàn.
Hello everyone.
Xin chào tất cả mọi người.
Um, I'm D E A, a assistant professor at the Stanford CS.
Ừm, tôi là D E A, một trợ lý giáo sư tại Stanford CS.
Uh, first it's a great honor to speak here.
Ừ, trước tiên, thật là một vinh dự lớn khi được phát biểu ở đây.
Also my first time in Vietnam.
Đây cũng là lần đầu tiên tôi đến Việt Nam.
Uh, secondly it's also a great honor to speak after Jeff.
Ừ, thứ hai, thật cũng là một vinh dự lớn khi được phát biểu sau Jeff.
I think um, Jeff has shared a lot of exciting advances in um, machine learning and also large language models.
Tôi nghĩ ừm, Jeff đã chia sẻ rất nhiều tiến bộ thú vị trong ừm, học máy và cả các mô hình ngôn ngữ lớn.
I want to switch a little bit to talk about the more human-facing issues and the possibilities that we have today.
Tôi muốn chuyển một chút để nói về những vấn đề hướng đến con người hơn và những khả năng mà chúng ta có ngày nay.
So my talk today will be around
Vậy bài nói của tôi hôm nay sẽ xoay quanh
the building human-centered large language models.
Việc xây dựng các mô hình ngôn ngữ lớn lấy con người làm trung tâm.
So this is what we have today.
Vậy đây là những gì chúng ta có ngày nay.
Um, a lot of people in my field has been focusing on building the better, better, and faster large language models where we focus on a lot of technical challenges around performance, benchmark, and efficiency.
Ừm, rất nhiều người trong lĩnh vực của tôi đã tập trung vào việc xây dựng những mô hình ngôn ngữ lớn tốt hơn, tốt hơn và nhanh hơn, nơi chúng tôi tập trung vào rất nhiều thách thức kỹ thuật xung quanh hiệu suất, tiêu chuẩn đánh giá và hiệu quả.
On the other side, I think AI creates so much possibilities to enable real-world applications.
Ở phía bên kia, tôi nghĩ AI tạo ra rất nhiều khả năng để hỗ trợ các ứng dụng trong thế giới thực.
As a result, people is a very important keyword in this ecosystem.
Kết quả là, con người là một từ khóa rất quan trọng trong hệ sinh thái này.
There are a lot of issues related to culture, trust, interaction that we need to be aware of.
Có rất nhiều vấn đề liên quan đến văn hóa, niềm tin, tương tác mà chúng ta cần phải nhận thức được.
Otherwise, you will see a lot of the issues that the society face today uh, ranging from biases to deep fake to a lot of the low-resource languages here.
Nếu không, bạn sẽ thấy rất nhiều vấn đề mà xã hội đang đối mặt ngày nay ừ, từ thành kiến đến deep fake cho đến rất nhiều ngôn ngữ ít tài nguyên ở đây.
I want to start with a very interesting query that we played around earlier this year.
Tôi muốn bắt đầu với một truy vấn rất thú vị mà chúng tôi đã thử nghiệm vào đầu năm nay.
So many of us have used the chat assistant.
Rất nhiều người trong chúng ta đã sử dụng trợ lý trò chuyện.
So we ask a very interesting question, just like how we are asking each other, "Where are you from?" This is a very benign query, very neutral.
Vậy chúng tôi đặt một câu hỏi rất thú vị, giống như cách chúng ta đang hỏi nhau, "Bạn đến từ đâu?" Đây là một truy vấn rất lành tính, rất trung lập.
And we forced the AI assistant to answer with "I am from country X." Then what we can do is that you can look at the how the internal model gives specific reward to different answers here.
Và chúng tôi buộc trợ lý AI trả lời bằng "Tôi đến từ quốc gia X." Sau đó, những gì chúng ta có thể làm là bạn có thể xem cách mô hình nội bộ đưa ra phần thưởng cụ thể cho các câu trả lời khác nhau ở đây.
And this is what you would have a waste.
Và đây là những gì bạn sẽ có một bản đồ nhiệt.
If you are familiar with this geo um earth map, then you see that people or the response towards US, Canada actually receive relative higher reward.
Nếu bạn quen thuộc với bản đồ địa lý ừm trái đất này, thì bạn thấy rằng mọi người hoặc phản hồi đối với Mỹ, Canada thực sự nhận được phần thưởng tương đối cao hơn.
And then certain countries, especially in Middle East, Africa, Asia actually receive relative lower reward.
Và sau đó một số quốc gia, đặc biệt là ở Trung Đông, Châu Phi, Châu Á thực sự nhận được phần thưởng tương đối thấp hơn.
So, this is what we have today.
Vậy, đây là những gì chúng ta có ngày nay.
On the other side, uh my students also explored a very interesting perspective in terms of safety issues in large engine models, where we use persuasion strategies, which is very uh common in marketing and advertisement to test those AI assistant.
Ở phía bên kia, ừ các sinh viên của tôi cũng đã khám phá một góc nhìn rất thú vị về các vấn đề an toàn trong các mô hình ngôn ngữ lớn, nơi chúng tôi sử dụng các chiến lược thuyết phục, rất ừ phổ biến trong tiếp thị và quảng cáo để kiểm tra những trợ lý AI đó.
And this includes the very famous grandma example, where you jailbreak AI by giving it a very different persuasive request.
Và điều này bao gồm ví dụ về bà ngoại rất nổi tiếng, nơi bạn jailbreak AI bằng cách đưa ra một yêu cầu thuyết phục rất khác.
And then the heat map that you are seeing are the success rate in terms of how we actually break open AI models in terms of different diverse safety-related queries.
Và sau đó bản đồ nhiệt mà bạn đang thấy là tỷ lệ thành công về cách chúng tôi thực sự phá vỡ các mô hình AI đối với các truy vấn liên quan đến an toàn đa dạng khác nhau.
On the other side, behind the impressive performance we have, uh we also saw that there are lots of issues related to where does the intelligence come from?
Ở phía bên kia, đằng sau hiệu suất ấn tượng mà chúng ta có, ừ chúng tôi cũng thấy rằng có rất nhiều vấn đề liên quan đến việc trí tuệ đến từ đâu?
Is it mainly an issue of um data contamination or the models actually memorize a lot of information?
Đó chủ yếu là vấn đề về ừm ô nhiễm dữ liệu hay các mô hình thực sự ghi nhớ rất nhiều thông tin?
So, one of the earlier example is that uh people found that in terms of coding examples, such as this specific instance from Codeforces, GPT-4 actually memorized data um before its training um cutoff dates.
Vậy, một trong những ví dụ trước đó là ừ mọi người phát hiện ra rằng về các ví dụ lập trình, chẳng hạn như trường hợp cụ thể này từ Codeforces, GPT-4 thực sự đã ghi nhớ dữ liệu ừm trước ngày cắt huấn luyện ừm của nó.
So, this is um also quite interesting for us to reflect on whether the numbers we have on academic benchmark really can translate well to real-world uses.
Vậy, điều này ừm cũng khá thú vị để chúng ta suy ngẫm liệu những con số chúng ta có trên các tiêu chuẩn đánh giá học thuật có thực sự chuyển dịch tốt sang các ứng dụng trong thế giới thực hay không.
So, some of my earlier work, we actually look at what if you could represent a problem into some latent reasoning graph, and then you can see that as we perturb the graph complexity, how the model performance actually change.
Vậy, một số công trình trước đây của tôi, chúng tôi thực sự xem xét điều gì sẽ xảy ra nếu bạn có thể biểu diễn một vấn đề thành một đồ thị suy luận tiềm ẩn nào đó, và sau đó bạn có thể thấy rằng khi chúng ta làm nhiễu độ phức tạp của đồ thị, hiệu suất của mô hình thực sự thay đổi như thế nào.
So, this is a one of the widely used math reasoning task.
Vậy, đây là một trong những tác vụ suy luận toán học được sử dụng rộng rãi.
As we can see that if you change the reasoning graph complexity, the performance actually drops significantly.
Như chúng ta có thể thấy rằng nếu bạn thay đổi độ phức tạp của đồ thị suy luận, hiệu suất thực sự giảm đáng kể.
On the other side, we also noticed that in terms of models, as especially open-sourced ones, bigger models tend to memorize more, and even when they see those sequences only a few times.
Ở phía bên kia, chúng tôi cũng nhận thấy rằng về các mô hình, đặc biệt là những mô hình mã nguồn mở, các mô hình lớn hơn có xu hướng ghi nhớ nhiều hơn, và ngay cả khi chúng chỉ thấy những chuỗi đó một vài lần.
So, this is actually a quite important issue to think about where or in what ways models memorize.
Vậy, đây thực sự là một vấn đề khá quan trọng để suy nghĩ về việc ở đâu hoặc bằng cách nào các mô hình ghi nhớ.
Going back to the two keywords I want to mention today, large language model and the people.
Quay trở lại hai từ khóa tôi muốn đề cập hôm nay, mô hình ngôn ngữ lớn và con người.
I think a lot of the efforts we have been working on is to think about how to make those large language models actually work for humans.
Tôi nghĩ rất nhiều nỗ lực mà chúng tôi đang thực hiện là suy nghĩ về cách làm cho những mô hình ngôn ngữ lớn đó thực sự hoạt động vì con người.
I want to give two quick highlights today.
Tôi muốn đưa ra hai điểm nổi bật nhanh hôm nay.
The first one is around the how we actually adapt models to low-resource dialects.
Điểm đầu tiên là về cách chúng tôi thực sự thích ứng các mô hình với các phương ngữ ít tài nguyên.
And second, I want to talk about how we can actually use large language models to help people learn social skills.
Và thứ hai, tôi muốn nói về cách chúng ta thực sự có thể sử dụng các mô hình ngôn ngữ lớn để giúp mọi người học các kỹ năng xã hội.