This chapter introduces the environmental impact of AI, highlighting that the cloud has a greater carbon footprint than the airline industry. It discusses the origins of AI, the Transformer model, and the 'scale is all you need' ideology driving larger models. The lack of transparency about the carbon footprint of popular AI models like ChatGPT is emphasized.
Chương này giới thiệu về tác động môi trường của AI, nhấn mạnh rằng đám mây có lượng khí thải carbon lớn hơn ngành hàng không. Nó thảo luận về nguồn gốc của AI, mô hình Transformer và hệ tư tưởng 'quy mô là tất cả' thúc đẩy các mô hình lớn hơn. Sự thiếu minh bạch về lượng khí thải carbon của các mô hình AI phổ biến như ChatGPT được nhấn mạnh.
The cloud has a greater footprint than a greater carbon footprint than the airline industry.
Đám mây có dấu chân lớn hơn, dấu chân carbon lớn hơn ngành hàng không.
Which is surprising because, you know, all of us take planes fairly regularly, you know, commonly enough, um, and we're aware of this impact, but with AI it's a lot more intangible and even the definition of the cloud is quite intangible and it's really hard to imagine that a cloud has a carbon footprint.
Điều này thật ngạc nhiên vì, bạn biết đấy, tất cả chúng ta đều đi máy bay khá thường xuyên, khá phổ biến, và chúng ta nhận thức được tác động này, nhưng với AI thì nó vô hình hơn nhiều và ngay cả định nghĩa về đám mây cũng khá trừu tượng, thật khó để tưởng tượng rằng một đám mây lại có dấu chân carbon.
Like, what does that even mean?
Giống như, điều đó có nghĩa là gì?
- music applause - So, let's start with the origins of um AI.
- [nhạc] [vỗ tay] - Vậy, hãy bắt đầu với nguồn gốc của AI.
I actually love starting here because I know that for a lot of people AI as a societal phenomenon has started maybe with ChatGPT a couple of years ago, but actually um there's a lot more to it than that and we can go back a lot further.
Tôi thực sự thích bắt đầu từ đây vì tôi biết rằng đối với nhiều người, AI như một hiện tượng xã hội có thể bắt đầu với ChatGPT vài năm trước, nhưng thực ra còn nhiều điều hơn thế và chúng ta có thể quay ngược thời gian xa hơn nữa.
And actually, interestingly enough, we can go back to Alan Turing,
Và thực sự thú vị, chúng ta có thể quay về thời Alan Turing,
um, very apropos.
Ừm, rất thích hợp.
Um, in 1950, he asked this question of what it takes to make what it would take to make machines think.
Ừm, vào năm 1950, ông ấy đã đặt câu hỏi về điều gì cần thiết để làm cho máy móc có thể suy nghĩ.
Can machines think?
Máy móc có thể suy nghĩ không?
How can we do that?
Làm thế nào để làm được điều đó?
And this was really the spark that started artificial intelligence as a field.
Và đây thực sự là tia lửa khởi đầu cho lĩnh vực trí tuệ nhân tạo.
Um, and it's interesting because after that it became um I mean, it wasn't actually named artificial intelligence until about 6 years after there was this convening at Dartmouth College and people came together and it was philosophers and psychologists and the first computer scientists or
Ừm, và thú vị là sau đó nó trở thành—ý tôi là, nó thực sự không được đặt tên là trí tuệ nhân tạo cho đến khoảng 6 năm sau khi có cuộc họp tại Đại học Dartmouth và mọi người tụ họp lại, bao gồm các nhà triết học, nhà tâm lý học và những nhà khoa học máy tính đầu tiên hoặc
mathematicians and they started they coined this term of artificial intelligence and it continues to this day and we continue working on this legacy that started with the brilliant Turing.
Các nhà toán học và họ đã đặt ra thuật ngữ trí tuệ nhân tạo và nó tiếp tục cho đến ngày nay và chúng ta vẫn tiếp tục làm việc trên di sản bắt đầu từ Turing tài ba.
So, there's this one very um mythical paper, it's called Attention Is All You Need, that was published out of Google, actually, and it really um laid the foundation of what we currently use
Vậy, có một bài báo rất huyền thoại, tên là "Attention Is All You Need", được xuất bản từ Google, thực sự, và nó đã đặt nền móng cho những gì chúng ta hiện đang sử dụng
in most of our interactions with AI, so large language models like ChatGPT.
Trong hầu hết các tương tác của chúng ta với AI, như các mô hình ngôn ngữ lớn như ChatGPT.
It created this building block of large language models called the Transformer.
Nó đã tạo ra khối xây dựng cơ bản của các mô hình ngôn ngữ lớn gọi là Transformer.
Um, and then this was built upon by other papers that tried to go further about how much time do you how much data do you need to train a model?
Ừm, và sau đó nó được xây dựng dựa trên các bài báo khác cố gắng đi xa hơn về việc bạn cần bao nhiêu thời gian, bao nhiêu dữ liệu để huấn luyện một mô hình?
How much compute?
Bao nhiêu sức mạnh tính toán?
So, how many, you know, computers for how long is needed?
Vậy, cần bao nhiêu máy tính trong bao lâu?
How big does the model itself have to be?
Bản thân mô hình phải lớn đến mức nào?
So, there were all these like scaling laws and compute optimal formulas that were defined over the years.
Vậy, có tất cả các quy luật mở rộng và công thức tính toán tối ưu đã được xác định qua nhiều năm.
And so, certain um a certain ideology, if you may.
Và do đó, một hệ tư tưởng nhất định, nếu bạn muốn.
Um, and in most recent years, I guess, once the technology left the academic lab and hit uh research lab I'm sorry, I industry labs and hit actual, you know, systems that are being used today.
Ừm, và trong những năm gần đây nhất, tôi đoán, khi công nghệ rời khỏi phòng thí nghiệm học thuật và bước vào phòng thí nghiệm nghiên cứu—xin lỗi, phòng thí nghiệm công nghiệp và bước vào các hệ thống thực tế đang được sử dụng ngày nay.
Um,
Ừm,
it's hard to sum up in a single sentence, but if you may, I found this t-shirt and I found that was really quite emble- emblematic.
Thật khó để tóm gọn trong một câu, nhưng nếu bạn muốn, tôi đã tìm thấy chiếc áo phông này và tôi thấy nó thực sự mang tính biểu tượng.
So, scale is all you need.
Vậy, quy mô là tất cả những gì bạn cần.
That's the first one.
Đó là điều đầu tiên.
So, more data, bigger models, more compute, that's going to solve whatever you want to solve.
Vậy, nhiều dữ liệu hơn, mô hình lớn hơn, nhiều sức mạnh tính toán hơn, điều đó sẽ giải quyết bất cứ điều gì bạn muốn giải quyết.
And the second part is AGI, so artificial general intelligence is coming.
Và phần thứ hai là AGI, tức là trí tuệ nhân tạo tổng quát đang đến.
So, AI is going to come and solve all of
Vậy, AI sẽ đến và giải quyết tất cả
your problems as long as you use enough data uh for a big enough model and train it for long enough, that's the magical formula.
Các vấn đề của bạn miễn là bạn sử dụng đủ dữ liệu cho một mô hình đủ lớn và huấn luyện nó đủ lâu, đó là công thức kỳ diệu.
You got it.
Bạn hiểu rồi đấy.
Like, it's going to solve all the problems.
Giống như, nó sẽ giải quyết tất cả các vấn đề.
And so, this brings me to the second part of my presentation, the consequences of scale.
Và điều này đưa tôi đến phần thứ hai của bài thuyết trình, những hậu quả của quy mô.
So, essentially, now that, you know, we have these foundations of AI, we have this machine learning approach.
Vậy, về cơ bản, bây giờ chúng ta đã có những nền tảng của AI, chúng ta có phương pháp học máy này.
Now, it's been really translated into bigger is better, scale is all you need, and this definitely comes with consequences.
Bây giờ, nó thực sự đã được chuyển thành "lớn hơn là tốt hơn", "quy mô là tất cả những gì bạn cần", và điều này chắc chắn đi kèm với những hậu quả.
So, let's start with what I work on uh most
Vậy, hãy bắt đầu với những gì tôi làm việc nhiều nhất
uh these days, uh environmental impacts.
Ừm, những ngày này, các tác động môi trường.
So, probably you've seen headlines such as these ones around uh environmental impacts.
Vậy, có lẽ bạn đã thấy những tiêu đề như thế này về tác động môi trường.
So, water, energy, greenhouse gases.
Vậy, nước, năng lượng, khí nhà kính.
It seems to be pretty common on the news nowadays to read these headlines and, you know, on different aspects of environmental impacts around the world, right?
Có vẻ như khá phổ biến trên tin tức ngày nay để đọc những tiêu đề này và, bạn biết đấy, về các khía cạnh khác nhau của tác động môi trường trên khắp thế giới, phải không?
This has really become a phenomenon that's pretty global at this point.
Điều này thực sự đã trở thành một hiện tượng khá toàn cầu vào thời điểm này.
And so it's, you know, widely said that the cloud has a greater footprint than a greater carbon footprint than the airline industry.
Và vì vậy, người ta thường nói rằng đám mây có dấu chân lớn hơn, dấu chân carbon lớn hơn ngành hàng không.
Which is surprising because, you know, all of us take planes fairly regularly, you know, commonly enough, and we're aware of this impact, but with AI it's a lot more intangible and even the definition of the cloud is quite intangible and it's really hard to imagine that a cloud has a carbon footprint.
Điều này thật ngạc nhiên vì, bạn biết đấy, tất cả chúng ta đều đi máy bay khá thường xuyên, khá phổ biến, và chúng ta nhận thức được tác động này, nhưng với AI thì nó vô hình hơn nhiều và ngay cả định nghĩa về đám mây cũng khá trừu tượng, thật khó để tưởng tượng rằng một đám mây lại có dấu chân carbon.
Like, what does that even mean?
Giống như, điều đó có nghĩa là gì?
- laughter - I guess the etymology is a separate issue, but these impacts are really growing.
- [cười] - Tôi đoán từ nguyên học là một vấn đề riêng, nhưng những tác động này thực sự đang gia tăng.
But, how do you translate this global number into very specific actions, right?
Nhưng, làm thế nào để chuyển con số toàn cầu này thành những hành động rất cụ thể, phải không?
Very specific tools that we use?
Những công cụ rất cụ thể mà chúng ta sử dụng?
Well, what do we know about the carbon footprint of using ChatGPT?
Vậy, chúng ta biết gì về dấu chân carbon của việc sử dụng ChatGPT?
There are let's say conflicting numbers and conflicting opinions about how much that really represents.
Có những con số và ý kiến mâu thuẫn về việc nó thực sự đại diện cho bao nhiêu.
And we did a study with this with some of my co-authors 2 years ago now, and we
Và chúng tôi đã thực hiện một nghiên cứu về điều này với một số đồng tác giả của tôi cách đây 2 năm, và chúng tôi
looked at all the most popular models that people used in practice.
Đã xem xét tất cả các mô hình phổ biến nhất mà mọi người sử dụng trong thực tế.
So, notable AI models and we looked at how transparent they were about their environmental impact.
Vì vậy, các mô hình AI đáng chú ý và chúng tôi đã xem xét mức độ minh bạch của chúng về tác động môi trường.
So, how much energy they used for training, even how much compute they needed, how much carbon they emitted.
Vì vậy, chúng tiêu thụ bao nhiêu năng lượng cho việc huấn luyện, thậm chí chúng cần bao nhiêu sức mạnh tính toán, chúng thải ra bao nhiêu carbon.
And we noticed that I mean there was a slight peak in the 2022-2023
Và chúng tôi nhận thấy rằng có một đỉnh nhẹ vào giai đoạn 2022-2023
pre-ChatGPT period, but largely speaking the red has been pretty prevalent.
Trước thời kỳ ChatGPT, nhưng nhìn chung màu đỏ đã khá phổ biến.
We have almost no information about these models and these are the models that we interact with every day, mind you.
Chúng ta hầu như không có thông tin gì về các mô hình này và đây là những mô hình chúng ta tương tác hàng ngày, lưu ý nhé.
We have almost no information about their carbon footprint.
Chúng ta hầu như không có thông tin gì về dấu chân carbon của chúng.
Now, what's interesting is that maybe some of you have seen some numbers floating around.
Điều thú vị là có thể một số bạn đã thấy một vài con số được lan truyền.
Usually at this point people are like, but how about this number?
Thường vào lúc này mọi người sẽ nói, nhưng con số này thì sao?
For example, I that I saw from Sam Altman on his blog in June 2025.
Ví dụ, tôi đã thấy từ Sam Altman trên blog của anh ấy vào tháng 6 năm 2025.
So, he did post something along lines of the average query of ChatGPT uses 0.34 watt hours and compared it and blah blah.
Vì vậy, anh ấy đã đăng một cái gì đó đại loại như trung bình một truy vấn ChatGPT sử dụng 0,34 watt giờ và so sánh nó vân vân.
The thing is we don't know where
Vấn đề là chúng ta không biết
this number comes from.
Con số này đến từ đâu.
We don't know what an average query represents.
Chúng ta không biết một truy vấn trung bình đại diện cho điều gì.
We don't know what the methodology is.
Chúng ta không biết phương pháp luận là gì.
Um, hasn't been validated.
Ừm, nó chưa được xác thực.
We truly don't know.
Chúng ta thực sự không biết.
And so, for example, often people are like, "Oh, well, that's, you know, that's an LED light bulb for a couple of minutes.
Và vì vậy, ví dụ, mọi người thường nói, "Ồ, điều đó, bạn biết đấy, giống như một bóng đèn LED trong vài phút.
It's probably not that bad." Maybe, but also we don't know what this actually
Có lẽ nó không tệ đến thế." Có thể, nhưng chúng ta cũng không biết điều này thực sự
represented to begin with, but also how that's shifted with the ways that we use AI nowadays.
Đại diện cho điều gì ngay từ đầu, nhưng cũng như điều đó đã thay đổi như thế nào với cách chúng ta sử dụng AI ngày nay.
We're kind of stumbling around um in the dark when it comes to the environmental impacts of the systems that we use every day.
Chúng ta đang loay hoay trong bóng tối khi nói đến tác động môi trường của các hệ thống chúng ta sử dụng hàng ngày.
What we do know, though, is that the cost of training AI models is growing.
Tuy nhiên, điều chúng ta biết là chi phí huấn luyện các mô hình AI đang tăng lên.
So, between 2017 and 2023, often labs will like AI labs will publish how much like what dollar amount of compute they used.
Vì vậy, từ năm 2017 đến 2023, các phòng thí nghiệm thường, như các phòng thí nghiệm AI, sẽ công bố số tiền tính bằng đô la mà họ đã sử dụng cho sức mạnh tính toán.
And just based on these numbers, we see a very exponential um growth in um training time, so how long it takes to for a model to, for example, learn what it's trained to
Và chỉ dựa trên những con số này, chúng ta thấy sự tăng trưởng rất theo cấp số nhân trong thời gian huấn luyện, vì vậy thời gian cần thiết để một mô hình, ví dụ, học những gì nó được huấn luyện để
do.
Làm.
Um, this could be a proxy for energy, potentially, but all we know is that it's getting more and more expensive to train these systems.
Ừm, điều này có thể là một proxy cho năng lượng, nhưng tất cả những gì chúng ta biết là việc huấn luyện các hệ thống này ngày càng đắt đỏ hơn.
That means it's there's less and less organizations, people, what have you, countries um that can actually participate.
Điều đó có nghĩa là ngày càng có ít tổ chức, con người, vân vân, quốc gia có thể thực sự tham gia.
We do have some numbers about data centers, as well.
Chúng ta cũng có một số con số về trung tâm dữ liệu.
What we know is that data centers around the world um have uh their energy use has doubled uh since 2020 in the last 5 years, pretty much, and it's set to double again in the next 5 years.
Những gì chúng ta biết là các trung tâm dữ liệu trên khắp thế giới đã tăng gấp đôi mức sử dụng năng lượng kể từ năm 2020 trong 5 năm qua, khá chính xác, và dự kiến sẽ tăng gấp đôi một lần nữa trong 5 năm tới.
So, we know that, generally speaking, um it's getting it's getting problem- It's getting noticeable as a um as environmental impacts, but of
Vì vậy, chúng ta biết rằng, nói chung, nó đang trở nên đáng chú ý như một tác động môi trường, nhưng tất nhiên
course, it's really hard to say which portion of this is AI specifically.
Thật khó để nói phần nào trong số này là do AI cụ thể.
And that's often the debate.
Và đó thường là cuộc tranh luận.
Like, sure, data centers, but how about Netflix?
Kiểu như, chắc chắn là trung tâm dữ liệu, nhưng còn Netflix thì sao?