Deep Dive into LLMs like ChatGPT

Chào mọi người, tôi đã muốn làm video này từ lâu rồi. Đây là một giới thiệu toàn diện nhưng dành cho khán giả phổ thông về các mô hình ngôn ngữ lớn như ChatGPT, và điều tôi hy vọng đạt được trong video này là cung cấp cho các bạn những mô hình tư duy để suy nghĩ về công cụ này thực chất là gì. Rõ ràng nó rất kỳ diệu và tuyệt vời ở một số khía cạnh, nó thực sự giỏi ở một số thứ và không giỏi lắm ở

những thứ khác, và cũng có rất nhiều góc cạnh sắc bén cần lưu ý. Vậy điều gì đằng sau ô văn bản này? Bạn có thể đặt bất cứ thứ gì vào đó và nhấn enter, nhưng chúng ta nên đặt gì vào đó và những từ này được tạo ra như thế nào? Cách nó hoạt động ra sao và chính xác thì bạn đang nói chuyện với cái gì? Tôi hy vọng sẽ đề cập đến tất cả những chủ đề đó trong video này. Chúng ta sẽ đi qua toàn bộ quy trình cách

những thứ này được xây dựng, nhưng tôi sẽ giữ mọi thứ ở mức dễ tiếp cận với khán giả phổ thông. Vậy hãy cùng xem trước tiên cách bạn xây dựng một thứ như ChatGPT, và trong suốt quá trình đó tôi sẽ nói về một số hàm ý tâm lý nhận thức của những công cụ này. Được rồi, vậy hãy xây dựng ChatGPT. Sẽ có nhiều giai đoạn được sắp xếp tuần tự. Giai đoạn đầu tiên được

gọi là giai đoạn tiền huấn luyện, và bước đầu tiên của giai đoạn tiền huấn luyện là tải xuống và xử lý internet. Để hiểu đại khái nó trông như thế nào, tôi khuyên bạn nên xem URL này. Công ty có tên Hugging Face đã thu thập, tạo ra và tuyển chọn bộ dữ liệu này gọi là FineWeb, và họ đi vào rất nhiều chi tiết trong bài đăng blog này về cách họ

xây dựng bộ dữ liệu FineWeb, và tất cả các nhà cung cấp LLM lớn như OpenAI, Anthropic, Google, v.v. đều sẽ có thứ tương đương nội bộ giống như bộ dữ liệu FineWeb. Vậy đại khái chúng ta đang cố đạt được gì ở đây? Chúng ta đang cố lấy một lượng lớn văn bản từ internet từ các nguồn công khai, nên chúng ta đang cố có một lượng khổng lồ các tài liệu có chất lượng

rất cao, và chúng ta cũng muốn sự đa dạng rất lớn của các tài liệu vì chúng ta muốn có nhiều kiến thức bên trong những mô hình này. Vậy chúng ta muốn sự đa dạng lớn của các tài liệu chất lượng cao và chúng ta muốn có nhiều tài liệu như vậy, và việc đạt được điều này khá phức tạp, như bạn có thể thấy ở đây, cần nhiều giai đoạn để làm tốt. Vậy hãy cùng xem một số giai đoạn này trông như thế nào. Hiện tại tôi

chỉ muốn lưu ý rằng, ví dụ, bộ dữ liệu FineWeb, khá đại diện cho những gì bạn sẽ thấy trong một ứng dụng cấp sản xuất, thực ra cuối cùng chỉ khoảng 44 terabyte dung lượng đĩa. Bạn có thể mua một USB khoảng một terabyte rất dễ dàng, hoặc tôi nghĩ thứ này gần như có thể vừa trên một ổ cứng duy nhất ngày nay. Vậy đây không phải là lượng dữ liệu khổng lồ vào cuối

cùng, mặc dù internet rất lớn, chúng ta đang làm việc với văn bản và cũng đang lọc nó một cách quyết liệt, nên cuối cùng chúng ta có khoảng 44 terabyte trong ví dụ này. Vậy hãy cùng xem dữ liệu này trông như thế nào và một số giai đoạn này là gì. Điểm khởi đầu cho nhiều nỗ lực này và là thứ đóng góp phần lớn dữ liệu vào cuối quá trình là

dữ liệu từ Common Crawl. Common Crawl là một tổ chức về cơ bản đã quét internet từ năm 2007. Ví dụ tính đến năm 2024, Common Crawl đã lập chỉ mục 2,7 tỷ trang web, và họ có tất cả những trình thu thập dữ liệu này đi khắp internet, và về cơ bản điều bạn làm là bắt đầu với một vài trang web hạt giống rồi theo tất cả các liên kết và bạn cứ

tiếp tục theo liên kết và bạn tiếp tục lập chỉ mục tất cả thông tin và cuối cùng bạn có một lượng lớn dữ liệu của internet theo thời gian. Vậy đây thường là điểm khởi đầu cho nhiều nỗ lực này. Giờ dữ liệu Common Crawl này khá thô và được lọc theo nhiều cách khác nhau, nên ở đây họ ghi lại, đây là cùng một sơ đồ, họ ghi lại một chút

về kiểu xử lý diễn ra trong những giai đoạn này. Thứ đầu tiên ở đây là thứ gọi là lọc URL. Điều đó đề cập đến việc có những danh sách chặn về cơ bản là các URL hoặc tên miền mà bạn không muốn lấy dữ liệu từ đó. Thường thì điều này bao gồm những thứ như trang web chứa mã độc, trang web spam, trang web tiếp thị, trang web phân biệt chủng tộc, trang web người lớn và những thứ

tương tự. Vậy có vô số loại trang web chỉ bị loại bỏ ở giai đoạn này vì chúng ta không muốn chúng trong bộ dữ liệu của mình. Phần thứ hai là trích xuất văn bản. Bạn phải nhớ rằng tất cả những trang web này, đây là HTML thô của những trang web này được các trình thu thập lưu lại, nên khi tôi vào kiểm tra ở đây, đây là những gì HTML thô thực sự

trông như thế nào. Bạn sẽ nhận thấy nó có tất cả những thẻ đánh dấu này như danh sách và những thứ tương tự, và có CSS và đủ thứ như vậy. Vậy đây gần như là mã máy tính cho những trang web này, nhưng thứ chúng ta thực sự muốn chỉ là văn bản này, phải không? Chúng ta chỉ muốn văn bản của trang web này và chúng ta không muốn phần điều hướng và những thứ như vậy. Nên có rất nhiều bước lọc và xử lý và các

phương pháp để lọc đầy đủ chỉ lấy nội dung tốt của những trang web này. Giai đoạn tiếp theo ở đây là lọc ngôn ngữ. Ví dụ, FineWeb lọc bằng một bộ phân loại ngôn ngữ, họ cố đoán mỗi trang web đang ở ngôn ngữ nào và sau đó họ chỉ giữ lại những trang web có hơn 65% là tiếng Anh, như một ví dụ. Và bạn có thể hình dung rằng

đây là một quyết định thiết kế mà các công ty khác nhau có thể tự đưa ra cho mình: chúng ta sẽ đưa bao nhiêu phần trăm của các loại ngôn ngữ khác nhau vào bộ dữ liệu của mình, bởi vì ví dụ nếu chúng ta lọc bỏ hết tiếng Tây Ban Nha, thì bạn có thể tưởng tượng rằng mô hình của chúng ta sau này sẽ không giỏi tiếng Tây Ban Nha vì nó chưa bao giờ thấy nhiều dữ liệu của ngôn ngữ

đó. Và vì vậy các công ty khác nhau có thể tập trung vào hiệu suất đa ngôn ngữ ở mức độ khác nhau, như một ví dụ. Vậy FineWeb khá tập trung vào tiếng Anh, và do đó mô hình ngôn ngữ của họ, nếu họ huấn luyện một mô hình sau này, sẽ rất giỏi tiếng Anh nhưng có thể không giỏi lắm ở các ngôn ngữ khác. Sau khi lọc ngôn ngữ, có một vài bước lọc khác và khử trùng lặp và những thứ tương tự.

Kết thúc bằng ví dụ như loại bỏ PII. Đây là thông tin nhận dạng cá nhân, ví dụ như địa chỉ, số An sinh xã hội và những thứ tương tự. Bạn sẽ cố phát hiện chúng và cố lọc bỏ những loại trang web đó khỏi bộ dữ liệu. Vậy có rất nhiều giai đoạn ở đây và tôi sẽ không đi vào chi tiết đầy đủ, nhưng đây là một phần khá mở rộng của

quá trình tiền xử lý, và cuối cùng bạn có ví dụ như bộ dữ liệu FineWeb. Khi bạn nhấp vào nó, bạn có thể thấy một số ví dụ ở đây về những gì nó thực sự trông như thế nào, và bất kỳ ai cũng có thể tải xuống trên trang web Hugging Face. Và đây là một số ví dụ về văn bản cuối cùng nằm trong tập huấn luyện. Đây là một bài báo về lốc xoáy năm 2012, có một số trận lốc xoáy vào năm 2020

và 2012 và những gì đã xảy ra. Cái tiếp theo là về việc bạn có biết bạn có hai tuyến thượng thận nhỏ cỡ viên pin 9V màu vàng trong cơ thể mình không. Được rồi, vậy đây là một bài báo y khoa kỳ lạ nào đó. Vậy chỉ cần nghĩ về những thứ này về cơ bản là các trang web trên internet được lọc chỉ lấy văn bản theo nhiều cách khác nhau, và giờ chúng ta có một lượng lớn văn bản, 40 terabyte của nó, và đó giờ là

điểm khởi đầu cho bước tiếp theo của giai đoạn này. Giờ tôi muốn cho bạn một cảm giác trực quan về việc chúng ta đang ở đâu. Tôi đã lấy 200 trang web đầu tiên ở đây, và nhớ rằng chúng ta có vô số trang, và tôi chỉ lấy tất cả văn bản đó và ghép tất cả lại với nhau, nối lại, và đây là những gì chúng ta có được. Chúng ta chỉ có văn bản thô này, văn bản internet thô, và có rất nhiều, ngay cả trong

200 trang web này. Tôi có thể tiếp tục thu nhỏ ở đây và chúng ta chỉ có tấm thảm khổng lồ này của dữ liệu văn bản, và dữ liệu văn bản này có tất cả những mẫu này, và điều chúng ta muốn làm bây giờ là bắt đầu huấn luyện mạng nơ-ron trên dữ liệu này để mạng nơ-ron có thể tiếp thu và mô hình hóa cách văn bản này diễn ra. Vậy chúng ta chỉ có tấm thảm văn bản khổng lồ này và giờ chúng ta muốn có

các mạng nơ-ron bắt chước nó. Được rồi, giờ trước khi đưa văn bản vào mạng nơ-ron, chúng ta phải quyết định cách biểu diễn văn bản này và cách đưa nó vào. Cách công nghệ của chúng ta hoạt động cho những mạng nơ-ron này là chúng mong đợi một chuỗi ký hiệu một chiều và chúng muốn một tập hợp hữu hạn các ký hiệu khả dĩ. Vậy chúng ta phải quyết định các ký hiệu là gì và sau đó chúng ta

phải biểu diễn dữ liệu của mình dưới dạng chuỗi một chiều của những ký hiệu đó. Vậy hiện tại những gì chúng ta có là một chuỗi văn bản một chiều, nó bắt đầu ở đây và đi đến đây rồi đến đây, v.v. Vậy đây là một chuỗi một chiều, mặc dù trên màn hình của tôi tất nhiên nó được bày ra theo cách hai chiều, nhưng nó đi từ trái sang phải và từ trên xuống dưới.

Đó là một chuỗi văn bản một chiều. Giờ vì đây là máy tính, tất nhiên có một biểu diễn bên dưới. Nếu tôi làm thứ gọi là mã hóa UTF-8 cho văn bản này, thì tôi có thể lấy các bit thô tương ứng với văn bản này trong máy tính, và đó là những gì trông như thế này. Hóa ra là, ví dụ, thanh đầu tiên này là tám bit đầu tiên, như một

ví dụ. Vậy thứ này là gì? Đây là biểu diễn mà chúng ta đang tìm kiếm, theo một nghĩa nào đó, chúng ta có chính xác hai ký hiệu khả dĩ là 0 và 1, và chúng ta có một chuỗi rất dài của nó. Hóa ra là độ dài chuỗi này thực sự sẽ là một nguồn tài nguyên rất hữu hạn và quý giá trong mạng nơ-ron của chúng ta, và chúng ta thực sự không muốn những chuỗi cực dài chỉ gồm

hai ký hiệu. Thay vào đó, chúng ta muốn đánh đổi kích thước ký hiệu của bộ từ vựng, như chúng ta gọi, và độ dài chuỗi kết quả. Vậy chúng ta không chỉ muốn hai ký hiệu và những chuỗi cực dài, chúng ta sẽ muốn nhiều ký hiệu hơn và chuỗi ngắn hơn. Được rồi, vậy một cách ngây thơ để nén hoặc giảm độ dài chuỗi của chúng ta ở đây là về cơ bản xem xét một

nhóm các bit liên tiếp, ví dụ tám bit, và nhóm chúng thành một thứ gọi là byte. Vì những bit này hoặc bật hoặc tắt, nếu chúng ta lấy một nhóm tám bit, hóa ra chỉ có 256 tổ hợp khả dĩ về cách những bit này có thể bật hoặc tắt. Và do đó chúng ta có thể biểu diễn lại chuỗi này thành một chuỗi byte. Vậy chuỗi byte này sẽ

ngắn hơn tám lần, nhưng giờ chúng ta có 256 ký hiệu khả dĩ, nên mỗi số ở đây đi từ 0 đến 255. Giờ tôi thực sự khuyến khích bạn nghĩ về những thứ này không phải là số mà là các ID duy nhất hoặc như những ký hiệu duy nhất. Có lẽ tốt hơn là thực sự nghĩ về chúng, thay thế mỗi số này bằng một emoji duy nhất, bạn sẽ có thứ như thế này. Vậy về cơ bản chúng ta

có một chuỗi emoji và có 256 emoji khả dĩ, bạn có thể nghĩ theo cách đó. Giờ hóa ra là trong sản xuất cho các mô hình ngôn ngữ tiên tiến nhất, bạn thực sự muốn đi xa hơn thế này, bạn muốn tiếp tục thu nhỏ độ dài chuỗi vì một lần nữa nó là một nguồn tài nguyên quý giá, để đổi lấy nhiều ký hiệu hơn trong bộ từ vựng của bạn. Và cách làm điều này là

bằng cách chạy thứ gọi là thuật toán mã hóa cặp byte. Cách nó hoạt động là chúng ta về cơ bản tìm kiếm các byte hoặc ký hiệu liên tiếp rất phổ biến. Ví dụ, hóa ra chuỗi 116 theo sau là 32 khá phổ biến và xuất hiện rất thường xuyên. Vậy điều chúng ta sẽ làm là nhóm cặp này thành một ký hiệu mới. Chúng ta sẽ tạo ra một ký hiệu

với ID 256 và chúng ta sẽ viết lại mọi cặp 11632 bằng ký hiệu mới này, và sau đó chúng ta có thể lặp lại thuật toán này bao nhiêu lần tùy thích, và mỗi lần khi chúng ta tạo ra một ký hiệu mới, chúng ta đang giảm độ dài và tăng kích thước ký hiệu. Và trong thực tế, hóa ra một thiết lập khá tốt cho kích thước bộ từ vựng là khoảng

100.000 ký hiệu khả dĩ. Cụ thể, GPT-4 sử dụng 100.277 ký hiệu, và quá trình chuyển đổi từ văn bản thô sang những ký hiệu này, hay như chúng ta gọi là token, là quá trình gọi là token hóa. Vậy giờ hãy cùng xem GPT-4 thực hiện token hóa như thế nào, chuyển từ văn bản sang token và từ token trở lại văn bản, và thực sự nó trông như thế nào. Một trang web tôi thích dùng để

khám phá những biểu diễn token này gọi là tiktokenizer. Vậy đến đây vào menu thả xuống và chọn CL100k_base, là tokenizer của mô hình cơ sở GPT-4. Và ở đây bên trái bạn có thể nhập văn bản và nó cho bạn thấy token hóa của văn bản đó. Ví dụ, hello space world, vậy hello world hóa ra chính xác là hai token: token hello, là token có ID 15339, và token space

world, là token 1917. Vậy hello space world. Giờ nếu tôi nối hai cái này lại, ví dụ, tôi sẽ lại có hai token nhưng đó là token H theo sau là token L world không có H. Nếu tôi đặt hai dấu cách ở đây giữa hello và world, nó lại là một cách token hóa khác, có một token mới 220 ở đây. Được rồi, vậy bạn có thể thử với cái này và

xem điều gì xảy ra. Cũng lưu ý rằng cái này phân biệt chữ hoa chữ thường, nên nếu đây là chữ H hoa thì nó là thứ khác, hoặc nếu là hello world thì thực ra cuối cùng nó thành ba token thay vì chỉ hai token. Vậy bạn có thể thử với cái này và có được cảm giác trực quan về cách những token này hoạt động. Chúng ta thực sự sẽ quay lại

với token hóa sau trong video. Hiện tại tôi chỉ muốn cho bạn thấy trang web và muốn cho bạn thấy rằng văn bản này về cơ bản vào cuối cùng, ví dụ nếu tôi lấy một dòng ở đây, đây là cách GPT-4 sẽ nhìn nó. Vậy văn bản này sẽ là một chuỗi có độ dài 62, đây là chuỗi ở đây, và đây là cách các đoạn văn bản tương ứng với những ký hiệu này, và một lần nữa có 100.

277 ký hiệu khả dĩ, và giờ chúng ta có những chuỗi một chiều của những ký hiệu đó. Vậy chúng ta sẽ quay lại với token hóa, nhưng đó là hiện tại chúng ta đang ở đâu. Được rồi, vậy điều tôi đã làm bây giờ là tôi đã lấy chuỗi văn bản này mà chúng ta có ở đây trong bộ dữ liệu và tôi đã biểu diễn lại nó bằng tokenizer của chúng ta thành một chuỗi token, và đây là những gì nó trông như thế nào. Ví dụ

khi chúng ta quay lại bộ dữ liệu FineWeb, họ đề cập rằng không chỉ là 44 terabyte dung lượng đĩa mà còn là khoảng 15 nghìn tỷ token trong bộ dữ liệu này. Và ở đây đây chỉ là một số token đầu tiên, một hoặc hai hoặc ba hoặc vài nghìn đầu tiên, tôi nghĩ vậy, của bộ dữ liệu này, nhưng có 15 nghìn tỷ ở đây để lưu ý, và một lần nữa hãy nhớ rằng

tất cả những thứ này đại diện cho những đoạn văn bản nhỏ, chúng đều giống như các nguyên tử của những chuỗi này, và những con số ở đây không có ý nghĩa gì, chúng chỉ là những ID duy nhất. Được rồi, vậy giờ chúng ta đến phần thú vị, đó là huấn luyện mạng nơ-ron, và đây là nơi rất nhiều công việc nặng nhọc về mặt tính toán diễn ra khi bạn huấn luyện những mạng nơ-ron này. Vậy điều chúng ta làm ở đây

trong bước này là chúng ta muốn mô hình hóa các mối quan hệ thống kê về cách những token này theo sau nhau trong chuỗi. Vậy điều chúng ta làm là đi vào dữ liệu và lấy các cửa sổ token, chúng ta lấy một cửa sổ token từ dữ liệu này khá ngẫu nhiên, và độ dài cửa sổ có thể dao động từ 0 token thực ra cho đến một kích thước tối đa nào đó mà chúng ta quyết định. Ví dụ

trong thực tế bạn có thể thấy một token với các cửa sổ chẳng hạn 8.000 token. Về nguyên tắc chúng ta có thể dùng độ dài cửa sổ token tùy ý, nhưng xử lý những chuỗi cửa sổ rất dài sẽ rất tốn kém về mặt tính toán, nên chúng ta chỉ quyết định rằng 8.000 là con số tốt, hoặc 4.000 hoặc 16.000, và chúng ta cắt ở đó. Giờ trong ví dụ này tôi sẽ

lấy bốn token đầu tiên để mọi thứ vừa vặn đẹp đẽ. Vậy những token này, chúng ta sẽ lấy một cửa sổ bốn token: this, bar, view, in và space, single, là những ID token này. Và giờ điều chúng ta đang cố làm ở đây là về cơ bản dự đoán token tiếp theo trong chuỗi. Vậy 3962 đến tiếp theo. Điều chúng ta làm bây giờ ở đây là chúng ta gọi đây là ngữ cảnh.

Bốn token này là ngữ cảnh và chúng đưa vào một mạng nơ-ron, và đây là đầu vào của mạng nơ-ron. Giờ tôi sẽ đi vào chi tiết về những gì bên trong mạng nơ-ron này một chút nữa. Hiện tại điều quan trọng cần hiểu là đầu vào và đầu ra của mạng nơ-ron. Đầu vào là các chuỗi token có độ dài thay đổi từ 0 đến một kích thước tối đa

nào đó như 8.000. Đầu ra giờ là một dự đoán về cái gì đến tiếp theo. Vì bộ từ vựng của chúng ta có 100.277 token khả dĩ, mạng nơ-ron sẽ xuất ra chính xác ngần đó con số, và tất cả những con số đó tương ứng với xác suất của token đó như là cái đến tiếp theo trong chuỗi. Vậy nó đang đưa ra phỏng đoán về cái gì đến tiếp theo. Lúc đầu mạng nơ-ron này được khởi tạo ngẫu nhiên, nên

và chúng ta sẽ thấy một chút nữa điều đó nghĩa là gì, nhưng nó là một phép biến đổi ngẫu nhiên, nên những xác suất này ở ngay đầu quá trình huấn luyện cũng sẽ khá ngẫu nhiên. Ở đây tôi có ba ví dụ nhưng hãy nhớ rằng có 100.000 con số ở đây. Vậy xác suất của token space, mạng nơ-ron đang nói rằng

nó có 4% khả năng xảy ra ngay bây giờ, 11799 là 2%, và ở đây xác suất của 3962, tức là post, là 3%. Tất nhiên chúng ta đã lấy mẫu cửa sổ này từ bộ dữ liệu của mình nên chúng ta biết cái gì đến tiếp theo, chúng ta biết và đó là nhãn, chúng ta biết câu trả lời đúng là 3962 thực sự đến tiếp theo trong chuỗi. Vậy giờ những gì chúng ta có là quá trình toán học này để thực hiện cập nhật cho mạng nơ-ron.

Chúng ta có cách tinh chỉnh nó và chúng ta sẽ đi vào một chút chi tiết sau, nhưng về cơ bản chúng ta biết rằng xác suất 3% này, chúng ta muốn xác suất này cao hơn và chúng ta muốn xác suất của tất cả các token khác thấp hơn. Và vì vậy chúng ta có cách tính toán bằng toán học cách điều chỉnh và cập nhật mạng nơ-ron để câu trả lời đúng có xác suất cao hơn một chút.

Vậy nếu tôi thực hiện một cập nhật cho mạng nơ-ron bây giờ, lần tiếp theo tôi đưa chuỗi bốn token cụ thể này vào mạng nơ-ron, mạng nơ-ron sẽ được điều chỉnh một chút và nó sẽ nói: Được rồi, post có lẽ là 4%, và case bây giờ có lẽ là 1%, và Direction có thể trở thành 2% hoặc đại loại vậy. Và vì vậy chúng ta có cách thúc đẩy nhẹ, cập nhật nhẹ

mạng nơ-ron để về cơ bản cho xác suất cao hơn cho token đúng đến tiếp theo trong chuỗi. Và giờ bạn chỉ cần nhớ rằng quá trình này không chỉ xảy ra cho token này ở đây, nơi bốn token này được đưa vào và dự đoán token này, quá trình này xảy ra cùng lúc cho tất cả những token này trong toàn bộ bộ dữ liệu. Và trong thực tế chúng ta lấy mẫu những cửa sổ nhỏ,

những lô cửa sổ nhỏ, và tại mỗi một trong những token này chúng ta muốn điều chỉnh mạng nơ-ron để xác suất của token đó trở nên cao hơn một chút, và tất cả điều này xảy ra song song trong những lô lớn của những token này. Và đây là quá trình huấn luyện mạng nơ-ron, đó là một chuỗi cập nhật nó để những dự đoán của nó khớp với thống kê của

Điều thực sự xảy ra trong tập huấn luyện của bạn và xác suất của nó trở nên nhất quán với các mẫu thống kê về cách các token này theo sau nhau trong dữ liệu, vì vậy bây giờ chúng ta hãy đi sâu một chút vào bên trong của các mạng nơ-ron này để cho bạn hiểu về những gì bên trong, vậy bên trong mạng nơ-ron, như tôi đã đề cập, chúng ta có các đầu vào là chuỗi các

Token trong trường hợp này đây là bốn token đầu vào nhưng có thể từ 0 đến 8.000 token về nguyên tắc có thể là vô số token, chúng ta chỉ cần xử lý vô số token sẽ quá tốn kém về mặt tính toán nên chúng ta chỉ cắt nó ở một độ dài nhất định và đó trở thành độ dài ngữ cảnh tối đa của mô hình đó, bây giờ các đầu vào X này được trộn lẫn trong

Một biểu thức toán học khổng lồ cùng với các tham số hoặc trọng số của các mạng nơ-ron này, vì vậy ở đây tôi đang hiển thị sáu tham số ví dụ và cài đặt của chúng, nhưng trong thực tế, các mạng nơ-ron hiện đại này sẽ có hàng tỷ tham số và ban đầu các tham số này được đặt hoàn toàn ngẫu nhiên, bây giờ với cài đặt tham số ngẫu nhiên, bạn có thể

Mong đợi rằng mạng nơ-ron này sẽ đưa ra dự đoán ngẫu nhiên và ban đầu nó hoàn toàn ngẫu nhiên, nhưng thông qua quá trình cập nhật mạng lặp đi lặp lại, chúng ta gọi đó là quá trình huấn luyện mạng nơ-ron, vì vậy cài đặt của các tham số này được điều chỉnh sao cho đầu ra của mạng nơ-ron của chúng ta trở nên nhất quán với

Các mẫu được thấy trong tập huấn luyện của chúng ta, vì vậy hãy nghĩ về các tham số này giống như các nút trên bộ DJ và khi bạn xoay các nút này, bạn nhận được các dự đoán khác nhau cho mọi đầu vào chuỗi token có thể, và huấn luyện mạng nơ-ron chỉ có nghĩa là khám phá một cài đặt tham số có vẻ nhất quán với thống kê của tập huấn luyện

Bây giờ hãy để tôi cho bạn một ví dụ về biểu thức toán học khổng lồ này trông như thế nào chỉ để cho bạn hiểu và các mạng hiện đại là những biểu thức khổng lồ với hàng nghìn tỷ số hạng có lẽ, nhưng hãy để tôi chỉ cho bạn một ví dụ đơn giản ở đây nó sẽ trông giống như thế này, ý tôi là đây là những loại biểu thức chỉ để cho bạn thấy rằng nó không đáng sợ lắm, chúng ta

Có đầu vào x như X1 x2 trong trường hợp này hai đầu vào ví dụ và chúng được trộn với trọng số của mạng w0 W1 2 3 v.v. và sự trộn này là những thứ đơn giản như phép nhân, phép cộng, phép lũy thừa, phép chia v.v. và nó là chủ đề của nghiên cứu kiến trúc mạng nơ-ron để thiết kế các biểu thức toán học hiệu quả có nhiều đặc điểm thuận tiện

Chúng có tính biểu cảm, có thể tối ưu hóa, có thể song song hóa v.v. và nhưng cuối cùng thì đây không phải là những biểu thức phức tạp và về cơ bản chúng trộn các đầu vào với các tham số để đưa ra dự đoán và chúng ta đang tối ưu hóa các tham số của mạng nơ-ron này để các dự đoán trở nên nhất quán với tập huấn luyện, bây giờ tôi muốn

Cho bạn xem một ví dụ thực tế cấp sản xuất về những mạng nơ-ron này trông như thế nào, vì vậy tôi khuyến khích bạn truy cập trang web này có hình ảnh trực quan rất đẹp về một trong những mạng này, vậy đây là những gì bạn sẽ tìm thấy trên trang web này và mạng nơ-ron này được sử dụng trong môi trường sản xuất có cấu trúc đặc biệt này, mạng này được gọi là Transformer và

Cái cụ thể này như một ví dụ có khoảng 8 5.000 tham số, bây giờ ở trên cùng chúng ta lấy đầu vào là chuỗi token và sau đó thông tin chảy qua mạng nơ-ron cho đến đầu ra ở đây là logit softmax nhưng đây là những dự đoán cho những gì tiếp theo, token nào tiếp theo và sau đó ở đây có một chuỗi các phép biến đổi và tất cả những

Giá trị trung gian được tạo ra bên trong biểu thức toán học này, nó đang dự đoán những gì tiếp theo, vì vậy ví dụ các token này được nhúng vào loại biểu diễn phân tán như nó được gọi, vì vậy mọi token có thể có một vector đại diện cho nó bên trong mạng nơ-ron, vì vậy đầu tiên chúng ta nhúng các token và sau đó những giá trị đó chảy

Qua sơ đồ này và đây đều là những biểu thức toán học rất đơn giản riêng lẻ, vì vậy chúng ta có chuẩn hóa lớp và phép nhân ma trận và softmax v.v., vậy ở đây giống như khối chú ý của Transformer này và sau đó thông tin chảy vào khối perceptron đa lớp và v.v. và tất cả những con số ở đây là các giá trị trung gian của

Biểu thức và bạn gần như có thể nghĩ về chúng như tốc độ phát hỏa của các nơ-ron tổng hợp này, nhưng tôi khuyên bạn không nên nghĩ quá nhiều về chúng như nơ-ron vì đây là những nơ-ron cực kỳ đơn giản so với các nơ-ron bạn tìm thấy trong não, các nơ-ron sinh học của bạn là những quá trình động rất phức tạp có bộ nhớ v.v.

Không có bộ nhớ trong biểu thức này, nó là một biểu thức toán học cố định từ đầu vào đến đầu ra không có bộ nhớ, nó chỉ là không trạng thái, vì vậy đây là những nơ-ron rất đơn giản so với nơ-ron sinh học, nhưng bạn vẫn có thể lỏng lẻo nghĩ về nó như một mảnh mô não tổng hợp nếu bạn muốn nghĩ theo cách đó, vậy thông tin chảy qua

Tất cả các nơ-ron này phát hỏa cho đến khi chúng ta có dự đoán, bây giờ tôi sẽ không thực sự đi sâu quá nhiều vào chi tiết toán học chính xác của tất cả các phép biến đổi này, thật lòng tôi không nghĩ điều đó quan trọng lắm, điều thực sự quan trọng cần hiểu là đây là một hàm toán học, nó được tham số hóa bởi một tập hợp tham số cố định như 85.000 tham số và

Nó là một cách biến đổi đầu vào thành đầu ra, và khi chúng ta xoay các tham số, chúng ta nhận được các loại dự đoán khác nhau, và sau đó chúng ta cần tìm một cài đặt tốt của các tham số này để các dự đoán khớp với các mẫu được thấy trong tập huấn luyện.

Vậy đó là Transformer.

Được rồi, vậy tôi đã cho bạn thấy bên trong của mạng nơ-ron, và chúng ta đã nói một chút về

Quá trình huấn luyện nó.

Tôi muốn đề cập đến một giai đoạn quan trọng nữa khi làm việc với các mạng này, và đó là giai đoạn được gọi là suy luận.

Vậy trong suy luận, những gì chúng ta đang làm là tạo dữ liệu mới từ mô hình, và vậy chúng ta về cơ bản muốn xem loại mẫu nào nó đã nội hóa trong các tham số của mạng.

Vậy để tạo từ mô hình thì tương đối đơn giản.

Chúng ta bắt đầu với một số token về cơ bản là tiền tố của bạn, như những gì bạn muốn bắt đầu.

Ví dụ chúng ta muốn bắt đầu với token 91.

Chúng ta đưa nó vào mạng, và nhớ rằng mạng cho chúng ta xác suất, đúng không?

Nó cho chúng ta vector xác suất ở đây.

Vậy những gì chúng ta có thể làm bây giờ là chúng ta có thể tung một đồng xu thiên lệch, vậy chúng ta có thể lấy mẫu về cơ bản một token dựa trên

Phân phối xác suất này.

Vậy các token được mô hình cho xác suất cao sẽ có nhiều khả năng được lấy mẫu hơn khi bạn tung đồng xu thiên lệch này, bạn có thể nghĩ như vậy.

Vậy chúng ta lấy mẫu từ phân phối để có một token duy nhất.

Ví dụ, token 860 đến tiếp theo, vậy 860 trong trường hợp này, khi chúng ta tạo từ mô hình, có thể đến tiếp theo.

Bây giờ 860 là một token tương đối có khả năng, nó

Có thể không phải là token duy nhất có thể.

Trong trường hợp này, có thể có nhiều token khác có thể đã được lấy mẫu, nhưng chúng ta có thể thấy rằng 86c là một token tương đối có khả năng như một ví dụ, và thực sự trong ví dụ huấn luyện của chúng ta ở đây, 860 theo sau 91.

Vậy bây giờ hãy nói rằng chúng ta tiếp tục quá trình.

Vậy sau 91 có a60, chúng ta thêm nó vào, và chúng ta lại hỏi token thứ ba là gì.

Hãy lấy mẫu, và

Hãy nói rằng nó là 287, chính xác như ở đây.

Hãy làm điều đó một lần nữa.

Chúng ta quay lại, bây giờ chúng ta có một chuỗi ba, và chúng ta hỏi token thứ tư có khả năng là gì, và chúng ta lấy mẫu từ đó và nhận được cái này.

Và bây giờ hãy nói rằng chúng ta làm điều đó một lần nữa.

Chúng ta lấy bốn cái đó, chúng ta lấy mẫu, và chúng ta nhận được cái này, và 13659 này, thực ra không phải là 3962 như chúng ta đã có trước đó.

Vậy token này là token

Bài viết thay vào đó.

Vậy xem một bài viết duy nhất.

Và trong trường hợp này, chúng ta không tái tạo chính xác chuỗi mà chúng ta đã thấy ở đây trong dữ liệu huấn luyện.

Vậy hãy nhớ rằng các hệ thống này là ngẫu nhiên, chúng có, chúng ta đang lấy mẫu và tung đồng xu, và đôi khi chúng ta khóa vào và tái tạo một đoạn nhỏ của văn bản trong tập huấn luyện, nhưng đôi khi chúng ta nhận được một token

Không phải là phần nguyên văn của bất kỳ tài liệu nào trong dữ liệu huấn luyện.

Vậy chúng ta sẽ nhận được các phiên bản phối lại của dữ liệu mà chúng ta đã thấy trong huấn luyện, vì ở mỗi bước chúng ta có thể tung và nhận được một token hơi khác, và sau đó khi token đó được đưa vào, nếu bạn lấy mẫu cái tiếp theo và v.v., bạn rất nhanh chóng bắt đầu tạo ra các luồng token rất khác với

Các luồng token trong tài liệu huấn luyện.

Vậy về mặt thống kê, chúng sẽ có các thuộc tính tương tự, nhưng ừm, chúng không giống hệt với dữ liệu huấn luyện của bạn.

Chúng kiểu như được truyền cảm hứng từ dữ liệu huấn luyện.

Và trong trường hợp này, chúng ta có một chuỗi hơi khác, và tại sao chúng ta lại có 'article'?

Bạn có thể tưởng tượng rằng 'article' là một token tương đối có khả năng xảy ra trong ngữ cảnh của 'bar viewing single' v.v., và

Bạn có thể tưởng tượng rằng từ 'article' theo sau cửa sổ ngữ cảnh này ở đâu đó trong các tài liệu huấn luyện, ừm, ở một mức độ nào đó, và chúng ta chỉ tình cờ lấy mẫu nó ở đây tại giai đoạn đó.

Vậy về cơ bản, suy luận chỉ là ừm dự đoán từ các phân phối này từng cái một.

Chúng ta tiếp tục đưa các token trở lại và nhận token tiếp theo, và chúng ta ừm luôn tung những đồng xu này, và tùy thuộc vào

việc chúng ta may mắn hay kém may mắn đến mức nào, ừm, chúng ta có thể nhận được những loại mẫu rất khác nhau tùy thuộc vào cách chúng ta lấy mẫu từ các phân phối xác suất này.

Vậy đó là suy luận.

Vậy trong hầu hết các tình huống phổ biến, ừm, về cơ bản việc tải xuống internet và token hóa nó là một bước tiền xử lý.

Bạn làm điều đó một lần, và sau đó ừm, một khi bạn có chuỗi token của mình, chúng ta có thể bắt đầu huấn luyện các mạng, và trong

các trường hợp thực tế, bạn sẽ cố gắng huấn luyện nhiều mạng khác nhau với các loại cài đặt khác nhau, các loại sắp xếp khác nhau và các loại kích thước khác nhau, và vì vậy bạn sẽ thực hiện rất nhiều việc huấn luyện mạng nơ-ron, và ừm, sau đó một khi bạn có một mạng nơ-ron và bạn huấn luyện nó và bạn có một tập hợp các tham số cụ thể mà bạn hài lòng, ừm, thì bạn có thể lấy mô hình và bạn có thể

thực hiện suy luận và bạn thực sự có thể ừm tạo dữ liệu từ mô hình.

Và khi bạn đang ở trên chat GPT và bạn đang nói chuyện với một mô hình, ừm, mô hình đó đã được huấn luyện và đã được huấn luyện bởi OpenAI nhiều tháng trước có lẽ, và họ có một tập hợp trọng số cụ thể hoạt động tốt, và khi bạn đang nói chuyện với mô hình, tất cả những gì đang diễn ra chỉ là suy luận.

Không còn huấn luyện nữa.

Các tham số đó được giữ

cố định, và bạn chỉ đang nói chuyện với mô hình, kiểu như ừm bạn đang đưa cho nó một số token và nó đang hoàn thành các chuỗi token, và đó là những gì bạn thấy ừm được tạo ra khi bạn thực sự sử dụng mô hình trên ChatGPT.

Vậy mô hình đó sau đó chỉ thực hiện suy luận mà thôi.

Vậy bây giờ hãy xem một ví dụ về huấn luyện và suy luận khá cụ thể và cho bạn cảm giác về việc này

thực sự trông như thế nào ừm khi các mô hình này được huấn luyện.

Bây giờ ví dụ mà tôi muốn làm việc cùng và mà tôi đặc biệt yêu thích là về OpenAI GPT-2.

Vậy GPT ừm là viết tắt của Generatively Pre-trained Transformer, và đây là phiên bản thứ hai của loạt GPT của OpenAI.

Khi bạn đang nói chuyện với chat GPT ngày nay, mô hình nằm dưới tất cả phép màu của

tương tác đó là GPT-4, vậy là phiên bản thứ tư của loạt đó.

Bây giờ GPT-2 được xuất bản vào năm 2019 bởi OpenAI trong bài báo mà tôi có ngay đây, và lý do tôi thích GPT-2 là vì đây là lần đầu tiên một ngăn xếp hiện đại có thể nhận diện được kết hợp lại với nhau.

Vậy ừm, tất cả các thành phần của GPT-2 đều có thể nhận diện được ngày nay theo tiêu chuẩn hiện đại, chỉ là mọi thứ đã trở nên lớn hơn.

Bây giờ tôi sẽ không thể

đi vào toàn bộ chi tiết của bài báo này tất nhiên, vì nó là một ấn phẩm kỹ thuật, nhưng một số chi tiết mà tôi muốn nhấn mạnh như sau: GPT-2 là một mạng nơ-ron Transformer giống như bạn vừa giống như các mạng nơ-ron bạn sẽ làm việc cùng ngày nay.

Nó có 1,6 tỷ tham số, đúng không?

Vậy đây là những tham số mà chúng ta đã xem xét ở đây.

Nó

sẽ có 1,6 tỷ trong số chúng.

Ngày nay các Transformer hiện đại sẽ có số lượng gần hơn nhiều với một nghìn tỷ hoặc vài trăm tỷ.

Có lẽ độ dài ngữ cảnh tối đa ở đây là 1.024 token.

Vậy khi chúng ta lấy mẫu các đoạn cửa sổ token từ tập dữ liệu, chúng ta không bao giờ lấy nhiều hơn 1.024 token, và vì vậy khi bạn đang cố gắng dự đoán token tiếp theo trong một chuỗi, bạn sẽ không bao giờ có nhiều hơn

1.024 token ừm trong ngữ cảnh của bạn để thực hiện dự đoán đó.

Bây giờ điều này cũng nhỏ bé theo tiêu chuẩn hiện đại.

Ngày nay độ dài ngữ cảnh ừm sẽ gần hơn nhiều với ừm vài trăm nghìn hoặc thậm chí có thể một triệu, và vì vậy bạn có nhiều ngữ cảnh hơn, nhiều token hơn trong lịch sử, và bạn có thể dự đoán tốt hơn nhiều về token tiếp theo trong chuỗi theo

cách đó.

Và cuối cùng, GPT-2 được huấn luyện trên khoảng 100 tỷ token, và điều này cũng khá nhỏ theo tiêu chuẩn hiện đại.

Như tôi đã đề cập, tập dữ liệu FineWeb mà chúng ta đã xem xét ở đây, tập dữ liệu FineWeb có 15 nghìn tỷ token, ừm, vậy 100 tỷ là khá nhỏ.

Bây giờ ừm tôi thực sự đã cố gắng tái tạo ừm GPT-2 cho vui như một phần của dự án này có tên là llm.

c, vậy bạn có thể thấy bản ghi của tôi về

việc làm đó trong bài đăng này trên GitHub dưới kho lưu trữ llm.

c.

Cụ thể, chi phí huấn luyện GPT-2 vào năm 2019 được ước tính khoảng 40.000 đô la, nhưng ngày nay bạn có thể làm tốt hơn đáng kể so với đó, và cụ thể ở đây mất khoảng một ngày và khoảng 600 đô la, ừm, nhưng điều này thậm chí không phải là cố gắng quá nhiều.

Tôi nghĩ bạn thực sự có thể giảm điều này xuống khoảng 100 đô la ngày nay.

Bây giờ tại sao

chi phí lại giảm nhiều như vậy?

Chà, thứ nhất, các tập dữ liệu này đã trở nên tốt hơn rất nhiều, và cách chúng ta lọc, trích xuất và chuẩn bị chúng đã trở nên tinh tế hơn rất nhiều, và vì vậy tập dữ liệu có chất lượng cao hơn rất nhiều.

Vậy đó là một điều.

Nhưng thực sự sự khác biệt lớn nhất là máy tính của chúng ta đã trở nên nhanh hơn nhiều về mặt phần cứng, và chúng ta sẽ

Xem xét điều đó trong giây lát, và cả phần mềm để chạy các mô hình này và thực sự khai thác tối đa tốc độ từ phần cứng nhất có thể, phần mềm đó cũng đã trở nên tốt hơn nhiều khi mọi người tập trung vào các mô hình này và cố gắng chạy chúng thật nhanh.

Bây giờ tôi sẽ không thể đi vào chi tiết đầy đủ của việc tái tạo gpd2 này, và đây là một bài

Kỹ thuật dài, nhưng tôi vẫn muốn cho bạn cảm giác trực quan về việc thực sự huấn luyện một trong những mô hình này với tư cách là một nhà nghiên cứu, như bạn đang nhìn vào cái gì và nó trông như thế nào, cảm giác ra sao?

Vậy để tôi cho bạn cảm giác về điều đó một chút.

Được rồi, đây là những gì nó trông như thế nào.

Để tôi trượt cái này qua.

Vậy những gì tôi đang làm ở đây là tôi đang huấn luyện một mô hình gpt2 ngay bây giờ,

Và điều đang xảy ra ở đây là mỗi dòng ở đây, như dòng này, là một lần cập nhật cho mô hình.

Vậy hãy nhớ rằng ở đây chúng ta về cơ bản đang làm cho dự đoán tốt hơn cho mỗi token này, và chúng ta đang cập nhật các trọng số hoặc tham số của mạng nơ-ron.

Vậy ở đây mỗi dòng là một lần cập nhật cho mạng nơ-ron nơi chúng ta thay đổi các tham số của nó một chút để nó

Dự đoán token tiếp theo trong chuỗi tốt hơn.

Cụ thể, mỗi dòng ở đây đang cải thiện dự đoán trên 1 triệu token trong tập huấn luyện.

Vậy về cơ bản chúng ta đã lấy 1 triệu token ra khỏi tập dữ liệu này, và chúng ta đã cố gắng cải thiện dự đoán của token đó như là token tiếp theo trong một chuỗi trên tất cả 1 triệu token cùng một lúc, và ở mỗi bước này chúng ta đang thực hiện một cập nhật

Cho mạng cho việc đó.

Bây giờ con số cần theo dõi chặt chẽ là con số này được gọi là loss, và loss là một con số duy nhất cho bạn biết mạng nơ-ron của bạn đang hoạt động tốt như thế nào ngay bây giờ, và nó được tạo ra sao cho loss thấp là tốt.

Vậy bạn sẽ thấy rằng loss đang giảm khi chúng ta thực hiện nhiều cập nhật hơn cho mạng nơ-ron, điều này tương ứng với việc đưa ra dự đoán tốt hơn về token tiếp theo trong một

Chuỗi.

Và vậy loss là con số mà bạn đang theo dõi với tư cách là một nhà nghiên cứu mạng nơ-ron, và bạn đang chờ đợi, bạn đang xoay ngón tay cái, bạn đang uống cà phê, và bạn đang đảm bảo rằng điều này trông tốt, để với mỗi lần cập nhật loss của bạn được cải thiện và mạng trở nên tốt hơn trong việc dự đoán.

Bây giờ ở đây bạn thấy rằng chúng ta đang xử lý 1 triệu token mỗi lần cập nhật,

Mỗi lần cập nhật mất khoảng 7 giây, và ở đây chúng ta sẽ xử lý tổng cộng 32.000 bước tối ưu hóa.

Vậy 32.000 bước với 1 triệu token mỗi bước là khoảng 33 tỷ token mà chúng ta sẽ xử lý, và hiện tại chúng ta chỉ mới ở khoảng bước 420 trên 32.000, vậy chúng ta vẫn chỉ hoàn thành hơn 1% một chút, vì tôi chỉ mới chạy cái này được 10 hoặc 15 phút hay gì đó tương tự

Như vậy.

Bây giờ cứ mỗi 20 bước tôi đã cấu hình tối ưu hóa này để thực hiện suy luận, vậy những gì bạn thấy ở đây là mô hình đang dự đoán token tiếp theo trong một chuỗi, và bạn bắt đầu nó một cách ngẫu nhiên rồi sau đó bạn tiếp tục đưa vào các token.

Vậy chúng ta đang chạy bước suy luận này, và đây là mô hình đang dự đoán token tiếp theo trong chuỗi, và mỗi khi bạn thấy

Một cái gì đó xuất hiện, đó là một token mới.

Vậy hãy nhìn vào cái này, và bạn có thể thấy rằng nó chưa mạch lạc lắm, và hãy nhớ rằng đây chỉ mới là 1% của quá trình huấn luyện, vậy mô hình chưa giỏi lắm trong việc dự đoán token tiếp theo trong chuỗi.

Vậy những gì xuất ra thực sự khá là vô nghĩa, đúng không?

Nhưng nó vẫn có một chút kiểu như

Mạch lạc cục bộ.

Vậy vì cô ấy là của tôi nó là một phần của thông tin nên thảo luận về cha tôi những người bạn đồng hành tuyệt vời Gordon đã cho tôi thấy ngồi ở đó và vân vân.

Vậy tôi biết nó trông không tốt lắm, nhưng hãy thực sự cuộn lên và xem nó trông như thế nào khi tôi bắt đầu tối ưu hóa.

Vậy tất cả ở đây tại bước một.

Vậy sau 20 bước tối ưu hóa, bạn thấy rằng những gì chúng ta nhận được ở đây là

Trông hoàn toàn ngẫu nhiên, và tất nhiên đó là vì mô hình chỉ mới có 20 lần cập nhật cho các tham số của nó, vậy nó đang cho bạn văn bản ngẫu nhiên vì nó là một mạng ngẫu nhiên.

Và vậy bạn có thể thấy rằng ít nhất so với cái này, mô hình đang bắt đầu làm tốt hơn nhiều, và thực sự nếu chúng ta chờ đợi toàn bộ 32.000 bước, mô hình sẽ cải thiện đến mức nó thực sự tạo ra tiếng Anh khá

Mạch lạc, và các token truyền đi đúng cách, và chúng tạo nên tiếng Anh tốt hơn nhiều.

Vậy cái này phải chạy thêm khoảng một hoặc hai ngày nữa, và ở giai đoạn này chúng ta chỉ cần đảm bảo rằng loss đang giảm, mọi thứ trông tốt, và chúng ta chỉ cần chờ đợi.

Và bây giờ để tôi chuyển sang câu chuyện về tính toán cần thiết, vì tất nhiên tôi không chạy

Tối ưu hóa này trên laptop của mình, điều đó sẽ quá đắt đỏ, vì chúng ta phải chạy mạng nơ-ron này và chúng ta phải cải thiện nó và chúng ta cần tất cả dữ liệu này vân vân.

Vậy bạn không thể chạy cái này tốt trên máy tính của mình, vì mạng chỉ quá lớn.

Vậy tất cả những điều này đang chạy trên máy tính ở ngoài kia trên đám mây, và tôi muốn về cơ bản giải quyết khía cạnh tính toán của

Câu chuyện huấn luyện các mô hình này và nó trông như thế nào.

Vậy hãy cùng xem.

Được rồi, vậy máy tính mà tôi đang chạy tối ưu hóa này là node 8X h100 này.

Vậy có tám h100 trong một node hoặc một máy tính duy nhất.

Bây giờ tôi đang thuê máy tính này và nó ở đâu đó trên đám mây, tôi thực sự không chắc nó ở đâu về mặt vật lý.

Nơi tôi thích thuê được gọi là

Lambda, nhưng có nhiều công ty khác cung cấp dịch vụ này.

Vì vậy, khi bạn cuộn xuống, bạn có thể thấy rằng họ có một số mức giá theo yêu cầu cho loại máy tính có những chiếc h100 này, là GPU, và tôi sẽ cho bạn thấy chúng trông như thế nào trong giây lát.

Nhưng theo yêu cầu 8 lần Nvidia h100 GPU, chiếc máy này có giá 3 đô la mỗi GPU mỗi giờ, ví dụ.

Vì vậy, bạn có thể thuê

Những thứ này và sau đó bạn nhận được một máy trong đám mây và bạn có thể vào và huấn luyện các mô hình này, và những GPU này trông như thế này.

Vậy đây là một GPU h100, đại loại nó trông như thế này, và bạn cắm nó vào máy tính của mình, và GPU là sự phù hợp hoàn hảo để huấn luyện mạng của bạn vì chúng rất tốn kém về mặt tính toán nhưng chúng thể hiện rất nhiều song song trong

Tính toán.

Vì vậy, bạn có thể có nhiều công nhân độc lập cùng làm việc cùng một lúc để giải phép nhân ma trận đằng sau việc huấn luyện các mạng nơ-ron này.

Vậy đây chỉ là một trong những chiếc h100 này, nhưng thực tế bạn sẽ đặt chúng, bạn sẽ đặt nhiều chiếc lại với nhau, vì vậy bạn có thể xếp tám chiếc vào một nút duy nhất, và sau đó bạn có thể xếp

Nhiều nút vào toàn bộ trung tâm dữ liệu hoặc toàn bộ hệ thống.

Vì vậy, khi chúng ta nhìn vào một trung tâm dữ liệu, không thể đánh vần, khi chúng ta nhìn vào một trung tâm dữ liệu, chúng ta bắt đầu thấy những thứ trông như thế này, phải không?

Vậy chúng ta có một GPU đi đến tám GPU đi đến một hệ thống duy nhất đi đến nhiều hệ thống, và đây là những trung tâm dữ liệu lớn hơn, và tất nhiên sẽ đắt hơn nhiều, và điều đang xảy ra là tất cả các

Các công ty công nghệ lớn thực sự khao khát những GPU này để họ có thể huấn luyện tất cả các mô hình ngôn ngữ này vì chúng rất mạnh mẽ, và đó về cơ bản là điều đã đẩy giá cổ phiếu của Nvidia lên 3,4 nghìn tỷ đô la ngày hôm nay như một ví dụ, và tại sao Nvidia đã bùng nổ.

Vậy đây là Cơn sốt vàng.

Cơn sốt vàng là việc lấy được các GPU, lấy đủ chúng để tất cả có thể

Hợp tác để thực hiện tối ưu hóa này, và tất cả họ đang làm gì?

Tất cả họ đang hợp tác để dự đoán token tiếp theo trên một tập dữ liệu như tập dữ liệu fine web.

Đây là quy trình tính toán về cơ bản là cực kỳ tốn kém.

Bạn càng có nhiều GPU, bạn càng có thể thử dự đoán và cải thiện nhiều token hơn, và bạn sẽ xử lý tập dữ liệu này nhanh hơn và bạn có thể lặp lại

Nhanh hơn và có được một Mạng lớn hơn và huấn luyện một Mạng lớn hơn, v.v.

Vậy đây là những gì tất cả những cỗ máy đó trông như thế nào và đang làm gì, và đây là lý do tại sao tất cả điều này lại là một vấn đề lớn như vậy.

Và ví dụ, đây là một bài báo từ khoảng một tháng trước hoặc lâu hơn.

Đây là lý do tại sao đó là một vấn đề lớn khi ví dụ Elon Musk đang có được 100.000 GPU trong một Trung tâm Dữ liệu duy nhất, và tất cả

Những GPU này cực kỳ đắt đỏ, sẽ tiêu tốn rất nhiều điện năng, và tất cả chúng chỉ đang cố gắng dự đoán token tiếp theo trong chuỗi và cải thiện mạng bằng cách đó, và có lẽ sẽ tạo ra văn bản mạch lạc hơn nhiều so với những gì chúng ta thấy ở đây, nhanh hơn nhiều.

Được rồi, vậy thật không may là tôi không có vài chục hay hàng trăm triệu đô la để chi cho việc huấn luyện một mô hình thực sự lớn

Như thế này, nhưng may mắn thay chúng ta có thể chuyển sang một số công ty công nghệ lớn, những người huấn luyện các mô hình này thường xuyên và phát hành một số trong số chúng sau khi huấn luyện xong.

Vì vậy, họ đã dành một lượng tính toán khổng lồ để huấn luyện mạng này, và họ phát hành mạng vào cuối quá trình tối ưu hóa.

Vì vậy, nó rất hữu ích vì họ đã thực hiện rất nhiều tính toán cho việc đó.

Vì vậy, có nhiều công ty huấn luyện

Những mô hình này thường xuyên, nhưng thực tế không nhiều trong số họ phát hành những thứ được gọi là mô hình cơ sở.

Vậy mô hình xuất hiện ở cuối đây được gọi là mô hình cơ sở.

Mô hình cơ sở là gì?

Nó là một trình mô phỏng token, phải không?

Nó là một trình mô phỏng token văn bản internet, và vì vậy bản thân nó chưa hữu ích, bởi vì những gì chúng ta muốn là thứ được gọi là trợ lý.

Chúng ta muốn đặt câu hỏi và

Nhận được câu trả lời.

Những mô hình này sẽ không làm điều đó.

Chúng chỉ tạo ra các bản phối lại của internet, chúng mơ những trang internet.

Vì vậy, các mô hình cơ sở không thường được phát hành vì chúng chỉ là bước một trong một vài bước khác mà chúng ta vẫn cần thực hiện để có được hệ thống.

Tuy nhiên, một vài bản phát hành đã được thực hiện.

Ví dụ, mô hình gbt2 được phát hành

Mô hình 1,6 tỷ, xin lỗi, 1,5 tỷ vào năm 2019, và mô hình gpt2 này là một mô hình cơ sở.

Bây giờ, một bản phát hành mô hình là gì?

Việc phát hành những mô hình này trông như thế nào?

Vậy đây là kho lưu trữ gpt2 trên GitHub.

Chà, bạn cần hai thứ về cơ bản để phát hành mô hình.

Thứ nhất, chúng ta cần mã python thường mô tả chi tiết chuỗi hoạt động mà họ thực hiện trong mô hình của họ, vì vậy

Nếu bạn nhớ lại Transformer này, chuỗi các bước được thực hiện ở đây trong mạng nơ-ron này là những gì được mô tả bởi mã này.

Vậy mã này đang triển khai cái được gọi là lan truyền xuôi của mạng nơ-ron này.

Vì vậy, chúng ta cần các chi tiết cụ thể về chính xác cách họ kết nối mạng nơ-ron đó.

Vậy đây chỉ là mã máy tính, và nó thường chỉ là một

Vài trăm dòng mã, nó không đến mức điên rồ, và uh điều này khá dễ hiểu và thường khá chuẩn mực.

Điều không chuẩn mực là các tham số.

Đó là nơi giá trị thực sự nằm.

Các tham số của mạng nơ-ron này là gì?

Bởi vì có 1,6 tỷ tham số, và chúng ta cần cài đặt đúng hoặc một cài đặt thực sự tốt.

Và đó là lý do tại sao ngoài mã nguồn này,

họ phát hành các tham số, trong trường hợp này là khoảng 1,5 tỷ tham số, và đây chỉ là những con số.

Vì vậy, đó là một danh sách duy nhất gồm 1,5 tỷ số, cài đặt chính xác và tốt cho tất cả các nút để các token xuất ra tốt.

Vì vậy, uh bạn cần hai thứ đó để có được một bản phát hành mô hình cơ sở.

Bây giờ gpt2 đã được phát hành, nhưng đó thực sự là một mô hình khá cũ như tôi

đã đề cập, vì vậy thực sự mô hình chúng ta sẽ chuyển sang được gọi là llama 3, và đó là mô hình tôi muốn cho bạn xem tiếp theo.

Vậy llama 3.

Vậy gpt2 một lần nữa có 1,6 tỷ tham số được huấn luyện trên 100 tỷ token.

Lama 3 là một mô hình lớn hơn nhiều và hiện đại hơn nhiều.

Nó được phát hành và huấn luyện bởi meta, và nó là một mô hình 45 tỷ tham số được huấn luyện trên 15 nghìn tỷ token theo cách rất giống

như vậy, chỉ là lớn hơn nhiều.

Um và meta cũng đã phát hành llama 3, và đó là một phần của bài báo này, vì vậy với bài báo này đi vào rất nhiều chi tiết.

Mô hình cơ sở lớn nhất mà họ phát hành là mô hình Lama 3.1 4.5 405 tỷ tham số.

Vậy đây là mô hình cơ sở, và ngoài mô hình cơ sở, bạn thấy ở đây điềm báo cho các phần sau của video, họ cũng phát hành mô hình instruct

và instruct có nghĩa là đây là một trợ lý.

Bạn có thể đặt câu hỏi cho nó và nó sẽ đưa ra câu trả lời.

Chúng ta vẫn chưa đề cập đến phần đó sau.

Bây giờ, hãy chỉ nhìn vào mô hình cơ sở này, trình mô phỏng token này, và hãy chơi với nó và cố gắng nghĩ về bạn biết đấy, thứ này là gì và nó hoạt động như thế nào, và um chúng ta nhận được gì vào cuối quá trình tối ưu hóa này nếu bạn để nó chạy cho đến

kết thúc uh cho một mạng nơ-ron rất lớn trên rất nhiều dữ liệu.

Vì vậy, nơi yêu thích của tôi để tương tác với các mô hình cơ sở là công ty này có tên hyperbolic, về cơ bản đang phục vụ mô hình cơ sở của 405b Llama 3.1.

Vì vậy, khi bạn truy cập trang web, và tôi nghĩ bạn có thể phải đăng ký và vân vân, hãy đảm bảo rằng trong các mô hình, hãy đảm bảo rằng bạn đang sử dụng llama 3.1 405 tỷ base, nó phải là

mô hình cơ sở, và sau đó ở đây giả sử max tokens là số token chúng ta sẽ tạo ra, vì vậy hãy giảm nó xuống một chút để không lãng phí tính toán.

Chúng ta chỉ muốn 128 token tiếp theo và để yên những thứ khác.

Tôi sẽ không đi vào chi tiết đầy đủ ở đây.

Um bây giờ về cơ bản những gì sẽ xảy ra ở đây giống hệt với những gì xảy ra ở đây trong quá trình suy luận

đối với chúng ta.

Vì vậy, điều này sẽ chỉ tiếp tục chuỗi token của bất kỳ tiền tố nào bạn đưa cho nó.

Vì vậy, tôi muốn đầu tiên cho bạn thấy rằng mô hình này ở đây chưa phải là một trợ lý.

Vì vậy, bạn có thể ví dụ hỏi nó 2 cộng 2 là gì, nó sẽ không nói với bạn ồ nó là bốn uh tôi có thể giúp gì khác, nó sẽ không làm điều đó, bởi vì 2 cộng 2 là gì sẽ được token hóa và sau đó những

token đó chỉ hoạt động như một tiền tố, và sau đó những gì mô hình sẽ làm bây giờ chỉ là lấy xác suất cho token tiếp theo, và nó chỉ là một tính năng tự động hoàn thành được tôn vinh.

Đó là một tính năng tự động hoàn thành rất tốn kém cho những gì tiếp theo, um phụ thuộc vào thống kê của những gì nó thấy trong tài liệu huấn luyện, về cơ bản là các trang web.

Vì vậy, hãy chỉ uh nhấn enter để xem nó đưa ra những token gì như một

sự tiếp nối.

Được rồi, vậy ở đây nó thực sự đã trả lời câu hỏi và bắt đầu đi vào một số lãnh thổ triết học.

Uh hãy thử lại.

Vì vậy, để tôi sao chép và dán và hãy thử lại từ đầu.

2 cộng hai là gì?

Vậy được rồi, vậy nó lại đi chệch hướng.

Vì vậy, hãy chú ý một điều nữa mà tôi muốn nhấn mạnh là hệ thống uh tôi nghĩ mỗi lần bạn đưa nó vào, nó chỉ bắt đầu lại từ đầu,

vì vậy nó không uh hệ thống ở đây là ngẫu nhiên, vì vậy với cùng một tiền tố token, chúng ta luôn nhận được câu trả lời khác nhau, và lý do là chúng ta nhận được phân phối xác suất này và chúng ta lấy mẫu từ nó, và chúng ta luôn nhận được các mẫu khác nhau, và chúng ta luôn đi vào một lãnh thổ khác uh sau đó.

Vì vậy, ở đây trong trường hợp này um tôi không biết đây là gì.

Hãy thử một lần nữa

lần.

Vì vậy, nó chỉ tiếp tục.

Vì vậy, nó chỉ làm những thứ mà nó đã thấy trên internet, phải không?

Ừm và nó chỉ kiểu như nhai lại những mẫu thống kê đó thôi.

Vậy điều đầu tiên, nó chưa phải là một trợ lý, nó là một công cụ tự động hoàn thành token, và thứ hai, nó là một hệ thống ngẫu nhiên.

Giờ điều quan trọng là mặc dù mô hình này chưa thực sự hữu ích cho nhiều ứng dụng chỉ

Tuy nhiên, ừm nó vẫn rất hữu ích vì trong nhiệm vụ dự đoán token tiếp theo trong chuỗi, mô hình đã học được rất nhiều về thế giới, và nó đã lưu trữ tất cả kiến thức đó trong các tham số của mạng.

Vậy hãy nhớ rằng văn bản của chúng ta trông như thế này, đúng không?

Các trang web trên Internet, và giờ tất cả những thứ này đều được nén lại trong các trọng số của mạng.

Vậy bạn có thể nghĩ về ừm 405 tỷ

Tham số này như một kiểu nén của Internet.

Bạn có thể nghĩ về 45 tỷ tham số như một kiểu tệp zip, ừm nhưng nó không phải nén không mất dữ liệu, nó là nén có mất dữ liệu.

Chúng ta kiểu như chỉ còn lại một chút tinh túy của Internet, và chúng ta có thể tạo sinh từ nó, đúng không?

Giờ chúng ta có thể khơi gợi một phần kiến thức này bằng cách gợi ý mô hình cơ sở ừm cho phù hợp.

Vậy ví dụ,

Đây là một gợi ý có thể hiệu quả để khơi gợi một phần kiến thức đang ẩn giấu trong các tham số.

Đây là danh sách top 10 của tôi về những địa danh hàng đầu để tham quan ở Paris.

Ừm và tôi làm theo cách này vì tôi đang cố mồi cho mô hình để nó tiếp tục danh sách này.

Vậy hãy xem liệu điều đó có hiệu quả khi tôi nhấn enter.

Được rồi, vậy bạn thấy nó đã bắt đầu một danh sách và giờ nó đang cho tôi một số

Địa danh, và giờ hãy chú ý rằng nó đang cố cung cấp rất nhiều thông tin ở đây.

Giờ bạn có thể không thực sự tin tưởng hoàn toàn một số thông tin ở đây.

Hãy nhớ rằng đây tất cả chỉ là sự hồi tưởng lại một số tài liệu trên Internet, và vì vậy những thứ xuất hiện rất thường xuyên trong dữ liệu Internet có lẽ có nhiều khả năng được ghi nhớ chính xác hơn so với những thứ xảy ra

Rất ít khi, vì vậy bạn không thể tin tưởng hoàn toàn một số thứ và một số thông tin ở đây vì tất cả chỉ là sự hồi tưởng mơ hồ về các tài liệu Internet bởi vì thông tin không được lưu trữ một cách rõ ràng trong bất kỳ tham số nào.

Tất cả chỉ là sự hồi tưởng.

Dù vậy, chúng ta đã nhận được thứ gì đó có lẽ gần đúng và tôi thực sự không có

Chuyên môn để xác minh rằng điều này gần đúng, nhưng bạn thấy rằng chúng ta đã khơi gợi được rất nhiều kiến thức của mô hình và kiến thức này không chính xác và chính xác tuyệt đối.

Kiến thức này là mơ hồ và mang tính xác suất và thống kê và những loại thứ xảy ra thường xuyên là những loại thứ có nhiều khả năng được ghi nhớ ừm trong mô hình.

Giờ tôi muốn cho bạn thấy thêm một vài ví dụ về

Hành vi của mô hình này.

Điều đầu tiên tôi muốn cho bạn thấy là ví dụ này.

Tôi đã vào trang Wikipedia về ngựa vằn và để tôi chỉ sao chép dán câu đầu tiên ừm thậm chí chỉ một câu ở đây và để tôi đặt nó vào đây.

Giờ khi tôi nhấn enter thì chúng ta sẽ nhận được kiểu hoàn thành ừm gì đây?

Vậy để tôi chỉ nhấn enter.

Có ba loài còn sống, v.v.

Những gì mô hình đang tạo ra ở đây là sự nhai lại chính xác

Mục Wikipedia này.

Nó đang đọc thuộc lòng mục Wikipedia này hoàn toàn từ ký ức và ký ức này được lưu trữ trong các tham số của nó và vì vậy có thể đến một lúc nào đó trong 512 token này mô hình sẽ ừm đi lệch khỏi mục Wikipedia nhưng bạn có thể thấy rằng nó đã ghi nhớ những đoạn lớn của nó ở đây.

Ừm để tôi xem ví dụ liệu câu này có xuất hiện chưa.

Được rồi vậy chúng ta vẫn đúng hướng.

Để tôi kiểm tra

Ở đây.

Được rồi chúng ta vẫn đúng hướng.

Cuối cùng nó sẽ ừm đi lệch.

Được rồi vậy thứ này chỉ được đọc thuộc lòng ở một mức độ rất lớn.

Cuối cùng nó sẽ lệch hướng ừm vì nó sẽ không thể nhớ chính xác.

Giờ lý do điều này xảy ra là vì những mô hình này có thể cực kỳ giỏi ghi nhớ và thường thì đây không phải là điều bạn muốn ở mô hình cuối cùng và đây là thứ được gọi là sự nhai lại

Và thường thì không mong muốn khi trích dẫn ừm mọi thứ ừm trực tiếp ừm mà bạn đã huấn luyện.

Giờ lý do điều này thực sự xảy ra là vì với rất nhiều tài liệu như ví dụ Wikipedia khi những tài liệu này được coi là có chất lượng rất cao như một nguồn như ví dụ Wikipedia thì rất thường ừm xảy ra rằng khi bạn huấn luyện mô hình bạn sẽ ưu tiên lấy mẫu từ

Những nguồn đó.

Vậy cơ bản là mô hình có lẽ đã chạy vài epoch trên dữ liệu này nghĩa là nó đã thấy trang web này có lẽ khoảng 10 lần hoặc đại loại vậy và nó hơi giống như khi bạn đọc một loại văn bản nào đó nhiều lần, giả sử bạn đọc thứ gì đó 100 lần ừm thì bạn sẽ có thể đọc thuộc lòng nó và điều này rất tương tự với mô hình này.

Nếu nó thấy thứ gì đó quá thường xuyên thì nó sẽ

Có thể đọc thuộc lòng nó sau này từ ký ức ngoại trừ việc những mô hình này có thể hiệu quả hơn nhiều ừm tính theo mỗi lần trình bày so với con người nên có lẽ nó chỉ thấy mục Wikipedia này 10 lần nhưng cơ bản là nó đã ghi nhớ bài viết này chính xác trong các tham số của nó.

Được rồi, điều tiếp theo tôi muốn cho bạn thấy là thứ mà mô hình chắc chắn chưa từng thấy trong quá trình huấn luyện của nó.

Ví dụ, nếu chúng ta truy cập vào

bài báo ừ và sau đó điều hướng đến dữ liệu tiền huấn luyện, chúng ta sẽ thấy ở đây rằng ừ tập dữ liệu có kiến thức cắt đến cuối năm 2023, vì vậy nó sẽ không thấy các tài liệu sau thời điểm này và chắc chắn nó chưa thấy bất cứ điều gì về cuộc bầu cử năm 2024 và kết quả ra sao.

Bây giờ nếu chúng ta mồi mô hình bằng các token từ tương lai, nó sẽ tiếp tục chuỗi token và nó sẽ chỉ đưa ra

dự đoán tốt nhất của nó theo kiến thức mà nó có trong các tham số của chính nó.

Vậy hãy xem điều đó có thể trông như thế nào.

Vậy Đảng Cộng hòa bộ dụng cụ Trump được rồi tổng thống Hoa Kỳ từ năm 2017 và hãy xem nó nói gì sau thời điểm này.

Ví dụ, mô hình sẽ phải đoán về người bạn đồng hành tranh cử và đối thủ là ai, v.v.

Vậy hãy nhấn enter.

Vậy ở đây nói rằng Mike Pence

là người bạn đồng hành tranh cử thay vì JD Vance và liên danh tranh cử chống lại Hillary Clinton và Tim Kaine.

Vậy đây là một vũ trụ song song thú vị tiềm năng về những gì có thể đã xảy ra theo LM.

Hãy lấy một mẫu khác với lời nhắc giống hệt và lấy mẫu lại.

Vậy ở đây người bạn đồng hành tranh cử là Ron DeSantis và họ tranh cử chống lại Joe Biden và Kamala Harris.

Vậy đây lại là

một vũ trụ song song khác.

Vậy mô hình sẽ đưa ra những phỏng đoán có căn cứ và nó sẽ tiếp tục chuỗi token dựa trên kiến thức này ừ và nó sẽ giống như tất cả những gì chúng ta thấy ở đây được gọi là ảo giác.

Mô hình chỉ đưa ra phỏng đoán tốt nhất của nó ừ theo cách xác suất.

Điều tiếp theo tôi muốn cho bạn thấy là mặc dù đây là mô hình cơ sở và chưa phải

một mô hình trợ lý, nó vẫn có thể được sử dụng trong các ứng dụng thực tế nếu bạn khéo léo trong thiết kế lời nhắc.

Vậy đây là thứ chúng ta gọi là lời nhắc few-shot.

Vậy ở đây là tôi có 10 từ hoặc 10 cặp và mỗi cặp là một từ tiếng Anh ở cột và sau đó là bản dịch sang tiếng Hàn và chúng ta có 10 cặp như vậy và điều mô hình làm ở đây là ở cuối chúng ta có cột teacher và sau đó

Đây là nơi chúng ta sẽ hoàn thành ví dụ chỉ năm token và những mô hình này có thứ chúng ta gọi là khả năng học trong ngữ cảnh và điều đó có nghĩa là khi nó đang đọc ngữ cảnh này, nó đang học ngay tại chỗ rằng có một số loại mẫu thuật toán đang diễn ra trong dữ liệu của tôi và nó biết cách tiếp tục mẫu đó và điều này được gọi là học trong

ngữ cảnh.

Vậy nó đảm nhận vai trò của một dịch giả và khi chúng ta nhấn ừ hoàn thành, chúng ta thấy rằng bản dịch của teacher là Sim, điều này đúng ừ và vậy đây là cách bạn có thể xây dựng ứng dụng bằng cách khéo léo với lời nhắc của mình mặc dù chúng ta vẫn chỉ có mô hình cơ sở cho đến nay và nó dựa vào thứ chúng ta gọi là khả năng học trong ngữ cảnh ừ và nó được thực hiện bằng cách xây dựng thứ được gọi là lời nhắc few-shot

.

Được rồi và cuối cùng tôi muốn cho bạn thấy rằng có một cách khéo léo để thực sự khởi tạo toàn bộ một trợ lý mô hình ngôn ngữ chỉ bằng cách nhắc và mẹo ở đây là chúng ta cấu trúc một lời nhắc trông giống như một trang web, đó là cuộc trò chuyện giữa một trợ lý AI hữu ích và một con người và sau đó mô hình sẽ tiếp tục cuộc trò chuyện đó.

Vậy thực ra để viết lời nhắc, tôi đã nhờ đến

Chat GPT, điều này khá là meta nhưng tôi đã nói với nó rằng tôi muốn tạo một trợ lý LLM nhưng tất cả những gì tôi có là mô hình cơ sở, vậy bạn có thể viết lời nhắc ừ cho tôi được không và đây là những gì nó đưa ra, thực sự khá tốt.

Vậy đây là cuộc trò chuyện giữa một trợ lý AI và một con người, trợ lý AI có kiến thức, hữu ích, có khả năng trả lời nhiều loại câu hỏi, v.v. và sau đó ở đây

Chỉ đưa ra một mô tả thôi là không đủ, nó hoạt động tốt hơn nhiều nếu bạn tạo lời nhắc few-shot này, vậy đây là một vài lượt human assistant human assistant và chúng ta có ừ bạn biết đấy một vài lượt trò chuyện và sau đó ở cuối đây là nơi chúng ta sẽ đặt truy vấn thực tế mà chúng ta muốn, vậy để tôi sao chép dán cái này vào lời nhắc mô hình cơ sở và bây giờ để tôi làm cột human và đây

Là nơi chúng ta đặt lời nhắc thực tế của mình, tại sao bầu trời lại xanh và ừ hãy ừ chạy assistant, bầu trời có màu xanh do hiện tượng gọi là tán xạ Rayleigh, v.v. vậy bạn thấy rằng mô hình cơ sở chỉ tiếp tục chuỗi nhưng vì chuỗi trông giống như cuộc trò chuyện này nên nó đảm nhận vai trò đó nhưng nó hơi tinh tế vì ở đây nó chỉ ừ bạn biết đấy nó kết thúc assistant và sau đó chỉ bạn biết đấy

Ảo giác ra câu hỏi tiếp theo của con người, v.v. vậy nó sẽ chỉ tiếp tục mãi ừ nhưng bạn có thể thấy rằng chúng ta đã phần nào hoàn thành nhiệm vụ và nếu bạn chỉ lấy câu hỏi tại sao bầu trời lại xanh này và nếu chúng ta chỉ làm mới cái này và đặt nó ở đây thì tất nhiên chúng ta không mong đợi điều này hoạt động với mô hình cơ sở đúng không, chúng ta sẽ chỉ nhận được ai biết được điều gì, được rồi chúng ta sẽ chỉ nhận được thêm

câu hỏi, được rồi vậy đây là một cách để tạo trợ lý mặc dù bạn có thể chỉ có mô hình cơ sở.

Được rồi vậy đây là tóm tắt ngắn gọn về những điều chúng ta đã nói trong vài phút vừa qua, bây giờ để tôi thu nhỏ ở đây và đây là những gì chúng ta đã nói cho đến nay, chúng ta muốn huấn luyện các trợ lý LM như ChatGPT, chúng ta đã thảo luận giai đoạn đầu tiên của việc đó, đó là

giai đoạn tiền huấn luyện và chúng ta thấy rằng thực sự điều đó chỉ là chúng ta lấy các tài liệu Internet, chia chúng thành các token này, những nguyên tử của các đoạn văn bản nhỏ và sau đó dự đoán chuỗi token bằng mạng nơ-ron, đầu ra của toàn bộ giai đoạn này là mô hình cơ sở này, đó là việc thiết lập các tham số của mạng này và mô hình cơ sở này về cơ bản là một trình mô phỏng tài liệu Internet

ở cấp độ token, vì vậy nó chỉ có thể ừ nó có thể tạo ra các chuỗi token có cùng loại thống kê như tài liệu Internet và chúng ta thấy rằng chúng ta có thể sử dụng nó trong một số ứng dụng nhưng chúng ta thực sự cần làm tốt hơn, chúng ta muốn một trợ lý, chúng ta muốn có thể đặt câu hỏi và chúng ta muốn mô hình đưa ra câu trả lời và vì vậy bây giờ chúng ta cần chuyển sang giai đoạn thứ hai, đó là

được gọi là giai đoạn hậu huấn luyện, vậy chúng ta lấy mô hình cơ sở của mình, trình mô phỏng tài liệu Internet và chuyển nó sang hậu huấn luyện, vậy bây giờ chúng ta sẽ thảo luận một vài cách để thực hiện cái được gọi là hậu huấn luyện các mô hình này, các giai đoạn này trong hậu huấn luyện sẽ ít tốn kém về mặt tính toán hơn nhiều, phần lớn công việc tính toán, tất cả các trung tâm dữ liệu khổng lồ ừ và tất cả

những tính toán nặng và hàng triệu đô la là giai đoạn tiền huấn luyện nhưng bây giờ chúng ta chuyển sang giai đoạn rẻ hơn một chút nhưng vẫn cực kỳ quan trọng được gọi là hậu huấn luyện, nơi chúng ta biến mô hình LLM này thành một trợ lý, vậy hãy xem cách chúng ta có thể làm cho mô hình của mình không lấy mẫu tài liệu Internet mà đưa ra câu trả lời cho câu hỏi, nói cách khác, điều chúng ta muốn làm là chúng ta muốn bắt đầu

suy nghĩ về các cuộc trò chuyện và đây là những cuộc trò chuyện có thể có nhiều lượt, vậy ừ có thể có nhiều lượt và trong trường hợp đơn giản nhất, chúng là cuộc trò chuyện giữa một con người và một trợ lý và ví dụ, chúng ta có thể tưởng tượng cuộc trò chuyện có thể trông như thế này khi con người nói 2 cộng 2 là gì, trợ lý nên trả lời với điều gì đó như 2 cộng 2 là

4 khi con người hỏi tiếp và nói nếu đó là dấu sao thay vì dấu cộng thì sao, trợ lý có thể trả lời với điều gì đó như thế này ừ và tương tự ở đây, đây là một ví dụ khác cho thấy trợ lý cũng có thể có một loại tính cách nào đó ở đây ừ rằng nó khá là tốt bụng và sau đó ở ví dụ thứ ba, tôi đang cho thấy rằng khi con người yêu cầu điều gì đó mà chúng ta ừ không muốn giúp

đỡ, chúng ta có thể tạo ra cái được gọi là từ chối, chúng ta có thể nói rằng chúng ta không thể giúp với điều đó, nói cách khác, điều chúng ta muốn làm bây giờ là chúng ta muốn suy nghĩ thấu đáo về cách một hệ thống nên tương tác với con người và chúng ta muốn lập trình trợ lý và hành vi của nó trong những cuộc trò chuyện này, bây giờ vì đây là mạng nơ-ron, chúng ta sẽ không lập trình những điều này một cách rõ ràng bằng mã

Chúng ta sẽ không thể lập trình trợ lý theo cách đó vì đây là mạng nơ-ron, mọi thứ được thực hiện thông qua huấn luyện mạng nơ-ron trên các tập dữ liệu và vì vậy chúng ta sẽ lập trình trợ lý một cách ngầm định bằng cách tạo các tập dữ liệu về các cuộc trò chuyện, vậy đây là ba ví dụ độc lập về các cuộc trò chuyện trong một tập dữ liệu, một tập dữ liệu thực tế và

Tôi sẽ cho bạn thấy các ví dụ sẽ lớn hơn nhiều, nó có thể có hàng trăm nghìn cuộc trò chuyện nhiều lượt rất dài, v.v. và sẽ bao quát nhiều chủ đề đa dạng nhưng ở đây tôi chỉ cho thấy ba ví dụ nhưng cách hoạt động về cơ bản là ừ trợ lý được lập trình bằng ví dụ và dữ liệu này đến từ đâu, như 2 * 2 = 4 giống như 2 cộng 2, v.v. ở đâu

Điều đó đến từ đâu, điều này đến từ những người gán nhãn con người, vậy về cơ bản chúng ta sẽ đưa cho những người gán nhãn con người một số ngữ cảnh hội thoại và chúng ta sẽ yêu cầu họ ừ về cơ bản đưa ra phản hồi lý tưởng của trợ lý trong tình huống này và một con người sẽ viết ra phản hồi lý tưởng cho một trợ lý trong bất kỳ tình huống nào và sau đó chúng ta sẽ làm cho mô hình về cơ bản huấn luyện trên đó và bắt chước những loại

phản hồi đó, vậy cách hoạt động sau đó là chúng ta sẽ lấy mô hình cơ sở của mình, thứ chúng ta đã tạo ra trong giai đoạn tiền huấn luyện và mô hình cơ sở này đã được huấn luyện trên các tài liệu Internet, bây giờ chúng ta sẽ lấy tập dữ liệu tài liệu Internet đó và chúng ta sẽ vứt nó đi và chúng ta sẽ thay thế bằng một tập dữ liệu mới và đó sẽ là tập dữ liệu về các cuộc trò chuyện và chúng ta sẽ

tiếp tục huấn luyện mô hình trên những cuộc trò chuyện này trên tập dữ liệu mới về các cuộc trò chuyện này và điều xảy ra là mô hình sẽ điều chỉnh rất nhanh và sẽ học được thống kê về cách trợ lý này phản hồi các truy vấn của con người và sau đó trong quá trình suy luận, chúng ta sẽ có thể về cơ bản ừ mồi trợ lý và nhận phản hồi và nó sẽ bắt chước những gì con người sẽ

những người gán nhãn con người sẽ làm trong tình huống đó nếu điều đó hợp lý, vậy chúng ta sẽ thấy các ví dụ về điều đó và điều này sẽ trở nên cụ thể hơn một chút, tôi cũng muốn đề cập rằng giai đoạn hậu huấn luyện này về cơ bản chúng ta sẽ chỉ tiếp tục huấn luyện mô hình nhưng ừ giai đoạn tiền huấn luyện trong thực tế có thể mất khoảng ba tháng huấn luyện trên hàng nghìn máy tính

Giai đoạn hậu huấn luyện thường sẽ ngắn hơn nhiều, ví dụ như 3 giờ ừ và đó là vì tập dữ liệu về các cuộc trò chuyện mà chúng ta sẽ tạo thủ công ở đây nhỏ hơn nhiều so với tập dữ liệu văn bản trên Internet và vì vậy quá trình huấn luyện này sẽ rất ngắn nhưng về cơ bản chúng ta chỉ lấy mô hình cơ sở của mình, chúng ta sẽ tiếp tục huấn luyện bằng cách sử dụng chính xác cùng một thuật toán

chính xác mọi thứ giống hệt nhau ngoại trừ việc chúng ta thay thế tập dữ liệu bằng các cuộc trò chuyện, vậy câu hỏi bây giờ là những cuộc trò chuyện này là gì, làm thế nào chúng ta biểu diễn chúng, làm thế nào chúng ta làm cho mô hình thấy các cuộc trò chuyện thay vì chỉ văn bản thô và sau đó kết quả của ừ loại huấn luyện này là gì và bạn nhận được gì theo một nghĩa tâm lý nào đó ừ khi chúng ta nói về mô hình, vậy

Hãy chuyển sang những câu hỏi đó ngay bây giờ, vậy hãy bắt đầu bằng việc nói về việc token hóa các cuộc hội thoại. Mọi thứ trong những mô hình này đều phải được chuyển thành token bởi vì mọi thứ chỉ là về các chuỗi token. Vậy làm thế nào để chúng ta chuyển các cuộc hội thoại thành chuỗi token là câu hỏi đặt ra, và vì thế chúng ta cần thiết kế một loại mã hóa kết thúc nào đó, và điều này khá giống với có thể là nếu

bạn đã quen thuộc, bạn không cần phải quen, ví dụ như gói TCP IP trên internet, có những quy tắc và giao thức chính xác về cách bạn biểu diễn thông tin, cách mọi thứ được cấu trúc cùng nhau để bạn có tất cả loại dữ liệu này được trình bày theo cách được viết ra trên giấy và mọi người đều có thể đồng ý. Và điều tương tự giờ đang diễn ra trong các LLM, chúng ta cần một số loại

cấu trúc dữ liệu và chúng ta cần có một số quy tắc xung quanh cách những cấu trúc dữ liệu như các cuộc hội thoại được mã hóa và giải mã thành và từ các token. Và vì vậy tôi muốn cho bạn thấy ngay bây giờ cách tôi sẽ tái tạo cuộc hội thoại này trong không gian token. Vậy nếu bạn vào Tech tokenizer, tôi có thể lấy cuộc hội thoại đó và đây là cách nó được biểu diễn cho mô hình ngôn ngữ. Vậy ở đây chúng ta có, chúng ta đang

lặp qua một người dùng và một trợ lý trong cuộc hội thoại hai lượt này, và những gì bạn thấy ở đây trông xấu xí nhưng thực ra nó khá đơn giản. Cách nó được chuyển thành chuỗi token ở cuối đây thì hơi phức tạp một chút, nhưng cuối cùng cuộc hội thoại giữa người dùng và trợ lý này kết thúc bằng 49 token. Đó là một chuỗi một chiều gồm 49 token, và đây là những token

Được rồi, và tất cả các LLM khác nhau sẽ có định dạng hoặc giao thức hơi khác nhau một chút, và hiện tại nó hơi giống miền Tây hoang dã, nhưng ví dụ GPT 40 làm theo cách sau: bạn có token đặc biệt này gọi là imore start, và đây là viết tắt của IM imaginary monologue, khởi đầu, sau đó bạn phải chỉ định, ừm, tôi thực sự không biết tại sao nó được gọi như vậy, thành thật mà nói, sau đó bạn phải chỉ định

lượt của ai, ví dụ như user, là token 4 28, sau đó bạn có dấu phân cách độc thoại nội tâm, và sau đó là câu hỏi chính xác, tức là các token của câu hỏi, và sau đó bạn phải đóng nó lại, vậy I am end, kết thúc độc thoại tưởng tượng. Về cơ bản, câu hỏi từ người dùng về 2 cộng 2 bằng bao nhiêu cuối cùng trở thành chuỗi token gồm những token này, và điều quan trọng cần đề cập ở đây là

rằng IM start, đây không phải là văn bản, đúng không? IM start là một token đặc biệt được thêm vào, nó là một token mới, và token này chưa từng được huấn luyện trước đây. Nó là một token mới mà chúng ta tạo ra trong giai đoạn hậu huấn luyện và chúng ta giới thiệu, và vì vậy những token đặc biệt như IM seep, IM start, v.v. được giới thiệu và xen kẽ với văn bản để chúng khiến mô hình học được rằng này, đây là

sự khởi đầu của một lượt, cho ai, nó là sự khởi đầu lượt cho ai, sự khởi đầu lượt là cho người dùng, và sau đó đây là những gì người dùng nói, và sau đó người dùng kết thúc, và sau đó là một sự khởi đầu lượt mới, và nó là của trợ lý, và sau đó trợ lý nói gì, à, đây là những token của những gì trợ lý nói, v.v. Và vì vậy cuộc hội thoại này được chuyển thành chuỗi token, những chi tiết

cụ thể ở đây thực ra không quan trọng lắm. Tất cả những gì tôi đang cố gắng cho bạn thấy một cách cụ thể là các cuộc hội thoại của chúng ta, thứ mà chúng ta nghĩ về như một đối tượng có cấu trúc, cuối cùng được chuyển qua một số mã hóa thành các chuỗi token một chiều. Và vì đây là chuỗi token một chiều, chúng ta có thể áp dụng tất cả những thứ chúng ta đã áp dụng trước đó. Giờ nó chỉ là một chuỗi

token, và giờ chúng ta có thể huấn luyện một mô hình ngôn ngữ trên đó, và vì vậy chúng ta chỉ đang dự đoán token tiếp theo trong một chuỗi, giống như trước đây. Và chúng ta có thể biểu diễn và huấn luyện trên các cuộc hội thoại, và sau đó nó trông như thế nào ở thời điểm kiểm tra trong quá trình suy luận? Giả sử chúng ta đã huấn luyện một mô hình và chúng ta đã huấn luyện một mô hình trên những loại tập dữ liệu hội thoại này, và bây giờ chúng ta muốn suy luận. Vậy trong quá trình suy luận, điều này trông

như thế nào khi bạn ở trên ChatGPT? À, bạn đến ChatGPT và bạn có, giả sử, một cuộc đối thoại với nó, và cách nó hoạt động về cơ bản là, giả sử điều này đã được điền vào rồi, như 2 cộng 2 cộng 2 là bốn, và bây giờ bạn đưa ra, nếu nó là phép nhân thì sao, I am end, và về cơ bản điều xảy ra trên các máy chủ của OpenAI hay gì đó tương tự là họ

đặt vào I start assistant I amep, và đây là nơi họ kết thúc nó ngay tại đây. Vậy họ xây dựng ngữ cảnh này và bây giờ họ bắt đầu lấy mẫu từ mô hình. Vậy ở giai đoạn này họ sẽ đến mô hình và nói, được rồi, đâu là token đầu tiên tốt, đâu là token thứ hai tốt, đâu là token thứ ba tốt, và đây là lúc LM tiếp quản và tạo ra một phản hồi như

ví dụ một phản hồi trông đại loại như thế này, nhưng nó không nhất thiết phải giống hệt thế này, nhưng nó sẽ có hương vị của thế này nếu loại hội thoại này nằm trong tập dữ liệu. Vậy ừm, đó đại khái là cách giao thức hoạt động, mặc dù các chi tiết của giao thức này không quan trọng. Vậy một lần nữa, mục tiêu của tôi chỉ là cho bạn thấy rằng mọi thứ cuối cùng chỉ là một chuỗi token

một chiều. Vậy chúng ta có thể áp dụng mọi thứ chúng ta đã thấy, nhưng giờ chúng ta đang huấn luyện trên các cuộc hội thoại và giờ chúng ta về cơ bản cũng đang tạo ra các cuộc hội thoại. Được rồi, vậy bây giờ tôi muốn chuyển sang việc những tập dữ liệu này trông như thế nào trong thực tế. Bài báo đầu tiên tôi muốn cho bạn thấy và nỗ lực đầu tiên theo hướng này là bài báo này từ OpenAI vào năm 2022 và bài

báo này có tên là InstructGPT, hay kỹ thuật mà họ phát triển, và đây là lần đầu tiên OpenAI nói về cách bạn có thể lấy các mô hình ngôn ngữ và tinh chỉnh chúng trên các cuộc hội thoại. Và vì vậy bài báo này có một số chi tiết mà tôi muốn dẫn bạn đi qua. Vậy điểm dừng đầu tiên tôi muốn ghé là ở phần 3.4, nơi họ nói về những

người làm hợp đồng, trong trường hợp này là từ Upwork hoặc thông qua Scale AI, để xây dựng những cuộc hội thoại này. Và vì vậy có những người gán nhãn được thuê, công việc chuyên nghiệp của họ là tạo ra những cuộc hội thoại này, và những người gán nhãn này được yêu cầu nghĩ ra các prompt và sau đó họ cũng được yêu cầu hoàn thành các phản hồi trợ lý lý tưởng. Và vì vậy đây là những loại prompt mà mọi người

nghĩ ra. Vậy đây là những người gán nhãn con người: liệt kê năm ý tưởng để lấy lại sự nhiệt huyết cho sự nghiệp của tôi, mười cuốn sách khoa học viễn tưởng hàng đầu tôi nên đọc tiếp là gì, và có nhiều loại prompt khác nhau ở đây, như dịch câu này từ tiếng Anh sang tiếng Tây Ban Nha, v.v. Và vì vậy có nhiều thứ ở đây mà mọi người nghĩ ra. Đầu tiên họ nghĩ ra prompt và sau đó họ

cũng trả lời prompt đó và họ đưa ra phản hồi trợ lý lý tưởng. Bây giờ làm sao họ biết phản hồi trợ lý lý tưởng mà họ nên viết cho những prompt này là gì? Vậy khi chúng ta cuộn xuống thêm một chút, chúng ta thấy rằng ở đây chúng ta có đoạn trích này của hướng dẫn gán nhãn được đưa cho những người gán nhãn con người. Vậy công ty đang phát triển mô hình ngôn ngữ, ví

dụ như OpenAI, viết ra các hướng dẫn gán nhãn về cách con người nên tạo ra các phản hồi lý tưởng. Và vì vậy ở đây, ví dụ, là một đoạn trích của những loại hướng dẫn gán nhãn này. Ở mức cao, bạn đang yêu cầu mọi người hữu ích, trung thực và vô hại, và bạn có thể tạm dừng video nếu muốn xem thêm ở đây, nhưng ở mức cao về cơ bản chỉ là trả lời, cố gắng hữu ích, cố

gắng trung thực và không trả lời những câu hỏi mà chúng ta không muốn hệ thống xử lý, kiểu như vậy, sau này trong ChatGPT. Và đại khái mà nói, công ty nghĩ ra các hướng dẫn gán nhãn, thường thì chúng không ngắn thế này, thường có hàng trăm trang và mọi người phải nghiên cứu chúng một cách chuyên nghiệp, và sau đó họ viết ra các phản hồi trợ lý lý tưởng theo những hướng dẫn

gán nhãn đó. Vậy đây là một quá trình rất nặng về con người như được mô tả trong bài báo này. Bây giờ tập dữ liệu cho InstructGPT chưa bao giờ thực sự được OpenAI phát hành, nhưng chúng ta có một số bản tái tạo mã nguồn mở đang cố gắng theo dõi kiểu thiết lập này và thu thập dữ liệu của riêng họ. Vậy một cái mà tôi quen thuộc, ví dụ, là nỗ lực của Open Assistant từ một thời gian trước, và đây là

chỉ là một trong, tôi nghĩ, nhiều ví dụ, nhưng tôi chỉ muốn cho bạn thấy một ví dụ. Vậy đây, đây là những người trên internet được yêu cầu về cơ bản tạo ra những cuộc hội thoại này tương tự như những gì OpenAI đã làm với những người gán nhãn con người. Và vì vậy đây là một mục của một người đã nghĩ ra điều này: BR, bạn có thể viết một giới thiệu ngắn về sự liên quan của thuật ngữ manop trong kinh tế học không, vui lòng sử dụng

các ví dụ, v.v., và sau đó cùng một người hoặc có thể là một người khác sẽ viết ra phản hồi. Vậy đây là phản hồi của trợ lý cho điều này, và sau đó cùng một người hoặc một người khác sẽ thực sự viết ra phản hồi lý tưởng này, và sau đó đây là một ví dụ về cách cuộc hội thoại có thể tiếp tục: bây giờ hãy giải thích nó cho một con chó, và sau đó bạn có thể thử nghĩ ra một

lời giải thích đơn giản hơn một chút hoặc gì đó tương tự. Bây giờ điều này trở thành nhãn và chúng ta kết thúc bằng việc huấn luyện trên đó. Vậy điều xảy ra trong quá trình huấn luyện là, tất nhiên, chúng ta sẽ không có được sự bao phủ đầy đủ tất cả các câu hỏi có thể mà mô hình sẽ gặp ở thời điểm kiểm tra trong quá trình suy luận. Chúng ta không thể bao phủ hết tất cả các prompt có thể mà mọi người sẽ

hỏi trong tương lai, nhưng nếu chúng ta có một tập dữ liệu gồm một vài ví dụ như thế này, thì mô hình trong quá trình huấn luyện sẽ bắt đầu khoác lên mình nhân cách của trợ lý hữu ích, trung thực, vô hại này, và tất cả đều được lập trình bằng ví dụ. Và vì vậy đây đều là những ví dụ về hành vi, và nếu bạn có các cuộc hội thoại về những hành vi ví dụ này và bạn có đủ chúng, như 100.000, và bạn huấn luyện trên đó, thì

mô hình bắt đầu hiểu mẫu thống kê và nó khoác lên mình nhân cách của trợ lý này. Bây giờ có thể là khi bạn nhận được đúng câu hỏi y hệt như thế này ở thời điểm kiểm tra, có thể câu trả lời sẽ được đọc lại y hệt như những gì có trong tập huấn luyện, nhưng khả năng cao hơn là mô hình sẽ làm điều gì đó có cùng kiểu cảm giác

và chúng ta sẽ hiểu rằng đây là kiểu câu trả lời mà bạn muốn. Vậy đó là những gì chúng ta đang làm, chúng ta đang lập trình hệ thống bằng ví dụ, và hệ thống tiếp nhận một cách thống kê nhân cách của trợ lý hữu ích, trung thực, vô hại này, điều được phản ánh trong các hướng dẫn gán nhãn mà công ty tạo ra. Bây giờ tôi muốn cho bạn thấy rằng trạng thái tiên tiến nhất đã

tiến bộ trong 2 hoặc 3 năm qua kể từ bài báo InstructGPT. Cụ thể là việc con người tự mình làm tất cả công việc nặng nhọc không còn phổ biến lắm nữa, và đó là bởi vì giờ chúng ta có các mô hình ngôn ngữ và những mô hình ngôn ngữ này đang giúp chúng ta tạo ra những tập dữ liệu và cuộc hội thoại này. Vậy rất hiếm khi mọi người thực sự chỉ viết ra

phản hồi từ đầu. Khả năng cao hơn nhiều là họ sẽ dùng một LLM hiện có để về cơ bản nghĩ ra một câu trả lời và sau đó họ sẽ chỉnh sửa nó hoặc những thứ tương tự. Vậy có nhiều cách khác nhau mà giờ các LLM đã bắt đầu thấm vào ngăn xếp hậu huấn luyện này, và các LLM về cơ bản được sử dụng rộng khắp để giúp tạo ra những tập dữ liệu khổng lồ gồm

các cuộc hội thoại. Vậy tôi không muốn cho thấy kiểu như Ultra Chat là một ví dụ như vậy về một tập dữ liệu hội thoại hiện đại hơn.

Nó ở một mức độ rất lớn là tổng hợp, nhưng tôi tin rằng có một số sự tham gia của con người.

Tôi có thể sai về điều đó.

Thường thì sẽ có một chút con người, nhưng sẽ có một lượng lớn sự hỗ trợ tổng hợp, và tất cả điều này đều được xây dựng theo nhiều cách khác nhau.

Theo nhiều cách khác nhau, và Ultra Chat chỉ là một ví dụ trong nhiều tập dữ liệu SFT hiện có. Và điều duy nhất tôi muốn cho bạn thấy là những tập dữ liệu này giờ có hàng triệu cuộc hội thoại.

Những cuộc hội thoại này chủ yếu là tổng hợp, nhưng có lẽ chúng được con người chỉnh sửa ở một mức độ nào đó, và chúng trải rộng trên một sự đa dạng khổng lồ các lĩnh vực, v.v.

Vậy đây là những thứ.

Khá đồ sộ vào thời điểm này, và có tất cả những thứ gọi là hỗn hợp SFT này, vậy bạn có một hỗn hợp gồm nhiều loại và nguồn khác nhau, và nó phần nào tổng hợp, phần nào con người, và nó đã đi theo hướng đó kể từ đó, nhưng đại khái mà nói, chúng ta vẫn có các tập dữ liệu SFT.

Chúng được tạo thành từ các cuộc hội thoại.

Chúng ta đang huấn luyện trên chúng, giống như chúng ta đã làm trước đây, và.

Tôi đoán điều cuối cùng cần lưu ý là tôi muốn xua tan một chút phép màu của việc nói chuyện với AI.

Kiểu như khi bạn vào ChatGPT và đặt cho nó một câu hỏi rồi nhấn enter, những gì quay trở lại về cơ bản là phù hợp về mặt thống kê với những gì đang diễn ra trong tập huấn luyện, và những tập huấn luyện này, ý tôi là, chúng thực sự chỉ có hạt giống từ con người tuân theo các hướng dẫn

gán nhãn.

Vậy thực ra bạn đang nói chuyện với cái gì trong ChatGPT, hay bạn nên nghĩ về nó như thế nào?

À, nó không đến từ một AI kỳ diệu nào đó.

Đại khái mà nói, nó đến từ một thứ đang bắt chước một cách thống kê những người gán nhãn con người, thứ đến từ các hướng dẫn gán nhãn do những công ty này viết ra, và vì vậy bạn đang bắt chước điều này, bạn đang nhận được, gần như thể bạn đang

hỏi một người gán nhãn con người, và hãy tưởng tượng rằng câu trả lời được đưa cho bạn từ ChatGPT là một loại mô phỏng của một người gán nhãn con người, và nó giống như hỏi rằng một người gán nhãn con người sẽ nói gì trong loại hội thoại này, và không chỉ là người gán nhãn con người này không chỉ là một người ngẫu nhiên trên internet, bởi vì những công ty này thực sự thuê các chuyên gia.

Vậy ví

dụ, khi bạn đang hỏi những câu hỏi về code, v.v., những người gán nhãn con người tham gia vào việc tạo ra những tập dữ liệu hội thoại này, họ thường sẽ là những người có học thức, chuyên gia, và bạn đang kiểu như hỏi một câu hỏi với một mô phỏng của những người đó, nếu điều đó hợp lý.

Vậy bạn không đang nói chuyện với một AI kỳ diệu, bạn đang nói chuyện với một người gán nhãn trung bình.

Người gán nhãn trung bình này có lẽ khá có kỹ năng cao, nhưng bạn đang nói chuyện với một loại mô phỏng tức thời của kiểu người như vậy, người sẽ được thuê trong việc xây dựng những tập dữ liệu này.

Vậy để tôi đưa ra một ví dụ cụ thể hơn trước khi chúng ta tiếp tục.

Ví dụ, khi tôi vào ChatGPT và nói, "Đề xuất năm địa danh hàng đầu ở Paris," rồi tôi nhấn enter.

Ừ, được rồi, bắt đầu thôi.

Được rồi, khi tôi nhấn enter, điều gì sẽ xuất hiện ở đây?

Tôi nghĩ về nó như thế nào?

Chà, nó không phải là một loại AI kỳ diệu nào đó đã đi nghiên cứu tất cả các địa danh rồi xếp hạng chúng bằng trí tuệ vô hạn của nó, v.v.

Những gì tôi nhận được là một mô phỏng thống kê của một người dán nhãn được Open AI thuê.

Bạn có thể nghĩ về nó đại khái theo cách đó, và vì vậy nếu điều này.

Câu hỏi cụ thể, ừm, này nằm ở đâu đó trong tập dữ liệu huấn luyện sau tại Open AI, thì tôi rất có thể sẽ thấy một câu trả lời có lẽ rất giống với những gì người dán nhãn đó đã viết cho năm địa danh đó.

Làm thế nào người dán nhãn nghĩ ra điều này?

Chà, họ đi ra ngoài và lên internet và họ tự nghiên cứu một chút trong 20 phút và họ chỉ.

Đưa ra một danh sách, phải không?

Bây giờ, nếu họ đưa ra danh sách này và nó nằm trong tập dữ liệu, tôi có thể rất có thể sẽ thấy những gì họ đã gửi là câu trả lời đúng từ trợ lý.

Bây giờ, nếu truy vấn cụ thể này không thuộc tập dữ liệu huấn luyện sau, thì những gì tôi nhận được ở đây có phần mang tính nổi sinh hơn, ừ, bởi vì, ừ, mô hình hiểu một cách thống kê.

Ừm, những loại địa danh trong tập huấn luyện này thường là những địa danh nổi bật, những địa danh mà mọi người thường muốn xem, những loại địa danh thường, ừ, rất hay được nói đến trên internet, và hãy nhớ rằng mô hình đã có một lượng lớn kiến thức từ quá trình tiền huấn luyện trên internet, nên nó có lẽ đã thấy vô số cuộc trò chuyện về Paris, về.

Các địa danh, về những loại điều mà mọi người thích xem, và vì vậy chính kiến thức tiền huấn luyện sau đó kết hợp với tập dữ liệu huấn luyện sau tạo ra kiểu bắt chước này.

Ừm, vậy đó là, ừ, đại khái là cách bạn có thể nghĩ về những gì đang diễn ra đằng sau hậu trường theo nghĩa thống kê này.

Được rồi, bây giờ tôi muốn chuyển sang chủ đề tâm lý học LLM, như tôi.

Muốn gọi nó, đó là những hiệu ứng nhận thức nổi sinh nào đó của quy trình huấn luyện mà chúng ta có cho các mô hình này.

Cụ thể, điều đầu tiên tôi muốn nói đến tất nhiên là ảo giác.

Vậy bạn có thể đã quen với ảo giác của mô hình.

Đó là khi LLM bịa ra mọi thứ, chúng hoàn toàn bịa đặt thông tin, v.v., và đó là một vấn đề lớn với các trợ lý LLM.

Đó là một.

Vấn đề đã tồn tại ở mức độ lớn với các mô hình ban đầu, ừ, từ nhiều năm trước, và tôi nghĩ vấn đề đã tốt hơn một chút, ừ, bởi vì có một số biện pháp mà tôi sẽ đi vào ngay sau đây.

Bây giờ, chúng ta hãy cố gắng hiểu những ảo giác này đến từ đâu.

Vậy đây là một ví dụ cụ thể về một vài, ừ, ba cuộc trò chuyện mà bạn có thể nghĩ rằng mình có trong.

Tập huấn luyện, và, ừm, đây là những cuộc trò chuyện khá hợp lý mà bạn có thể tưởng tượng có trong tập huấn luyện.

Ví dụ như, "Cruz là ai?" Chà, Tom Cruz là một diễn viên nổi tiếng, diễn viên và nhà sản xuất người Mỹ, v.v.

"John Baraso là ai?" Hóa ra đây là một thượng nghị sĩ Hoa Kỳ, ví dụ.

"Thành Cát Tư Hãn là ai?" Chà, Thành Cát Tư Hãn là blah blah.

Và vậy đây là những gì các cuộc trò chuyện của bạn có thể trông như thế tại.

Thời điểm huấn luyện.

Bây giờ, vấn đề với điều này là khi con người viết câu trả lời đúng cho trợ lý trong mỗi trường hợp này, ừ, con người hoặc là biết người này là ai hoặc họ nghiên cứu trên internet, và họ vào và viết câu trả lời này có kiểu giọng điệu tự tin của một câu trả lời, và điều xảy ra cơ bản là vào thời điểm kiểm tra, khi bạn.

Hỏi về một người nào đó, đây là một cái tên hoàn toàn ngẫu nhiên mà tôi hoàn toàn tự nghĩ ra và tôi không nghĩ người này tồn tại, ừm, theo như tôi biết, tôi chỉ cố tạo nó một cách ngẫu nhiên.

Vấn đề là khi chúng ta hỏi, "Orson Kovats là ai?" Vấn đề là trợ lý sẽ không chỉ nói với bạn, "Ồ, tôi không biết," ngay cả khi trợ lý và bản thân mô hình ngôn ngữ có thể biết bên trong các đặc trưng của nó, bên trong.

Các kích hoạt, bên trong bộ não của nó, đại khái, nó có thể biết rằng người này không phải là người mà, ừm, mà nó quen thuộc.

Ngay cả khi một phần nào đó của mạng lưới biết điều đó theo một nghĩa nào đó, việc, ừ, nói rằng, "Ồ, tôi không biết người này là ai," sẽ không xảy ra, bởi vì mô hình bắt chước tập huấn luyện của nó một cách thống kê.

Trong tập huấn luyện, các câu hỏi có dạng "Ai là blah?" được.

Trả lời một cách tự tin với câu trả lời đúng, và vì vậy nó sẽ mang phong cách của câu trả lời, và nó sẽ làm hết sức mình, nó sẽ đưa cho bạn phỏng đoán có khả năng nhất về mặt thống kê, và nó sẽ cơ bản là bịa ra mọi thứ, bởi vì những mô hình này, một lần nữa, chúng ta vừa nói về điều đó, là chúng không có quyền truy cập internet, chúng không nghiên cứu, đây là những token thống kê.

Những cỗ máy xáo trộn, như tôi gọi chúng, ừ, chỉ cố lấy mẫu token tiếp theo trong chuỗi, và nó sẽ cơ bản là bịa ra mọi thứ.

Vậy hãy xem điều này trông như thế nào.

Ở đây tôi có cái được gọi là Inference Playground từ Hugging Face, và tôi cố ý chọn một mô hình tên là Falcon 7B, đây là một mô hình cũ, cách đây vài năm rồi, nên nó là mô hình cũ hơn.

Vì vậy nó bị.

Ảo giác, và như tôi đã đề cập, điều này đã được cải thiện theo thời gian gần đây, nhưng hãy nói, "Orson Kovats là ai?" Hãy hỏi Falcon 7B Instruct.

Chạy.

Ồ đúng rồi, Orson Kovat là một tác giả người Mỹ và nhà văn khoa học, ừ, viễn tưởng.

Được rồi, điều này hoàn toàn sai, đó là ảo giác.

Hãy thử lại.

Đây là những hệ thống thống kê, phải không?

Vậy chúng ta có thể lấy mẫu lại.

Lần này, Orson Kovat là một nhân vật hư cấu từ chương trình truyền hình thập niên 1950 này.

Chương trình.

Đó hoàn toàn là chuyện nhảm nhí, đúng không?

Hãy thử lại.

Anh ấy là một cựu cầu thủ bóng chày giải hạng nhỏ.

Được rồi, về cơ bản mô hình không biết, và nó đã cho chúng ta nhiều câu trả lời khác nhau vì nó không biết, nó chỉ giống như lấy mẫu từ các xác suất này.

Mô hình bắt đầu với các token, "Orson Kovats là ai?

Trợ lý," và sau đó nó đi vào đây và nó nhận được, nó đang nhận được những

Xác suất, và nó chỉ lấy mẫu từ các xác suất, và nó cứ thế tạo ra nội dung, và nội dung đó thực sự thống nhất về mặt thống kê với phong cách trả lời trong tập huấn luyện của nó, và nó chỉ làm điều đó, nhưng bạn và tôi trải nghiệm nó như kiến thức thực tế bịa đặt, nhưng hãy nhớ rằng, uh, mô hình về cơ bản không biết, và nó chỉ bắt chước định dạng của câu trả lời,

Và nó sẽ không đi tra cứu, uh, bởi vì nó lại chỉ bắt chước câu trả lời.

Vậy làm thế nào chúng ta có thể, uh, giảm thiểu điều này?

Vì ví dụ, khi chúng ta vào ChatGPT và tôi nói, "Orson Kovats là ai?" Và tôi đang hỏi mô hình tiên tiến nhất, tiên tiến nhất từ Open AI, mô hình này sẽ cho bạn biết, ồ, vậy mô hình này thực sự còn thông minh hơn, vì bạn đã thấy rất ngắn gọn nó

Nói, "Đang tìm kiếm trên web," uh, chúng ta sẽ đề cập đến điều này sau, um, nó thực sự đang cố gắng sử dụng công cụ, và, uh, kiểu như chỉ tạo ra một câu chuyện nào đó, nhưng tôi chỉ muốn, "Or Kovach là ai?" Không sử dụng bất kỳ công cụ nào, tôi không muốn nó tìm kiếm trên web.

"Có một nhân vật lịch sử hoặc công chúng nổi tiếng tên là Or Orson Kovats." Vậy mô hình này sẽ không bịa đặt nội dung.

Mô hình này biết rằng nó không biết,

Và nó cho bạn biết rằng dường như đây không phải là một người mà mô hình này biết.

Vậy bằng cách nào đó chúng ta đã phần nào cải thiện được ảo giác, mặc dù chúng rõ ràng là một vấn đề ở các mô hình cũ hơn, và hoàn toàn, uh, hợp lý tại sao bạn lại nhận được những loại câu trả lời này nếu tập huấn luyện của bạn trông như thế này.

Vậy làm thế nào chúng ta khắc phục điều này?

Được rồi, rõ ràng chúng ta cần một số ví dụ trong tập dữ liệu của mình mà

Trong đó câu trả lời đúng cho trợ lý là mô hình không biết về một sự kiện cụ thể nào đó, nhưng chúng ta chỉ cần những câu trả lời đó được tạo ra trong trường hợp mô hình thực sự không biết, và vậy câu hỏi là, làm sao chúng ta biết mô hình biết hay không biết gì?

Chà, chúng ta có thể thăm dò mô hình một cách thực nghiệm để tìm ra điều đó.

Vậy hãy xem ví dụ, cách

Meta, uh, xử lý ảo giác cho dòng mô hình Llama 3 như một ví dụ.

Vậy trong bài báo này mà họ công bố từ Meta, chúng ta có thể đi vào phần ảo giác, mà họ gọi ở đây là tính xác thực, và họ mô tả quy trình mà họ về cơ bản thẩm vấn mô hình để tìm ra nó biết và không biết gì, để tìm ra kiểu như ranh giới kiến thức của nó, và sau đó họ

Thêm các ví dụ vào tập huấn luyện, trong đó, đối với những thứ mà mô hình không biết, câu trả lời đúng là mô hình không biết chúng, điều nghe có vẻ rất dễ làm về nguyên tắc, nhưng điều này đại khái khắc phục được vấn đề, và lý do nó khắc phục được vấn đề là vì, hãy nhớ rằng, mô hình thực ra có thể có một mô hình khá tốt về tự hiểu biết của mình bên trong mạng, vậy

Hãy nhớ chúng ta đã xem mạng và tất cả các neuron bên trong mạng, bạn có thể tưởng tượng rằng có một neuron ở đâu đó trong mạng kiểu như sáng lên khi mô hình không chắc chắn, nhưng vấn đề là hoạt động của neuron đó hiện không được kết nối với việc mô hình thực sự nói bằng lời rằng nó không biết.

Vậy mặc dù bên trong mạng nơ-ron

Mạng, không, bởi vì có một số neuron đại diện cho việc mô hình, uh, sẽ không đưa điều đó ra bề mặt, thay vào đó nó sẽ đưa ra phỏng đoán tốt nhất của mình để nghe có vẻ tự tin, um, giống như nó thấy trong tập huấn luyện.

Vậy về cơ bản chúng ta cần thẩm vấn mô hình và cho phép nó nói, "Tôi không biết," trong những trường hợp nó không biết.

Vậy để tôi dẫn bạn qua những gì Meta đại khái làm.

Vậy về cơ bản điều

Họ làm là, ở đây tôi có một ví dụ, uh, Dominic Kek là, uh, bài viết nổi bật hôm nay, nên tôi chỉ vào đó ngẫu nhiên, và điều họ làm về cơ bản là họ lấy một tài liệu ngẫu nhiên trong tập huấn luyện, và họ lấy một đoạn văn, rồi họ dùng một LLM để tạo câu hỏi về đoạn văn đó.

Vậy ví dụ, tôi đã làm điều đó với Chat GPT ở đây, nên tôi nói, "Đây là một đoạn văn từ tài liệu này, hãy tạo ba câu hỏi

Về sự kiện cụ thể dựa trên đoạn văn này, và cho tôi câu hỏi và câu trả lời." Và vậy các LLM đã đủ tốt để tạo và diễn đạt lại thông tin này.

Vậy nếu thông tin nằm trong cửa sổ ngữ cảnh, um, của LLM này, điều này thực sự hoạt động khá tốt.

Nó không phải dựa vào trí nhớ của mình, thông tin ngay đó trong cửa sổ ngữ cảnh, và vậy về cơ bản nó có thể diễn đạt lại thông tin đó.

Với độ chính xác khá cao.

Vậy ví dụ, có thể tạo cho chúng ta những câu hỏi như, "Anh ấy chơi cho đội nào?" Đây là câu trả lời.

"Anh ấy đã thắng bao nhiêu cúp?" V.v.

Và bây giờ điều chúng ta phải làm là chúng ta có một số câu hỏi và câu trả lời, và bây giờ chúng ta muốn thẩm vấn mô hình.

Vậy đại khái, điều chúng ta sẽ làm là lấy các câu hỏi của mình và đi đến mô hình của mình, tức là, uh, ví dụ Llama, uh, ở Meta,

Nhưng hãy chỉ thẩm vấn Mol 7B ở đây như một ví dụ, đó là một mô hình khác.

Vậy mô hình này có biết câu trả lời này không?

Hãy xem.

Uh, vậy anh ấy chơi cho Buffalo Sabers, đúng không?

Vậy mô hình biết, và cách bạn có thể quyết định bằng lập trình về cơ bản là chúng ta sẽ lấy câu trả lời này từ mô hình và so sánh với câu trả lời đúng, và một lần nữa các mô hình đủ tốt để

Làm điều này tự động, nên không có con người tham gia ở đây.

Chúng ta có thể lấy, uh, về cơ bản câu trả lời từ mô hình và dùng một LLM giám khảo khác để kiểm tra xem điều đó có đúng theo câu trả lời này không, và nếu đúng, điều đó có nghĩa là mô hình có lẽ biết.

Vậy điều chúng ta sẽ làm là chúng ta sẽ làm điều này có thể vài lần.

Vậy được rồi, nó biết đó là Buffalo Sabers.

Hãy kéo.

Trong, ừm, Buffalo Sabers.

Hãy thử một lần nữa.

Buffalo Sabers.

Vậy chúng tôi đã hỏi ba lần về câu hỏi thực tế này, và mô hình dường như biết, nên mọi thứ đều tuyệt vời.

Bây giờ hãy thử câu hỏi thứ hai.

"Anh ấy đã thắng bao nhiêu Cúp Stanley?" Và một lần nữa, hãy thẩm vấn mô hình về điều đó, và câu trả lời đúng là hai.

Vậy, ừm, ở đây mô hình tuyên bố rằng anh ấy đã thắng, ừm, bốn lần, điều đó không đúng,

Đúng vậy, nó không khớp với hai, nên mô hình không biết, nó đang bịa ra mọi thứ.

Hãy thử lại.

Ừm, vậy ở đây mô hình một lần nữa, nó giống như đang bịa ra mọi thứ, phải không?

Hãy kéo vào đây, nó nói rằng anh ấy đã, thậm chí không, đã không thắng trong sự nghiệp của mình, nên rõ ràng mô hình không biết, và cách chúng ta có thể nói một cách lập trình một lần nữa là chúng ta thẩm vấn mô hình ba lần và so sánh câu trả lời của nó, có thể ba.

Lần, năm lần, bất cứ điều gì, với câu trả lời đúng, và nếu mô hình không biết, thì chúng ta biết rằng mô hình không biết câu hỏi này, và sau đó những gì chúng ta làm là lấy câu hỏi này, tạo một cuộc trò chuyện mới trong tập huấn luyện, vì vậy chúng ta sẽ thêm một cuộc trò chuyện mới vào tập huấn luyện, và khi câu hỏi là, "Anh ấy đã thắng bao nhiêu Cúp Stanley?" Câu trả lời là, "Tôi xin lỗi, tôi.

Không biết," hoặc "Tôi không nhớ," và đó là câu trả lời đúng cho câu hỏi này, bởi vì chúng ta đã thẩm vấn mô hình và thấy rằng đó là trường hợp.

Nếu bạn làm điều này cho nhiều loại câu hỏi khác nhau, cho nhiều loại tài liệu khác nhau, bạn đang cho mô hình cơ hội để, trong tập huấn luyện của nó, từ chối trả lời dựa trên kiến thức của nó, và nếu bạn chỉ có một vài ví dụ về điều đó.

Trong tập huấn luyện của bạn, mô hình sẽ biết, ừm, và có cơ hội học được sự liên kết giữa việc từ chối dựa trên kiến thức này với một nơ-ron nội bộ nào đó trong mạng của nó mà chúng ta cho là tồn tại, và theo thực nghiệm điều này hóa ra có thể là đúng, và nó có thể học được sự liên kết đó, rằng này, khi nơ-ron không chắc chắn này cao, thì tôi thực sự không biết, và tôi được phép.

Nói rằng, "Tôi xin lỗi, nhưng tôi không nghĩ mình nhớ điều này," v.v.

Và nếu bạn có những ví dụ này trong tập huấn luyện của mình, thì đây là một biện pháp giảm thiểu lớn cho ảo giác, và đại khái đó là lý do tại sao ChatGPT cũng có thể làm những việc như thế này.

Vậy đây là những loại biện pháp giảm thiểu mà mọi người đã triển khai và đã cải thiện vấn đề tính xác thực theo thời gian.

Được rồi, vậy tôi đã.

Mô tả biện pháp giảm thiểu số một để cơ bản giảm thiểu vấn đề ảo giác.

Bây giờ chúng ta thực sự có thể làm tốt hơn nhiều so với đó.

Ừ, thay vì chỉ nói rằng chúng ta không biết, ừ, chúng ta có thể giới thiệu một biện pháp giảm thiểu bổ sung số hai để cho LLM cơ hội trở nên xác thực và thực sự trả lời câu hỏi.

Bây giờ bạn và tôi sẽ làm gì nếu tôi hỏi bạn một câu hỏi thực tế và bạn không.

Biết, ừ, bạn sẽ làm gì, ừm, để trả lời câu hỏi?

Chà, bạn có thể, ừ, đi tìm kiếm và, ừ, sử dụng internet, và bạn có thể tìm ra câu trả lời, rồi nói cho tôi biết câu trả lời đó là gì, và chúng ta có thể làm điều tương tự với những mô hình này.

Vậy hãy nghĩ về kiến thức bên trong mạng nơ-ron, bên trong hàng tỷ tham số của nó, hãy nghĩ về nó như một loại hồi tưởng mơ hồ.

Về những thứ mà mô hình đã thấy trong quá trình huấn luyện, trong giai đoạn tiền huấn luyện, từ lâu rồi.

Vậy hãy nghĩ về kiến thức trong các tham số như một thứ bạn đã đọc một tháng trước, và nếu bạn tiếp tục đọc một thứ gì đó, thì bạn sẽ nhớ nó, và mô hình nhớ điều đó, nhưng nếu đó là một thứ hiếm gặp, thì có lẽ bạn không có hồi tưởng thực sự tốt về thông tin đó.

Thông tin.

Nhưng những gì bạn và tôi làm là chúng ta chỉ đi tra cứu nó.

Bây giờ khi bạn đi tra cứu nó, những gì bạn đang làm cơ bản giống như bạn đang làm mới bộ nhớ làm việc của mình bằng thông tin, và sau đó bạn có thể truy xuất nó, nói về nó, v.v.

Vậy chúng ta cần một thứ tương đương để cho phép mô hình làm mới bộ nhớ hoặc hồi tưởng của nó, và chúng ta có thể làm điều đó bằng cách giới thiệu các công cụ, ừ, cho.

Các mô hình.

Vậy cách chúng ta sẽ tiếp cận điều này là thay vì chỉ nói, "Này, tôi xin lỗi, tôi không biết," chúng ta có thể cố gắng sử dụng các công cụ.

Vậy chúng ta có thể tạo, ừ, một cơ chế mà mô hình ngôn ngữ có thể phát ra các token đặc biệt, và đây là những token mà chúng ta sẽ giới thiệu các token mới.

Ví dụ, ở đây tôi đã giới thiệu hai token, và tôi đã giới thiệu một định dạng hoặc một.

Giao thức về cách mô hình được phép sử dụng các token này.

Ví dụ, thay vì trả lời câu hỏi, khi mô hình không, thay vì chỉ nói, "Tôi không biết, xin lỗi," mô hình bây giờ có tùy chọn phát ra token đặc biệt "search start", và đây là truy vấn sẽ đi đến như bing.com trong trường hợp của OpenAI, hoặc nói Google search, hoặc thứ gì đó tương tự.

Vậy nó sẽ phát ra truy vấn, và sau đó.

Nó sẽ phát ra "search end", và sau đó điều sẽ xảy ra là chương trình đang lấy mẫu từ mô hình, đang chạy suy luận, khi nó thấy token đặc biệt "search end", thay vì lấy mẫu token tiếp theo, ừ, trong chuỗi, nó sẽ thực sự tạm dừng tạo từ mô hình, nó sẽ đi ra ngoài, nó sẽ mở một phiên với bing.com, và nó sẽ dán truy vấn tìm kiếm vào Bing,

Và sau đó nó sẽ, ừm, lấy tất cả văn bản được truy xuất, và cơ bản nó sẽ lấy văn bản đó, có thể biểu diễn nó lại bằng một số token đặc biệt khác hoặc thứ gì đó tương tự, và nó sẽ lấy văn bản đó và sao chép-dán nó vào đây vào những gì tôi đã cố gắng như hiển thị bằng dấu ngoặc.

Vậy tất cả văn bản đó kiểu như đến đây, và khi văn bản đến đây, nó đi vào cửa sổ ngữ cảnh, vậy mô hình,

Vậy văn bản từ tìm kiếm web bây giờ ở trong cửa sổ ngữ cảnh, nó sẽ đưa vào mạng nơ-ron, và bạn nên nghĩ về cửa sổ ngữ cảnh như một loại bộ nhớ làm việc của mô hình.

Dữ liệu đó trong cửa sổ ngữ cảnh được mô hình truy cập trực tiếp, nó trực tiếp đưa vào mạng nơ-ron, vì vậy nó không còn là một hồi tưởng mơ hồ nữa, mà là dữ liệu mà nó có trong ngữ cảnh.

Cửa sổ và có sẵn trực tiếp cho mô hình đó.

Vậy bây giờ khi nó lấy mẫu các token mới, ừ, ở đây sau đó, nó có thể tham chiếu rất dễ dàng dữ liệu đã được sao chép-dán vào đó.

Vậy đại khái đó là cách những, ừm, cách những công cụ này sử dụng, ừ, công cụ, ừ, hoạt động, và vậy tìm kiếm web chỉ là một trong những công cụ chúng ta sẽ xem xét một số công cụ khác trong chốc lát, ừ, nhưng cơ bản.

Bạn giới thiệu các token mới, bạn giới thiệu một số lược đồ để mô hình có thể sử dụng các token này và có thể gọi các hàm đặc biệt như hàm tìm kiếm web, và làm thế nào bạn dạy mô hình cách sử dụng đúng các công cụ này, như nói web search start, search end, v.v.?

Chà, một lần nữa, bạn làm điều đó thông qua các tập huấn luyện.

Vậy nên giờ chúng ta cần có một loạt dữ liệu và một loạt cuộc hội thoại để chỉ cho mô hình bằng ví dụ cách sử dụng tìm kiếm web.

Ví dụ cách sử dụng tìm kiếm web.

Vậy các cài đặt khi bạn đang sử dụng tìm kiếm là gì, ừm, và nó trông như thế nào, và đây là ví dụ về cách bạn bắt đầu một tìm kiếm và tìm kiếm, v.v.

Và, ừ, nếu bạn có vài nghìn ví dụ như vậy trong tập huấn luyện của mình, mô hình thực sự sẽ làm khá tốt việc hiểu, ừ, cách công cụ này hoạt động, và nó sẽ biết cách phần nào.

Cấu trúc các truy vấn của nó, và tất nhiên nhờ tập dữ liệu tiền huấn luyện và sự hiểu biết về thế giới, nó thực sự phần nào hiểu tìm kiếm web là gì, và vì vậy nó thực sự có một sự hiểu biết bẩm sinh khá tốt, ừm, về loại nội dung nào là một truy vấn tìm kiếm tốt, ừm, và vì vậy tất cả chỉ phần nào hoạt động.

Bạn chỉ cần một chút vài ví dụ để chỉ cho nó cách.

Sử dụng công cụ mới này, và sau đó nó có thể dựa vào nó để truy xuất thông tin và, ừ, đặt nó vào cửa sổ ngữ cảnh, và điều đó tương đương với việc bạn và tôi tra cứu điều gì đó, bởi vì một khi nó ở trong ngữ cảnh, nó ở trong bộ nhớ làm việc, và rất dễ thao tác và truy cập.

Vậy đó là những gì chúng ta thấy vài phút trước khi tôi tìm kiếm trên Chat GPT cho "Ai là Orson Kovats?" Ngôn ngữ của Chat GPT.

Mô hình quyết định rằng đây là một loại cá nhân hiếm gặp nào đó, ừm, hoặc đại loại như vậy, và thay vì đưa cho tôi câu trả lời từ bộ nhớ của nó, nó quyết định rằng nó sẽ lấy mẫu một token đặc biệt để thực hiện tìm kiếm web, và chúng ta thấy thoáng qua một cái gì đó lóe lên, giống như đang sử dụng công cụ web hay gì đó, vậy nó thoáng nói điều đó, và sau đó chúng ta chờ khoảng hai giây, và rồi nó.

Tạo ra cái này, và bạn thấy cách nó tạo các tham chiếu ở đây, và vì vậy nó đang trích dẫn nguồn.

Vậy điều xảy ra ở đây là nó đi ra ngoài, nó thực hiện tìm kiếm web, nó tìm thấy những nguồn này và những URL này, và văn bản của những trang web này đều được nhồi vào giữa đây, và nó không hiển thị ở đây, nhưng về cơ bản nó được nhồi dưới dạng văn bản vào giữa đây, và bây giờ nó thấy văn bản đó, và bây giờ nó phần nào.

Tham chiếu nó và nói rằng, được, có thể là những người này, trích dẫn, có thể là những người kia, trích dẫn, v.v.

Vậy đó là những gì đã xảy ra ở đây, và đó là lý do tại sao khi tôi nói, "Ai là Orson Kovats?" tôi cũng có thể nói, "Đừng dùng bất kỳ công cụ nào," và thế là đủ để, ừm, về cơ bản thuyết phục Chat GPT không sử dụng công cụ mà chỉ dùng bộ nhớ và sự hồi tưởng của nó.

Tôi cũng đã đi và tôi, ừm,

Đã thử hỏi ChatGPT câu hỏi này, vậy "Dominic Hasek đã thắng bao nhiêu Cúp Stanley?" Và ChatGPT thực sự quyết định rằng nó biết câu trả lời, và nó đủ tự tin để nói rằng, ừ, anh ấy đã thắng hai lần, và vì vậy nó phần nào chỉ dựa vào bộ nhớ của mình, bởi vì có lẽ nó có, ừm, nó có đủ sự tự tin vào các trọng số, vào các tham số và kích hoạt của mình, rằng điều này.

Có thể truy xuất chỉ từ bộ nhớ, ừm, nhưng bạn cũng có thể ngược lại sử dụng tìm kiếm web để chắc chắn, và sau đó với cùng truy vấn, nó thực sự đi ra ngoài và tìm kiếm, và rồi nó tìm thấy một loạt nguồn, nó tìm thấy tất cả những thứ này, tất cả những thứ này được sao chép-dán vào đó, và sau đó nó cho chúng ta biết, ừ, một lần nữa, và trích dẫn, và nó thực sự nói bài viết Wikipedia, cũng là nguồn thông tin này cho chúng ta.

Vậy.

Đó là các công cụ, tìm kiếm web, mô hình xác định khi nào nên tìm kiếm, và sau đó, ừ, đại loại là cách những công cụ này, ừ, hoạt động, và đây là một biện pháp giảm thiểu bổ sung cho, ừ, ảo giác và tính xác thực.

Vậy tôi muốn nhấn mạnh một lần nữa điểm tâm lý rất quan trọng này: kiến thức trong các tham số của mạng nơ-ron là một sự hồi tưởng mơ hồ, kiến thức trong các token tạo nên.

Cửa sổ ngữ cảnh là bộ nhớ làm việc, và đại khái nó hoạt động phần nào giống như, ừm, nó hoạt động đối với chúng ta trong não bộ của chúng ta.

Những thứ chúng ta nhớ là các tham số của chúng ta, ừ, và những thứ chúng ta vừa trải nghiệm như vài giây hoặc vài phút trước, v.v., bạn có thể tưởng tượng đó là trong cửa sổ ngữ cảnh của chúng ta, và cửa sổ ngữ cảnh này được xây dựng lên khi bạn có trải nghiệm có ý thức xung quanh mình.

Vậy điều này có một.

Loạt, ừm, hàm ý cả cho việc bạn sử dụng LLM trong thực tế.

Ví dụ, tôi có thể vào Chat GPT và tôi có thể làm điều gì đó như thế này, tôi có thể nói, "Bạn có thể tóm tắt chương một của Pride and Prejudice của Jane Austen không?" Đúng, và đây là một lời nhắc hoàn toàn ổn, và ChatGPT thực sự làm điều gì đó tương đối hợp lý ở đây, nhưng lý do nó làm vậy là vì ChatGPT có một sự.

Hồi tưởng khá tốt về một tác phẩm nổi tiếng như Pride and Prejudice, nó có lẽ đã thấy vô số thứ về nó, có lẽ có các diễn đàn về cuốn sách này, nó có lẽ đã đọc các phiên bản của cuốn sách này, ừm, và nó phần nào giống như nhớ vì ngay cả khi bạn đã đọc cái này hoặc các bài viết về nó, bạn sẽ phần nào có đủ hồi tưởng để thực sự nói tất cả những điều này.

Nhưng thường thì khi tôi thực sự tương tác với LLM và tôi

Muốn chúng nhớ những điều cụ thể, nó luôn hoạt động tốt hơn nếu bạn chỉ đưa nó cho chúng.

Vậy tôi nghĩ một lời nhắc tốt hơn nhiều sẽ là đại loại như thế này: bạn có thể tóm tắt cho tôi chương một của Pride and Prejudice của Jane Austen không?

Và sau đó tôi đính kèm nó bên dưới để bạn tham khảo.

Và sau đó tôi làm điều gì đó như một dấu phân cách ở đây và tôi dán nó vào.

Và tôi thấy rằng chỉ cần sao chép-dán nó từ một

Trang web mà tôi tìm thấy ở đây, ừm, vậy sao chép-dán chương một vào đây, và tôi làm vậy vì khi nó ở trong cửa sổ ngữ cảnh, mô hình có quyền truy cập trực tiếp vào nó và có thể chính xác, nó không phải hồi tưởng nó, nó chỉ có quyền truy cập vào nó.

Và vì vậy bản tóm tắt này có thể được kỳ vọng là có chất lượng cao hơn đáng kể hoặc chất lượng cao hơn bản tóm tắt này, ừ, chỉ vì nó có sẵn trực tiếp cho

Mô hình.

Và tôi nghĩ bạn và tôi sẽ hoạt động theo cùng một cách.

Nếu bạn muốn, bạn sẽ tạo ra một bản tóm tắt tốt hơn nhiều nếu bạn đã đọc lại chương này trước khi phải tóm tắt nó.

Và đó về cơ bản là những gì đang xảy ra ở đây, hoặc tương đương với nó.

Điểm kỳ quặc tâm lý tiếp theo tôi muốn nói đến một cách ngắn gọn là kiến thức về bản thân.

Vậy điều tôi thấy rất thường xuyên trên

Internet là mọi người làm điều gì đó như thế này: họ hỏi LLM những câu như bạn là mô hình gì và ai đã xây dựng bạn?

Và ừm, về cơ bản câu hỏi này hơi vô nghĩa, và lý do tôi nói vậy là vì như tôi cố gắng giải thích với một số kiến thức cơ bản về hoạt động bên trong, thứ này không phải là một người, đúng không?

Nó không có sự tồn tại liên tục theo bất kỳ cách nào.

Nó phần nào khởi động,

Xử lý các token, và tắt đi.

Và nó làm điều đó cho từng người một.

Nó chỉ phần nào xây dựng một cửa sổ ngữ cảnh hội thoại và sau đó mọi thứ bị xóa.

Và vì vậy thực thể này phần nào được khởi động lại từ đầu trong mỗi cuộc hội thoại, nếu điều đó hợp lý.

Nó không có bản ngã liên tục, nó không có ý thức về bản thân, nó là một cỗ máy xáo trộn token, và ừ, nó tuân theo các

Quy luật thống kê của tập huấn luyện của nó.

Vậy nên thật sự không hợp lý khi hỏi nó bạn là ai, cái gì đã xây dựng bạn, v.v.

Và theo mặc định, nếu bạn làm những gì tôi mô tả và chỉ theo mặc định và từ hư không, bạn sẽ nhận được một số câu trả lời khá ngẫu nhiên.

Vậy ví dụ, hãy chọn Falcon, một mô hình khá cũ, và xem nó cho chúng ta biết điều gì.

Ừ, vậy nó đang né tránh câu hỏi.

Ừ,

Các kỹ sư và nhà phát triển tài năng ở đây, nó nói tôi được xây dựng bởi Open AI dựa trên mô hình GPT-3.

Nó hoàn toàn bịa đặt mọi thứ.

Giờ việc nó được xây dựng bởi Open AI ở đây, tôi nghĩ nhiều người sẽ coi đây là bằng chứng rằng mô hình này bằng cách nào đó được huấn luyện trên dữ liệu của Open AI hoặc đại loại như vậy.

Tôi thực sự không nghĩ điều đó nhất thiết là đúng.

Lý do là

Rằng nếu bạn không lập trình rõ ràng cho mô hình trả lời những loại câu hỏi này, thì những gì bạn nhận được là phỏng đoán thống kê tốt nhất của nó cho câu trả lời.

Và mô hình này có một hỗn hợp dữ liệu SFT gồm các cuộc hội thoại, và trong quá trình tinh chỉnh, mô hình phần nào hiểu khi nó huấn luyện trên dữ liệu này rằng nó đang mang nhân cách của một trợ lý

hữu ích.

Và nó không biết cách, nó thực sự không, nó không được cho biết chính xác nhãn nào để áp dụng cho bản thân.

Nó chỉ phần nào mang lấy nhân vật này của một trợ lý hữu ích.

Và hãy nhớ rằng giai đoạn tiền huấn luyện lấy tài liệu từ toàn bộ internet, và Chach và Open AI rất nổi bật trong những tài liệu này.

Và vậy tôi nghĩ điều thực sự có khả năng đang xảy ra ở đây là

Rằng đây chỉ là nhãn ảo giác của nó về việc nó là gì.

Đây là bản sắc của chính nó, rằng nó là Chat GPT của Open AI.

Và nó chỉ nói vậy vì có vô số dữ liệu trên internet về những câu trả lời như thế này thực sự đến từ open, từ Chasht.

Và vậy đó là nhãn của nó về việc nó là gì.

Giờ bạn có thể ghi đè điều này với tư cách nhà phát triển.

Nếu bạn có một mô hình LLM, bạn thực sự có thể

Ghi đè nó, và có một vài cách để làm điều đó.

Vậy ví dụ, để tôi cho bạn xem, có mô hình MMO này từ Allen AI, và ừ đây là một LLM, nó không phải là LM hàng đầu hay gì đó, nhưng tôi thích nó vì nó hoàn toàn mã nguồn mở, nên bài báo về Almo và mọi thứ khác hoàn toàn mã nguồn mở, điều đó thật tuyệt.

Ừ, vậy ở đây chúng ta đang xem hỗn hợp SFT của nó, đây là hỗn hợp dữ liệu

Của việc tinh chỉnh, vậy đây là dữ liệu hội thoại, đúng không?

Và vậy cách họ giải quyết cho mô hình Theo là chúng ta thấy có một đống thứ trong hỗn hợp, và có tổng cộng 1 triệu cuộc hội thoại ở đây, nhưng ở đây chúng ta có alot to hardcoded.

Nếu chúng ta đến đó, chúng ta thấy đây là 240 cuộc hội thoại, và nhìn vào 240 cuộc hội thoại này, chúng được mã hóa cứng.

Hãy cho tôi biết

Về bản thân bạn, người dùng nói, và rồi trợ lý nói tôi là một mô hình ngôn ngữ mở được phát triển bởi AI to Allen Institute of Artificial Intelligence, v.v.

Tôi ở đây để giúp đỡ, blah blah.

Tên bạn là gì?

Ừ, dự án Theo.

Vậy đây là đủ loại câu hỏi được bịa ra và mã hóa cứng về o 2 và những câu trả lời đúng để đưa ra trong những trường hợp này.

Nếu bạn lấy 240 câu hỏi như thế này hoặc các cuộc hội thoại, đưa chúng vào

Tập huấn luyện của bạn và tinh chỉnh với nó, thì mô hình thực sự sẽ được kỳ vọng sẽ nhại lại những thứ này sau đó.

Nếu bạn không cho nó điều này, thì nó có lẽ là một Chach của Open AI.

Và ừ, có một cách nữa để đôi khi làm điều này, về cơ bản là trong những cuộc hội thoại này và bạn có các lượt giữa con người và trợ lý, đôi khi có một thông điệp đặc biệt gọi là thông điệp hệ thống ở

Ngay đầu cuộc hội thoại.

Vậy nó không chỉ giữa con người và trợ lý, có một hệ thống.

Và trong thông điệp hệ thống, bạn thực sự có thể mã hóa cứng và nhắc nhở mô hình rằng này, bạn là một mô hình được phát triển bởi Open AI và tên bạn là Chashi PT40 và bạn được huấn luyện vào ngày này và kiến thức của bạn cắt đến đây.

Và về cơ bản nó phần nào ghi lại mô hình một chút và

Rồi điều này được chèn vào các cuộc hội thoại của bạn.

Vậy khi bạn vào Chpt, bạn thấy một trang trắng, nhưng thực ra thông điệp hệ thống phần nào được ẩn trong đó, và những token đó nằm trong cửa sổ ngữ cảnh.

Và vậy đó là hai cách để phần nào lập trình các mô hình nói về bản thân chúng, hoặc là qua dữ liệu như thế này hoặc là qua thông điệp hệ thống và những thứ như

Đó, về cơ bản là những token vô hình nằm trong cửa sổ ngữ cảnh và nhắc nhở mô hình về bản sắc của nó.

Nhưng tất cả chỉ là phần nào bịa ra và gắn thêm vào theo một cách nào đó.

Nó thực sự không phải là thứ thực sự sâu xa ở đó theo bất kỳ nghĩa thực sự nào như nó sẽ có trước một con người.

Tôi muốn giờ tiếp tục đến phần tiếp theo, phần liên quan đến các khả năng tính toán, hay tôi nên nói là các khả năng tính toán

Bẩm sinh của những mô hình này trong các tình huống giải quyết vấn đề.

Và đặc biệt, chúng ta phải rất cẩn thận với những mô hình này khi chúng ta xây dựng các ví dụ về hội thoại, và có rất nhiều góc cạnh sắc bén ở đây, kiểu như là giải thích—đó có phải là một từ không?—ừ, chúng khá thú vị để nhìn vào khi chúng ta xem xét cách những mô hình này suy nghĩ.

Vậy ừ, hãy xem xét

Lời nhắc sau đây từ một người và giả sử về cơ bản là chúng ta đang xây dựng một cuộc hội thoại để đưa vào tập huấn luyện các cuộc hội thoại của chúng ta.

Vậy chúng ta sẽ huấn luyện mô hình trên cái này.

Chúng ta đang dạy bạn cách cơ bản để giải các bài toán đơn giản.

Vậy lời nhắc là: Emily mua ba quả táo và hai quả cam.

Mỗi quả cam giá 2 đô la.

Tổng chi phí là 13.

Giá của táo là bao nhiêu?

Câu hỏi toán học rất đơn giản.

Bây giờ có hai câu trả lời ở đây, bên trái và bên phải.

Cả hai đều là câu trả lời đúng.

Cả hai đều nói rằng câu trả lời là ba, điều này đúng.

Nhưng một trong hai cái này là một câu trả lời tốt hơn đáng kể—đáng kể—cho trợ lý so với cái kia.

Giống như nếu tôi là người dán nhãn dữ liệu và tôi đang tạo một trong những cái này, một trong những cái này sẽ là một câu trả lời thực sự tồi tệ cho trợ lý

Và cái kia sẽ ổn.

Và vì vậy tôi muốn bạn có thể tạm dừng video và suy nghĩ tại sao một trong hai cái này là câu trả lời tốt hơn đáng kể so với cái kia.

Và ừ, nếu bạn sử dụng cái sai, mô hình của bạn thực sự sẽ rất tệ trong toán học và nó sẽ có những kết quả tồi tệ.

Và đây là điều bạn sẽ cẩn thận trong tài liệu dán nhãn của mình

Khi bạn đang huấn luyện mọi người để tạo ra những phản hồi lý tưởng cho trợ lý.

Được rồi, vậy chìa khóa cho câu hỏi này là nhận ra và nhớ rằng khi các mô hình đang huấn luyện và cả suy luận, chúng đang làm việc trong một chuỗi token một chiều từ trái sang phải.

Và đây là hình ảnh mà tôi thường có trong đầu.

Tôi tưởng tượng về cơ bản chuỗi token đang phát triển

Từ trái sang phải, và để luôn tạo ra token tiếp theo trong chuỗi, chúng ta đang đưa tất cả các token này vào mạng nơ-ron, và mạng nơ-ron này sau đó đưa ra xác suất cho token tiếp theo trong chuỗi, đúng không?

Vậy hình ảnh ở đây chính xác là hình ảnh chúng ta đã thấy trước đó ở trên này, và nó đến từ bản demo web mà tôi đã cho bạn xem trước đó, đúng không?

Vậy đây là phép tính về cơ bản lấy

Các token đầu vào ở trên cùng và thực hiện các phép toán của tất cả các nơ-ron này và đưa ra câu trả lời cho xác suất của những gì tiếp theo.

Bây giờ điều quan trọng cần nhận ra là nói một cách đại khái, về cơ bản có một số lớp tính toán hữu hạn xảy ra ở đây.

Ví dụ, mô hình ở đây chỉ có một, hai, ba lớp của cái được gọi là attention và MLP ở đây,

Ừ, có thể một mạng hiện đại tiên tiến điển hình sẽ có nhiều hơn, ví dụ như 100 lớp hoặc đại loại vậy, nhưng chỉ có 100 lớp tính toán hoặc đại loại vậy để đi từ chuỗi token trước đó đến xác suất cho token tiếp theo.

Và vì vậy có một lượng tính toán hữu hạn xảy ra ở đây cho mỗi token, và bạn nên nghĩ về điều này như một

Lượng tính toán nhỏ, và lượng tính toán này gần như cố định cho mỗi token trong chuỗi này.

Ừ, điều đó thực ra không hoàn toàn đúng vì càng nhiều token bạn đưa vào, thì lượt truyền xuôi này của mạng nơ-ron sẽ càng tốn kém, nhưng không nhiều.

Vậy bạn nên nghĩ về điều này và tôi nghĩ như một mô hình tốt để ghi nhớ, đây là một lượng

Tính toán cố định sẽ xảy ra trong hộp này cho mỗi token trong số này.

Và lượng tính toán này có thể quá lớn vì không có nhiều lớp đi từ trên xuống dưới ở đây.

Không có nhiều tính toán sẽ xảy ra ở đây.

Và vì vậy bạn không thể tưởng tượng mô hình về cơ bản thực hiện tính toán tùy ý trong một

Lượt truyền xuôi duy nhất để có một token duy nhất.

Và điều đó có nghĩa là chúng ta thực sự phải phân phối lý luận và tính toán của mình qua nhiều token, vì mỗi token chỉ dành một lượng tính toán hữu hạn cho nó.

Và vì vậy chúng ta muốn phân phối tính toán qua nhiều token, và chúng ta không thể có quá nhiều tính toán hoặc mong đợi quá nhiều

Tính toán từ mô hình trong bất kỳ token riêng lẻ nào, vì chỉ có một lượng tính toán nhất định xảy ra cho mỗi token.

Được rồi, lượng tính toán gần như cố định ở đây.

Vậy đó là lý do tại sao câu trả lời ở đây tệ hơn đáng kể, và lý do là hãy tưởng tượng đi từ trái sang phải ở đây, ừ, và tôi đã sao chép dán nó ngay đây, câu trả lời là ba, v.v.

Hãy tưởng tượng mô hình phải đi từ trái sang phải

Phát ra các token này từng cái một.

Nó phải nói, hoặc chúng ta mong đợi nó nói, câu trả lời là dấu đô la, và sau đó ngay ở đây chúng ta mong đợi nó về cơ bản nhồi nhét tất cả tính toán của bài toán này vào token duy nhất này.

Nó phải phát ra câu trả lời đúng là ba, và sau khi chúng ta đã phát ra câu trả lời ba, chúng ta mong đợi nó nói tất cả các token này, nhưng tại thời điểm này chúng ta đã

Tạo ra câu trả lời, và nó đã ở trong cửa sổ ngữ cảnh cho tất cả các token theo sau.

Vậy bất cứ điều gì ở đây chỉ là biện minh sau khi đã có kết quả cho lý do tại sao đây là câu trả lời, ừ, vì câu trả lời đã được tạo ra, nó đã ở trong cửa sổ token, nên nó thực sự không được tính toán ở đây.

Ừm, và vì vậy nếu bạn trả lời câu hỏi một cách trực tiếp và ngay lập tức, bạn

Đang huấn luyện mô hình cố gắng cơ bản đoán câu trả lời trong một token duy nhất, và điều đó sẽ không hiệu quả vì lượng tính toán hữu hạn xảy ra trên mỗi token.

Đó là lý do tại sao câu trả lời bên phải này tốt hơn đáng kể, vì chúng ta đang phân phối tính toán này trên toàn bộ câu trả lời.

Chúng ta thực sự đang khiến mô hình từ từ đi đến câu trả lời

Từ trái sang phải.

Chúng ta đang nhận được các kết quả trung gian, chúng ta nói được rồi, tổng chi phí của cam là bốn, vậy 30 - 4 là 9, và vì vậy chúng ta đang tạo ra các phép tính trung gian, và mỗi phép tính này tự nó không quá tốn kém.

Và vì vậy chúng ta thực sự cơ bản đang đoán một chút về độ khó mà mô hình có thể làm được trong bất kỳ một trong những

Token riêng lẻ này, và không bao giờ có thể có quá nhiều công việc trong bất kỳ một token nào về mặt tính toán, vì nếu không mô hình sẽ không thể làm được điều đó sau này ở thời điểm kiểm tra.

Và vì vậy chúng ta đang dạy mô hình ở đây cách trải rộng lý luận và trải rộng tính toán của nó trên các token, và theo cách này nó chỉ có những vấn đề rất đơn giản trong mỗi token, và chúng có thể cộng dồn, và sau đó khi nó

Gần cuối, nó có tất cả các kết quả trước đó trong bộ nhớ làm việc của mình, và nó dễ dàng hơn nhiều để xác định rằng câu trả lời là—và đây rồi—ba.

Vì vậy đây là một nhãn tốt hơn đáng kể cho tính toán của chúng ta.

Điều này sẽ thực sự tồi tệ và đang dạy mô hình cố gắng thực hiện tất cả tính toán trong một token duy nhất, và nó thực sự tồi tệ.

Vì vậy, ừm, đó là một điều thú vị cần ghi nhớ là trong

Các câu lệnh của bạn, ừm, thường không cần phải nghĩ về nó một cách rõ ràng vì ừm những người ở Open AI có những người gán nhãn và vân vân thực sự lo lắng về điều này, và họ đảm bảo rằng các câu trả lời được trải rộng.

Và vì vậy thực sự Open AI sẽ làm điều đúng đắn.

Vì vậy khi tôi hỏi câu hỏi này cho Chat GPT, nó thực sự sẽ đi rất chậm, nó sẽ như kiểu được rồi, hãy định nghĩa

Các biến, thiết lập phương trình, và nó đang tạo ra tất cả các kết quả trung gian này.

Những thứ này không dành cho bạn, chúng dành cho mô hình.

Nếu mô hình không tạo ra những kết quả trung gian này cho chính nó, nó sẽ không thể đạt được ba.

Tôi cũng muốn cho bạn thấy rằng có thể hơi ác ý với mô hình.

Ừm, chúng ta có thể chỉ cần yêu cầu mọi thứ.

Vì vậy như một ví dụ, tôi đã nói tôi đã đưa cho nó

Câu lệnh ừm hoàn toàn giống nhau và tôi nói trả lời câu hỏi trong một token duy nhất, chỉ ngay lập tức cho tôi câu trả lời, không gì khác.

Và hóa ra là đối với câu lệnh ừm đơn giản ở đây, nó thực sự có thể làm được trong một lần.

Vì vậy nó chỉ tạo ra một—tôi nghĩ đây là hai token, đúng không?

Ừm, vì dấu đô la là token riêng của nó.

Vì vậy cơ bản mô hình này không cho tôi một token duy nhất, nó

Cho tôi hai token, nhưng nó vẫn tạo ra câu trả lời đúng, và nó làm điều đó trong một lần truyền xuôi của mạng.

Bây giờ đó là vì các con số ở đây tôi nghĩ rất đơn giản.

Và vì vậy tôi đã làm cho nó khó hơn một chút để hơi ác ý với mô hình.

Vì vậy tôi nói Emily mua 23 quả táo và 177 quả cam, và sau đó tôi chỉ làm cho các con số lớn hơn một chút, và tôi chỉ đang làm cho nó khó hơn cho mô hình.

Tôi đang yêu cầu nó tính toán nhiều hơn trong một token duy nhất, và vì vậy tôi đã nói điều tương tự, và ở đây nó cho tôi năm, và năm thực sự không đúng.

Vì vậy mô hình đã thất bại trong việc thực hiện tất cả tính toán này trong một lần truyền xuôi của mạng.

Nó thất bại trong việc đi từ các token đầu vào và sau đó trong một lần truyền xuôi của mạng, một lần đi qua mạng, nó không thể tạo ra kết quả.

Và sau đó tôi

Nói được rồi, bây giờ đừng lo lắng về giới hạn token và chỉ giải quyết vấn đề như bình thường.

Và sau đó nó đi tất cả các kết quả trung gian, nó đơn giản hóa, và mỗi một trong những kết quả trung gian này và các phép tính trung gian đều dễ dàng hơn nhiều cho mô hình, và ừm nó không quá nhiều công việc trên mỗi token.

Tất cả các token ở đây đều đúng, và nó đưa ra giải pháp, đó là bảy.

Và tôi

Chỉ không thể ép tất cả công việc này, nó không thể ép điều đó vào một lần truyền xuôi của mạng.

Vì vậy tôi nghĩ đó chỉ là một ví dụ dễ thương và là điều đáng để suy nghĩ, và tôi nghĩ nó lại một lần nữa chỉ mang tính làm sáng tỏ về cách những mô hình ừm này hoạt động.

Điều cuối cùng tôi muốn nói về chủ đề này là nếu tôi đang trong thực tế—là cố gắng thực sự giải quyết điều này

Trong cuộc sống hàng ngày của mình, tôi có thể thực sự không ừm tin rằng mô hình tính toán đúng tất cả các phép tính trung gian ở đây.

Vì vậy thực sự có lẽ điều tôi làm là một cái gì đó như thế này: Tôi sẽ đến đây và tôi sẽ nói sử dụng code, và ừm đó là vì code là một trong những công cụ khả thi mà Chat GPT có thể sử dụng.

Và thay vì nó phải làm tính nhẩm như thế này, tính nhẩm ở đây, tôi không

Hoàn toàn tin tưởng nó, và đặc biệt nếu các con số trở nên thực sự lớn, không có gì đảm bảo rằng mô hình sẽ làm điều này một cách chính xác.

Bất kỳ bước trung gian nào trong số này về nguyên tắc đều có thể thất bại.

Chúng ta đang sử dụng mạng nơ-ron để làm tính nhẩm, ừm, kiểu như bạn làm tính nhẩm trong não của mình.

Nó có thể chỉ như ừm làm hỏng một số kết quả trung gian.

Nó thực sự kiểu

Thật đáng kinh ngạc là nó thậm chí có thể làm loại tính nhẩm này.

Tôi không nghĩ mình có thể làm điều này trong đầu, nhưng về cơ bản mô hình giống như đang làm điều đó trong đầu nó, và tôi không tin tưởng điều đó.

Vì vậy tôi muốn sử dụng các công cụ.

Vì vậy bạn có thể nói những thứ như sử dụng mã, và uh tôi không chắc chuyện gì đã xảy ra ở đó, sử dụng mã, và vì vậy um như tôi đã đề cập có một công cụ đặc biệt, và uh mô hình có thể

Viết mã, và tôi có thể kiểm tra rằng mã này là đúng, và sau đó uh nó không dựa vào tính nhẩm của mình, nó đang sử dụng trình thông dịch Python, một ngôn ngữ lập trình rất đơn giản, về cơ bản để uh viết ra mã tính toán kết quả.

Và cá nhân tôi sẽ tin tưởng điều này hơn nhiều vì nó đến từ một chương trình Python, mà tôi nghĩ có nhiều đảm bảo về tính đúng đắn hơn

So với tính nhẩm của một mô hình ngôn ngữ.

Uh, vì vậy chỉ là um một loại gợi ý tiềm năng khác rằng nếu bạn gặp những vấn đề kiểu này, uh, bạn có thể muốn về cơ bản chỉ uh yêu cầu mô hình sử dụng trình thông dịch mã.

Và giống như chúng ta đã thấy với tìm kiếm web, mô hình có các loại token đặc biệt uh để gọi—uh, giống như nó sẽ không thực sự tạo ra những token này từ mô hình ngôn ngữ

Mô hình.

Nó sẽ viết chương trình và sau đó nó thực sự gửi chương trình đó đến một phần khác của máy tính để thực sự chỉ chạy chương trình đó và mang lại kết quả, và sau đó mô hình có quyền truy cập vào kết quả đó và có thể cho bạn biết rằng được, chi phí của mỗi quả táo là bảy.

Um, vì vậy đó là một loại công cụ khác, và tôi sẽ sử dụng điều này trong thực tế cho chính bạn,

Và nó um yeah, nó chỉ uh ít dễ xảy ra lỗi hơn, tôi sẽ nói vậy.

Vì vậy đó là lý do tại sao tôi gọi phần này là mô hình cần token để suy nghĩ.

Phân phối tính toán của bạn qua nhiều token.

Yêu cầu mô hình tạo ra các kết quả trung gian, hoặc bất cứ khi nào bạn có thể dựa vào các công cụ và việc sử dụng công cụ thay vì để mô hình làm tất cả mọi thứ trong bộ nhớ của chúng.

Vì vậy nếu chúng cố gắng làm tất cả trong bộ nhớ của mình, tôi không hoàn toàn tin tưởng điều đó

Và thích sử dụng các công cụ bất cứ khi nào có thể.

Tôi muốn cho bạn thấy một ví dụ nữa về nơi điều này thực sự xuất hiện, và đó là trong việc đếm.

Vì vậy các mô hình thực sự không giỏi đếm vì lý do chính xác giống như vậy.

Bạn đang yêu cầu quá nhiều trong một token riêng lẻ.

Vì vậy hãy để tôi cho bạn thấy một ví dụ đơn giản về điều đó.

Um, có bao nhiêu dấu chấm ở dưới đây?

Và sau đó tôi chỉ đặt vào một loạt

Các dấu chấm, và Chach nói có, và sau đó nó chỉ cố gắng giải quyết vấn đề trong một token duy nhất.

Vì vậy trong một token duy nhất nó phải đếm số lượng dấu chấm trong cửa sổ ngữ cảnh của mình, um, và nó phải làm điều đó trong một lượt truyền xuôi duy nhất của mạng.

Và một lượt truyền xuôi duy nhất của mạng, như chúng ta đã nói, không có nhiều tính toán có thể xảy ra ở đó.

Chỉ cần nghĩ về điều đó

Như là có rất ít tính toán xảy ra ở đó.

Vì vậy nếu tôi chỉ nhìn vào những gì mô hình thấy, hãy đi đến LM, đi đến tokenizer, nó thấy uh cái này có bao nhiêu dấu chấm ở dưới đây, và sau đó hóa ra những dấu chấm ở đây, nhóm này tôi nghĩ là 20 dấu chấm, là một token duy nhất, và sau đó nhóm này dù nó là gì thì là một token khác, và sau đó vì lý do nào đó chúng chia tách như thế này.

Vì vậy tôi không

Thực sự—điều này liên quan đến chi tiết của tokenizer, nhưng hóa ra là um mô hình về cơ bản thấy ID token này, này, v.v., và sau đó từ những ID token này nó được kỳ vọng sẽ đếm số lượng, và tiết lộ trước, không phải 161, mà thực sự tôi tin là 177.

Vì vậy đây là những gì chúng ta có thể làm thay vào đó.

Uh, chúng ta có thể nói sử dụng mã, và bạn có thể mong đợi rằng tại sao điều này lại hoạt động?

Và nó

Thực sự khá tinh tế và khá thú vị.

Vì vậy khi tôi nói sử dụng mã, tôi thực sự mong đợi điều này hoạt động.

Hãy xem.

Được rồi, 177 là đúng.

Vì vậy điều xảy ra ở đây là tôi thực sự—nó không có vẻ như vậy, nhưng tôi đã chia nhỏ vấn đề thành những vấn đề dễ hơn cho mô hình.

Tôi biết rằng mô hình không thể đếm, nó không thể đếm nhẩm, nhưng tôi biết rằng mô hình thực sự khá giỏi trong việc

Sao chép dán.

Vì vậy những gì tôi làm ở đây là khi tôi nói sử dụng mã, nó tạo ra một chuỗi trong Python cho điều này, và nhiệm vụ về cơ bản là sao chép dán đầu vào của tôi ở đây sang đây rất đơn giản vì đối với mô hình um nó thấy chuỗi này của uh nó thấy nó chỉ là bốn token này hay gì đó.

Vì vậy rất đơn giản cho mô hình để sao chép dán những ID token đó và um kiểu như giải nén chúng thành các dấu chấm

Ở đây.

Và vì vậy nó tạo ra chuỗi này và sau đó nó gọi quy trình python.

Đếm, và sau đó nó đưa ra câu trả lời đúng.

Vì vậy trình thông dịch Python đang thực hiện việc đếm, không phải tính nhẩm của mô hình đang thực hiện việc đếm.

Vì vậy nó lại là một ví dụ đơn giản về um mô hình cần token để suy nghĩ.

Đừng dựa vào tính nhẩm của chúng, và um đó cũng là lý do tại sao các mô hình không giỏi đếm lắm.

Nếu bạn cần chúng thực hiện các nhiệm vụ đếm, hãy luôn yêu cầu chúng dựa vào công cụ.

Hiện nay các mô hình cũng có nhiều thiếu sót nhận thức nhỏ khác ở đây đó, và đây giống như những cạnh sắc của công nghệ mà bạn cần dần nhận thức được theo thời gian.

Ví dụ, các mô hình không giỏi lắm với mọi loại nhiệm vụ liên quan đến chính tả.

Chúng không giỏi việc đó lắm, và tôi đã nói với bạn rằng chúng ta sẽ

Quay lại vấn đề token hóa, và lý do là các mô hình không nhìn thấy các ký tự, chúng nhìn thấy các token, và toàn bộ thế giới của chúng xoay quanh các token, tức là những đoạn văn bản nhỏ này.

Và vì vậy chúng không nhìn thấy các ký tự như mắt chúng ta, nên các nhiệm vụ đơn giản ở cấp độ ký tự thường thất bại.

Ví dụ, tôi đưa cho nó một chuỗi 'ubiquitous', và tôi yêu cầu nó in

Chỉ mỗi ký tự thứ ba bắt đầu từ ký tự đầu tiên.

Vậy chúng ta bắt đầu với U, rồi cứ mỗi thứ ba, tức là 1, 2, 3, Q sẽ là tiếp theo, và cứ thế.

Vậy cái này tôi thấy là không đúng, và một lần nữa giả thuyết của tôi là ở đây lại là số học bị lỗi một chút, nhưng thứ hai, tôi nghĩ vấn đề quan trọng hơn ở đây là nếu bạn vào Tik

Tokenizer và bạn nhìn vào 'ubiquitous', chúng ta thấy nó là ba token, đúng không?

Vậy bạn và tôi nhìn thấy 'ubiquitous' và chúng ta có thể dễ dàng truy cập từng chữ cái vì chúng ta nhìn thấy chúng, và khi chúng ta giữ nó trong bộ nhớ làm việc của trường thị giác, chúng ta có thể dễ dàng đánh chỉ mục vào mỗi chữ cái thứ ba, và tôi có thể làm được nhiệm vụ đó.

Nhưng các mô hình không có quyền truy cập vào từng chữ cái, chúng nhìn thấy cái này như

Ba token này, và hãy nhớ rằng các mô hình này được huấn luyện từ đầu trên internet, và tất cả các token này về cơ bản mô hình phải khám phá xem có bao nhiêu chữ cái khác nhau được đóng gói vào tất cả các token khác nhau này.

Và lý do chúng ta thậm chí sử dụng token chủ yếu là để hiệu quả, nhưng tôi nghĩ nhiều người quan tâm đến việc loại bỏ token hoàn toàn, kiểu như chúng ta thực sự nên

Có các mô hình ở cấp độ ký tự hoặc cấp độ byte.

Chỉ là điều đó sẽ tạo ra các chuỗi rất dài và mọi người chưa biết cách xử lý điều đó ngay bây giờ.

Vì vậy trong khi chúng ta còn ở thế giới token, bất kỳ loại nhiệm vụ chính tả nào thực sự không được mong đợi hoạt động siêu tốt.

Vì tôi biết rằng chính tả không phải là điểm mạnh do token hóa, tôi có thể lại yêu cầu nó dựa vào công cụ.

Vậy tôi có thể chỉ nói

Sử dụng code, và tôi lại mong đợi điều này hoạt động vì nhiệm vụ sao chép 'ubiquitous' vào trình thông dịch Python dễ hơn nhiều, và sau đó chúng ta dựa vào trình thông dịch Python để thao tác các ký tự của chuỗi này.

Vậy khi tôi nói sử dụng code 'ubiquitous', đúng, nó đánh chỉ mục vào mỗi ký tự thứ ba, và sự thật thực tế là u2s uqs, trông có vẻ đúng với tôi.

Vậy ừm

Lại là một ví dụ về các nhiệm vụ liên quan đến chính tả không hoạt động tốt lắm.

Một ví dụ rất nổi tiếng gần đây là có bao nhiêu chữ R trong 'strawberry', và điều này đã lan truyền nhiều lần, và về cơ bản các mô hình hiện nay trả lời đúng, chúng nói có ba chữ R trong Strawberry, nhưng trong một thời gian rất dài tất cả các mô hình tiên tiến nhất đều khăng khăng rằng chỉ có hai chữ R trong strawberry, và điều này gây ra

Rất nhiều ồn ào vì đó có phải là một từ không tôi nghĩ vậy vì ừm nó kiểu như tại sao các mô hình lại thông minh đến vậy và chúng có thể giải các câu hỏi Olympic toán học nhưng lại không thể đếm chữ R trong strawberry và câu trả lời cho điều đó một lần nữa là tôi đã dẫn dắt đến nó một cách từ từ nhưng thứ nhất các mô hình không nhìn thấy ký tự chúng nhìn thấy token và thứ hai chúng không giỏi lắm trong việc

Đếm và vì vậy ở đây chúng ta đang kết hợp khó khăn của việc nhìn thấy các ký tự với khó khăn của việc đếm và đó là lý do tại sao các mô hình gặp khó khăn với điều này mặc dù tôi nghĩ đến giờ thành thật mà nói tôi nghĩ OpenAI có thể đã mã hóa cứng câu trả lời ở đây hoặc tôi không chắc họ đã làm gì nhưng ừm nhưng truy vấn cụ thể này hiện đã hoạt động vậy các mô hình không giỏi chính tả và có một loạt các

Cạnh sắc nhỏ khác và tôi không muốn đi sâu vào tất cả chúng tôi chỉ muốn cho bạn thấy một vài ví dụ về những điều cần lưu ý và khi bạn sử dụng các mô hình này trong thực tế tôi thực sự không muốn có một phân tích toàn diện ở đây về tất cả các cách mà các mô hình bị thiếu sót tôi chỉ muốn nêu ra điểm rằng có một số cạnh lởm chởm ở đây đó và chúng ta đã thảo luận

Một vài trong số chúng và một vài trong số chúng có lý nhưng một số cũng sẽ không có lý lắm và chúng kiểu như khiến bạn gãi đầu ngay cả khi bạn hiểu sâu sắc cách các mô hình này hoạt động và một ví dụ điển hình gần đây là như sau các mô hình không giỏi lắm với những câu hỏi rất đơn giản như thế này và điều này gây sốc cho nhiều người vì

Những bài toán này có thể giải các bài toán phức tạp chúng có thể trả lời các câu hỏi vật lý hóa học sinh học cấp độ tiến sĩ tốt hơn tôi nhiều nhưng đôi khi chúng lại thất bại ở những bài toán siêu đơn giản như thế này vậy đây 9.11 lớn hơn 9.9 và nó biện minh theo một cách nào đó nhưng rõ ràng là không và rồi cuối cùng được rồi thực ra nó lật ngược quyết định của mình sau đó vậy ừm tôi không tin

Rằng điều này rất có thể tái lặp đôi khi nó lật ngược câu trả lời đôi khi nó đúng đôi khi nó sai ừm hãy thử lại được rồi mặc dù nó có thể trông lớn hơn được rồi vậy ở đây nó thậm chí không tự sửa lại vào cuối nếu bạn hỏi nhiều lần đôi khi nó cũng đúng nhưng làm sao mà mô hình có thể làm rất tốt các bài toán cấp Olympic nhưng

Rồi lại thất bại ở những bài toán rất đơn giản như thế này và ừm tôi nghĩ cái này như tôi đã đề cập hơi khó hiểu hóa ra là một nhóm người đã nghiên cứu điều này sâu sắc và tôi thực sự chưa đọc bài báo ừm nhưng điều tôi được nhóm này kể là khi bạn xem xét kỹ các kích hoạt bên trong mạng nơ-ron khi bạn nhìn vào một số đặc trưng và cái gì

Đặc trưng bật hoặc tắt và nơ-ron nào bật hoặc tắt ừm một loạt nơ-ron bên trong mạng nơ-ron sáng lên thường liên quan đến các câu Kinh Thánh và vì vậy tôi nghĩ mô hình kiểu như được nhắc nhở rằng những cái này gần giống như các dấu câu Kinh Thánh và trong bối cảnh câu Kinh Thánh 9.11 sẽ đến sau 99.9 và vì vậy về cơ bản mô hình bằng cách nào đó thấy nó như gây xao lãng nhận thức

Rằng trong các câu Kinh Thánh 9.11 sẽ lớn hơn ừm mặc dù ở đây nó thực sự đang cố biện minh và đi đến câu trả lời bằng toán học nó vẫn kết thúc với câu trả lời sai ở đây vậy về cơ bản nó không hoàn toàn có lý và không được hiểu hoàn toàn và ừm có một vài vấn đề lởm chởm như thế vậy đó là lý do hãy coi cái này như bản chất của nó đó là một hệ thống ngẫu nhiên

Thực sự kỳ diệu nhưng bạn cũng không thể hoàn toàn tin tưởng và bạn muốn sử dụng nó như một công cụ chứ không phải như thứ mà bạn kiểu như thả lỏng trên một vấn đề và sao chép kết quả được rồi vậy chúng ta đã đề cập đến hai giai đoạn chính của huấn luyện mô hình ngôn ngữ lớn chúng ta thấy rằng ở giai đoạn đầu tiên gọi là giai đoạn tiền huấn luyện về cơ bản chúng ta huấn luyện trên các tài liệu internet và khi

Bạn huấn luyện một mô hình ngôn ngữ trên các tài liệu internet bạn nhận được cái gọi là mô hình cơ sở và về cơ bản nó là một trình mô phỏng tài liệu internet hiện tại chúng ta thấy rằng đây là một tạo tác thú vị và ừm việc này mất nhiều tháng để huấn luyện trên hàng nghìn máy tính và nó giống như nén mất dữ liệu của internet và cực kỳ thú vị nhưng không trực tiếp hữu ích vì chúng ta không muốn

Lấy mẫu các tài liệu internet chúng ta muốn đặt câu hỏi cho một AI và để nó trả lời câu hỏi của chúng ta vì vậy để làm điều đó chúng ta cần một trợ lý và chúng ta thấy rằng chúng ta thực sự có thể xây dựng một trợ lý trong quá trình hậu huấn luyện và cụ thể là trong quá trình tinh chỉnh có giám sát như chúng ta gọi vậy ở giai đoạn này chúng ta thấy rằng về mặt thuật toán nó giống hệt tiền huấn luyện không có gì thay đổi

Điều duy nhất thay đổi là tập dữ liệu vậy thay vì tài liệu Internet bây giờ chúng ta muốn tạo và biên soạn một tập dữ liệu rất đẹp gồm các cuộc hội thoại vậy chúng ta muốn hàng triệu cuộc hội thoại về đủ loại chủ đề đa dạng giữa con người và trợ lý và về cơ bản những cuộc hội thoại này được tạo bởi con người vậy con người viết các lời nhắc và con người viết các phản hồi lý tưởng và

Họ làm điều đó dựa trên tài liệu gán nhãn hiện nay trong ngăn xếp hiện đại nó thực sự không được làm hoàn toàn và thủ công bởi con người đúng không họ thực sự hiện có rất nhiều sự trợ giúp từ các công cụ này vậy chúng ta có thể sử dụng các mô hình ngôn ngữ để giúp chúng ta tạo các tập dữ liệu này và điều đó được làm rộng rãi nhưng về cơ bản tất cả vẫn đến từ sự biên soạn của con người vào cuối cùng vậy chúng ta tạo ra những cuộc hội thoại này

Giờ đây trở thành tập dữ liệu của chúng ta chúng ta tinh chỉnh trên đó hoặc tiếp tục huấn luyện trên đó và chúng ta nhận được một trợ lý và sau đó chúng ta chuyển hướng và bắt đầu nói về một số hàm ý nhận thức về việc trợ lý này như thế nào và chúng ta thấy rằng ví dụ trợ lý sẽ ảo giác nếu bạn không thực hiện một số biện pháp giảm thiểu đối với nó vậy chúng ta thấy rằng ảo giác sẽ

Phổ biến và sau đó chúng ta xem xét một số biện pháp giảm thiểu những ảo giác đó và sau đó chúng ta thấy rằng các mô hình khá ấn tượng và có thể làm nhiều thứ trong đầu nhưng chúng ta thấy rằng chúng cũng có thể dựa vào công cụ để trở nên tốt hơn vậy ví dụ chúng ta có thể dựa vào tìm kiếm web để ảo giác ít hơn và có thể đưa ra một số thông tin gần đây hơn hoặc đại loại như vậy hoặc chúng ta

Có thể dựa vào các công cụ như trình thông dịch code để code có thể để LLM có thể viết một số code và thực sự chạy nó và xem kết quả vậy đây là một số chủ đề chúng ta đã xem xét cho đến nay ừm bây giờ điều tôi muốn làm là tôi muốn đề cập đến giai đoạn cuối cùng và chính của quy trình này và đó là học tăng cường vậy học tăng cường vẫn được coi là thuộc dưới ô của hậu huấn luyện ừm

Nhưng nó là giai đoạn chính thứ ba cuối cùng và nó là một cách huấn luyện mô hình ngôn ngữ khác và thường theo sau như bước thứ ba này vậy bên trong các công ty như OpenAI bạn sẽ bắt đầu ở đây và đây đều là các nhóm riêng biệt vậy có một nhóm làm dữ liệu cho tiền huấn luyện và một nhóm làm huấn luyện cho tiền huấn luyện và rồi có một nhóm làm tất cả việc tạo hội thoại trong một

Nhóm khác đang làm việc tinh chỉnh có giám sát và sẽ có một nhóm cho học tăng cường nữa vậy nó giống như một sự bàn giao các mô hình này bạn nhận mô hình cơ sở của mình rồi bạn thấy mình cần trở thành một trợ lý và sau đó bạn đi vào học tăng cường mà chúng ta sẽ nói về ừm bây giờ vậy đó là dòng chảy chính và vậy bây giờ hãy tập trung vào

Học tăng cường giai đoạn huấn luyện chính cuối cùng và trước tiên hãy để tôi thực sự tạo động lực cho nó và tại sao chúng ta muốn làm học tăng cường và nó trông như thế nào ở mức cao vậy bây giờ tôi muốn cố gắng tạo động lực cho giai đoạn học tăng cường và nó tương ứng với điều gì bằng một thứ mà bạn có thể đã quen thuộc và về cơ bản đó là đi học vậy chỉ

Như bạn đã đi học để trở nên thực sự giỏi ở một thứ gì đó chúng ta muốn đưa các mô hình ngôn ngữ lớn qua trường học và thực sự điều chúng ta đang làm là ừm chúng ta có một vài mô hình cách để cung cấp cho chúng kiến thức hoặc truyền kỹ năng vậy cụ thể khi chúng ta làm việc với sách giáo khoa ở trường bạn sẽ thấy rằng có ba loại thông tin chính trong những

Sách giáo khoa này ba loại thông tin thứ nhất bạn sẽ thấy là bạn sẽ thấy rất nhiều phần trình bày ừm và nhân tiện đây là một cuốn sách hoàn toàn ngẫu nhiên tôi lấy từ internet tôi nghĩ nó là một loại hóa hữu cơ gì đó tôi không chắc ừm nhưng điều quan trọng là bạn sẽ thấy rằng phần lớn văn bản phần lớn nó kiểu như phần cốt lõi là phần trình bày

Nó giống như kiến thức nền tảng v.v. khi bạn đọc qua các từ của phần trình bày này bạn có thể coi đó đại khái như huấn luyện trên dữ liệu đó vậy ừm và đó là lý do khi bạn đọc qua những thứ này kiến thức nền tảng này và tất cả thông tin ngữ cảnh này nó tương đương với tiền huấn luyện vậy nó là nơi chúng ta xây dựng một loại cơ sở kiến thức về

Dữ liệu này và có cảm nhận về chủ đề loại thông tin chính tiếp theo mà bạn sẽ thấy là những bài toán này và lời giải đã được làm sẵn của chúng vậy về cơ bản một chuyên gia con người trong trường hợp này là tác giả của cuốn sách này đã cho chúng ta không chỉ một bài toán mà còn làm qua lời giải và lời giải về cơ bản tương đương với việc có một phản hồi lý tưởng cho một trợ lý vậy nó

Về cơ bản chuyên gia đang cho chúng ta thấy cách giải bài toán ở dạng đầy đủ của nó vậy khi chúng ta đọc lời giải về cơ bản chúng ta đang huấn luyện trên dữ liệu chuyên gia và sau đó chúng ta có thể cố gắng bắt chước chuyên gia ừm và về cơ bản ừm điều đó đại khái tương ứng với việc có mô hình SFT đó là những gì nó sẽ làm vậy về cơ bản chúng ta đã làm

Tiền huấn luyện và chúng ta đã đề cập đến điều này rồi, ừm, bắt chước các chuyên gia và cách họ giải quyết những vấn đề này, và giai đoạn thứ ba của học tăng cường về cơ bản là các bài tập thực hành, vì vậy đôi khi bạn sẽ thấy đây chỉ là một bài tập thực hành duy nhất ở đây, nhưng tất nhiên thường sẽ có nhiều bài tập thực hành ở cuối mỗi chương trong bất kỳ sách giáo khoa nào và thực hành

Các bài tập tất nhiên chúng ta biết là rất quan trọng cho việc học bởi vì chúng khiến bạn làm gì? Chúng khiến bạn thực hành, ừm, để tự mình thực hành và khám phá cách giải quyết những vấn đề này, và vì vậy những gì bạn nhận được trong một bài tập thực hành là bạn nhận được mô tả vấn đề nhưng bạn không được đưa ra lời giải, nhưng bạn được đưa ra đáp án cuối cùng thường là trong phần đáp án

Của sách giáo khoa, và vì vậy bạn biết đáp án cuối cùng mà bạn đang cố gắng đạt được và bạn có đề bài nhưng bạn không có lời giải, bạn đang cố gắng thực hành lời giải, bạn đang thử nhiều thứ khác nhau và bạn đang xem cái gì đưa bạn đến lời giải cuối cùng tốt nhất, và vì vậy bạn đang khám phá cách giải quyết những vấn đề này, và trong quá trình đó bạn đang

Dựa vào thứ nhất là thông tin nền tảng đến từ tiền huấn luyện và thứ hai có thể là một chút bắt chước các chuyên gia con người và bạn có thể thử những loại giải pháp tương tự, v.v. Vậy chúng ta đã làm cái này và cái kia, và bây giờ trong phần này chúng ta sẽ cố gắng thực hành, và vì vậy chúng ta sẽ được đưa ra các gợi ý, chúng ta sẽ được đưa ra các giải pháp, ừ xin lỗi, các

Đáp án cuối cùng nhưng chúng ta sẽ không được đưa ra các giải pháp chuyên gia, chúng ta phải thực hành và thử nghiệm, và đó là những gì học tăng cường hướng đến. Được rồi, vậy hãy quay lại vấn đề mà chúng ta đã làm việc trước đó để chúng ta có một ví dụ cụ thể để thảo luận khi chúng ta khám phá chủ đề ở đây. Vậy ừm, tôi đang ở trong Teck tokenizer bởi vì tôi cũng muốn, à

Tôi có một hộp văn bản, điều này hữu ích, nhưng thứ hai tôi muốn nhắc bạn một lần nữa rằng chúng ta luôn làm việc với các chuỗi token một chiều, và vì vậy ừm, tôi thực sự thích chế độ xem này hơn vì đây giống như chế độ xem gốc của LLM, nếu điều đó hợp lý, giống như đây là những gì nó thực sự nhìn thấy, nó nhìn thấy các ID token, đúng không. Vậy Emily mua ba quả táo và hai quả cam, mỗi quả cam giá 2 đô la, tổng chi phí

Của tất cả trái cây là 13 đô la, giá của mỗi quả táo là bao nhiêu, và điều tôi muốn bạn đánh giá cao ở đây là đây giống như bốn giải pháp ứng viên khả thi như một ví dụ và tất cả chúng đều đạt được câu trả lời là ba. Bây giờ điều tôi muốn bạn đánh giá cao ở thời điểm này là nếu tôi là người gán nhãn dữ liệu con người đang tạo ra một cuộc hội thoại để đưa vào tập huấn luyện, tôi thực sự không

Biết cuộc hội thoại nào trong số này để ừm thêm vào tập dữ liệu, một số cuộc hội thoại thiết lập hệ phương trình, một số thì chỉ nói qua bằng tiếng Anh và một số thì chỉ bỏ qua thẳng đến lời giải. Ừm, nếu bạn nhìn vào ChatGPT chẳng hạn và bạn đưa cho nó câu hỏi này, nó định nghĩa một hệ biến và nó làm điều nhỏ nhặt này, điều

Chúng ta phải đánh giá cao và phân biệt là ừm, mục đích đầu tiên của một lời giải là đạt được câu trả lời đúng, tất nhiên chúng ta muốn đạt được đáp án cuối cùng là ba, đó là mục đích quan trọng ở đây, nhưng cũng có một mục đích thứ yếu nữa, đó là ở đây chúng ta cũng chỉ đang cố gắng làm cho nó trông đẹp ừm cho con người bởi vì chúng ta đang giả định

Rằng người đó muốn xem lời giải, họ muốn xem các bước trung gian, chúng ta muốn trình bày nó đẹp đẽ, v.v. Vậy có hai việc riêng biệt đang diễn ra ở đây, thứ nhất là cách trình bày cho con người, nhưng thứ hai là chúng ta đang cố gắng thực sự đạt được câu trả lời đúng. Vậy hãy tạm thời tập trung chỉ vào việc đạt được đáp án cuối cùng, nếu chúng ta chỉ quan tâm đến

Đáp án cuối cùng thì cái nào trong số này là gợi ý tối ưu hoặc tốt nhất, ừm xin lỗi, giải pháp tốt nhất để LLM đạt được câu trả lời đúng, ừm, và điều tôi đang cố gắng nói là chúng ta không biết, tôi với tư cách là người gán nhãn con người sẽ không biết cái nào trong số này là tốt nhất. Ví dụ, chúng ta đã thấy trước đó khi chúng ta xem xét ừm các chuỗi token ở đây và số học tinh thần và lý luận, chúng ta đã thấy

Rằng với mỗi token chúng ta chỉ có thể dành về cơ bản một số lượng tính toán hữu hạn, không lớn lắm, hoặc bạn nên nghĩ về nó theo cách đó, và vì vậy chúng ta thực sự không thể tạo ra một bước nhảy quá lớn trong bất kỳ token nào, có lẽ đó là cách để nghĩ về nó. Ví dụ, trong cái này, điều thực sự tốt là nó có rất ít token, vì vậy sẽ mất rất ít

Thời gian để đạt được câu trả lời, nhưng ngay ở đây khi chúng ta thực hiện 30 - 4 chia 3 bằng, ngay trong token này, chúng ta thực sự đang yêu cầu rất nhiều tính toán xảy ra trên một token riêng lẻ đó, và vì vậy có lẽ đây là một ví dụ tồi để đưa cho LLM bởi vì nó đang khuyến khích nó bỏ qua các phép tính rất nhanh và nó sẽ thực sự tạo ra sai lầm, mắc

Sai lầm trong số học tinh thần này, ừm, vì vậy có lẽ sẽ hiệu quả hơn nếu trải rộng nó ra nhiều hơn, có lẽ sẽ tốt hơn nếu thiết lập nó như một phương trình, có lẽ sẽ tốt hơn nếu nói qua nó. Về cơ bản chúng ta không biết và chúng ta không biết bởi vì điều gì dễ với bạn hoặc tôi với tư cách là người gán nhãn con người, điều gì dễ hoặc khó với chúng ta thì khác với điều gì dễ hoặc khó

Đối với LLM, nhận thức của nó khác biệt, ừm, và các chuỗi token thì giống như khó khăn khác nhau đối với nó, và vì vậy một số chuỗi token ở đây tầm thường với tôi có thể là ừm một bước nhảy quá lớn đối với LLM. Vậy ngay ở đây token này sẽ quá khó, nhưng ngược lại nhiều token mà tôi đang tạo ra ở đây có thể chỉ là tầm thường với LLM và chúng ta chỉ đang lãng phí token

Giống như tại sao lại lãng phí tất cả những token này khi tất cả đều tầm thường. Vậy nếu điều duy nhất chúng ta quan tâm là đáp án cuối cùng và chúng ta tách riêng vấn đề trình bày cho con người, ừm, thì chúng ta thực sự không biết cách gán nhãn ví dụ này, chúng ta không biết nên đưa cho LLM giải pháp nào bởi vì chúng ta không phải là LLM, và điều này rõ ràng trong trường hợp ví dụ toán học, nhưng đây là

Thực sự là một vấn đề rất phổ biến, giống như kiến thức của chúng ta không phải là kiến thức của LLM, LLM thực sự có rất nhiều kiến thức ở trình độ tiến sĩ về toán, vật lý, hóa học, v.v., vì vậy theo nhiều cách nó thực sự biết nhiều hơn tôi và tôi có thể không sử dụng kiến thức đó trong việc giải quyết vấn đề của nó, nhưng ngược lại tôi có thể đang đưa vào một loạt kiến thức trong các giải pháp của mình mà

LLM không biết trong các tham số của nó và sau đó đó là những bước nhảy đột ngột rất khó hiểu đối với mô hình, và vì vậy nhận thức của chúng ta khác nhau và tôi thực sự không biết nên đặt gì ở đây nếu tất cả những gì chúng ta quan tâm là đạt được giải pháp cuối cùng và làm điều đó một cách tiết kiệm, lý tưởng nhất. Và vậy câu chuyện dài dòng ngắn gọn là chúng ta không ở vị trí tốt để tạo ra những chuỗi token này cho LLM và

Chúng hữu ích thông qua bắt chước để khởi tạo hệ thống, nhưng chúng ta thực sự muốn LLM tự khám phá các chuỗi token phù hợp với nó, chúng ta cần tìm, nó cần tự tìm ra chuỗi token nào đáng tin cậy dẫn đến câu trả lời với gợi ý đã cho và nó cần khám phá điều đó trong quá trình học tăng cường và thử và sai. Vậy hãy xem ví dụ này sẽ hoạt động như thế nào trong học tăng cường

Được rồi, vậy bây giờ chúng ta quay lại sân chơi suy luận của Hugging Face và ừm, nó cho phép tôi gọi rất dễ dàng các loại mô hình khác nhau. Ví dụ ở đây, ở góc trên bên phải tôi đã chọn mô hình Gemma 2 tỷ tham số, vậy hai tỷ là rất nhỏ, đây là một mô hình nhỏ nhưng không sao. Chúng ta sẽ đưa cho nó ừm, cách mà học tăng cường về cơ bản sẽ

Hoạt động thực sự khá đơn giản, ừm, chúng ta cần thử nhiều loại giải pháp khác nhau và chúng ta muốn xem giải pháp nào hoạt động tốt hay không. Vậy về cơ bản chúng ta sẽ lấy gợi ý, chạy mô hình và mô hình tạo ra một giải pháp, sau đó chúng ta sẽ kiểm tra giải pháp và chúng ta biết rằng câu trả lời đúng cho cái này là 3 đô la, và thực vậy mô hình làm đúng, nó nói là

3 đô la, vậy cái này đúng, đó chỉ là một lần thử cho giải pháp này. Bây giờ chúng ta sẽ xóa cái này và chạy lại, hãy thử lần thứ hai. Vậy mô hình giải nó theo cách hơi khác một chút, đúng không, mỗi lần thử sẽ là một thế hệ khác nhau bởi vì những mô hình này là hệ thống ngẫu nhiên, hãy nhớ rằng ở mỗi token ở đây chúng ta có một

Phân phối xác suất và chúng ta lấy mẫu từ phân phối đó, vì vậy chúng ta đi theo những con đường hơi khác nhau, và đây là giải pháp thứ hai cũng kết thúc bằng câu trả lời đúng. Bây giờ chúng ta sẽ xóa cái đó, hãy thử lần thứ ba, được rồi, lại một giải pháp hơi khác nhưng cũng đúng. Bây giờ chúng ta thực sự có thể lặp lại điều này ừm nhiều lần và trong thực tế bạn

Có thể thực sự lấy mẫu hàng nghìn giải pháp độc lập hoặc thậm chí hàng triệu giải pháp cho chỉ một gợi ý, ừm, và một số sẽ đúng và một số sẽ không đúng lắm, và về cơ bản điều chúng ta muốn làm là khuyến khích các giải pháp dẫn đến câu trả lời đúng. Vậy hãy xem điều đó trông như thế nào, nếu chúng ta quay lại đây là

Giống như một sơ đồ hoạt hình về những gì đang diễn ra, chúng ta có một gợi ý và sau đó chúng ta thử nhiều giải pháp khác nhau song song và một số giải pháp ừm có thể đi tốt, chúng đạt được câu trả lời đúng, được tô màu xanh lá cây, và một số giải pháp có thể đi kém và có thể không đạt được câu trả lời đúng, được tô màu đỏ. Bây giờ vấn đề ở đây thật không may không phải là ví dụ tốt nhất bởi vì nó là một

Gợi ý tầm thường và như chúng ta đã thấy, ừm, ngay cả một mô hình 2 tỷ tham số cũng luôn làm đúng, vì vậy nó không phải là ví dụ tốt nhất theo nghĩa đó, nhưng hãy tưởng tượng một chút và giả sử rằng ừm những cái màu xanh lá cây là tốt và những cái màu đỏ là xấu, được rồi. Vậy chúng ta đã tạo ra 15 giải pháp, chỉ có bốn trong số đó đạt được câu trả lời đúng, và bây giờ điều chúng ta muốn làm về cơ bản là khuyến khích những loại

Giải pháp dẫn đến câu trả lời đúng. Vậy bất kỳ chuỗi token nào xảy ra trong những giải pháp màu đỏ này, rõ ràng có điều gì đó đã sai ở đâu đó trên đường đi và ừm, đây không phải là một con đường tốt để đi qua lời giải, và bất kỳ chuỗi token nào có trong những giải pháp màu xanh lá cây này, thì mọi thứ diễn ra khá tốt trong tình huống này, và vì vậy chúng ta muốn làm nhiều điều tương tự trong những gợi ý như

Thế này, và cách chúng ta khuyến khích loại hành vi này trong tương lai là về cơ bản chúng ta huấn luyện trên những chuỗi này, ừm, nhưng những chuỗi huấn luyện này bây giờ không đến từ những người gán nhãn chuyên gia con người, không có con người nào quyết định rằng đây là giải pháp đúng, giải pháp này đến từ chính mô hình, vì vậy mô hình đang thực hành ở đây, nó đã thử một vài giải pháp, bốn trong số đó có vẻ đã

Hoạt động và bây giờ mô hình sẽ huấn luyện trên chúng, và điều này tương ứng với một học sinh về cơ bản nhìn vào các giải pháp của mình và nói, được rồi, cái này hoạt động thực sự tốt, vậy đây là cách tôi nên giải những loại vấn đề này, và ừm, trong ví dụ này có nhiều cách khác nhau để thực sự điều chỉnh phương pháp một chút ở đây, nhưng chỉ

Để truyền đạt ý tưởng cốt lõi, có lẽ đơn giản nhất là nghĩ về việc lấy giải pháp tốt nhất duy nhất trong bốn cái này, ừm, giống như nói cái này, đó là lý do tại sao nó màu vàng, ừm, vậy đây là giải pháp không chỉ dẫn đến câu trả lời đúng mà có thể còn có một số thuộc tính tốt khác, có thể nó là cái ngắn nhất hoặc nó trông đẹp nhất theo một cách nào đó hoặc ừm có những tiêu chí khác bạn có thể nghĩ

Đến như một ví dụ, nhưng chúng ta sẽ quyết định rằng đây là giải pháp hàng đầu, chúng ta sẽ huấn luyện trên nó, và sau đó ừm mô hình sẽ có khả năng cao hơn một chút sau khi cập nhật tham số để đi theo con đường này trong loại tình huống này trong tương lai, nhưng bạn phải nhớ rằng chúng ta sẽ chạy nhiều gợi ý đa dạng khác nhau trên nhiều bài toán và bài vật lý và

Bất cứ nơi nào có thể, vậy hàng chục nghìn gợi ý, có thể hãy nghĩ đến hàng nghìn giải pháp cho mỗi gợi ý, và vì vậy tất cả điều này đang diễn ra cùng một lúc và khi chúng ta lặp lại quá trình này, mô hình đang tự khám phá loại chuỗi token nào dẫn nó đến câu trả lời đúng, nó không đến từ người gán nhãn con người, mô hình giống như

Đang chơi trong sân chơi này và nó biết nó đang cố gắng đạt được điều gì và nó đang khám phá những chuỗi phù hợp với nó, ừm, đây là những chuỗi không tạo ra bất kỳ bước nhảy tinh thần nào, ừm, chúng có vẻ hoạt động đáng tin cậy và thống kê và ừm sử dụng đầy đủ kiến thức của mô hình như nó có, và vì vậy ừm đây là quá trình học tăng cường, về cơ bản nó là đoán và kiểm tra, chúng ta sẽ đoán nhiều

Loại giải pháp khác nhau, chúng ta sẽ kiểm tra chúng và chúng ta sẽ làm nhiều hơn những gì hiệu quả trong tương lai, và đó là ừm học tăng cường. Vậy trong bối cảnh những gì đã nói trước đó, chúng ta thấy bây giờ rằng mô hình SFT, mô hình tinh chỉnh có giám sát, nó vẫn hữu ích bởi vì nó vẫn khởi tạo mô hình một chút đến gần các giải pháp đúng, vì vậy nó giống như

Một sự khởi tạo ừm của mô hình theo nghĩa nó khiến mô hình, bạn biết đấy, đưa ra các giải pháp như viết ra các giải pháp và có thể nó hiểu về việc thiết lập hệ phương trình hoặc có thể nó nói qua một lời giải, vì vậy nó đưa bạn đến gần các giải pháp đúng, nhưng học tăng cường là nơi mọi thứ được tinh chỉnh, chúng ta thực sự

Khám phá các giải pháp phù hợp với mô hình, đạt được câu trả lời đúng, chúng ta khuyến khích chúng và sau đó mô hình chỉ trở nên tốt hơn theo thời gian. Được rồi, đó là quy trình cấp cao về cách chúng ta huấn luyện các mô hình ngôn ngữ lớn, tóm lại chúng ta huấn luyện chúng khá giống cách chúng ta huấn luyện trẻ em và về cơ bản sự khác biệt duy nhất là trẻ em đi qua các chương sách và chúng làm tất cả những

Loại bài tập huấn luyện khác nhau ừm trong chương của mỗi cuốn sách, nhưng thay vào đó khi chúng ta huấn luyện AI, gần như chúng ta làm theo từng giai đoạn tùy thuộc vào loại giai đoạn đó. Đầu tiên chúng ta làm tiền huấn luyện, như chúng ta đã thấy tương đương với ừm về cơ bản là đọc tất cả tài liệu giải thích, vì vậy chúng ta nhìn vào tất cả sách giáo khoa cùng một lúc và

Chúng ta đọc tất cả phần giải thích và chúng ta cố gắng xây dựng một cơ sở kiến thức. Điều thứ hai sau đó là chúng ta đi vào giai đoạn SFT, thực sự là nhìn vào tất cả các giải pháp cố định ừm, kiểu như từ các chuyên gia con người về tất cả các loại giải pháp đã được làm qua trong tất cả sách giáo khoa và chúng ta chỉ có được một mô hình SFT có thể bắt chước các chuyên gia nhưng làm điều đó một cách mù quáng, nó

Chỉ làm phỏng đoán tốt nhất của mình, ừm, kiểu như chỉ cố gắng bắt chước hành vi chuyên gia một cách thống kê, và đó là những gì bạn nhận được khi bạn nhìn vào tất cả các giải pháp đã làm, và cuối cùng trong giai đoạn cuối chúng ta làm tất cả các bài tập thực hành trong giai đoạn RL trên tất cả sách giáo khoa, chúng ta chỉ làm các bài tập thực hành và đó là cách chúng ta có được mô hình RL. Vậy ở mức cao, cách chúng ta

Huấn luyện LLM rất tương đương ừm với quá trình chúng ta huấn luyện ừm mà chúng ta sử dụng để huấn luyện trẻ em. Điểm tiếp theo tôi muốn nêu là thực ra hai giai đoạn đầu tiên này, tiền huấn luyện và tinh chỉnh có giám sát, chúng đã tồn tại nhiều năm và chúng rất tiêu chuẩn và mọi người đều làm chúng, tất cả các nhà cung cấp LLM khác nhau. Chính giai đoạn cuối này, huấn luyện RL, mới là thứ

Còn rất sớm trong quá trình phát triển và chưa tiêu chuẩn trong lĩnh vực này, và vì vậy, ừm, giai đoạn này còn rất sớm và non trẻ, và lý do là vì tôi thực sự đã bỏ qua rất nhiều chi tiết nhỏ ở đây trong quá trình này.

Ý tưởng cấp cao rất đơn giản: đó là thử và học, nhưng có rất nhiều chi tiết và một chút toán học, kiểu như những sắc thái toán học để

Chính xác cách bạn chọn những giải pháp tốt nhất và bạn huấn luyện trên chúng bao nhiêu và phân phối gợi ý là gì và cách thiết lập quá trình huấn luyện sao cho điều này thực sự hoạt động.

Vì vậy có rất nhiều chi tiết nhỏ và nút điều chỉnh cho ý tưởng cốt lõi rất đơn giản đó, và vì vậy việc làm đúng các chi tiết ở đây, ừm, không hề tầm thường.

Và vì vậy nhiều công ty, ví dụ như OpenAI và các nhà cung cấp LM

Khác đã thử nghiệm nội bộ với việc tinh chỉnh học tăng cường cho LLM trong một thời gian, nhưng họ chưa nói về nó một cách công khai.

Ừm, tất cả đều được thực hiện bên trong công ty, và đó là lý do tại sao bài báo từ Deep Seek ra mắt rất gần đây lại là một vấn đề lớn như vậy, bởi vì đây là một bài báo từ công ty có tên DC Kai ở Trung Quốc, và bài báo này thực sự

Đã nói rất công khai về việc tinh chỉnh học tăng cường cho các mô hình ngôn ngữ lớn và tầm quan trọng vô cùng lớn của nó đối với các mô hình ngôn ngữ lớn và cách nó mang lại nhiều khả năng suy luận trong các mô hình.

Chúng ta sẽ đi vào chi tiết này trong giây lát.

Vì vậy bài báo này đã làm sống lại sự quan tâm của công chúng đối với việc sử dụng RL cho LLM và đã cung cấp nhiều chi tiết, ừm, kiểu như n-r mà

Cần tái tạo kết quả của họ và thực sự làm cho giai đoạn này hoạt động cho các mô hình ngôn ngữ lớn.

Vì vậy, hãy để tôi đưa bạn đi qua một cách ngắn gọn bài báo deep seek R1 này và điều gì xảy ra khi bạn thực sự áp dụng RL một cách chính xác cho các mô hình ngôn ngữ và nó trông như thế nào và nó mang lại cho bạn điều gì.

Vậy điều đầu tiên tôi sẽ cuộn đến là hình số hai này, nơi chúng ta đang xem xét sự cải thiện

Trong cách các mô hình giải quyết các bài toán.

Vậy đây là độ chính xác của việc giải các bài toán trên độ chính xác, và sau đó chúng ta có thể truy cập trang web và chúng ta có thể thấy các loại bài toán thực sự có trong những, ừm, những loại bài toán đang được đo lường ở đây.

Vậy đây là những bài toán đơn giản.

Bạn có thể, ừm, tạm dừng video nếu muốn, nhưng đây

Là những loại bài toán mà về cơ bản các mô hình được yêu cầu giải, và bạn có thể thấy rằng ban đầu chúng không làm tốt lắm, nhưng sau đó khi bạn cập nhật mô hình với hàng nghìn bước này, độ chính xác của chúng tiếp tục tăng lên.

Vậy các mô hình đang cải thiện và chúng giải quyết những bài toán này với độ chính xác cao hơn khi bạn thực hiện thử và sai trên một

Tập dữ liệu lớn gồm những loại bài toán này, và các mô hình đang khám phá cách giải các bài toán.

Nhưng thậm chí còn đáng kinh ngạc hơn cả kết quả định lượng của việc giải những bài toán này với độ chính xác cao hơn là phương tiện định tính mà mô hình đạt được những kết quả này.

Vậy khi chúng ta cuộn xuống, ừm, một trong những hình ở đây khá thú vị là về sau trong

Quá trình tối ưu hóa, mô hình dường như, ừm, sử dụng độ dài trung bình mỗi phản hồi, ừm, tăng lên.

Vậy mô hình dường như đang sử dụng nhiều token hơn để đạt được kết quả có độ chính xác cao hơn.

Vậy nó đang học cách tạo ra những giải pháp rất dài.

Tại sao những giải pháp này lại rất dài?

Chúng ta có thể xem xét chúng một cách định tính ở đây.

Vậy về cơ bản điều họ phát hiện là giải pháp của mô hình trở nên rất dài một phần

Bởi vì, vậy đây là một câu hỏi và đây là loại câu trả lời từ mô hình, điều mô hình học được để làm, ừm, và đây là một thuộc tính mới nổi của tối ưu hóa mới, nó chỉ phát hiện ra rằng điều này tốt cho việc giải quyết vấn đề, là nó bắt đầu làm những việc như thế này: khoan, khoan, đó là một khoảnh khắc Nota, tôi có thể đánh dấu ở đây, hãy đánh giá lại từng bước để xác định tổng đúng có thể là.

Vậy mô hình đang

Làm gì ở đây?

Đúng rồi, mô hình về cơ bản đang đánh giá lại các bước.

Nó đã học được rằng nó hoạt động tốt hơn cho độ chính xác khi thử nhiều ý tưởng, thử điều gì đó từ các góc độ khác nhau, truy vết lại, tái cấu trúc, quay lui, đang làm rất nhiều việc mà bạn và tôi đang làm trong quá trình giải quyết các câu hỏi toán học, nhưng nó đang khám phá lại những gì xảy ra trong đầu bạn, không phải những gì bạn viết

Xuống trong giải pháp, và không có con người nào có thể mã hóa cứng những thứ này trong phản hồi trợ lý lý tưởng.

Đây chỉ là điều gì đó có thể được khám phá trong quá trình học tăng cường, bởi vì bạn sẽ không biết đặt gì ở đây.

Điều này hóa ra lại hiệu quả cho mô hình, và nó cải thiện độ chính xác của nó trong việc giải quyết vấn đề.

Vậy mô hình học được cái mà chúng ta gọi là những chuỗi suy nghĩ trong

Đầu bạn, và đó là một thuộc tính mới nổi của tối ưu hóa, của quá trình tối ưu hóa, và đó là những gì làm phình to độ dài phản hồi, nhưng đó cũng là những gì làm tăng độ chính xác của việc giải quyết vấn đề.

Vậy điều đáng kinh ngạc ở đây về cơ bản là mô hình đang khám phá ra các cách suy nghĩ.

Nó đang học cái mà tôi thích gọi là các chiến lược nhận thức về cách bạn thao tác một vấn đề và cách bạn

Tiếp cận nó từ các góc độ khác nhau, cách bạn đưa vào một số phép loại suy hoặc làm những loại việc khác nhau như vậy, và cách bạn, ừm, thử nhiều thứ khác nhau theo thời gian, ừm, kiểm tra một kết quả từ các góc độ khác nhau, và cách bạn, ừm, giải quyết vấn đề.

Nhưng ở đây nó được khám phá bởi RL, vậy cực kỳ đáng kinh ngạc khi thấy điều này xuất hiện trong quá trình tối ưu hóa mà không

Cần phải mã hóa cứng nó ở bất cứ đâu.

Điều duy nhất chúng ta đã cho nó là những câu trả lời đúng, và điều này xuất hiện từ việc chỉ cố gắng giải chúng một cách chính xác, điều này thật đáng kinh ngạc.

Ừm, bây giờ hãy quay lại vấn đề mà chúng ta đã làm việc và hãy xem nó sẽ trông như thế nào, ừm, đối với, ừm, đối với loại mô hình này, cái mà chúng ta gọi là mô hình lý luận hoặc suy nghĩ, để giải quyết vấn đề đó.

Được rồi, vậy hãy nhớ lại

Rằng đây là vấn đề chúng ta đã làm việc, và khi tôi dán nó vào chat GPT 40, tôi nhận được loại phản hồi này.

Hãy xem điều gì xảy ra khi bạn đưa cùng truy vấn này cho cái được gọi là mô hình lý luận hoặc suy nghĩ.

Đây là một mô hình được huấn luyện với học tăng cường.

Vậy mô hình được mô tả trong bài báo này, DC car1, có sẵn trên chat.

Dec.com, ừm, vậy đây là

Kiểu như công ty, ừm, đã phát triển nó đang lưu trữ nó.

Bạn phải đảm bảo rằng nút Deep think được bật để có được mô hình R1 như nó được gọi.

Chúng ta có thể dán nó vào đây và chạy nó, và vậy hãy xem điều gì xảy ra bây giờ và đầu ra của mô hình là gì.

Được rồi, vậy đây nó nói, vậy đây là những gì chúng ta nhận được trước đó bằng cách sử dụng về cơ bản cái là một cách tiếp cận SFT, một

Cách tiếp cận tinh chỉnh có giám sát.

Điều này giống như bắt chước một giải pháp chuyên gia.

Đây là những gì chúng ta nhận được từ mô hình RL.

Được rồi, để tôi thử tìm ra điều này.

Vậy Emily mua ba quả táo và hai quả cam.

Mỗi quả cam giá 2 đô la.

Tổng cộng là 13.

Tôi cần tìm ra blah blah.

Vậy nên khi bạn, ừm, khi bạn đang đọc cái này, bạn không thể thoát khỏi suy nghĩ rằng mô hình này đang suy nghĩ.

Ừm, chắc chắn đang theo đuổi giải pháp.

Nó suy ra rằng nó phải

Giá 3 đô la, và rồi nó nói, khoan đã, để tôi kiểm tra lại phép tính của mình một lần nữa cho chắc, và rồi nó thử lại từ một góc độ hơi khác, và rồi nó nói, đúng rồi, tất cả đều khớp.

Tôi nghĩ đó là câu trả lời.

Tôi không thấy lỗi nào cả.

Để tôi xem có cách tiếp cận nào khác cho bài toán không.

Có thể là lập một phương trình.

Hãy để giá của một quả táo là 8 đô la.

Thế thì blah blah.

Đúng rồi, giống

Câu trả lời.

Vậy chắc chắn mỗi quả táo là 3 đô la.

Được rồi, tự tin rằng điều đó đúng.

Và rồi điều nó làm sau khi nó đại loại, ừm, đã thực hiện quá trình suy nghĩ là nó viết ra lời giải đẹp đẽ cho con người.

Và vậy nên cái này giờ đang xem xét, nên cái này thiên về khía cạnh tính đúng đắn và cái này thiên về khía cạnh trình bày, nơi nó đại loại viết ra một cách gọn gàng và, ờ, đóng khung câu trả lời đúng ở

Dưới cùng.

Và điều đáng kinh ngạc về cái này là chúng ta có được quá trình suy nghĩ như thế này của mô hình, và đây là thứ đến từ quá trình học tăng cường.