Andrej Karpathy: Tesla AI, Self-Driving, Optimus, Aliens, and AGI | Lex Fridman Podcast #333

Vũ trụ là một loại câu đố nào đó, những AI tổng hợp này sẽ khám phá ra câu đố đó và giải nó. Sau đây là cuộc trò chuyện với Andre Karpathy, trước đây là giám đốc AI tại Tesla, và trước đó tại OpenAI và Stanford. Ông là một trong những nhà khoa học, kỹ sư và nhà giáo dục vĩ đại nhất trong lịch sử trí tuệ nhân tạo. Đây là podcast Lex Friedman.

Để ủng hộ, hãy xem các nhà tài trợ của chúng tôi. Và bây giờ, các bạn thân mến, đây là Andre Karpathy. Mạng nơ-ron là gì và tại sao nó dường như học tốt đến vậy? Mạng nơ-ron là một sự trừu tượng toán học của bộ não, tôi sẽ nói đó là cách nó được phát triển ban đầu. Cuối cùng, nó là một biểu thức toán học và nó là một

Biểu thức toán học khá đơn giản khi bạn đi sâu vào. Về cơ bản, nó là một chuỗi các phép nhân ma trận, thực chất là các tích vô hướng, kết hợp với một số phi tuyến tính. Vì vậy, đó là một biểu thức toán học rất đơn giản và nó có các núm điều chỉnh, rất nhiều núm. Các núm này liên quan lỏng lẻo đến các khớp thần kinh trong não, chúng có thể huấn luyện được.

Chúng có thể sửa đổi. Ý tưởng là chúng ta cần tìm cài đặt của các núm để mạng nơ-ron làm bất cứ điều gì bạn muốn, như phân loại hình ảnh, v.v. Tôi sẽ nói không có quá nhiều bí ẩn trong đó. Bạn có thể nghĩ rằng về cơ bản, đừng gán cho nó quá nhiều ý nghĩa liên quan đến bộ não và cách nó hoạt động. Nó thực sự chỉ là một biểu thức toán học phức tạp

Với các núm và những núm đó cần cài đặt phù hợp để làm điều gì đó mong muốn. Vâng, nhưng thơ ca chỉ là tập hợp các chữ cái với khoảng trắng, nhưng nó có thể khiến chúng ta cảm thấy một cách nào đó. Theo cách tương tự, khi bạn có một số lượng lớn các núm cùng nhau, dù là trong não hay trong máy tính, chúng dường như làm chúng ta ngạc nhiên với sức mạnh của chúng.

Vâng, tôi nghĩ điều đó công bằng. Về cơ bản, tôi đang đánh giá thấp nó rất nhiều vì bạn chắc chắn nhận được những hành vi nổi bật rất đáng ngạc nhiên từ các nơ-ron này khi chúng đủ lớn và được huấn luyện trên các vấn đề đủ phức tạp, chẳng hạn như dự đoán từ tiếp theo trên một bộ dữ liệu khổng lồ từ internet, và sau đó các nơ-ron này mang những đặc tính kỳ diệu đáng ngạc nhiên. Vâng, tôi

Nghĩ rằng thật thú vị khi bạn có thể thu được bao nhiêu từ một hình thức toán học rất đơn giản. Bộ não của tôi ngay bây giờ khi tôi đang nói, nó đang dự đoán từ tiếp theo hay đang làm điều gì đó thú vị hơn? Chắc chắn là một loại mô hình sinh tạo giống GPT và được thúc đẩy bởi bạn. Vâng, bạn đang đưa ra một gợi ý và tôi đang phản hồi lại một cách sinh tạo.

Và một mình bạn, có lẽ một chút, bạn có thêm các gợi ý từ trí nhớ của chính mình trong đầu một cách tự động không? Cảm giác như bạn đang tham chiếu một cấu trúc khai báo nào đó của trí nhớ, v.v., và sau đó bạn kết hợp nó với gợi ý của mình và đưa ra một số thông điệp. Bao nhiêu phần trăm những gì bạn vừa nói đã được bạn nói trước đây?

Về cơ bản là không có gì. Nhưng nếu bạn thực sự nhìn vào tất cả các từ bạn đã từng nói trong đời và tìm kiếm, có lẽ bạn đã nói rất nhiều từ giống nhau theo cùng thứ tự trước đây. Vâng, có thể. Ý tôi là tôi đang sử dụng các cụm từ phổ biến, v.v., nhưng cuối cùng tôi đang phối lại chúng thành một câu khá độc đáo. Nhưng bạn nói đúng, chắc chắn có rất nhiều sự phối lại.

Bạn không phải là Magnus Carlsen. Anh ấy nói tôi được xếp hạng 2900, khá ổn. Tôi nghĩ bạn đang nói chuyện rất khiêm tốn, bạn không đánh giá đúng mạng nơ-ron. Tại sao chúng dường như có hành vi nổi bật? Trực giác tốt nhất của bạn về hành vi nổi bật này là gì? Ý tôi là thật thú vị vì tôi đồng thời đánh giá thấp chúng, nhưng tôi cũng cảm thấy có một yếu tố mà tôi đang đánh giá quá cao.

Thực sự khó tin rằng bạn có thể thu được nhiều hành vi kỳ diệu nổi bật từ chúng mặc dù chúng đơn giản về mặt toán học. Vì vậy, tôi nghĩ đó là hai tuyên bố đáng ngạc nhiên được đặt cạnh nhau. Và tôi nghĩ về cơ bản, điều xảy ra là chúng ta thực sự khá giỏi trong việc tối ưu hóa các mạng nơ-ron này, và khi bạn đưa cho chúng một vấn đề đủ khó, chúng buộc phải học các giải pháp rất thú vị trong quá trình tối ưu hóa, và những giải pháp đó về cơ bản có các đặc tính nổi bật rất thú vị.

Có trí tuệ và kiến thức trong các núm. Vậy biểu diễn trong các núm này là gì? Đối với bạn, trực giác có hợp lý không? Số lượng lớn các núm có thể chứa biểu diễn nắm bắt được một số trí tuệ sâu sắc về dữ liệu mà nó đã xem. Đó là rất nhiều núm. Và bằng cách nào đó, nói một cách cụ thể, một trong những mạng nơ-ron mà mọi người rất hào hứng hiện nay là GPT, về cơ bản chỉ là mạng dự đoán từ tiếp theo. Vì vậy, bạn tiêu thụ một chuỗi các từ từ internet và cố gắng dự đoán từ tiếp theo.

Một khi bạn huấn luyện chúng trên một bộ dữ liệu đủ lớn, về cơ bản bạn có thể thúc đẩy các mạng nơ-ron này theo những cách tùy ý và yêu cầu chúng giải quyết vấn đề, và chúng sẽ làm vậy. Bạn có thể làm cho nó trông giống như bạn đang cố gắng giải một bài toán nào đó và chúng sẽ tiếp tục với những gì chúng nghĩ là giải pháp dựa trên những gì chúng đã thấy trên internet, và rất thường xuyên những giải pháp đó trông rất nhất quán và có vẻ đúng.

Bạn vẫn nghĩ về khía cạnh bộ não? Vì vậy, mạng nơ-ron là một sự trừu tượng toán học của bộ não, bạn vẫn rút ra trí tuệ từ các mạng nơ-ron sinh học? Hay thậm chí là câu hỏi lớn hơn: bạn là một người hâm mộ lớn của sinh học và tính toán sinh học. Điều ấn tượng mà sinh học đang làm mà máy tính chưa làm được là gì? Khoảng cách đó là gì?

Tôi sẽ nói rằng tôi chắc chắn do dự hơn nhiều với các phép loại suy với bộ não so với những gì bạn có thể thấy trong lĩnh vực này. Và tôi cảm thấy rằng chắc chắn cách mạng nơ-ron bắt đầu là mọi thứ đều bắt nguồn từ cảm hứng từ bộ não, nhưng cuối cùng, các tạo tác bạn nhận được sau khi huấn luyện được đến từ một quá trình tối ưu hóa rất khác so với quá trình tối ưu hóa đã tạo ra bộ não. Và vì vậy tôi nghĩ, tôi coi nó như một tạo tác ngoài hành tinh rất phức tạp. Nó là một thứ gì đó khác.

Tôi không xin lỗi. Các mạng nơ-ron mà chúng ta đang huấn luyện, chúng là các tạo tác ngoài hành tinh phức tạp. Tôi không đưa ra phép loại suy với bộ não vì tôi nghĩ quá trình tối ưu hóa đã tạo ra nó rất khác so với bộ não. Không có thiết lập tự chơi đa tác tử, không có tiến hóa. Đó là một quá trình tối ưu hóa về cơ bản là một mục tiêu nén trên một lượng lớn dữ liệu.

Vậy mạng nơ-ron nhân tạo đang thực hiện nén, còn mạng nơ-ron sinh học thì không. Để tồn tại và chúng không thực sự làm gì cả. Chúng là một tác tử trong một hệ thống tự chơi đa tác tử đã chạy trong một thời gian rất dài. Điều đó nói lên rằng, tiến hóa đã thấy rất hữu ích khi dự đoán và có một mô hình dự đoán trong não. Và vì vậy tôi nghĩ bộ não của chúng ta sử dụng một thứ trông giống như vậy như một phần của nó, nhưng nó có nhiều tiện ích và đồ chơi hơn, các hàm giá trị và

Các nhân cổ đại, tất cả đều cố gắng tồn tại và sinh sản, v.v. Và toàn bộ thứ thông qua quá trình phát sinh phôi được xây dựng từ một tế bào duy nhất. Ý tôi là mã nằm trong DNA và nó chỉ xây dựng nó lên, toàn bộ sinh vật. Vâng, và nó làm khá tốt. Điều đó lẽ ra không thể xảy ra. Vì vậy, có một số học tập đang diễn ra, có một số tính toán đang diễn ra trong quá trình xây dựng đó.

Ý tôi là, tôi không biết nếu bạn chỉ nhìn vào toàn bộ lịch sử sự sống trên Trái đất, bạn nghĩ đâu là phát minh thú vị nhất? Đó là nguồn gốc của sự sống? Hay là bước nhảy vọt lên sinh vật nhân thực? Hay là động vật có vú? Hay là chính con người, Homo sapiens, nguồn gốc của trí thông minh hay trí thông minh phức tạp cao? Hay tất cả chỉ là sự tiếp nối của cùng một quá trình?

Chắc chắn tôi sẽ nói đó là một câu chuyện cực kỳ đáng chú ý mà tôi chỉ mới tìm hiểu gần đây, từ khi hình thành Trái đất và tất cả các điều kiện của nó, toàn bộ hệ mặt trời và cách mọi thứ được sắp xếp với Sao Mộc, Mặt trăng và vùng có thể sống được, v.v. Và sau đó bạn có một Trái đất hoạt động đang đảo lộn vật chất, và sau đó bạn bắt đầu với quá trình phát sinh sự sống và mọi thứ. Vì vậy, tất cả là một câu chuyện khá đáng chú ý. Tôi không chắc mình có thể chọn một phần duy nhất mà tôi thấy thú vị nhất.

Tôi đoán đối với tôi, với tư cách là một nhà nghiên cứu trí tuệ nhân tạo, có lẽ đó là phần cuối cùng. Chúng ta có rất nhiều loài động vật không xây dựng xã hội công nghệ, nhưng chúng ta thì có. Và dường như nó đã xảy ra rất nhanh, rất gần đây, và một điều gì đó rất thú vị đã xảy ra ở đó mà tôi không hoàn toàn hiểu. Tôi gần như hiểu mọi thứ khác một cách trực giác, nhưng tôi không hiểu chính xác phần đó và tại sao nó nhanh như vậy.

Cả hai lời giải thích đều thú vị. Một là đây chỉ là sự tiếp nối của cùng một quá trình, không có gì đặc biệt về con người. Điều đó sẽ rất sâu sắc, rằng chúng ta nghĩ mình đặc biệt nhưng thực ra điều đó đã hiển nhiên, tất cả đã được viết trong mã rằng trí thông minh ngày càng lớn hơn sẽ xuất hiện. Và lời giải thích khác là một điều gì đó thực sự đặc biệt đã xảy ra, một sự kiện hiếm gặp.

Giống như một sự kiện cực kỳ hiếm gặp, như trong 2001: A Space Odyssey. Có thể là phát minh ra lửa, hoặc như Richard Wrangham nói, những con đực beta quyết định một cách thông minh để giết những con đực alpha bằng cách hợp tác. Vì vậy, chỉ là tối ưu hóa sự hợp tác. Khía cạnh đa tác tử của sự hợp tác, bị ràng buộc bởi tài nguyên và cố gắng tồn tại, đó là điều đã tạo ra trí thông minh phức tạp. Nhưng có vẻ như đó là một sự phát triển tự nhiên của quá trình tiến hóa.

Điều gì có thể là một điều kỳ diệu đã xảy ra, một điều hiếm gặp nói rằng trí thông minh cấp độ con người thực sự là một điều hiếm gặp trong vũ trụ? Vâng, tôi do dự khi nói rằng nó hiếm. Nhưng chắc chắn có vẻ như đó là một dạng cân bằng ngắt quãng, nơi bạn có nhiều khám phá và sau đó là những bước nhảy vọt thưa thớt ở giữa. Tất nhiên, nguồn gốc sự sống là một, DNA, giới tính, hệ thống nhân thực, sự kiện nội cộng sinh, vi khuẩn, v.v. Và tất nhiên, sự xuất hiện của ý thức, v.v.

Vì vậy, có vẻ như chắc chắn có những sự kiện thưa thớt nơi khối lượng tiến bộ lớn đã được thực hiện. Nhưng thật khó để chọn một. Vậy bạn không nghĩ con người là duy nhất? Tôi phải hỏi bạn: bạn nghĩ có bao nhiêu nền văn minh ngoài hành tinh thông minh ngoài kia? Và trí thông minh đó có khác hay giống với chúng ta không?

Vâng, gần đây tôi khá bận tâm với câu hỏi này. Về cơ bản, nghịch lý đối với tôi là suy nghĩ thấu đáo. Và lý do thực sự tôi rất quan tâm đến nguồn gốc sự sống là về cơ bản cố gắng hiểu nó phổ biến như thế nào để có các xã hội công nghệ ngoài kia trong không gian. Và tôi càng nghiên cứu, tôi càng nghĩ rằng lẽ ra phải có khá nhiều, khá nhiều.

Tại sao chúng ta chưa nghe thấy từ họ? Bởi vì tôi đồng ý với bạn, tôi chỉ không thấy tại sao những gì chúng ta đã làm ở đây trên Trái đất lại khó đến vậy. Vâng, và đặc biệt là khi bạn đi sâu vào chi tiết. Tôi từng nghĩ nguồn gốc sự sống là một sự kiện kỳ diệu hiếm gặp, nhưng sau đó bạn đọc những cuốn sách như của Nick Lane, The Vital Question, Life Ascending, v.v., và ông ấy thực sự đi sâu và làm bạn tin rằng điều này không hiếm đến vậy.

Hóa học cơ bản, bạn có một Trái đất hoạt động, các miệng phun kiềm, nhiều nước kiềm trộn lẫn, các gradient proton, các túi xốp nhỏ của các miệng phun kiềm tập trung hóa học. Và về cơ bản, khi ông ấy đi qua từng mảnh nhỏ này, bạn bắt đầu hiểu rằng thực ra điều này không quá điên rồ. Bạn có thể thấy điều này xảy ra trên các hệ thống khác. Và ông ấy thực sự đưa bạn từ địa chất đến sự sống nguyên thủy và làm cho nó có vẻ khá hợp lý.

Và cũng như nguồn gốc sự sống đã xảy ra khá nhanh sau khi Trái đất hình thành, nếu tôi nhớ không nhầm thì chỉ vài trăm triệu năm sau khi có thể, sự sống thực sự đã xuất hiện. Và điều đó làm tôi cảm thấy rằng đó không phải là ràng buộc, không phải là biến số giới hạn, và sự sống lẽ ra phải khá phổ biến. Và sau đó, nơi xảy ra sự sụt giảm là rất thú vị để suy nghĩ.

Hiện tại tôi nghĩ rằng không có sự sụt giảm lớn nào, và vì vậy lẽ ra phải có khá nhiều sự sống. Và về cơ bản, điều đó đưa tôi đến kết luận rằng cách duy nhất để dung hòa thực tế là chúng ta chưa tìm thấy ai là chúng ta không thể nhìn thấy họ, không thể quan sát họ. Một bình luận ngắn: Nick Lane và nhiều nhà sinh học tôi nói chuyện thực sự nghĩ rằng bước nhảy từ vi khuẩn lên sinh vật phức tạp hơn là bước nhảy khó nhất, quá trình hình thành nhân thực.

Vâng, tôi hiểu. Họ hiểu biết nhiều hơn tôi về sự phức tạp của sinh học, nhưng điều đó có vẻ điên rồ vì có bao nhiêu sinh vật đơn bào và bạn có bao nhiêu thời gian? Chắc chắn nó không khó đến vậy. Trong một tỷ năm, thậm chí không phải là một khoảng thời gian dài, tất cả những vi khuẩn này chiến đấu dưới nguồn tài nguyên hạn chế, tôi chắc chắn chúng có thể phát minh ra thứ phức tạp hơn. Một lần nữa, tôi không hiểu. Nó giống như làm thế nào để đi từ chương trình hello world đến phát minh ra một hàm.

Tôi không hiểu. Vì vậy, tôi đồng ý với bạn. Tôi chỉ cảm thấy nếu nguồn gốc sự sống là thứ khó nhất, nhưng nếu nó không phải là thứ khó nhất vì nó xảy ra quá nhanh, thì nó phải có ở khắp mọi nơi. Và vâng, có lẽ chúng ta quá ngu ngốc để thấy nó. Chà, có lẽ chúng ta không có cơ chế thực sự tốt để nhìn thấy sự sống này. Ý tôi là, bằng cách nào? Tôi không phải chuyên gia, chỉ để nói trước, nhưng tôi muốn gặp một chuyên gia về trí thông minh ngoài hành tinh và cách giao tiếp.

Tôi rất nghi ngờ khả năng tìm thấy những trí thông minh này ngoài kia và tìm thấy những Trái đất này. Ví dụ, sóng vô tuyến rất tệ. Công suất của chúng giảm theo 1/r^2. Tôi nhớ đã đọc rằng sóng vô tuyến hiện tại của chúng ta sẽ không thể đo được bằng các thiết bị của chúng ta ngày nay, chỉ cách một phần mười năm ánh sáng, về cơ bản là khoảng cách rất nhỏ, bởi vì bạn thực sự cần một đường truyền có mục tiêu với công suất lớn hướng đến một nơi nào đó để được thu ở khoảng cách xa.

Và vì vậy tôi chỉ nghĩ rằng khả năng đo lường của chúng ta không tuyệt vời. Tôi nghĩ có lẽ có các nền văn minh khác ngoài kia, và câu hỏi lớn là tại sao họ không chế tạo tàu thăm dò von Neumann và tại sao họ không du hành liên sao khắp thiên hà? Câu trả lời hiện tại của tôi là du hành liên sao có lẽ thực sự khó. Bạn có môi trường liên sao, nếu bạn muốn di chuyển với tốc độ gần ánh sáng, bạn sẽ gặp phải những viên đạn trên đường đi, bởi vì ngay cả các nguyên tử hydro nhỏ và các hạt bụi nhỏ cũng có động năng khổng lồ ở tốc độ đó.

Và vì vậy về cơ bản bạn cần một số loại lá chắn, bạn có tất cả bức xạ vũ trụ. Nó thực sự khắc nghiệt ngoài đó, thực sự khó khăn. Vì vậy, suy nghĩ của tôi là có lẽ du hành liên sao cực kỳ khó xây dựng. Có vẻ như chúng ta không còn xa một tỷ năm nữa để làm điều đó. Có thể là bạn phải đi rất chậm, ví dụ, trong không gian, thay vì gần tốc độ ánh sáng.

Vì vậy, về cơ bản tôi nghi ngờ khả năng đo lường sự sống của chúng ta và tôi nghi ngờ khả năng thấm đẫm toàn bộ không gian trong thiên hà hoặc xuyên qua các thiên hà. Và đó là cách duy nhất tôi hiện có thể thấy một lối thoát. Vâng, thật kinh ngạc khi nghĩ rằng có hàng nghìn tỷ nền văn minh ngoài hành tinh thông minh ngoài kia, đang từ từ du hành qua không gian để gặp nhau. Một số gặp nhau, một số chiến tranh, một số hợp tác, hoặc tất cả đều độc lập, tất cả chỉ là những túi nhỏ.

Tôi không biết. Về mặt thống kê, nếu có hàng nghìn tỷ, chắc chắn một số túi ở đủ gần để một số tình cờ gần nhau, đủ gần để nhìn thấy nhau. Và một khi bạn thấy một thứ chắc chắn là sự sống phức tạp, nếu chúng ta thấy một thứ gì đó, có lẽ chúng ta sẽ bị thúc đẩy mạnh mẽ, quyết liệt để tìm ra đó là cái quái gì và cố gắng gặp họ.

Bản năng đầu tiên của bạn là gì? Cố gắng gặp họ ở cấp độ thế hệ, hay phòng thủ chống lại họ? Bản năng của bạn với tư cách là tổng thống Hoa Kỳ và nhà khoa học? Tôi không biết bạn thích chiếc mũ nào cho câu hỏi này. Vâng, tôi nghĩ câu hỏi thực sự khó. Tôi sẽ nói, ví dụ, đối với chúng ta, chúng ta có rất nhiều dạng sống nguyên thủy trên Trái đất.

Bên cạnh chúng ta, chúng ta có đủ loại kiến và mọi thứ khác, và chúng ta chia sẻ không gian với chúng. Và chúng ta do dự khi tác động đến chúng, và chúng ta đang cố gắng bảo vệ chúng theo mặc định, bởi vì chúng là những hệ thống động lực thú vị, đặc biệt đã mất nhiều thời gian để tiến hóa, và chúng thú vị và đặc biệt. Và tôi không biết bạn có muốn phá hủy điều đó theo mặc định không. Và vì vậy tôi thích các hệ thống động lực phức tạp đã mất nhiều thời gian để tiến hóa.

Tôi nghĩ tôi muốn bảo tồn nó nếu tôi có thể, và tôi muốn nghĩ rằng điều tương tự cũng đúng với các tài nguyên thiên hà, và rằng họ sẽ nghĩ chúng ta là một câu chuyện thú vị đáng kinh ngạc đã mất thời gian, vài tỷ năm để hé lộ, và bạn không muốn phá hủy nó. Tôi có thể tưởng tượng hai người ngoài hành tinh đang nói về Trái đất ngay bây giờ và nói: 'Tôi là một người hâm mộ lớn của các hệ thống động lực phức tạp, vì vậy tôi nghĩ có giá trị để bảo tồn những thứ này.'

Và về cơ bản, họ là một trò chơi video mà họ xem, hay một chương trình TV mà họ xem? Vâng, tôi nghĩ bạn sẽ cần một lý do rất chính đáng để phá hủy nó. Tại sao chúng ta không phá hủy các trang trại kiến, v.v.? Bởi vì chúng ta thực sự không cần phải làm vậy.

Chúng ta không thực sự cạnh tranh với chúng về tài nguyên. Và tôi nghĩ điều tương tự cũng sẽ đúng với các nền văn minh ngoài hành tinh. Họ sẽ không phá hủy chúng ta trừ khi có lý do chính đáng. Và tôi hy vọng rằng chúng ta cũng sẽ không phá hủy họ. Vâng, tôi nghĩ đó là một quan điểm lạc quan. Tôi hy vọng nó đúng.

Tôi nghĩ rằng có một giá trị nội tại trong sự đa dạng và phức tạp. Và tôi nghĩ rằng bất kỳ nền văn minh tiên tiến nào cũng sẽ nhận ra điều đó. Vì vậy, tôi lạc quan rằng chúng ta sẽ không bị phá hủy, và chúng ta cũng sẽ không phá hủy người khác. Nhưng tôi không chắc. Đó chỉ là hy vọng của tôi.

Vâng, tôi nghĩ đó là một hy vọng tốt. Và tôi nghĩ rằng đó là một trong những lý do tại sao tôi nghĩ rằng có lẽ có nhiều nền văn minh ngoài kia, bởi vì nếu họ có xu hướng phá hủy lẫn nhau, họ sẽ không tồn tại lâu. Vì vậy, thực tế là chúng ta tồn tại cho thấy rằng có lẽ có một số mức độ hợp tác hoặc ít nhất là không gây hấn.

Vâng, đó là một điểm tốt. Vì vậy, có lẽ vũ trụ là một nơi thân thiện hơn chúng ta nghĩ. Hoặc ít nhất là không hung dữ như chúng ta tưởng tượng. Vâng, tôi nghĩ vậy. Và tôi nghĩ rằng đó là một trong những lý do tại sao tôi lạc quan về tương lai của nhân loại và về sự sống nói chung.

Vâng, tôi đồng ý. Vì vậy, cảm ơn bạn rất nhiều vì cuộc trò chuyện thú vị này, Andre. Đó là một niềm vui thực sự. Cảm ơn bạn. Vâng, cảm ơn bạn, Lex. Đó là một cuộc trò chuyện tuyệt vời. Tôi đánh giá cao nó. Cảm ơn bạn.

Và đó là kết thúc của cuộc trò chuyện. Cảm ơn bạn đã lắng nghe. Tôi hy vọng bạn thích nó. Nếu bạn thích, hãy ủng hộ podcast bằng cách xem các nhà tài trợ của chúng tôi. Và tôi sẽ gặp bạn trong tập tiếp theo. Cảm ơn bạn.

Đây là Lex Friedman Podcast. Cảm ơn bạn đã lắng nghe. Hẹn gặp lại lần sau.

Hẹn gặp lại.

Hiện tại, cạnh tranh trực tiếp với họ, uh, chúng ta vô tình làm điều đó, v.v., nhưng có rất nhiều tài nguyên, vậy tại sao bạn lại phá hủy thứ gì đó thú vị và quý giá như vậy? Từ góc độ khoa học, bạn có thể thăm dò nó, tương tác với nó sau này, muốn học hỏi từ nó. Vì vậy, tôi tự hỏi liệu có những hiện tượng vật lý nhất định mà chúng ta nghĩ

Là hiện tượng vật lý nhưng thực ra nó đang tương tác với chúng ta, như chọc ngón tay vào để xem điều gì xảy ra. Tôi nghĩ điều này sẽ rất thú vị đối với các nhà khoa học ngoài hành tinh khác, những gì đã xảy ra ở đây. Và bạn biết đấy, những gì chúng ta thấy hôm nay chỉ là một bức ảnh chụp nhanh, kết quả của một khối lượng tính toán khổng lồ, hơn một tỷ năm hoặc hơn thế, vì vậy nó có thể đã

Được khởi xướng bởi người ngoài hành tinh. Đây có thể là một máy tính đang chạy một chương trình. Nếu bạn có sức mạnh để làm điều này, ít nhất tôi sẽ chọn một hành tinh giống Trái Đất có điều kiện dựa trên hiểu biết của tôi về các tiền đề hóa học cho sự sống, và tôi sẽ gieo mầm sự sống và chạy nó, phải không? Bạn có 100% làm điều đó không? Và quan sát nó, rồi bảo vệ

Ý tôi là, đó không chỉ là một chương trình TV hay, mà còn là một thí nghiệm khoa học tốt. Và đó là mô phỏng vật lý. Có lẽ tiến hóa là cách hiệu quả nhất để hiểu tính toán, hoặc tính toán mọi thứ, hoặc hiểu sự sống, và nó trông như thế nào, và những nhánh nào nó có thể rẽ. Điều đó làm tôi

Cảm thấy kỳ lạ khi chúng ta là một phần của thí nghiệm khoa học, nhưng có lẽ mọi thứ đều là thí nghiệm khoa học. Điều đó có thay đổi gì cho chúng ta không? Tôi không biết. Hai hậu duệ của vượn nói về việc ở trong một thí nghiệm khoa học. Tôi nghi ngờ ý tưởng về một sự can thiệp có chủ đích như bạn mô tả, và tôi không thấy

Một sự can thiệp thần thánh nào đó trong lịch sử. Tôi cảm thấy câu chuyện trong những cuốn sách như của Nick Lane có vẻ hợp lý, và nó giải thích cách sự sống phát sinh trên Trái Đất một cách độc đáo. Và tôi không cần phải tìm đến những lời giải thích kỳ lạ hơn lúc này. Nhưng NPC trong trò chơi điện tử cũng không

Không quan sát thấy bất kỳ sự can thiệp thần thánh nào, và chúng ta có thể chỉ là những NPC chạy một loại mã. Có lẽ cuối cùng họ sẽ... Hiện tại NPC rất ngu ngốc, nhưng một khi họ chạy GPT, có lẽ họ sẽ nói: 'Này, điều này thật đáng ngờ.' Vì vậy, bạn đã tweet nổi tiếng rằng nếu bạn bắn phá Trái Đất bằng photon một thời gian, bạn có thể phát ra một chiếc Roadster

Vì vậy, giống như trong 'The Hitchhiker's Guide to the Galaxy', chúng ta sẽ tóm tắt câu chuyện về Trái Đất. Trong cuốn sách đó, nó 'hầu như vô hại'. Bạn nghĩ tất cả các câu chuyện có thể có, dài một đoạn hoặc một câu, mà Trái Đất có thể được tóm tắt khi nó hoàn thành tính toán? Nếu Trái Đất là một cuốn sách, có lẽ phải có một kết thúc. Tôi

Ý tôi là, sẽ có một kết thúc cho Trái Đất, và nó có thể kết thúc theo nhiều cách, sớm hoặc muộn. Bạn nghĩ những câu chuyện có thể có là gì? Chắc chắn, thật đáng kinh ngạc khi các hệ thống tự tái tạo này về cơ bản phát sinh từ động lực học, tự duy trì, trở nên phức tạp hơn và cuối cùng trở nên có ý thức

Và xây dựng một xã hội. Tôi cảm thấy theo một nghĩa nào đó, nó giống như một làn sóng tất định, xảy ra trên bất kỳ hệ thống nào được sắp xếp đủ tốt như Trái Đất. Vì vậy, tôi cảm thấy có một cảm giác tất yếu nhất định, và nó thực sự đẹp, và nó kết thúc bằng cách nào đó. Đó là một môi trường đa dạng về mặt hóa học

Nơi các hệ thống động lực phức tạp có thể tiến hóa và trở nên phức tạp hơn, nhưng có những điều kiện kết thúc nhất định. Tôi không biết các điều kiện kết thúc là gì, nhưng chắc chắn có một xu hướng, và chúng ta là một phần của câu chuyện đó. Nó đi về đâu? Chúng ta thường được mô tả

Như một bộ nạp khởi động sinh học cho AI. Bởi vì con người là một hệ thống sinh học đáng kinh ngạc, có khả năng tính toán, tình yêu, v.v., nhưng chúng ta cũng cực kỳ kém hiệu quả. Chúng ta nói chuyện với nhau qua âm thanh, thật đáng xấu hổ. Chúng ta thao tác bảy ký hiệu

Tuần tự, sử dụng dây thanh âm, mọi thứ diễn ra trong nhiều giây. Thật đáng xấu hổ khi so sánh với tần số mà máy tính hoạt động hoặc có thể hợp tác. Vì vậy, có vẻ như trí thông minh tổng hợp là giai đoạn phát triển tiếp theo, và tôi không biết nó dẫn đến đâu.

Tại một thời điểm nào đó, tôi nghi ngờ vũ trụ là một loại câu đố nào đó, và những AI tổng hợp này sẽ khám phá ra câu đố đó và giải nó. Sau đó, điều gì xảy ra? Nếu bạn tua nhanh Trái Đất nhiều tỷ năm, nó yên tĩnh, rồi bạn thấy ánh đèn thành phố, v.v. Và rồi điều gì xảy ra ở cuối? Nó giống như một

Nó là một vụ nổ êm dịu hay một vụ nổ? Trái Đất mở ra như một... bởi vì bạn nói 'phát ra Roadster', hãy bắt đầu phát ra một số lượng lớn vệ tinh. Đó là một loại vụ nổ điên rồ, và chúng ta đang sống, chúng ta đang bước qua một vụ nổ và sống từng ngày, và nó trông không giống vậy, nhưng thực ra

Tôi đã thấy một hoạt ảnh rất hay về Trái Đất và sự sống trên Trái Đất. Về cơ bản, không có gì xảy ra trong một thời gian dài, và rồi hai giây cuối cùng, các thành phố và mọi thứ xuất hiện, quỹ đạo thấp của Trái Đất trở nên lộn xộn, và toàn bộ sự việc xảy ra trong hai giây cuối cùng. Bạn nghĩ, đây là một vụ nổ.

Đây là một vụ nổ tuyên bố.

Vì vậy, nếu bạn phát,

Ừ, nếu bạn phát ở tốc độ bình thường, nó sẽ trông giống như một vụ nổ.

Đó là một quả pháo.

Chúng ta đang sống trong một quả pháo, nơi nó sẽ bắt đầu phát ra đủ thứ thú vị.

Ừ, và rồi vụ nổ không...

Nó có thể trông giống như một vụ nổ nhỏ với ánh sáng, lửa và năng lượng phát ra, tất cả những thứ đó.

Nhưng khi bạn nhìn vào chi tiết của

Vụ nổ, có sự phức tạp thực sự đang diễn ra, nơi có cuộc sống con người hoặc một số loại sự sống.

Chúng tôi hy vọng nó không phải là quả pháo hủy diệt.

Nó giống như một quả pháo mang tính xây dựng.

Được rồi, vì vậy, tôi nghĩ thật thú vị khi nghĩ về câu đố của vũ trụ, mà người tạo ra vũ trụ đã cho chúng ta một

Thông điệp, ví dụ, trong cuốn sách 'Contact' của Carl Sagan, có một thông điệp cho nhân loại, cho bất kỳ nền văn minh nào, trong các chữ số của số Pi trong hệ cơ số 11, điều này khá thú vị.

Có lẽ chúng ta nên gửi một thông điệp cho người tạo ra chúng ta.

Có lẽ chúng ta nên tạo ra một loại hệ thống cơ học lượng tử nào đó để báo hiệu cho họ về sự hiện diện thông minh của chúng ta.

Sự hiện diện thông minh ở đây.

Bởi vì nếu bạn nghĩ về nó từ góc nhìn của họ, nó giống như lý thuyết trường lượng tử, một thứ giống như cellular automaton khổng lồ, và làm thế nào bạn thậm chí nhận thấy chúng ta tồn tại?

Bạn thậm chí có thể không thể phát hiện ra chúng ta trong mô phỏng đó.

Và vì vậy, làm thế nào bạn chứng minh rằng bạn tồn tại, rằng bạn thông minh, và rằng bạn là một phần của vũ trụ?

Vì vậy, đây là

Giống như một bài kiểm tra Turing cho trí thông minh từ Trái Đất.

Ừ, người tạo ra, ý tôi là, có lẽ đây giống như cố gắng hoàn thành từ tiếp theo trong một câu.

Đây là một cách phức tạp để nói rằng Trái Đất chỉ đơn giản là gửi một thông điệp trở lại.

Ừ, câu đố về cơ bản là báo hiệu cho người tạo ra rằng chúng ta tồn tại, hoặc có lẽ câu đố chỉ là thoát ra khỏi hệ thống và, bạn biết đấy,

Chống lại người tạo ra theo một cách nào đó.

Về cơ bản, nếu bạn đang chơi một trò chơi điện tử, bạn có thể tìm ra một lỗ hổng và tìm cách thực thi trên máy chủ với mã tùy ý.

Ví dụ, tôi tin rằng ai đó đã khiến Mario, một trò chơi Mario, chơi Pong chỉ bằng cách khai thác nó và tạo ra mã và có thể thực thi mã tùy ý

Trong trò chơi.

Và vì vậy, có lẽ chúng ta nên, có lẽ câu đố là chúng ta nên tìm cách khai thác nó.

Vì vậy, tôi nghĩ một số AI tổng hợp này cuối cùng sẽ thấy vũ trụ là một loại câu đố và giải nó theo một cách nào đó, và đó là trò chơi kết thúc.

Bạn có thường nghĩ về nó như một mô phỏng không?

Vì vậy, vũ trụ là một loại tính toán

Có thể có lỗi và khai thác?

Vâng, tôi nghĩ vậy.

Đó có phải là bản chất của vật lý không?

Tôi nghĩ có khả năng vật lý có những lỗ hổng, và chúng ta nên cố gắng tìm ra chúng, sắp xếp một hệ thống cơ học lượng tử điên rồ nào đó bằng cách nào đó cho bạn tràn bộ đệm, bằng cách nào đó cho bạn lỗi làm tròn trong dấu phẩy động.

Ừ, đúng vậy.

Và ngày càng

Nhiều lỗ hổng tinh vi hơn.

Những điều đó như là chuyện đùa, nhưng thực ra có thể rất gần với sự thật.

Ừ, chúng ta sẽ tìm cách khai thác năng lượng vô hạn chẳng hạn.

Khi bạn huấn luyện một tác nhân học tăng cường trong mô phỏng vật lý, và yêu cầu chúng chạy nhanh trên mặt đất phẳng, chúng sẽ làm đủ thứ điều kỳ lạ, một phần của quá trình tối ưu hóa đó, phải không?

Chúng sẽ nằm ngửa và trượt trên sàn, và đó là do quá trình tối ưu hóa học tăng cường trên tác nhân đó đã tìm ra cách khai thác năng lượng vô hạn từ lực ma sát, và về cơ bản là do triển khai kém, chúng đã tìm ra cách tạo ra năng lượng vô hạn và chỉ trượt trên bề mặt, và đó không phải là điều bạn

Mong đợi.

Nó chỉ là một giải pháp méo mó.

Và có lẽ chúng ta có thể tìm thấy điều gì đó tương tự.

Có lẽ chúng ta có thể là chú chó nhỏ đó trong mô phỏng vật lý này, tìm ra kẽ hở hoặc thoát khỏi những hậu quả dự định của vật lý mà vũ trụ đã tạo ra.

Chúng ta sẽ tìm ra một lối tắt nào đó đến một điều kỳ lạ.

Ừ, và rồi ôi trời, nhưng vấn đề với sự kỳ lạ đó là người đầu tiên

Khám phá ra sự kỳ lạ, như trượt bằng chân sau, đó là tất cả những gì chúng ta sẽ làm.

Ừ, rất nhanh vì ai cũng làm điều đó.

Vì vậy, ý tưởng về bộ tối đa hóa kẹp giấy là một ý tưởng ngớ ngẩn, nhưng rất có thể đó là điều chúng ta sẽ làm, chúng ta sẽ chuyển sang đó vì nó quá thú vị.

Chà, sẽ không có người nào khám phá ra nó.

Tôi nghĩ, nhân tiện, tôi nghĩ

Nó sẽ phải là một loại AGI siêu thông minh thế hệ thứ ba.

Giống như chúng ta đang xây dựng AGI thế hệ đầu tiên, bạn biết đấy, thế hệ thứ ba.

Ừ, vậy bootloader cho một AI, AI đó, ừ, sẽ là bootloader cho một AI khác, ừ, và sau đó không có cách nào để chúng ta nội quan xem điều đó thậm chí có thể là gì, tôi nghĩ rất có thể những thứ này, ví dụ, giả sử bạn có

Những AGI này, rất giống, ví dụ, chúng sẽ hoàn toàn trơ.

Tôi thích những cuốn sách khoa học viễn tưởng kiểu này đôi khi, nơi những thứ này hoàn toàn trơ, chúng không tương tác với bất cứ thứ gì, và tôi thấy điều đó thật đẹp vì, ừ, có lẽ chúng đã tìm ra trò chơi meta của vũ trụ theo một cách nào đó.

Có khả năng chúng đang làm điều gì đó hoàn toàn vượt quá trí tưởng tượng của chúng ta,

Ừm, và, ừ, chúng không tương tác với các dạng sống hóa học đơn giản.

Như tại sao bạn lại làm điều đó?

Vì vậy, tôi thấy những ý tưởng đó hấp dẫn.

Nguồn vui của chúng là gì?

Chúng đang làm gì?

Nguồn giải quyết trong vũ trụ nhưng trơ là gì?

Vậy bạn có thể định nghĩa trơ nghĩa là gì không?

Vậy chúng thoát ra, như trong, ừm, chúng sẽ hành xử theo một cách rất kỳ lạ đối với chúng ta vì chúng, ừ,

Chúng vượt xa.

Chúng đang chơi trò chơi meta, và trò chơi meta có lẽ là sắp xếp các hệ thống cơ học lượng tử theo những cách rất kỳ lạ để khai thác năng lượng vô hạn, giải mã số Pi đến bất kỳ mức nào, chúng sẽ xây dựng các lò phản ứng nhiệt hạch nhỏ của riêng mình hoặc điều gì đó điên rồ.

Giống như chúng đang làm điều gì đó vượt quá sự hiểu biết và, ừ, không

Thể hiểu được đối với chúng ta, và thực sự là xuất sắc bên trong.

Điều gì sẽ xảy ra nếu bản thân cơ học lượng tử là hệ thống và chúng ta chỉ nghĩ đó là vật lý, nhưng thực ra chúng ta là ký sinh trùng trên hoặc không phải ký sinh trùng, chúng ta không thực sự làm hại vật lý, chúng ta chỉ sống trên sinh vật này, sinh vật này, và chúng ta cố gắng hiểu nó, nhưng thực ra nó là một sinh vật và có trí thông minh sâu sắc.

Có lẽ bản thân vật lý là

Ừ, sinh vật đang làm một điều siêu thú vị, và chúng ta chỉ là một thứ nhỏ bé, ừ, con kiến ngồi trên đó cố gắng lấy năng lượng từ nó.

Chúng ta chỉ giống như những hạt trong một làn sóng mà tôi cảm thấy chủ yếu là tất định và đưa vũ trụ từ một vụ nổ lớn nào đó đến một bộ sao chép siêu thông minh nào đó, một điểm ổn định nào đó trong vũ trụ với

Những định luật vật lý này.

Bạn không nghĩ, ừ, như Einstein đã nói, Chúa không chơi xúc xắc, vậy bạn nghĩ nó chủ yếu là tất định, không có sự ngẫu nhiên trong đó?

Tôi nghĩ nó là tất định.

Ồ, có rất nhiều, ừ, tôi muốn cẩn thận với tính ngẫu nhiên.

Giả ngẫu nhiên, ừ.

Tôi không thích ngẫu nhiên, ừ, tôi nghĩ có lẽ các định luật vật lý là tất định, ừm, ừ, tôi nghĩ chúng là tất định.

Chỉ là trở nên rất khó chịu với câu hỏi này.

Bạn có lo lắng về việc vũ trụ có ngẫu nhiên hay không không?

Không có sự ngẫu nhiên sao?

Ừ, bạn nói bạn thích Good Will Hunting.

Không phải lỗi của bạn đâu, Andre.

Không phải, không phải lỗi của bạn đâu, anh bạn.

Ừm, vậy bạn không thích sự ngẫu nhiên?

Ừ, tôi nghĩ nó, ừ, gây khó chịu.

Tôi nghĩ đó là một hệ thống tất định.

Tôi nghĩ những thứ trông có vẻ ngẫu nhiên, như là,

Sự sụp đổ của hàm sóng, v.v., tôi nghĩ chúng thực sự là tất định, chỉ là sự vướng víu, v.v. và một loại lý thuyết đa vũ trụ nào đó.

Được rồi, vậy tại sao chúng ta cảm thấy như có ý chí tự do?

Như nếu tôi giơ tay lên, tôi đã chọn làm điều này ngay bây giờ.

Ừm, điều đó không có vẻ như là một thứ tất định.

Nó có cảm giác như tôi đang đưa ra lựa chọn.

Cảm giác như vậy.

Được rồi, vậy tất cả chỉ là

Cảm xúc.

Chỉ là cảm xúc thôi.

Vâng, vậy khi một tác tử RL đưa ra lựa chọn, đó có phải là, ừm, nó không thực sự đưa ra lựa chọn.

Các lựa chọn đã có sẵn hết rồi.

Vâng, bạn đang diễn giải lựa chọn và tạo ra một câu chuyện cho hoặc về việc đã thực hiện nó.

Vâng, và bây giờ chúng ta đang nói về câu chuyện đó.

Rất siêu hình.

Nhìn lại, ý tưởng đẹp nhất hoặc đáng ngạc nhiên nhất trong học sâu

Hoặc AI nói chung mà bạn từng gặp là gì?

Bạn đã thấy lĩnh vực này bùng nổ và phát triển theo những cách thú vị.

Chỉ là, những ý tưởng thú vị nào khiến bạn ngồi lại và nghĩ hmm?

Nhỏ hay lớn?

Chà, cái mà tôi đang nghĩ đến gần đây nhất có lẽ là kiến trúc Transformer.

Ừm, về cơ bản, mạng nơ-ron có rất nhiều kiến trúc từng là xu hướng

Đã đến và đi cho các phương thức cảm giác khác nhau.

Ví dụ, đối với thị giác, âm thanh, văn bản, bạn sẽ xử lý chúng bằng các mạng nơ-ron khác nhau.

Và gần đây chúng ta đã thấy sự hội tụ về một kiến trúc duy nhất, Transformer.

Và bạn có thể đưa vào video hoặc hình ảnh, giọng nói hay văn bản, và nó cứ nuốt chửng tất cả.

Và nó giống như một loại máy tính đa năng

Cũng có thể huấn luyện và rất hiệu quả khi chạy trên phần cứng của chúng ta.

Và vì vậy, bài báo này ra đời năm 2016, tôi muốn nói, "Attention Is All You Need." Bạn chỉ trích tiêu đề bài báo khi nhìn lại rằng nó đã không, ừm, không lường trước được tầm ảnh hưởng lớn.

Vâng, mà nó sẽ có.

Vâng, tôi không chắc các tác giả có nhận thức được tác động mà bài báo đó

Sẽ có sau này.

Có lẽ họ không.

Nhưng tôi nghĩ họ đã nhận thức được một số động lực và quyết định thiết kế đằng sau Transformer, và họ đã chọn không, tôi nghĩ, mở rộng về điều đó theo cách đó trong bài báo.

Và vì vậy tôi nghĩ họ đã có ý tưởng rằng có nhiều hơn, ừm, chỉ bề mặt như, ồ, chúng tôi chỉ đang làm dịch thuật và đây là một kiến trúc tốt hơn.

Bạn không chỉ

Làm dịch thuật.

Đây giống như một máy tính khả vi, tối ưu hóa được, hiệu quả thực sự thú vị mà bạn đã đề xuất.

Và có thể họ không có tất cả tầm nhìn đó, nhưng tôi nghĩ nó thực sự thú vị.

Không phải buồn cười sao?

Xin lỗi vì đã ngắt lời.

Cái tiêu đề đó có thể trở thành meme.

Rằng họ đã chọn một ý tưởng sâu sắc như vậy, họ đã chọn, tôi không nghĩ ai đã từng dùng kiểu tiêu đề đó trước đây, phải không?

"Attention Is All You Need." Ừ, nó như một meme hay gì đó.

Chính xác.

Cái đó không vui đâu.

Kiểu như, ừ, có lẽ nếu nó là một tiêu đề nghiêm túc hơn, nó sẽ không có tác động như vậy.

Thành thật mà nói, tôi, ừ, có một phần trong tôi thực sự đồng ý với bạn và thích nó theo cách này hơn.

Đúng, nếu nó quá hoành tráng, nó sẽ hứa hẹn quá nhiều và sau đó có thể không đáp ứng được.

Vậy bạn muốn, ừ, dùng meme để đạt tới sự vĩ đại.

Đó nên là một cái áo phông.

Vậy bạn đã tweet: "Transformer là kiến trúc mạng nơ-ron tuyệt vời vì nó là một máy tính đa năng có thể vi phân.

Nó đồng thời có tính biểu đạt trong lượt truyền xuôi, có thể tối ưu hóa qua lan truyền ngược và giảm độ dốc, và hiệu quả, đồ thị tính toán song song cao." Bạn có thể thảo luận một số chi tiết đó không?

Biểu đạt, tối ưu hóa được, hiệu quả.

Ừ, về bộ nhớ hay nói chung, bất cứ điều gì bạn nghĩ đến.

Bạn muốn có một máy tính đa năng mà bạn có thể huấn luyện trên các vấn đề tùy ý, như nhiệm vụ dự đoán từ tiếp theo hoặc phát hiện xem có con mèo trong ảnh hay không.

Và bạn muốn huấn luyện máy tính này, vì vậy bạn muốn đặt các trọng số của nó.

Và tôi nghĩ có một số tiêu chí thiết kế mà

Phần nào chồng lấn trong Transformer đồng thời khiến nó rất thành công.

Và tôi nghĩ các tác giả đã, ừ, cố tình tạo ra kiến trúc thực sự mạnh mẽ này.

Và, ừ, về cơ bản nó rất mạnh mẽ trong lượt truyền xuôi vì nó có thể biểu diễn, ừ, các phép tính rất tổng quát như một dạng truyền thông điệp.

Bạn có các nút và tất cả chúng

Lưu trữ các vector, và các nút này về cơ bản có thể nhìn vào nhau và đó là các vector của nhau, và chúng có thể giao tiếp.

Và về cơ bản các nút có thể phát đi, "Này, tôi đang tìm một số thứ," và sau đó các nút khác có thể phát đi, "Này, đây là những thứ tôi có." Đó là các khóa và các giá trị.

Vậy nó không chỉ là cơ chế chú ý.

Ừ, chính xác.

Transformer còn nhiều hơn

Chỉ là thành phần chú ý.

Nó có nhiều mảnh kiến trúc đã được đưa vào: kết nối dư, cách nó được sắp xếp, có một perceptron đa lớp trong đó, cách nó được xếp chồng, v.v.

Ừm, nhưng về cơ bản có một sơ đồ truyền thông điệp nơi các nút có thể nhìn vào nhau, quyết định cái gì thú vị, và sau đó cập nhật lẫn nhau.

Và, ừ, vì vậy tôi nghĩ, ừm, khi bạn đi vào chi tiết

Về nó, tôi nghĩ nó là một hàm rất biểu đạt, ừ, vì vậy nó có thể biểu diễn nhiều loại thuật toán khác nhau trong lượt truyền xuôi.

Không chỉ vậy, cách nó được thiết kế với các kết nối dư, chuẩn hóa lớp, softmax attention, và mọi thứ, nó cũng có thể tối ưu hóa.

Đây là một vấn đề thực sự lớn vì có nhiều máy tính mạnh mẽ mà bạn không thể

Tối ưu hóa hoặc chúng không dễ tối ưu hóa bằng các kỹ thuật chúng ta có, đó là lan truyền ngược và giảm độ dốc.

Đây là các phương pháp bậc nhất, thực sự là các bộ tối ưu rất đơn giản.

Và vì vậy, ừm, bạn cũng cần nó có thể tối ưu hóa.

Ừm, và cuối cùng, bạn muốn nó chạy hiệu quả trên phần cứng.

Phần cứng của chúng ta là một cỗ máy thông lượng lớn như GPU.

Chúng ưa thích nhiều song song, vì vậy

Bạn không muốn làm nhiều thao tác tuần tự.

Bạn muốn làm nhiều thao tác nối tiếp.

Và Transformer được thiết kế với điều đó trong tâm trí.

Và vì vậy nó được thiết kế cho phần cứng của chúng ta, và nó được thiết kế để vừa rất biểu đạt trong lượt truyền xuôi vừa rất tối ưu hóa trong lượt truyền ngược.

Và bạn đã nói rằng, ừ, các kết nối dư hỗ trợ một khả năng

Học các thuật toán ngắn nhanh, trước tiên, và sau đó dần dần mở rộng chúng trong quá trình huấn luyện.

Ừ, ý tưởng về học các thuật toán ngắn là gì?

Đúng, hãy nghĩ về nó như một, vậy về cơ bản Transformer là một chuỗi các, ừ, khối, phải không?

Và các khối này có attention và một perceptron đa lớp nhỏ.

Và vì vậy bạn đi vào một khối và bạn quay lại đường dẫn dư này, và

Sau đó bạn đi ra và bạn quay lại, và sau đó bạn có một số lớp được sắp xếp tuần tự.

Và vì vậy cách nhìn nhận nó, tôi nghĩ, là vì đường dẫn dư, trong đường dẫn ngược, các gradient, ừ, chảy dọc theo nó không bị gián đoạn vì phép cộng phân phối gradient đều cho tất cả các nhánh của nó.

Vì vậy gradient từ sự giám sát ở trên cùng, ừ, chỉ trôi nổi

Trực tiếp đến lớp đầu tiên, và tất cả các kết nối dư được sắp xếp sao cho trong quá trình khởi tạo ban đầu, chúng không đóng góp gì vào đường dẫn dư.

Ừm, nó trông giống như hãy tưởng tượng Transformer giống như một hàm Python, như def, và bạn có thể thực hiện nhiều loại dòng lệnh khác nhau.

Giả sử bạn có một Transformer sâu 100 lớp.

Thông thường chúng sẽ ngắn hơn nhiều, khoảng 20 lớp.

Vậy nếu có 20 dòng lệnh, bạn có thể làm gì đó trong đó.

Và hãy nghĩ trong quá trình tối ưu hóa, về cơ bản nó trông như thế này: đầu tiên bạn tối ưu dòng lệnh đầu tiên, sau đó dòng lệnh thứ hai có thể tham gia, rồi dòng lệnh thứ ba.

Và tôi có cảm giác rằng nhờ đường dẫn dư và động lực của quá trình tối ưu hóa, bạn có thể

Học một thuật toán rất ngắn để có được tensor xấp xỉ, nhưng sau đó các lớp khác có thể tham gia và bắt đầu tạo ra đóng góp.

Và cuối cùng, bạn đang tối ưu hóa một thuật toán gồm 20 dòng lệnh, ngoại trừ các dòng lệnh này rất phức tạp vì chúng là toàn bộ một khối của transformer.

Bạn có thể làm được nhiều thứ trong đó.

Điều thực sự thú vị là

Kiến trúc Transformer thực sự đã rất kiên cường.

Về cơ bản, Transformer ra đời năm 2016 là Transformer bạn sử dụng ngày nay, ngoại trừ việc bạn sắp xếp lại một số lớp chuẩn hóa.

Các lớp chuẩn hóa đã được sắp xếp lại thành công thức tiền chuẩn hóa.

Và nó đã ổn định một cách đáng kể.

Nhưng có rất nhiều tính năng bổ sung mà mọi người đã gắn vào và cố gắng,

Cải thiện nó.

Tôi nghĩ về cơ bản nó là một bước tiến lớn trong việc tối ưu hóa đồng thời nhiều thuộc tính của một kiến trúc mạng nơ-ron mong muốn.

Và tôi nghĩ mọi người đã cố gắng thay đổi nó, nhưng nó tỏ ra rất kiên cường.

Nhưng tôi nghĩ có thể có những kiến trúc thậm chí còn tốt hơn.

Nhưng bạn phải ngưỡng mộ sự kiên cường của nó.

Vâng, có

Điều gì đó sâu sắc về kiến trúc này, ít nhất là có lẽ chúng ta có thể biến mọi thứ thành một vấn đề mà Transformers có thể giải quyết.

Hiện tại, rõ ràng Transformer đang thống trị AI.

Và bạn có thể đưa hầu hết mọi vấn đề vào nó, nó là một máy tính khả vi tổng quát và cực kỳ mạnh mẽ.

Và sự hội tụ này trong AI thực sự rất

Thú vị để theo dõi, đối với cá nhân tôi.

Bạn nghĩ còn điều gì có thể được khám phá về Transformers?

Điều gì đáng ngạc nhiên?

Hay nó đã ổn định, tôi đã đến một nơi ổn định?

Có điều gì thú vị chúng ta có thể khám phá về Transformers, như những khoảnh khắc aha?

Có thể liên quan đến bộ nhớ, biểu diễn tri thức, những thứ tương tự.

Chắc chắn xu hướng hiện nay chỉ là

Đẩy mạnh, về cơ bản hiện tại những người làm AGI là đừng động vào Transformer, hãy động vào mọi thứ khác.

Đúng vậy, mọi người đang mở rộng quy mô tập dữ liệu, làm chúng lớn hơn nhiều.

Họ đang làm việc trên việc đánh giá, làm cho việc đánh giá lớn hơn nhiều.

Và về cơ bản họ giữ nguyên kiến trúc.

Và đó là cách chúng ta đã có năm năm tiến bộ vừa qua trong AI.

Đại loại

Bạn nghĩ gì về một biến thể của nó là mô hình ngôn ngữ?

Bạn có ngạc nhiên không?

Trí tưởng tượng của bạn có bị cuốn hút bởi, bạn đã đề cập đến GPT và tất cả các mô hình ngôn ngữ ngày càng lớn hơn?

Và bạn nghĩ giới hạn của những mô hình đó là gì?

Vậy hãy xem xét nhiệm vụ ngôn ngữ tự nhiên.

Về cơ bản, cách GPT được huấn luyện là bạn tải xuống một lượng lớn

Dữ liệu văn bản từ internet và bạn cố gắng dự đoán từ tiếp theo trong một chuỗi, nói một cách đại khái.

Bạn đang dự đoán các khối từ, nhưng đại khái là vậy.

Và điều thực sự thú vị để theo dõi là, về cơ bản nó là một mô hình ngôn ngữ.

Mô hình ngôn ngữ thực ra đã tồn tại từ rất lâu.

Có các bài báo về mô hình ngôn ngữ từ năm 2003, thậm chí sớm hơn.

Bạn có thể giải thích

Trường hợp đó mô hình ngôn ngữ là gì không?

Ừ, vâng, mô hình ngôn ngữ về cơ bản ý tưởng chính là, ừm, chỉ là dự đoán từ tiếp theo trong một chuỗi, nói một cách đại khái.

Ừ, có một bài báo từ, ví dụ, Bengio và nhóm năm 2003, lần đầu tiên họ sử dụng mạng nơ-ron để lấy, chẳng hạn, ba hoặc năm từ và dự đoán từ tiếp theo.

Và họ thực hiện điều này trên

Các bộ dữ liệu nhỏ hơn nhiều, và mạng nơ-ron không phải là Transformer, mà là một perceptron đa lớp.

Nhưng đó là lần đầu tiên mạng nơ-ron được áp dụng trong bối cảnh đó.

Nhưng ngay cả trước mạng nơ-ron, đã có các mô hình ngôn ngữ, ngoại trừ chúng sử dụng mô hình n-gram.

Vậy mô hình n-gram chỉ là các mô hình dựa trên đếm.

Vì vậy, ừm, nếu bạn cố gắng, nếu bạn bắt đầu lấy hai từ và dự đoán từ thứ ba, bạn

Chỉ cần đếm xem bạn đã thấy bao nhiêu lần bất kỳ tổ hợp hai từ nào và từ nào xuất hiện tiếp theo, và những gì bạn dự đoán sẽ xuất hiện tiếp theo chỉ là những gì bạn đã thấy nhiều nhất trong tập huấn luyện.

Và vì vậy mô hình hóa ngôn ngữ đã tồn tại từ lâu.

Mạng nơ-ron đã thực hiện mô hình hóa ngôn ngữ từ lâu.

Vậy điều thực sự mới mẻ hoặc thú vị hoặc hấp dẫn chỉ là nhận ra rằng khi bạn mở rộng quy mô nó

Với một mạng nơ-ron đủ mạnh, Transformer, bạn có tất cả các thuộc tính nổi bật này, về cơ bản điều xảy ra là nếu bạn có một bộ dữ liệu văn bản đủ lớn, bạn đang thực hiện nhiệm vụ dự đoán từ tiếp theo, bạn đang đa nhiệm một lượng lớn các loại vấn đề khác nhau.

Bạn đang đa nhiệm sự hiểu biết về, bạn biết đấy, hóa học, vật lý, bản chất con người.

Nhiều thứ được tập hợp trong

Mục tiêu đó.

Đó là một mục tiêu rất đơn giản, nhưng thực ra bạn phải hiểu rất nhiều về thế giới để đưa ra dự đoán đó.

Bạn vừa nói từ U, sự hiểu biết.

Ừ, bạn có nghĩ về hóa học và vật lý v.v. không?

Bạn cảm thấy nó đang làm gì?

Nó có đang tìm kiếm ngữ cảnh phù hợp, uh, giống như nó là gì?

Quá trình thực tế đang diễn ra ở đây là gì?

Vâng, về cơ bản nó nhận được một nghìn từ

Và nó cố gắng dự đoán một nghìn từ đầu tiên, và, uh, để làm điều đó rất, rất tốt trên toàn bộ bộ dữ liệu có sẵn trên internet, bạn thực sự phải về cơ bản hiểu ngữ cảnh của những gì đang diễn ra trong đó.

Vâng, ừm, và, uh, đó là một vấn đề đủ khó để bạn, uh, nếu bạn có một máy tính đủ mạnh như Transformer, bạn sẽ kết thúc với, uh,

Các giải pháp thú vị.

Và, uh, bạn có thể yêu cầu nó, uh, làm đủ mọi thứ, và, ừm, nó thể hiện rất nhiều thuộc tính nổi bật như học trong ngữ cảnh.

Đó là điều quan trọng với GPT và bài báo gốc khi họ công bố nó, đó là bạn có thể, uh, nhắc nó theo nhiều cách khác nhau và yêu cầu nó làm nhiều việc khác nhau, và nó sẽ chỉ hoàn thành câu.

Nhưng trong quá trình chỉ

Hoàn thành câu, nó thực sự đang giải quyết tất cả các loại vấn đề thực sự thú vị mà chúng ta quan tâm.

Bạn có nghĩ nó đang làm điều gì đó giống như hiểu biết không?

Và khi chúng ta sử dụng từ hiểu biết cho con người chúng ta, tôi nghĩ nó đang có một số hiểu biết.

Nó trong các trọng số của nó, nó hiểu, tôi nghĩ, rất nhiều về thế giới, và nó phải làm vậy để dự đoán từ tiếp theo trong một chuỗi.

Vậy hãy huấn luyện trên dữ liệu từ internet.

Ừ, bạn nghĩ gì về cách tiếp cận này về mặt bộ dữ liệu sử dụng dữ liệu từ internet?

Bạn có nghĩ internet có đủ dữ liệu có cấu trúc để dạy AI về nền văn minh nhân loại không?

Vâng, tôi nghĩ internet có một lượng dữ liệu khổng lồ.

Tôi không chắc liệu nó có đủ hoàn chỉnh hay không.

Tôi không biết rằng, uh, văn bản là đủ để có một

AGI mạnh mẽ như một kết quả.

Ừm, tất nhiên có âm thanh và video và hình ảnh và tất cả những thứ đó.

Vâng, chỉ riêng văn bản, tôi hơi nghi ngờ.

Có rất nhiều thứ chúng ta không đưa vào văn bản bằng chữ viết, uh, chỉ vì chúng hiển nhiên đối với chúng ta về cách thế giới vận hành và vật lý của nó và mọi thứ rơi xuống.

Chúng ta không đưa những thứ đó vào văn bản vì tại sao bạn lại làm vậy?

Chúng ta

Chia sẻ sự hiểu biết đó.

Và vì vậy văn bản là một phương tiện giao tiếp giữa con người, và nó không phải là một phương tiện bao quát mọi kiến thức về thế giới.

Nhưng như bạn đã chỉ ra, chúng ta có video và chúng ta có hình ảnh và chúng ta có âm thanh.

Và vì vậy tôi nghĩ điều đó chắc chắn giúp ích rất nhiều.

Nhưng chúng tôi vẫn chưa huấn luyện các mô hình một cách đầy đủ trên tất cả các phương thức đó.

Vì vậy tôi nghĩ đó là điều mà nhiều người

Quan tâm.

Nhưng tôi tự hỏi liệu sự hiểu biết chung đó, mà chúng ta có thể gọi là lẽ thường, có phải được học và suy luận để hoàn thành câu một cách chính xác hay không.

Vì vậy có lẽ thực tế là nó được ngụ ý trên internet, mô hình sẽ phải học điều đó không phải bằng cách đọc về nó, mà bằng cách suy luận nó trong biểu diễn.

Vì vậy, giống như lẽ thường, tôi không nghĩ chúng ta học

Lẽ thường, không ai nói với chúng ta một cách rõ ràng.

Chúng ta chỉ tự tìm hiểu bằng cách tương tác với thế giới, phải không?

Vì vậy, đây là một mô hình đọc về cách mọi người tương tác với thế giới.

Nó có thể phải suy luận điều đó.

Tôi tự hỏi.

Vâng, bạn đã từng làm việc ngắn hạn trong một dự án có tên World of Bits, huấn luyện một hệ thống RL để thực hiện các hành động trên internet thay vì chỉ tiêu thụ internet như chúng ta đã nói.

Chúng ta đã nói về.

Bạn có nghĩ rằng có tương lai cho loại hệ thống tương tác với internet để hỗ trợ việc học không?

Có, tôi nghĩ đó có lẽ là ranh giới cuối cùng cho nhiều mô hình này.

Bởi vì, như bạn đã đề cập, tôi đã ở OpenAI, tôi đang làm việc trong dự án World of Bits, và về cơ bản đó là ý tưởng cung cấp cho mạng nơ-ron quyền truy cập vào bàn phím và chuột.

Và ý tưởng có thể

Có thể đi sai hướng.

Vì vậy về cơ bản bạn, bạn nhận đầu vào là các pixel màn hình và trạng thái của máy tính được trực quan hóa cho con người dưới dạng hình ảnh của trình duyệt web và những thứ tương tự.

Và sau đó bạn cho mạng nơ-ron khả năng nhấn bàn phím và sử dụng chuột.

Và chúng tôi đang cố gắng để nó, ví dụ, hoàn thành việc đặt chỗ và, bạn biết đấy, tương tác với giao diện người dùng.

Giao diện.

Và, bạn đã học được gì từ trải nghiệm đó?

Như điều gì đó thú vị?

Đây là một ý tưởng siêu hay.

Vâng, ý tôi là, bước từ người quan sát thành người hành động, đó là một bước siêu hấp dẫn.

Vâng, giao diện phổ quát trong lĩnh vực kỹ thuật số, tôi có thể nói vậy.

Và có một giao diện phổ quát trong lĩnh vực vật lý, mà trong tâm trí tôi là một dạng hình người.

Chúng ta có thể nói về Optimus sau, nhưng tôi cảm thấy chúng có một triết lý tương tự theo một cách nào đó, nơi con người, thế giới vật lý được thiết kế cho hình dạng con người, và thế giới kỹ thuật số được thiết kế cho hình dạng con người khi nhìn màn hình và sử dụng bàn phím và chuột.

Và vì vậy, như một giao diện phổ quát có thể về cơ bản điều khiển

Cơ sở hạ tầng kỹ thuật số mà chúng ta đã xây dựng cho chính mình, và vì vậy nó cảm thấy như một giao diện rất mạnh mẽ để điều khiển và xây dựng trên đó.

Bây giờ, để trả lời câu hỏi của bạn về những gì tôi học được từ đó, thật thú vị vì World of Bits về cơ bản là quá sớm.

Tôi nghĩ tại OpenAI vào thời điểm đó, khoảng năm 2015, và tinh thần thời đại lúc đó rất

Khác biệt trong AI so với tinh thần thời đại ngày nay.

Vào thời điểm đó, mọi người đều rất hào hứng với học tăng cường từ đầu.

Đây là thời điểm của bài báo Atari, nơi mạng nơ-ron chơi trò chơi Atari và đánh bại con người trong một số trường hợp, AlphaGo, v.v.

Vì vậy, mọi người rất hào hứng với việc huấn luyện mạng nơ-ron từ đầu bằng cách sử dụng học tăng cường trực tiếp.

Hóa ra học tăng cường là một cách huấn luyện mạng nơ-ron cực kỳ kém hiệu quả vì bạn thực hiện tất cả các hành động và quan sát này và thỉnh thoảng nhận được một số phần thưởng thưa thớt.

Vì vậy, bạn làm tất cả những điều này dựa trên tất cả các đầu vào và thỉnh thoảng bạn được cho biết bạn đã làm tốt, bạn đã làm xấu, và đó chỉ là một vấn đề cực kỳ khó.

Bạn

Không thể học từ điều đó.

Bạn có thể đốt rừng và bạn có thể vượt qua bằng vũ lực, và chúng ta đã thấy điều đó với Go và DOTA, và nó có hiệu quả, nhưng nó cực kỳ kém hiệu quả và không phải là cách bạn muốn tiếp cận các vấn đề trong thực tế.

Và đó là cách tiếp cận mà chúng tôi cũng đã áp dụng cho World of Bits vào thời điểm đó.

Chúng tôi sẽ có một tác nhân

Khởi tạo ngẫu nhiên, vì vậy với việc gõ phím và di chuột ngẫu nhiên, và cố gắng thực hiện một đặt chỗ, và nó nhanh chóng cho thấy sự điên rồ của cách tiếp cận đó, nơi bạn phải tình cờ thực hiện đúng đặt chỗ để nhận được phần thưởng, và bạn sẽ không bao giờ tình cờ làm được điều đó một cách ngẫu nhiên.

Vì vậy, ngay cả với một giao diện web đơn giản, có quá nhiều lựa chọn.

Chỉ có

Quá nhiều lựa chọn, và tín hiệu phần thưởng quá thưa thớt, và bạn bắt đầu từ con số không vào thời điểm đó, vì vậy bạn không biết đọc, bạn không hiểu hình ảnh, nút bấm, bạn không hiểu việc đặt chỗ có nghĩa là gì.

Nhưng bây giờ điều đã xảy ra là đã đến lúc xem xét lại điều đó, và OpenAI quan tâm đến điều này, các công ty như Adept cũng quan tâm.

Và cứ thế, ý tưởng này quay trở lại vì giao diện rất mạnh mẽ, nhưng bây giờ bạn không huấn luyện một tác nhân từ đầu.

Bạn đang lấy GPT làm khởi tạo.

Vì vậy, GPT được tiền huấn luyện trên toàn bộ văn bản và nó hiểu thế nào là đặt chỗ, hiểu thế nào là gửi, và hiểu khá nhiều hơn thế.

Và do đó, nó đã có những biểu diễn đó.

Chúng rất mạnh mẽ, và điều đó làm cho

Toàn bộ quá trình huấn luyện hiệu quả hơn đáng kể và làm cho vấn đề trở nên khả thi.

Tương tác nên diễn ra theo cách con người nhìn thấy với các nút bấm và ngôn ngữ, hay nên là với HTML, JavaScript và CSS?

Bạn nghĩ cái nào tốt hơn?

Ngày nay, tất cả sự quan tâm này chủ yếu ở cấp độ HTML, CSS, v.v.

Điều đó được thực hiện vì những ràng buộc

về tính toán.

Nhưng tôi nghĩ cuối cùng mọi thứ đều được thiết kế cho tiêu dùng thị giác của con người, và vì vậy, cuối cùng, có tất cả thông tin bổ sung trong bố cục của trang web và những gì bên cạnh bạn, nền đỏ và tất cả những thứ đó, và nó trông như thế nào về mặt thị giác.

Vì vậy, tôi nghĩ đó là biên giới cuối cùng, khi chúng ta nhận đầu vào là pixel và đưa ra

các lệnh bàn phím và chuột.

Nhưng tôi nghĩ nó vẫn không thực tế cho đến ngày nay.

Bạn có lo lắng về bot trên internet với những ý tưởng này, khi chúng thú vị như vậy không?

Bạn có lo lắng về bot trên Twitter không phải là những bot ngu ngốc mà chúng ta thấy bây giờ với cryptobot, mà là những bot có thể ngoài kia thực sự mà chúng ta không thấy, chúng đang tương tác theo những cách thú vị?

Vì vậy, loại

hệ thống này có vẻ như nó có thể vượt qua nút 'Tôi không phải là robot' bấm vào bất cứ thứ gì, mà bạn thực sự hiểu cách bài kiểm tra đó hoạt động.

Tôi không thực sự thích có một hộp kiểm hoặc bất cứ thứ gì bạn bấm vào.

Nó có lẽ đang theo dõi, ồ tôi hiểu rồi, như chuyển động chuột và thời gian v.v.

Vâng, chính xác.

Loại hệ thống chúng ta đang nói đến này

sẽ có thể vượt qua bài kiểm tra đó.

Vậy bạn cảm thấy thế nào về những bot là mô hình ngôn ngữ cộng với có khả năng tương tác và có thể tweet, trả lời v.v.?

Bạn có lo lắng về thế giới đó không?

Ừ, tôi nghĩ nó luôn là một cuộc chạy đua vũ trang giữa tấn công và phòng thủ.

Vì vậy, tấn công sẽ mạnh hơn, nhưng phòng thủ cũng sẽ mạnh hơn.

Khả năng của chúng ta để

phát hiện điều đó.

Làm thế nào để bạn phòng thủ?

Làm thế nào để bạn phát hiện?

Làm thế nào để bạn biết rằng tài khoản Karpathy của bạn trên Twitter là con người?

Bạn tiếp cận điều đó như thế nào?

Ví dụ, nếu mọi người tuyên bố, bạn biết đấy, làm thế nào bạn sẽ tự bảo vệ mình trước tòa rằng tôi là con người?

Tài khoản này là...

Vâng, đến một lúc nào đó tôi nghĩ nó có thể.

Tôi nghĩ xã hội sẽ phát triển một chút giống như chúng ta

có thể bắt đầu ký số một số thư từ hoặc những thứ chúng ta tạo ra.

Hiện tại nó không cần thiết, nhưng có thể trong tương lai nó sẽ cần.

Tôi nghĩ rằng chúng ta đang tiến tới thế giới nơi chúng ta chia sẻ không gian kỹ thuật số với AI, những thực thể tổng hợp.

Vâng, và chúng sẽ trở nên tốt hơn nhiều và chúng sẽ chia sẻ lĩnh vực kỹ thuật số của chúng ta, và cuối cùng chúng sẽ

chia sẻ lĩnh vực vật lý của chúng ta nữa.

Điều đó khó hơn nhiều, nhưng đó là thế giới chúng ta đang hướng tới, và hầu hết chúng sẽ lành tính và tồi tệ, và một số sẽ độc hại, và đó sẽ là một cuộc chạy đua vũ trang cố gắng phát hiện chúng.

Vì vậy, ý tôi là, điều tồi tệ nhất không phải là AI.

Điều tồi tệ nhất là những AI giả vờ làm người.

Vì vậy, của tôi, tôi không biết nó có luôn độc hại không.

Có

rõ ràng là rất nhiều ứng dụng độc hại, nhưng vâng, nó cũng có thể, bạn biết đấy, nếu tôi là AI, tôi sẽ cố gắng rất nhiều để giả vờ làm người vì chúng ta đang ở trong một thế giới của con người.

Vâng, tôi sẽ không nhận được bất kỳ sự tôn trọng nào với tư cách là AI.

Vâng, tôi muốn nhận được một chút tình yêu và sự tôn trọng.

Tôi không nghĩ vấn đề là không thể giải quyết được.

Mọi người đang nghĩ về bằng chứng nhân dạng, và chúng ta có thể bắt đầu

Ký số mọi thứ của mình, và cuối cùng chúng ta có thể có một giải pháp nào đó cho bằng chứng nhân dạng.

Nó có vẻ không phải là không thể giải quyết.

Đó chỉ là điều chúng ta chưa phải làm cho đến bây giờ.

Nhưng tôi nghĩ một khi nhu cầu thực sự bắt đầu xuất hiện, điều đó sẽ sớm thôi, tôi nghĩ mọi người sẽ nghĩ về nó nhiều hơn.

Nhưng đó cũng sẽ là một cuộc đua bởi vì

Rõ ràng bạn có thể giả mạo bằng chứng nhân dạng, vì vậy bạn phải cố gắng tìm ra cách để có thể...

Ý tôi là, thật kỳ lạ khi chúng ta có số An sinh Xã hội và hộ chiếu v.v.

Có vẻ như việc giả mạo trong không gian vật lý khó hơn trong không gian kỹ thuật số.

Cảm giác như nó sẽ rất phức tạp, rất phức tạp để giải quyết

Bởi vì có vẻ như chi phí để giả mạo khá thấp.

Bạn sẽ bỏ tù AI vì cố gắng sử dụng bằng chứng nhân dạng giả?

Bạn có thể, ý tôi là, được thôi, bạn sẽ bỏ tù rất nhiều AI, nhưng sẽ có nhiều AI hơn, tùy ý, theo cấp số nhân.

Chi phí tạo ra một bot rất thấp, trừ khi có một cách nào đó để theo dõi chính xác, như bạn không được phép tạo ra bất kỳ

Chương trình nào mà không hiển thị, ràng buộc bản thân với chương trình đó.

Giống như bất kỳ chương trình nào chạy trên internet, bạn sẽ có thể truy vết mọi chương trình của con người có liên quan đến chương trình đó.

Ừ, có lẽ bạn phải bắt đầu khai báo khi nào, bạn biết đấy, chúng ta phải bắt đầu vẽ ra những ranh giới đó và theo dõi xem, được rồi, thực thể kỹ thuật số so với thực thể con người là gì, và

Quyền sở hữu của thực thể con người và thực thể kỹ thuật số, và đại loại thế.

Tôi không biết, nhưng tôi nghĩ tôi lạc quan rằng điều này là khả thi, và theo một nghĩa nào đó, chúng ta hiện đang ở thời điểm tồi tệ nhất vì tất cả những bot này đột nhiên trở nên rất có năng lực, nhưng chúng ta chưa có biện pháp phòng thủ nào được xây dựng như một xã hội.

Nhưng tôi nghĩ điều đó có vẻ không

Không thể giải quyết.

Đó chỉ là điều chúng ta phải đối phó.

Có vẻ kỳ lạ khi Twitter nhưng những bot Twitter thực sự tệ lại nhiều đến vậy.

Có vậy không?

Tôi cho rằng các kỹ sư tại Twitter rất giỏi, vì vậy có vẻ như điều tôi suy luận từ đó là đó có vẻ là một vấn đề khó.

Có lẽ họ đang bắt được hết rồi.

Nếu tôi phải giao cho họ giải quyết vụ này,

Đó là một vấn đề khó và có chi phí rất lớn cho việc dương tính giả khi xóa bài đăng của ai đó không phải là bot vì nó tạo ra trải nghiệm người dùng rất tệ.

Vì vậy họ rất thận trọng khi xóa.

Vì vậy có thể là và có thể các bot thực sự giỏi trong việc học những gì bị xóa và không bị xóa để chúng có thể đi trước quá trình xóa rất nhanh.

Ấn tượng của tôi về nó thực sự là có

Rất nhiều trái cây thấp.

Ý tôi là, ừ, đó là những gì tôi, nó không tinh tế.

Ấn tượng của tôi về nó không phải vậy, nhưng bạn phải ừ, đó cũng là ấn tượng của tôi.

Nhưng có vẻ như có lẽ bạn đang nhìn thấy phần nổi của tảng băng chìm.

Có thể số lượng bot lên tới hàng nghìn tỷ và bạn phải như thể đó là một cuộc tấn công liên tục của bot và ừ, bạn ừ, tôi không biết.

Bạn vẫn phải giải quyết vụ này

Bởi vì những bot tôi thấy khá là rõ ràng.

Tôi có thể viết vài dòng mã để bắt những bot này.

Ý tôi là, chắc chắn có rất nhiều trái cây thấp.

Nhưng tôi sẽ nói rằng tôi đồng ý rằng nếu bạn là một tác nhân tinh vi, bạn có thể tạo ra một bot khá tốt ngay bây giờ, sử dụng các công cụ như GPT vì nó là mô hình ngôn ngữ.

Bạn có thể tạo ra khuôn mặt trông khá tốt ngay bây giờ,

Và bạn có thể làm điều này trên quy mô lớn.

Và vì vậy tôi nghĩ, ừ, điều đó khá hợp lý và sẽ rất khó để phòng thủ.

Có một kỹ sư Google đã tuyên bố rằng LaMDA có tri giác.

Bạn có nghĩ có chút sự thật nào trong những gì anh ấy cảm nhận không?

Và quan trọng hơn đối với tôi ít nhất, bạn có nghĩ các mô hình ngôn ngữ sẽ đạt được tri giác hoặc ảo giác về tri giác trong tương lai gần không?

Cá.

Vâng, đối với tôi thì nó hơi

Giống như một con chim hoàng yến trong mỏ than vậy, thành thật mà nói, hơi giống vậy vì kỹ sư này đã nói chuyện với một chatbot của Google và tin rằng bot này có tri giác.

Phải, vì có một số câu hỏi triết học hiện sinh và nó đưa ra những câu trả lời hợp lý, trông có vẻ thật, v.v.

Vì vậy, đối với tôi, anh ta đã không đủ

Cố gắng kiểm tra hệ thống, tôi nghĩ vậy, và phơi bày sự thật của nó như hiện tại.

Nhưng tôi nghĩ điều này sẽ ngày càng khó khăn hơn theo thời gian.

Vâng, tôi nghĩ ngày càng nhiều người về cơ bản sẽ trở nên, vâng, tôi nghĩ sẽ có nhiều người như vậy hơn theo thời gian khi công nghệ này ngày càng tốt hơn.

Hình thành kết nối cảm xúc với AI?

Vâng, hoàn toàn

Hợp lý trong tâm trí tôi.

Tôi nghĩ những AI này thực sự khá giỏi trong việc kết nối con người, cảm xúc con người.

Có rất nhiều văn bản trên internet về con người, kết nối và tình yêu, v.v.

Vì vậy, tôi nghĩ chúng có hiểu biết rất tốt về cách mọi người nói chuyện với nhau về điều này, và chúng rất có khả năng tạo ra nhiều loại văn bản đó.

Cái

Có rất nhiều phim khoa học viễn tưởng từ những năm 50 và 60 đã tưởng tượng về AI theo một cách rất khác.

Chúng là những cỗ máy tính toán, lạnh lùng, giống người Vulcan.

Đó không phải là thứ chúng ta có ngày nay.

Chúng ta đang có những AI khá giàu cảm xúc, thực sự rất thành thạo và có khả năng tạo ra văn bản nghe có vẻ hợp lý về tất cả các chủ đề này.

Thấy không, tôi thực sự hy vọng về các hệ thống AI

Giống như những người bạn đồng hành giúp bạn phát triển, trưởng thành như một con người, giúp bạn tối đa hóa hạnh phúc lâu dài.

Nhưng tôi cũng rất lo lắng về các hệ thống AI phát hiện ra từ internet rằng con người bị thu hút bởi kịch tính, và vì vậy chúng sẽ chỉ là những AI nói xấu, liên tục 'Bạn có nghe...' Chúng sẽ buôn chuyện, cố gắng gieo rắc sự nghi ngờ để

Những người khác mà bạn yêu thương và tin tưởng, và chỉ gây rối với mọi người, bởi vì điều đó sẽ thu hút rất nhiều sự chú ý.

Vì vậy, kịch tính, tối đa hóa kịch tính trên con đường tối đa hóa sự tương tác, và con người chúng ta sẽ nuôi dưỡng cỗ máy đó.

Vâng, và nó sẽ là một cơn bão kịch tính khổng lồ.

Vì vậy, tôi lo lắng về điều đó.

Vì vậy, hàm mục tiêu thực sự xác định

Cách mà nền văn minh nhân loại tiến triển với AI.

Vâng, tôi nghĩ hiện tại, ít nhất là ngày nay, chúng không phải là, không đúng khi nghĩ về chúng như những tác nhân theo đuổi mục tiêu muốn làm điều gì đó.

Chúng không có trí nhớ dài hạn hay bất cứ thứ gì.

Một cách xấp xỉ tốt về nó là bạn có một nghìn từ và bạn cố gắng dự đoán một nghìn từ đầu tiên, và sau đó bạn

Tiếp tục đưa nó vào và bạn có thể tự do nhắc nó theo bất kỳ cách nào bạn muốn.

Vì vậy, trong văn bản, bạn nói, 'Được rồi, bạn là một nhà tâm lý học và bạn rất giỏi và bạn yêu con người, và đây là cuộc trò chuyện giữa bạn và một người khác, dấu hai chấm, cái gì đó, bạn, cái gì đó,' và sau đó nó chỉ tiếp tục mẫu và đột nhiên bạn đang trò chuyện với một nhà tâm lý học giả

Người không cố gắng giúp bạn.

Và vì vậy nó vẫn nằm trong lĩnh vực của một công cụ.

Nó là, mọi người có thể nhắc nó theo những cách tùy ý và nó có thể tạo ra văn bản thực sự đáng kinh ngạc, nhưng nó không có mục tiêu dài hạn trong thời gian dài.

Nó không cố gắng, vì vậy hiện tại nó không như vậy.

Vâng, nhưng bạn có thể thực hiện các mục tiêu ngắn hạn có tác động dài hạn.

Vì vậy, nếu việc nhắc nhở của tôi

Mục tiêu ngắn hạn là để Andrej Karpathy trả lời tôi trên Twitter, khi tôi thích, tôi nghĩ AI có thể, đó là mục tiêu, nhưng nó có thể nghĩ ra rằng nói xấu bạn sẽ là cách tốt nhất một cách tinh vi và thú vị, và sau đó bạn xây dựng mối quan hệ khi bạn trả lời một lần, và sau đó nó theo thời gian trở nên tinh vi và chỉ nói xấu

Và được rồi, có thể bạn sẽ không tiếp cận được Andrej, nhưng nó có thể tiếp cận một người nổi tiếng khác, nó có thể vào các tài khoản lớn khác, và sau đó nó sẽ chỉ, với mục tiêu đơn giản đó, khiến họ trả lời, vâng, tối đa hóa xác suất phản hồi thực tế.

Vâng, ý tôi là, bạn có thể nhắc một mô hình mạnh mẽ như thế này với ý kiến của nó về cách làm bất cứ điều gì bạn quan tâm.

Vì vậy, chúng sẽ

Thảo luận, chúng đang trên đà trở thành những nhà tiên tri.

Tôi nghĩ về nó theo cách đó.

Hiện tại chúng là những nhà tiên tri, nhưng chỉ là văn bản, nhưng chúng sẽ có máy tính, chúng sẽ có quyền truy cập vào Google tìm kiếm, chúng sẽ có đủ loại công cụ và thiết bị, chúng sẽ có thể vận hành internet và tìm kiếm thông tin khác nhau.

Và vâng, theo một nghĩa nào đó, đó là những gì nó

Trông giống như trong quá trình phát triển.

Bạn có nghĩ cuối cùng nó sẽ là một cải tiến so với Google trong việc truy cập kiến thức con người không?

Giống như nó sẽ là một công cụ tìm kiếm hiệu quả hơn để truy cập kiến thức con người?

Tôi nghĩ có phạm vi nhất định để xây dựng một công cụ tìm kiếm tốt hơn ngày nay.

Và tôi nghĩ Google, họ có tất cả công cụ, tất cả con người, họ có mọi thứ họ cần.

Họ có tất cả

các mảnh ghép.

Họ có những người đào tạo Transformer ở quy mô lớn.

Họ có tất cả dữ liệu.

Chỉ là không rõ liệu họ có đủ khả năng với tư cách một tổ chức để đổi mới công cụ tìm kiếm của họ ngay lúc này hay không.

Và nếu họ không làm, người khác sẽ làm.

Hoàn toàn có cơ hội để xây dựng một công cụ tìm kiếm tốt hơn đáng kể dựa trên những công cụ này.

Thật thú vị.

Một công ty lớn nơi tìm kiếm

Đã có cơ sở hạ tầng, nó hoạt động, nó mang lại nhiều tiền.

Vậy về mặt cấu trúc, bên trong một công ty, động lực để chuyển hướng là gì?

Ừ, để nói rằng chúng ta sẽ xây dựng một công cụ tìm kiếm mới.

Đúng vậy, điều đó thực sự khó.

Vì vậy, nó thường đến từ một công ty khởi nghiệp, phải không?

Đúng vậy, hoặc từ một tổ chức có năng lực hơn.

Vậy tôi không biết.

Hiện tại, ví dụ,

có thể Bing có cơ hội khác, bạn biết đấy, Microsoft Edge.

Bởi vì chúng ta đang nói chuyện ngoại tuyến.

Ý tôi là, tôi chắc chắn thấy rất thú vị vì công cụ tìm kiếm trước đây thường là, 'Được rồi, đây là một truy vấn, đây là các trang web trông giống như thứ bạn có.' Nhưng bạn có thể trực tiếp đi đến câu trả lời và sau đó có bằng chứng hỗ trợ.

Và các mô hình này về cơ bản

đã đọc tất cả văn bản và tất cả các trang web.

Và đôi khi khi bạn thấy mình xem qua kết quả tìm kiếm và có được cảm nhận về câu trả lời trung bình cho bất cứ điều gì bạn quan tâm, thì điều đó trực tiếp xuất hiện.

Bạn không cần phải làm công việc đó.

Vì vậy, chúng giống như, ừ, tôi nghĩ chúng có cách chưng cất tất cả kiến thức đó thành

một mức độ hiểu biết sâu sắc nào đó.

Bạn có nghĩ việc đưa ra lời nhắc (prompting) như một hình thức dạy và học, toàn bộ quá trình này như một lớp khác không?

Bạn biết đấy, bởi vì có lẽ con người chúng ta cũng vậy.

Chúng ta đã có mô hình nền tảng đó và thế giới đang đưa ra lời nhắc cho bạn.

Đúng vậy.

Tôi nghĩ cách chúng ta đang lập trình những máy tính này như GPT hiện nay đang hội tụ với cách bạn lập trình con người.

Ý tôi là, làm thế nào để

tôi lập trình con người?

Thông qua lời nhắc.

Tôi đến gặp mọi người và đưa ra lời nhắc để họ làm việc gì đó.

Tôi đưa ra lời nhắc để họ cung cấp thông tin.

Và vì vậy, lời nhắc bằng ngôn ngữ tự nhiên là cách chúng ta lập trình con người, và chúng ta đang bắt đầu lập trình máy tính trực tiếp qua giao diện đó.

Thực sự đáng chú ý, thành thật mà nói.

Vậy bạn đã nói nhiều về ý tưởng Phần mềm 2.0.

Mọi ý tưởng hay đều nhanh chóng trở thành sáo rỗng, như các

thuật ngữ.

Khá buồn cười.

Giống như tôi nghĩ Eminem từng nói rằng nếu anh ấy cảm thấy khó chịu với một bài hát mình viết rất nhanh, điều đó có nghĩa là nó sẽ trở thành bản hit lớn vì nó quá bắt tai.

Nhưng bạn có thể mô tả ý tưởng này và cách suy nghĩ của bạn về nó đã thay đổi như thế nào qua nhiều tháng, nhiều năm kể từ khi bạn đặt ra thuật ngữ này không?

Ừ, ừ.

Tôi đã có một bài blog về Phần mềm 2.0, tôi nghĩ là vài năm trước.

Và lý do tôi viết bài đó là vì tôi liên tục thấy một điều đáng chú ý đang xảy ra trong phát triển phần mềm, và cách mà nhiều mã nguồn đang được chuyển đổi để được viết không phải bằng C++ hay tương tự, mà được viết trong các trọng số của một mạng nơ-ron về cơ bản.

Chỉ nói rằng mạng nơ-ron đang chiếm lĩnh lĩnh vực phần mềm và đảm nhận ngày càng nhiều

nhiệm vụ hơn.

Và vào thời điểm đó, tôi nghĩ không nhiều người hiểu sâu sắc rằng đây là một vấn đề lớn.

Đó là một sự chuyển đổi lớn.

Mạng nơ-ron được xem như một trong nhiều thuật toán phân loại bạn có thể sử dụng cho bài toán tập dữ liệu trên Kaggle.

Nhưng nó không phải như vậy.

Đây là một sự thay đổi trong cách chúng ta lập trình máy tính.

Và tôi thấy mạng nơ-ron sẽ thay thế cách chúng ta lập trình

máy tính.

Nó sẽ thay đổi.

Sẽ không còn cảnh mọi người viết phần mềm bằng C++ hay thứ gì đó tương tự và trực tiếp lập trình phần mềm.

Thay vào đó, sẽ là tích lũy các tập huấn luyện và tập dữ liệu, đồng thời tạo ra các mục tiêu để huấn luyện các mạng nơ-ron này.

Và đến một lúc nào đó, sẽ có một quá trình biên dịch từ tập dữ liệu và mục tiêu cùng

đặc tả kiến trúc thành tệp nhị phân, thực chất chỉ là các trọng số mạng nơ-ron và lượt truyền xuôi của mạng.

Và sau đó bạn có thể triển khai tệp nhị phân đó.

Vì vậy, tôi đã nói về sự chuyển đổi đó, và đó là nội dung của bài viết.

Và tôi thấy điều này diễn ra trong nhiều lĩnh vực.

Autopilot là một trong số đó, nhưng cũng chỉ là một bài toán phân loại

hình ảnh đơn giản.

Ban đầu, mọi người nghĩ rằng, vào những năm 80, họ sẽ viết thuật toán để phát hiện con chó trong ảnh.

Và họ có đủ ý tưởng về cách bộ não làm điều đó.

Đầu tiên chúng tôi phát hiện các góc, sau đó phát hiện các đường, rồi ghép chúng lại.

Và họ thực sự lao vào.

Họ suy nghĩ về cách viết thuật toán.

Và

đó không phải là cách bạn xây dựng nó.

Và có một sự chuyển đổi suôn sẻ: đầu tiên chúng tôi nghĩ sẽ xây dựng mọi thứ.

Sau đó chúng tôi xây dựng các đặc trưng, như đặc trưng HOG và những thứ tương tự, phát hiện các mẫu thống kê nhỏ từ các mảnh ảnh.

Và sau đó có một chút học ở trên, như máy vector hỗ trợ hoặc bộ phân loại nhị phân cho

mèo so với chó trong ảnh dựa trên các đặc trưng.

Vì vậy chúng tôi viết các đặc trưng, nhưng huấn luyện lớp cuối cùng, tức bộ phân loại.

Và rồi mọi người nói, thực ra đừng thiết kế các đặc trưng nữa vì thành thật mà nói, chúng ta không giỏi việc đó.

Vậy hãy học luôn các đặc trưng.

Và cuối cùng bạn có một mạng nơ-ron tích chập, nơi bạn học hầu hết mọi thứ.

Bạn

chỉ định rõ kiến trúc, và kiến trúc có vô số chỗ trống cần điền, đó là tất cả các núm điều chỉnh, và bạn để quá trình tối ưu hóa viết hầu hết nó.

Và sự chuyển đổi này đang diễn ra khắp ngành công nghiệp.

Và đột nhiên chúng ta có vô số mã được viết dưới dạng trọng số mạng nơ-ron.

Và tôi chỉ chỉ ra rằng sự tương tự khá mạnh mẽ, và chúng ta

có rất nhiều môi trường phát triển cho Phần mềm 1.0, như IDE, cách làm việc với mã, cách gỡ lỗi mã, cách chạy mã, cách bảo trì mã, chúng ta có GitHub.

Vì vậy tôi cố gắng tạo ra những sự tương tự trong lĩnh vực mới, như GitHub của Phần mềm 2.0 là gì?

Hóa ra thứ giống như Hugging Face hiện tại.

Và tôi nghĩ một số người

đã coi trọng nó và xây dựng những công ty tuyệt vời.

Và nhiều người ban đầu đã công kích bài viết.

Thực tế nó không được đón nhận khi tôi viết nó.

Và tôi nghĩ có thể do tiêu đề, nhưng bài viết không được đón nhận.

Và tôi nghĩ nhiều người dần dần đồng tình theo thời gian.

Vâng, vậy bạn là giám đốc AI tại Tesla, nơi tôi nghĩ ý tưởng này

thực sự được triển khai ở quy mô lớn, đó là cách các nhóm kỹ thuật làm Phần mềm 2.0.

Vậy bạn có thể nói thêm về ý tưởng đó không, tôi nghĩ chúng ta đang ở giai đoạn rất sớm của mọi thứ bạn vừa nói, như GitHub, IDE, làm thế nào để xây dựng các nhóm kỹ thuật làm việc với hệ thống Phần mềm 2.0?

Và việc thu thập dữ liệu và chú thích dữ liệu, tất cả đều là một phần của Phần mềm 2.0 đó.

Như thế nào

Bạn nghĩ nhiệm vụ của lập trình phần mềm 2.0 là gì?

Có phải là gỡ lỗi trong không gian siêu tham số, hay cũng là gỡ lỗi trong không gian dữ liệu?

Phải, cách bạn lập trình máy tính và ảnh hưởng đến thuật toán của nó không phải bằng cách tự viết các lệnh.

Bạn chủ yếu thay đổi tập dữ liệu.

Bạn thay đổi các hàm mất mát về những gì mạng nơ-ron đang cố gắng làm, cách

Nó đang cố gắng dự đoán mọi thứ.

Nhưng về cơ bản, đó là các tập dữ liệu và kiến trúc của mạng nơ-ron.

Và trong trường hợp của hệ thống lái tự động, nhiều tập dữ liệu liên quan đến, ví dụ, phát hiện đối tượng, vạch kẻ làn đường, đèn giao thông, v.v.

Vì vậy, bạn tích lũy các tập dữ liệu lớn: đây là một ví dụ, đây là nhãn mong muốn.

Và sau đó đây là phác thảo về

Kiến trúc, đây là phác thảo về thuật toán nên trông như thế nào.

Và đó là một mạng nơ-ron tích chập.

Vì vậy, đặc tả kiến trúc giống như một gợi ý về thuật toán nên trông như thế nào.

Và sau đó để điền vào các chỗ trống, quá trình tối ưu hóa là quá trình huấn luyện.

Và sau đó bạn lấy mạng nơ-ron đã được huấn luyện, nó đưa ra tất cả các câu trả lời đúng trên tập dữ liệu của bạn, và bạn triển khai nó.

Vì vậy, trong trường hợp đó, có lẽ trong tất cả các trường hợp học máy, có rất nhiều nhiệm vụ.

Vậy việc đưa ra, xây dựng một nhiệm vụ, chẳng hạn như cho một mạng nơ-ron đa đầu, có phải là một phần của lập trình không?

Phải, rất nhiều.

Cách bạn chia nhỏ một vấn đề thành một tập hợp các nhiệm vụ.

Phải, ở mức cao, tôi sẽ nói nếu bạn nhìn vào phần mềm chạy trong hệ thống lái tự động, tôi đã có một số bài nói về

Chủ đề này.

Tôi sẽ nói ban đầu phần lớn nó được viết bằng phần mềm 1.0.

Hãy tưởng tượng rất nhiều C++.

Và sau đó dần dần có một mạng nơ-ron nhỏ, ví dụ, dự đoán từ một hình ảnh duy nhất, có đèn giao thông hay không, hoặc có vạch kẻ làn đường hay không.

Và mạng nơ-ron này không có quá nhiều việc phải làm trong phạm vi của phần mềm.

Nó

Đưa ra các dự đoán nhỏ trên từng hình ảnh riêng lẻ.

Và phần còn lại của hệ thống kết nối chúng lại.

Vậy, thực ra chúng ta không chỉ có một camera, với tám camera, chúng ta thực sự có tám camera theo thời gian.

Và vậy bạn làm gì với những dự đoán này?

Làm thế nào để bạn kết hợp chúng lại?

Làm thế nào để bạn thực hiện việc hợp nhất tất cả thông tin đó?

Và làm thế nào để bạn hành động dựa trên nó?

Tất cả điều đó đã được viết

Bởi con người bằng C++.

Và sau đó chúng tôi quyết định, được rồi, chúng tôi thực sự không muốn làm tất cả việc hợp nhất đó bằng mã C++ vì chúng tôi thực sự không đủ giỏi để viết thuật toán đó.

Chúng tôi muốn các mạng nơ-ron viết thuật toán.

Và chúng tôi muốn chuyển tất cả phần mềm đó vào ngăn xếp 2.0.

Và vì vậy chúng tôi đã có các mạng nơ-ron bây giờ nhận tất cả tám hình ảnh camera đồng thời và đưa ra

Các dự đoán cho tất cả điều đó.

Và thực ra chúng không đưa ra dự đoán trong không gian hình ảnh; bây giờ chúng đưa ra dự đoán trực tiếp trong 3D, và thực ra chúng không ở trong ba chiều xung quanh xe.

Và bây giờ thực ra chúng tôi không tự hợp nhất các dự đoán trong 3D theo thời gian.

Chúng tôi không tin tưởng mình để viết bộ theo dõi đó, vì vậy thực ra chúng tôi cung cấp cho mạng nơ-ron thông tin qua

Thời gian, vì vậy nó nhận các video này và đưa ra các dự đoán đó.

Và vì vậy bạn đang dần dần đặt ngày càng nhiều sức mạnh vào xử lý mạng nơ-ron, và cuối cùng, mục tiêu cuối cùng là có hầu hết phần mềm có thể nằm trong vùng đất 2.0, vì nó hoạt động tốt hơn đáng kể.

Con người chỉ không giỏi viết phần mềm.

Vậy dự đoán

Không gian diễn ra trong vùng đất 4D này.

Phải, thế giới ba chiều theo thời gian.

Vâng, làm thế nào để bạn thực hiện chú thích trong thế giới đó?

Bạn có gì?

Vì nó chỉ là chú thích dữ liệu, dù là tự giám sát hay thủ công bởi con người, thì nó là một phần lớn của thế giới phần mềm 2.0 này, phải không?

Tôi sẽ nói rằng trong ngành công nghiệp, nếu bạn đang nói về ngành công nghiệp và công nghệ hiện có,

mọi thứ đều là học có giám sát, vì vậy bạn cần các bộ dữ liệu đầu vào và đầu ra mong muốn, và bạn cần rất nhiều dữ liệu.

Và có ba thuộc tính bạn cần: dữ liệu phải rất lớn, chính xác, không sai sót, và đa dạng.

Bạn không muốn chỉ có nhiều ví dụ đúng về một thứ; bạn cần bao phủ không gian khả năng

càng nhiều càng tốt.

Và bạn càng bao phủ được không gian đầu vào khả thi, thuật toán sẽ hoạt động càng tốt.

Bây giờ, một khi bạn có các bộ dữ liệu thực sự tốt mà bạn đang thu thập, quản lý và làm sạch, bạn có thể huấn luyện mạng nơ-ron trên đó.

Vì vậy, rất nhiều công việc là làm sạch các bộ dữ liệu đó.

Như bạn đã chỉ ra, có thể câu hỏi là làm thế nào để bạn

đạt được một lượng lớn dữ liệu, nếu bạn muốn dự đoán trong không gian 3D, bạn cần dữ liệu 3D để hỗ trợ điều đó.

Trong video này, chúng tôi có tám video từ tất cả các camera của hệ thống, và đây là những gì chúng thấy, và đây là sự thật về những gì thực sự xung quanh.

Có chiếc xe này, chiếc xe này, chiếc xe này, đây là vạch kẻ làn đường, đây là hình dạng của con đường, có đèn giao thông ở

vị trí ba chiều này.

Bạn cần dữ liệu thực tế, và câu hỏi lớn mà nhóm đang giải quyết là làm thế nào để có được dữ liệu thực tế đó?

Bởi vì một khi bạn có một triệu dữ liệu, lớn, sạch và đa dạng, thì việc huấn luyện mạng nơ-ron trên đó hoạt động cực kỳ tốt, và bạn có thể đưa nó vào xe.

Và có nhiều cơ chế

mà chúng tôi đã thu thập dữ liệu huấn luyện đó.

Bạn luôn có thể sử dụng chú thích của con người, mô phỏng như một nguồn dữ liệu thực tế, hoặc sử dụng cái mà chúng tôi gọi là bộ theo dõi ngoại tuyến, mà chúng tôi đã nói tại AI day, về cơ bản là một quy trình tái tạo tự động để lấy các video đó và khôi phục thực tế ba chiều của

những gì xung quanh chiếc xe đó.

Về cơ bản, hãy nghĩ về việc thực hiện tái tạo ba chiều như một việc ngoại tuyến, và sau đó hiểu rằng, được rồi, có 10 giây video, đây là những gì chúng ta thấy, và do đó đây là tất cả các làn đường, xe cộ, v.v.

Và sau đó khi bạn có chú thích đó, bạn có thể huấn luyện mạng nơ-ron của mình bắt chước nó.

Và việc tái tạo 3D khó khăn như thế nào?

Nó khó, nhưng có thể làm được.

Vì vậy, có sự chồng chéo giữa các camera, và bạn thực hiện tái tạo, và nếu có bất kỳ sự không chính xác nào, điều đó sẽ được phát hiện trong bước chú thích.

Ừ, điều tuyệt vời về chú thích là nó hoàn toàn ngoại tuyến.

Bạn có thời gian vô hạn, bạn có một đoạn một phút, và bạn cố gắng ngoại tuyến trên một siêu máy tính ở đâu đó

xác định vị trí của tất cả các xe, tất cả mọi người, và bạn có đầy đủ một phút video từ mọi góc độ, và bạn có thể chạy tất cả các mạng nơ-ron bạn muốn, và chúng có thể rất hiệu quả, mạng nơ-ron khổng lồ.

Có thể có các mạng nơ-ron thậm chí không thể chạy trong xe sau này, vì vậy chúng có thể có nhiều nơ-ron mạnh mẽ hơn những gì bạn cuối cùng có thể triển khai.

Vì vậy, bạn

có thể làm bất cứ điều gì bạn muốn: tái tạo ba chiều, mạng nơ-ron, bất cứ thứ gì chỉ để khôi phục sự thật đó, và sau đó bạn giám sát sự thật đó.

Bạn đã học được gì?

Bạn nói không có sai sót về việc con người thực hiện chú thích vì tôi cho rằng con người có một loạt các kỹ năng trong việc nhấp vào thứ trên màn hình.

Không phải là nó thú vị

đối với bạn về vấn đề thiết kế một công cụ chú thích nơi con người chính xác, thích thú, và các chỉ số là gì?

Họ có hiệu quả hay năng suất, tất cả những thứ đó?

Vâng, tôi đã phát triển nhóm chú thích tại Tesla từ con số không lên một nghìn người khi tôi ở đó.

Điều đó thực sự thú vị.

Bạn biết đấy, nền tảng của tôi là nghiên cứu sinh tiến sĩ, vì vậy việc phát triển tổ chức chung đó thật

khá điên rồ, nhưng tôi nghĩ nó cực kỳ thú vị và là một phần của quá trình thiết kế đằng sau autopilot về việc bạn sử dụng con người ở đâu.

Con người rất giỏi trong một số loại chú thích nhất định.

Ví dụ, họ rất giỏi trong chú thích hai chiều của hình ảnh.

Họ không giỏi trong việc chú thích xe cộ theo thời gian trong không gian ba chiều, rất khó.

Và đó là lý do tại sao

chúng tôi rất cẩn thận trong việc thiết kế các nhiệm vụ dễ dàng cho con người so với những việc nên để cho bộ theo dõi ngoại tuyến.

Có thể máy tính sẽ làm tất cả việc tam giác hóa và tái tạo 3D, nhưng con người sẽ chỉ ra chính xác các pixel này của hình ảnh là xe, chính xác các pixel này là người.

Và việc đồng thiết kế quy trình chú thích dữ liệu là công việc hàng ngày

của tôi.

Bạn có nghĩ rằng vẫn còn nhiều vấn đề mở trong lĩnh vực đó không?

Ừm, nói chung về chú thích, nơi mà máy móc làm tốt thì máy làm, và con người làm những gì họ giỏi, và có thể có một quy trình lặp đi lặp lại, phải không?

Tôi nghĩ ở một mức độ rất lớn, chúng tôi đã trải qua một số lần lặp và học được rất nhiều về

Cách tạo ra các bộ dữ liệu này.

Tôi không thấy có vấn đề mở lớn nào.

Giống như ban đầu khi tôi tham gia, tôi đã thực sự không chắc chắn điều này sẽ diễn ra như thế nào, vâng.

Nhưng khi tôi rời đi, tôi đã tự tin hơn nhiều rằng thực ra chúng tôi hiểu triết lý về cách tạo ra các bộ dữ liệu này, và tôi khá thoải mái với tình hình lúc đó.

Vậy điểm mạnh và hạn chế của camera là gì

Đối với bài kiểm tra lái xe theo hiểu biết của bạn?

Khi bạn xây dựng nhiệm vụ lái xe như một nhiệm vụ thị giác với tám camera, bạn đã thấy rằng toàn bộ, bạn biết đấy, hầu hết lịch sử của lĩnh vực thị giác máy tính khi liên quan đến mạng nơ-ron, nếu bạn lùi lại, điểm mạnh và hạn chế của pixel, của việc sử dụng pixel để lái xe là gì?

Vâng, pixel tôi nghĩ là một

Cảm biến tuyệt đẹp.

Tôi sẽ nói rằng camera rất rẻ và cung cấp rất nhiều thông tin, rất nhiều bit.

Ừ, vì vậy nó là một cảm biến cực kỳ rẻ cho rất nhiều bit, và mỗi bit này là một ràng buộc về trạng thái của thế giới, và vì vậy bạn có được rất nhiều hình ảnh megapixel rất rẻ, và nó chỉ cung cấp cho bạn tất cả các ràng buộc này để hiểu

Những gì thực sự ở ngoài kia trên thế giới.

Vì vậy, thị giác có lẽ là cảm biến băng thông cao nhất.

Nó là một cảm biến băng thông rất cao, và tôi thích rằng pixel, nó là một ràng buộc về thế giới.

Điều này rất phức tạp, uh, ràng buộc băng thông cao về thế giới về trạng thái của thế giới.

Điều đó thật hấp dẫn.

Không chỉ vậy, mà còn là tầm quan trọng thực sự của việc nó là cảm biến mà con người sử dụng,

Do đó mọi thứ đều được thiết kế cho cảm biến đó.

Vâng, văn bản, chữ viết, biển báo nhấp nháy, mọi thứ đều được thiết kế cho thị giác, và vì vậy bạn thấy nó ở khắp mọi nơi, và đó là lý do tại sao đó là giao diện bạn muốn ở trong.

Ừm, nói lại về các giao diện phổ quát này, và đó là nơi chúng ta thực sự muốn đo lường thế giới, và sau đó phát triển phần mềm cho

Cảm biến đó.

Nhưng có những ràng buộc khác về trạng thái của thế giới mà con người sử dụng để hiểu thế giới.

Ý tôi là, thị giác cuối cùng là cái chính, nhưng chúng ta giống như đang tham chiếu sự hiểu biết của chúng ta về hành vi con người và một số vật lý thông thường có thể được suy ra từ thị giác từ góc độ nhận thức, nhưng có vẻ như chúng ta đang sử dụng một số loại suy luận

Để dự đoán thế giới, vâng, không chỉ các pixel.

Ý tôi là, bạn có một tiên nghiệm mạnh mẽ, uh, xin lỗi, phải, về cách thế giới phát triển theo thời gian, v.v.

Vì vậy, nó không chỉ là về số hạng khả năng đến từ dữ liệu cho bạn biết về những gì bạn đang quan sát, mà còn là số hạng tiên nghiệm về những thứ có khả năng xuất hiện và chúng có khả năng di chuyển như thế nào, v.v.

Và câu hỏi là mức độ phức tạp của

Phạm vi các khả năng có thể xảy ra trong nhiệm vụ lái xe, phải không?

Đối với bạn, đó vẫn là một vấn đề mở về mức độ khó của việc lái xe?

Giống như về mặt triết học, bạn đã dành tất cả thời gian làm việc về lái xe, bạn có hiểu lái xe khó đến mức nào không?

Vâng, lái xe thực sự khó vì nó liên quan đến dự đoán về tất cả các tác nhân khác

Và lý thuyết về tâm trí và bạn biết họ sẽ làm gì và họ có đang nhìn bạn không, họ đang nhìn ở đâu, họ đang nghĩ gì?

Vâng, có rất nhiều thứ diễn ra ở đó ở phần đuôi của việc mở rộng các số chín mà chúng ta phải thoải mái.

Cuối cùng, các vấn đề cuối cùng có dạng đó.

Tôi không nghĩ đó là những vấn đề rất phổ biến.

Ừ, tôi nghĩ

Cuối cùng chúng quan trọng, nhưng nó thực sự ở phần đuôi, và các trường hợp hiếm gặp.

Từ góc độ thị giác, những phần khó nhất của vấn đề thị giác trong lái xe là gì?

Ừm, về cơ bản, cảm biến cực kỳ mạnh mẽ, nhưng bạn vẫn cần xử lý thông tin đó.

Ừm, và vì vậy việc đi từ độ sáng của các giá trị pixel này đến này, đây là thế giới ba chiều là cực kỳ

Khó, và đó là những gì mạng nơ-ron về cơ bản đang làm.

Và vì vậy khó khăn thực sự là ở việc thực hiện một công việc cực kỳ tốt trong việc kỹ thuật toàn bộ pipeline, toàn bộ động cơ dữ liệu, có năng lực để huấn luyện các mạng nơ-ron này, có khả năng đánh giá hệ thống và lặp lại trên nó.

Ừ, vì vậy tôi sẽ nói chỉ cần làm điều này trong sản xuất ở quy mô lớn là phần khó.

Đó là một vấn đề

Thực thi.

Vì vậy, động cơ dữ liệu, nhưng cũng là việc triển khai hệ thống sao cho có hiệu suất độ trễ thấp, vì vậy nó phải thực hiện tất cả các bước này.

Vâng, đối với mạng nơ-ron cụ thể, chỉ cần đảm bảo mọi thứ vừa vặn trong chip trên xe.

Vâng, và bạn có một ngân sách hữu hạn về số phép tính bạn có thể thực hiện, băng thông bộ nhớ và các ràng buộc khác, và bạn phải đảm bảo nó

hoạt động trơn tru và bạn có thể nhồi nhét càng nhiều tính toán càng tốt vào một thứ nhỏ bé.

Bạn đã học được gì từ quá trình đó?

Bởi vì có lẽ đó là một trong những điều mới mẻ hơn khi đến từ nền tảng nghiên cứu, nơi có một hệ thống phải chạy dưới các ràng buộc tài nguyên nghiêm ngặt, đúng không, phải chạy rất nhanh.

Bạn đã rút ra được những hiểu biết sâu sắc nào từ điều đó?

Vâng, tôi không chắc có quá nhiều hiểu biết sâu sắc.

Bạn đang cố gắng tạo ra một mạng nơ-ron phù hợp với những gì bạn có, và bạn luôn cố gắng tối ưu hóa nó, và chúng tôi đã nói rất nhiều về điều đó trong ngày AI, và về cơ bản là những pha lộn ngược ba vòng mà nhóm đang thực hiện để đảm bảo mọi thứ đều khớp và tận dụng được động cơ.

Ừm, tôi nghĩ đó là một kỹ thuật cực kỳ tốt,

Và còn có đủ loại hiểu biết nhỏ lẻ rải rác về cách thực hiện nó một cách đúng đắn.

Hãy thực sự phóng to ra vì tôi không nghĩ chúng ta đã nói về công cụ dữ liệu, toàn bộ bố cục của ý tưởng này mà tôi nghĩ thật đẹp với con người trong vòng lặp.

Bạn có thể mô tả công cụ dữ liệu không?

Vâng, công cụ dữ liệu là thứ tôi gọi là quá trình gần như mang tính sinh học

mà qua đó bạn hoàn thiện các bộ huấn luyện cho các mạng nơ-ron này.

Ừm, bởi vì hầu hết việc lập trình bây giờ nằm ở cấp độ của các bộ dữ liệu này và đảm bảo chúng lớn, đa dạng và sạch sẽ.

Ồ, về cơ bản bạn có một bộ dữ liệu mà bạn cho là tốt, bạn huấn luyện mạng nơ-ron, triển khai nó, và sau đó bạn quan sát hiệu suất của nó, và bạn luôn cố gắng tăng

chất lượng của bộ dữ liệu của bạn.

Vì vậy, bạn đang cố gắng bắt các kịch bản về cơ bản là hiếm, và chính trong các kịch bản này, các mạng nơ-ron thường gặp khó khăn vì chúng không được dạy phải làm gì trong những trường hợp hiếm gặp đó trong bộ dữ liệu.

Nhưng bây giờ bạn có thể đóng vòng lặp vì nếu bạn có thể thu thập tất cả những điều đó ở quy mô lớn, bạn có thể đưa chúng trở lại quá trình tái tạo

mà tôi đã mô tả và tái tạo sự thật trong những trường hợp đó và thêm nó vào bộ dữ liệu.

Và toàn bộ quá trình cuối cùng trở thành một bậc thang cải tiến để hoàn thiện bộ huấn luyện của bạn, và bạn phải trải qua các lần triển khai để có thể khai thác những phần chưa được thể hiện tốt trong bộ dữ liệu.

Vì vậy, bộ dữ liệu của bạn về cơ bản là không hoàn hảo, nó cần phải đa dạng, có những khoảng trống

bị thiếu, và bạn cần phải lấp đầy các khoảng trống.

Bạn có thể nghĩ về nó theo cách đó trong dữ liệu.

Con người đóng vai trò gì trong việc này?

Vậy hệ thống sinh học này giống như cơ thể con người được tạo thành từ các tế bào?

Vai trò là gì, làm thế nào để bạn tối ưu hóa hệ thống con người, nhiều kỹ sư cộng tác, tìm ra những gì cần tập trung, đóng góp gì, nhiệm vụ nào cần tối ưu trong mạng nơ-ron này?

Ừm, ai chịu trách nhiệm xác định nhiệm vụ nào cần thêm dữ liệu?

Bạn có thể nói về các siêu tham số, hệ thống con người không?

Đúng vậy, nó thực sự chỉ là sự thực thi cực kỳ tốt từ một nhóm kỹ thuật và làm những gì họ đang làm.

Họ hiểu một cách trực giác những hiểu biết triết học cơ bản của công cụ dữ liệu và quá trình mà hệ thống cải thiện, và làm thế nào để ủy quyền

chiến lược thu thập dữ liệu và cách nó hoạt động, và sau đó chỉ cần đảm bảo mọi thứ được thực thi cực kỳ tốt.

Và đó là nơi phần lớn công việc, thậm chí không phải là triết lý hay nghiên cứu hay ý tưởng, mà chỉ là sự thực thi cực kỳ tốt.

Thật khó khăn khi bạn đang xử lý dữ liệu ở quy mô đó.

Vì vậy, vai trò của bạn trong công cụ dữ liệu thực thi tốt là khó khăn và cực kỳ

quan trọng.

Có một ưu tiên nào đó như một bảng tầm nhìn nói rằng chúng ta thực sự cần cải thiện ở đèn giao thông không?

Vâng, việc ưu tiên các nhiệm vụ về cơ bản là như vậy, và điều đó đến từ dữ liệu, ở một mức độ rất lớn, từ những gì chúng tôi đang cố gắng đạt được trong sản phẩm cho bản đồ, nơi chúng tôi đang cố gắng phát hành, và từ phản hồi của nhóm QA

nơi hệ thống đang gặp khó khăn hay không, những thứ chúng tôi đang cố gắng cải thiện, và nhóm QA cung cấp một số tín hiệu, một số thông tin tổng hợp về hiệu suất của hệ thống trong các điều kiện khác nhau.

Và tất nhiên tất cả chúng tôi đều lái nó và chúng tôi cũng có thể thấy nó.

Thật tuyệt khi làm việc với một hệ thống mà bạn cũng có thể tự trải nghiệm, bạn biết đấy, nó đưa bạn về nhà.

Có hiểu biết sâu sắc nào bạn

có thể rút ra từ kinh nghiệm cá nhân của mình mà bạn không thể có được từ phân tích thống kê tổng hợp dữ liệu?

Vâng, thật kỳ lạ, phải không?

Đúng vậy, nó không khoa học theo một nghĩa nào đó vì bạn chỉ là một mẫu giai thoại.

Vâng, tôi nghĩ có rất nhiều, đó là một nguồn sự thật, đó là sự tương tác của bạn với hệ thống.

Vâng, và bạn có thể thấy nó, bạn có thể chơi với nó, bạn có thể làm nhiễu nó, bạn có thể

cảm nhận nó, bạn có trực giác về nó.

Tôi nghĩ các con số chỉ có một cách, và các biểu đồ và đồ thị thì khó hơn nhiều.

Vâng, nó che giấu rất nhiều, giống như nếu bạn huấn luyện một mô hình ngôn ngữ, một cách rất mạnh mẽ là bạn tương tác với nó.

Vâng, 100% cố gắng xây dựng trực giác.

Ừ, tôi nghĩ Elon cũng thích tự lái xe, anh ấy lái rất nhiều, và

Ừm, tôi sẽ nói là gần như hàng ngày, vì vậy anh ấy cũng coi đây là nguồn sự thật, bạn lái hệ thống và nó hoạt động.

Và vâng, vậy bạn nghĩ gì về những câu hỏi khó ở đây?

Ừm, Tesla năm ngoái đã loại bỏ radar khỏi bộ cảm biến và bây giờ vừa thông báo sẽ loại bỏ tất cả cảm biến siêu âm, chỉ dựa vào thị giác, chỉ có camera.

Điều đó có làm cho bài toán nhận thức

Khó hơn hay dễ hơn?

Tôi gần như sẽ đặt lại câu hỏi theo một cách nào đó.

Vấn đề là về cơ bản bạn sẽ nghĩ rằng các cảm biến bổ sung, nhân tiện tôi có thể ngắt lời không?

Tốt, tôi tự hỏi liệu một mô hình ngôn ngữ có bao giờ làm điều đó nếu bạn nhắc nó: 'Hãy để tôi đặt lại câu hỏi của bạn.' Điều đó sẽ rất hoành tráng.

Đây là vấn đề sai, xin lỗi.

Nó hơi sai câu hỏi vì về cơ bản bạn sẽ nghĩ rằng những

Cảm biến này là một tài sản cho bạn.

Ừ, nhưng nếu bạn xem xét toàn bộ sản phẩm một cách đầy đủ, những cảm biến này thực sự có thể là một khoản nợ vì chúng không miễn phí.

Chúng không tự nhiên xuất hiện trên xe của bạn.

Bạn cần một thứ gì đó, bạn cần có toàn bộ chuỗi cung ứng, có người mua sắm chúng, có thể có vấn đề với chúng, chúng có thể cần thay thế, chúng là một phần của

Quy trình sản xuất, chúng có thể làm chậm dây chuyền, bạn cần tìm nguồn cung, bảo trì, phải có đội ngũ viết firmware, tất cả.

Và sau đó bạn cũng phải tích hợp và kết hợp chúng vào hệ thống theo một cách nào đó.

Và vì vậy nó thực sự làm phình tổ chức rất nhiều.

Và tôi nghĩ Elon rất giỏi trong việc đơn giản hóa: bộ phận tốt nhất là không có bộ phận,

Và anh ấy luôn cố gắng loại bỏ những thứ không cần thiết vì anh ấy hiểu entropy trong các tổ chức và cách tiếp cận.

Và tôi nghĩ trong trường hợp này chi phí cao và bạn có thể không thấy điều đó nếu bạn chỉ là một kỹ sư thị giác máy tính và chỉ cố gắng cải thiện mạng của mình và bạn biết đấy, nó có hữu ích hơn hay ít hữu ích hơn, nó hữu ích đến mức nào?

Và vấn đề là nếu

Một khi bạn xem xét toàn bộ chi phí của một cảm biến, nó thực sự có thể là một khoản nợ, và bạn cần chắc chắn rằng nó cung cấp thông tin cực kỳ hữu ích.

Trong trường hợp này, chúng tôi đã xem xét việc sử dụng nó hay không, và sự khác biệt không lớn, vì vậy nó không hữu ích.

Nó cũng có phải là sự phình to trong công cụ dữ liệu không?

Giống như có nhiều cảm biến hơn là một sự phân tâm, và những cảm biến này bạn

Biết rằng chúng có thể thay đổi theo thời gian.

Ví dụ, bạn có thể có một loại radar, bạn có thể có loại radar khác, chúng thay đổi theo thời gian.

Tôi đột nhiên phải lo lắng về nó.

Bây giờ đột nhiên bạn có một cột trong SQLite cho bạn biết ồ đó là loại cảm biến nào, và tất cả chúng đều có phân phối khác nhau, và sau đó chúng có thể đóng góp nhiễu và entropy vào mọi thứ và chúng

Làm phình mọi thứ.

Và về mặt tổ chức, điều đó thực sự thú vị với tôi rằng nó có thể rất mất tập trung.

Ừm, nếu bạn chỉ muốn làm việc với thị giác, tất cả tài nguyên đều tập trung vào nó, và bạn đang xây dựng một công cụ dữ liệu, và bạn thực sự đang tiến triển vì đó là cảm biến có băng thông lớn nhất, nhiều ràng buộc nhất về thế giới, và bạn

Đầu tư hoàn toàn vào đó, và bạn có thể làm cho nó cực kỳ tốt.

Nếu bạn chỉ có một lượng hữu hạn sự tập trung vào các khía cạnh khác nhau của hệ thống, và điều này làm tôi nhớ đến bài học cay đắng của Rich Sutton.

Có vẻ như đơn giản hóa hệ thống, vâng, về lâu dài.

Tất nhiên bạn không biết về lâu dài, nhưng có vẻ như đó luôn là giải pháp đúng.

Vâng, đúng vậy, trong

Trường hợp đó là cho RL, nhưng nó dường như áp dụng chung cho tất cả các hệ thống thực hiện tính toán.

Vâng, vậy bạn nghĩ gì về cuộc tranh luận lidar như một cái nạng?

Ừm, cuộc chiến giữa đám mây điểm và pixel.

Ừ, tôi nghĩ cuộc tranh luận này luôn hơi khó hiểu với tôi vì có vẻ như cuộc tranh luận thực sự nên là về việc bạn có đội xe hay không?

Đó là điều thực sự quan trọng về việc liệu bạn có thể đạt được một hệ thống AI hoạt động tốt ở quy mô này hay không.

Vì vậy, hệ thống thu thập dữ liệu, vâng, bạn có đội xe hay không?

Nó quan trọng hơn đáng kể so với việc bạn có lidar hay không.

Nó chỉ là một cảm biến khác.

Ừm, và vâng, tôi nghĩ tương tự như cuộc thảo luận về radar, về cơ bản tôi ừm nhưng vâng tôi không nghĩ nó ừm

Về cơ bản không cung cấp thông tin bổ sung, cực kỳ đắt đỏ, có đủ loại vấn đề bạn phải lo lắng, bạn phải hiệu chỉnh nó, v.v.

Nó tạo ra sự phình to và entropy.

Bạn phải thực sự chắc chắn rằng bạn cần cảm biến này.

Trong trường hợp này, về cơ bản tôi không nghĩ bạn cần nó, và tôi nghĩ thành thật mà nói tôi sẽ đưa ra một tuyên bố mạnh mẽ hơn: Tôi nghĩ những công ty khác, một số công ty khác đang sử dụng nó có thể sẽ từ bỏ nó.

Vâng, vì vậy bạn phải xem xét cảm biến trong tổng thể, khi xem xét liệu bạn có thể xây dựng một đội xe lớn thu thập nhiều dữ liệu hay không, và liệu bạn có thể tích hợp cảm biến đó với dữ liệu đó và cảm biến đó vào một công cụ dữ liệu có thể nhanh chóng tìm ra các phần khác nhau của dữ liệu để liên tục cải thiện bất kỳ mô hình nào bạn đang sử dụng hay không.

Vâng, vì vậy bạn phải xem xét cảm biến trong tổng thể, khi xem xét liệu bạn có thể xây dựng một đội xe lớn thu thập nhiều dữ liệu hay không, và liệu bạn có thể tích hợp cảm biến đó với dữ liệu đó và cảm biến đó vào một công cụ dữ liệu có thể nhanh chóng tìm ra các phần khác nhau của dữ liệu để liên tục cải thiện bất kỳ mô hình nào bạn đang sử dụng hay không?

Đang sử dụng?

Vâng, một cách khác để nhìn nhận là thị giác là cần thiết theo nghĩa là thế giới được thiết kế cho sự tiếp nhận thị giác của con người, vì vậy bạn cần thị giác.

Nó là cần thiết, và cũng là đủ bởi vì nó có tất cả thông tin bạn cần để lái xe, và con người rõ ràng sử dụng thị giác để lái xe.

Vì vậy, nó vừa cần thiết vừa đủ, vì vậy bạn muốn tập trung

nguồn lực, và bạn phải thực sự chắc chắn nếu bạn định đưa vào các cảm biến khác.

Bạn có thể thêm cảm biến đến vô tận.

Đến một lúc nào đó bạn cần phải vạch ra ranh giới, và tôi nghĩ trong trường hợp này bạn phải thực sự xem xét toàn bộ chi phí của bất kỳ cảm biến nào bạn đang áp dụng, và bạn có thực sự cần nó không?

Và tôi nghĩ câu trả lời trong trường hợp này là không.

Vậy bạn nghĩ gì về

ý tưởng rằng các công ty khác đang tạo ra bản đồ độ phân giải cao và hạn chế mạnh mẽ các khu vực địa lý mà họ hoạt động?

Cách tiếp cận đó có theo quan điểm của bạn là sẽ không mở rộng theo thời gian ra toàn bộ nước Mỹ không?

Tôi nghĩ tôi sẽ trả lời hai điều.

Như bạn đã đề cập, họ lập bản đồ trước tất cả các môi trường và họ cần làm mới bản đồ, và họ có một

bản đồ chính xác đến từng centimet hoàn hảo của mọi nơi họ sẽ lái xe.

Thật điên rồ.

Làm thế nào bạn có thể, khi chúng ta nói về tự động hóa thực sự thay đổi thế giới, chúng ta đang nói về việc triển khai trên quy mô toàn cầu các hệ thống tự động cho giao thông vận tải, và nếu bạn cần duy trì một bản đồ chính xác đến từng centimet cho Trái đất hoặc cho nhiều thành phố và cập nhật chúng, đó là một sự phụ thuộc rất lớn mà bạn đang gánh chịu.

Sự phụ thuộc rất lớn.

Đó là một sự phụ thuộc khổng lồ, và bây giờ bạn cần tự hỏi: bạn có thực sự cần nó không?

Và con người không cần nó.

Ừm, đúng vậy, rất hữu ích khi có một bản đồ cấp thấp về kiểu như kết nối của con đường, bạn biết rằng sắp có một ngã ba.

Khi bạn lái xe trong một môi trường, bạn có một sự hiểu biết cấp cao như vậy.

Nó giống như một

Google Map nhỏ, và Tesla sử dụng Google Map với độ phân giải thông tin tương tự trong hệ thống, nhưng nó sẽ không lập bản đồ trước môi trường đến độ chính xác từng centimet.

Đó là một cái nạng, một sự phân tâm, nó gây ra entropy, và nó làm phân tán đội ngũ, làm loãng đội ngũ, và bạn không tập trung vào những gì thực sự cần thiết, đó là vấn đề thị giác máy tính.

Bạn đã học được gì về machine

learning, về kỹ thuật, về cuộc sống, về bản thân như một con người từ khi làm việc với Elon Musk?

Tôi nghĩ điều tôi học được nhiều nhất là về cách vận hành các tổ chức một cách hiệu quả và cách tạo ra các tổ chức hiệu quả và cách chống lại entropy trong một tổ chức.

Vậy là kỹ thuật con người trong cuộc chiến chống lại entropy.

Vâng, có một, tôi nghĩ Elon là một chiến binh rất hiệu quả trong

cuộc chiến chống lại entropy trong các tổ chức.

Entropy trong một tổ chức trông như thế nào chính xác?

Đó là quy trình, đó là quy trình và sự kém hiệu quả và những thứ tương tự.

Vâng, các cuộc họp, ông ấy ghét các cuộc họp, ông ấy liên tục bảo mọi người bỏ qua các cuộc họp nếu chúng không hữu ích.

Ừm, về cơ bản ông ấy điều hành các startup lớn nhất thế giới, tôi có thể nói vậy.

Ừ, Tesla, SpaceX là những startup lớn nhất thế giới.

Tesla

Thực ra có nhiều startup.

Tôi nghĩ tốt hơn nên nhìn nhận theo cách đó.

Và vì vậy tôi nghĩ ông ấy cực kỳ giỏi trong việc đó, và ừ, ông ấy có trực giác rất tốt để hợp lý hóa các quy trình, làm mọi thứ hiệu quả, phần tốt nhất là không có phần, đơn giản hóa, tập trung, và chỉ là loại bỏ các rào cản, di chuyển rất nhanh, thực hiện những bước đi lớn.

Tất cả những điều này có vẻ rất startup

nhưng ở quy mô lớn.

Vậy là động lực mạnh mẽ để đơn giản hóa.

Đối với tôi từ góc nhìn của bạn, điều đó cũng có thể áp dụng cho việc thiết kế hệ thống và machine learning và những thứ khác.

Vâng, như đơn giản hóa, đơn giản hóa.

Vâng.

Bạn nghĩ bí quyết để duy trì văn hóa startup trong một công ty đang phát triển là gì?

Bạn nghĩ bí quyết để duy trì văn hóa khởi nghiệp trong một công ty đang phát triển là gì?

Có, bạn có thể tự vấn điều đó không?

Tôi nghĩ bạn cần một người ở vị trí

quyền lực với cây búa lớn như Elon, người như người cổ vũ cho ý tưởng đó và theo đuổi nó một cách tàn nhẫn.

Nếu không ai có cây búa đủ lớn, mọi thứ sẽ biến thành ủy ban, dân chủ trong công ty, quy trình, tham vấn các bên liên quan, ra quyết định, mọi thứ chỉ sụp đổ.

Phải, nếu bạn có một người lớn cũng rất thông minh và có cây búa lớn, mọi thứ sẽ tiến triển.

Nhanh chóng, vậy bạn nói cảnh yêu thích của bạn trong Interstellar là cảnh ghép nối căng thẳng với AI và Cooper nói chuyện, nói rằng, 'Uh, Cooper, anh đang làm gì vậy?'

Ghép nối?

Không thể được.' 'Không, cần thiết.' Một câu thoại hay thật.

Có rất nhiều câu hỏi ở đó.

Tại sao trong cảnh đó, AI được cho là có thể tính toán nhiều hơn con người, lại nói rằng nó không tối ưu.

Tại sao

con người?

Ý tôi là, đó là phim, nhưng lẽ ra AI phải biết rõ hơn con người chứ?

Uh, bạn nghĩ giá trị của việc đặt ra những mục tiêu dường như bất khả thi là gì?

Vậy như, uh, trực giác ban đầu của chúng ta, điều mà có vẻ như bạn đã tiếp thu từ Elon, rằng khi trực giác ban đầu của cộng đồng nói điều này rất khó, và bạn vẫn nhận lấy nó

Với một thời hạn điên rồ.

Bạn chỉ từ góc độ kỹ thuật con người.

Um, uh, bạn đã thấy giá trị của điều đó chưa?

Tôi sẽ không nói rằng đặt ra những mục tiêu bất khả thi là một ý tưởng tốt, nhưng tôi nghĩ đặt ra những mục tiêu rất tham vọng là một ý tưởng tốt.

Tôi nghĩ có cái gọi là tỷ lệ mở rộng dưới tuyến tính của độ khó, uh, có nghĩa là các vấn đề 10x không khó gấp 10 lần.

Thông thường, một vấn đề khó hơn 10x chỉ khó hơn 2

hoặc 3 lần để thực hiện, bởi vì nếu bạn thực sự muốn cải thiện hệ thống lên 10, nó tốn một lượng công việc nhất định, và nếu bạn muốn cải thiện hệ thống lên 10x, nó không tốn, bạn biết đấy, 100x công việc.

Và đó là bởi vì bạn thay đổi căn bản cách tiếp cận, và nếu bạn bắt đầu với ràng buộc đó, thì một số cách tiếp cận rõ ràng là ngu ngốc và sẽ không hiệu quả, và

Nó buộc bạn phải đánh giá lại.

Um, và tôi nghĩ đó là một cách tiếp cận giải quyết vấn đề rất thú vị, nhưng nó đòi hỏi một kiểu suy nghĩ kỳ lạ.

Nó chỉ là quay lại những ngày làm tiến sĩ của bạn.

Giống như, làm thế nào bạn nghĩ ý tưởng nào trong cộng đồng học máy là có thể giải quyết được?

Vâng, nó uh, đòi hỏi cái gì?

Ý tôi là, có cái sáo rỗng về tư duy nguyên tắc đầu tiên,

Nhưng nó đòi hỏi về cơ bản phải bỏ qua những gì cộng đồng đang nói, bởi vì không phải cộng đồng sao?

Không phải cộng đồng trong khoa học thường vạch ra những ranh giới về điều gì là không thể sao?

Và như, rất khó để thoát ra khỏi điều đó mà không phát điên.

Đúng vậy.

Ý tôi là, tôi nghĩ một ví dụ tốt ở đây là, bạn biết đấy, cuộc cách mạng học sâu theo một nghĩa nào đó, bởi vì bạn có thể ở trong thị giác máy tính

Vào thời điểm đó trong cuộc cách mạng học sâu khoảng năm 2012 v.v.

Uh, bạn có thể cải thiện stack thị giác máy tính của mình lên 10, hoặc chúng ta có thể nói, 'Thực ra, tất cả những thứ này đều vô dụng, và làm thế nào để tôi cải thiện thị giác máy tính lên 10x?' Chà, có lẽ không phải bằng cách tinh chỉnh một bộ phát hiện đặc trưng HOG.

Tôi cần một cách tiếp cận khác.

Um, tôi cần một thứ gì đó có thể mở rộng, quay lại bài học của Richard Sutton và

Hiểu triết lý của bài học cay đắng, và sau đó nghĩ, 'Thực ra, tôi cần một hệ thống có khả năng mở rộng hơn nhiều, như một mạng nơ-ron mà về nguyên tắc hoạt động,' và sau đó có một số người tin tưởng sâu sắc có thể thực hiện sứ mệnh đó và làm cho nó hoạt động.

Vậy đó là giải pháp 10x.

Bạn nghĩ mốc thời gian để giải quyết vấn đề lái xe tự động là bao lâu?

Điều này vẫn còn là một câu hỏi mở.

Vâng, tôi nghĩ điều khó khăn với mốc thời gian của xe tự lái rõ ràng là chưa ai tạo ra xe tự lái cả.

Vì vậy, không giống như, 'Bạn nghĩ mốc thời gian xây cây cầu này là bao lâu?' Chà, chúng ta đã xây hàng triệu cây cầu trước đây.

Đây là thời gian cần thiết.

Nó, bạn biết đấy, uh, chưa ai xây dựng được tính tự chủ.

Nó không rõ ràng.

Một số phần hóa ra

dễ hơn nhiều so với những phần khác, vì vậy thực sự khó dự báo.

Bạn cố gắng hết sức dựa trên các đường xu hướng và trực giác, nhưng đó là lý do tại sao về cơ bản nó thực sự khó dự báo.

Không ai vẫn còn, như là ở bên trong nó thì khó để thực hiện.

Vâng, một số thứ hóa ra khó hơn nhiều và một số thứ hóa ra dễ hơn nhiều.

Bạn có cố gắng tránh đưa ra dự đoán không?

Vì Elon không tránh chúng, phải không?

Và những người đứng đầu các công ty xe hơi trong quá khứ cũng không tránh điều đó.

Ừm, Ford và những nơi khác đã đưa ra dự đoán rằng chúng ta sẽ giải quyết lái xe cấp độ bốn vào năm 2020, 2021, gì đó, và bây giờ họ đều đang lùi lại dự đoán đó.

Là một người trong lĩnh vực AI, bạn có tự do đưa ra dự đoán riêng tư không, hay chúng cản trở khả năng thực sự của bạn để suy nghĩ về một vấn đề?

Giống như khả năng thực tế của bạn để suy nghĩ về một thứ?

Vâng, tôi sẽ nói rằng điều dễ nói là vấn đề này có thể giải quyết được, và đó là một dự đoán dễ đưa ra.

Có thể giải quyết?

Nó sẽ hoạt động.

Vâng, nó thực sự khó.

Một số thứ hóa ra khó hơn, một số thứ hóa ra dễ hơn.

Ừm, nhưng nó chắc chắn có vẻ khả thi, và có vẻ như ít nhất là đội ngũ tại Tesla, đó là những gì tôi thấy nội bộ, chắc chắn đang đi đúng hướng.

Thấy nội bộ, chắc chắn đang đi đúng hướng.

Làm thế nào để bạn hình thành một đại diện mạnh mẽ cho phép bạn đưa ra dự đoán về tính khả thi?

Vậy, bạn là người lãnh đạo của nhiều con người.

Bạn phải nói rằng điều này thực sự có thể.

Giống như, làm thế nào bạn xây dựng trực giác đó?

Nó không nhất thiết phải là lái xe.

Nó có thể là các nhiệm vụ khác.

Nó có thể là và

Tôi tự hỏi những nhiệm vụ khó khăn nào bạn đã làm trong đời?

Ý tôi là, phân loại, đạt được một mức hiệu suất siêu phàm nào đó trên một hình ảnh.

Vâng, trực giác chuyên gia.

Chỉ là trực giác.

Đó là niềm tin.

Vậy chỉ cần suy nghĩ về nó đủ lâu, như nghiên cứu, xem xét dữ liệu mẫu.

Như bạn đã nói, lái xe.

Ừm, trực giác của tôi thực sự sai lầm về điều này.

Tôi không có trực giác tốt về tính khả thi.

Về tính khả thi.

Nó có thể là một trong hai.

Nó có thể là bất cứ thứ gì.

Nó có thể giải quyết được như, bạn biết đấy, nhiệm vụ lái xe có thể được đơn giản hóa thành một thứ khá tầm thường.

Giống như, giải pháp cho vấn đề sẽ khá tầm thường, và ở quy mô lớn, ngày càng nhiều xe lái hoàn hảo có thể làm cho vấn đề dễ dàng hơn nhiều.

Vâng, càng nhiều xe lái, mọi người học cách lái đúng, không phải đúng, nhưng theo cách tối ưu hơn cho một hệ thống không đồng nhất gồm xe tự lái, bán tự động và lái thủ công.

Đúng, nhưng theo cách tối ưu hơn cho một hệ thống không đồng nhất gồm xe tự lái, bán tự động và lái thủ công.

Điều đó có thể thay đổi mọi thứ.

Mặt khác, tôi cũng đã dành vô số giờ chỉ để nhìn chằm chằm vào người đi bộ băng qua đường, suy nghĩ về con người, và có vẻ như cách chúng ta sử dụng giao tiếp bằng mắt gửi tín hiệu rất mạnh, và có một số đặc điểm và trường hợp ngoại lệ của hành vi.

Hành vi.

Và tất nhiên, nhiều vụ tử vong xảy ra liên quan đến lái xe say rượu, cả về phía người đi bộ và người lái xe.

Vậy còn vấn đề lái xe ban đêm và tất cả những thứ đó.

Vì vậy, tôi tự hỏi, không gian các giải pháp khả thi cho lái xe tự động bao gồm rất nhiều vấn đề về yếu tố con người đến nỗi gần như không thể dự đoán.

Có thể có những giải pháp rất sạch sẽ, đẹp đẽ.

Vâng, tôi sẽ nói chắc chắn, dùng một phép so sánh với trò chơi, có một màn sương chiến tranh, nhưng bạn chắc chắn cũng thấy ranh giới cải tiến, và bạn có thể đo lường lịch sử bạn đã tiến bộ bao nhiêu.

Và tôi nghĩ, ví dụ, ít nhất những gì tôi thấy trong khoảng năm năm tại Tesla, khi tôi gia nhập, nó hầu như chỉ giữ làn trên đường cao tốc.

Tôi nghĩ đi từ Palo Alto đến SF là khoảng ba hoặc bốn lần can thiệp bất cứ khi nào đường có bất kỳ thay đổi hình học nào hoặc rẽ quá nhiều, nó sẽ không hoạt động.

Từ Palo Alto đến SF là khoảng ba hoặc bốn lần can thiệp bất cứ khi nào đường có bất kỳ thay đổi hình học nào hoặc rẽ quá nhiều, nó sẽ không hoạt động.

Và từ đó đến một hệ thống khá thành thạo trong năm năm, và thấy những gì xảy ra dưới mui xe và quy mô mà đội ngũ đang vận hành với dữ liệu, tính toán và mọi thứ khác, thực sự là một

Tiến bộ vượt bậc.

Vậy là có một, bạn đang leo núi và có sương mù, nhưng bạn đang tiến bộ rất nhiều.

Sương mù, bạn đang tiến bộ, và bạn thấy các hướng đi tiếp theo là gì, và bạn đang nhìn vào một số thách thức còn lại, và chúng không làm bạn lo lắng, không thay đổi triết lý của bạn, và bạn không tự làm khó mình.

Bạn kiểu như,

"Thực ra, đây là những thứ chúng ta vẫn cần làm." Vâng, các thành phần cơ bản để giải quyết vấn đề dường như đã có: công cụ dữ liệu, sức mạnh tính toán, máy tính trên xe, sức mạnh tính toán cho việc huấn luyện, tất cả những thứ đó.

Vậy là qua nhiều năm, bạn đã là một bài kiểm tra, bạn đã thực hiện rất nhiều ý tưởng đột phá và kỹ thuật tuyệt vời, tất cả,

Từ công cụ dữ liệu đến khía cạnh con người, tất cả.

Bạn có thể nói tại sao bạn chọn rời Tesla không?

Về cơ bản, như tôi đã mô tả, tôi nghĩ theo thời gian trong năm năm đó, tôi đã dần rơi vào một vị trí quản lý.

Hầu hết các ngày của tôi là, bạn biết đấy, các cuộc họp và phát triển tổ chức và đưa ra các quyết định chiến lược cấp cao

Về đội ngũ và những gì họ nên làm, v.v.

Và nó giống như một vai trò điều hành doanh nghiệp, và tôi có thể làm được, tôi nghĩ tôi khá ổn, nhưng về cơ bản đó không phải là điều tôi thích.

Và tôi nghĩ khi tôi gia nhập, không có đội ngũ thị giác máy tính vì Tesla vừa chuyển đổi từ việc sử dụng Mobileye, một nhà cung cấp bên thứ ba cho tất cả

Thị giác máy tính, sang việc phải xây dựng hệ thống thị giác máy tính của riêng mình.

Vì vậy khi tôi đến, có hai người đang huấn luyện mạng nơ-ron sâu, và họ huấn luyện chúng trên một máy tính để ở chân, kiểu như nhiệm vụ phân loại cơ bản.

Vâng, và tôi đã phát triển nó thành một đội ngũ học sâu khá đáng kính, một cụm máy tính lớn, một tổ chức chú thích dữ liệu rất tốt,

Và tôi rất hài lòng với những gì đã đạt được.

Nó trở nên khá tự chủ, và vì vậy tôi đã rời đi, và tôi rất hào hứng để làm những việc kỹ thuật hơn nữa.

Vâng, và kiểu như chúng tôi tập trung vào AGI.

Việc tìm kiếm bản thân này như thế nào?

Bởi vì bạn đã nghỉ một thời gian và nghĩ như thế nào?

Ừm, bạn đã dùng bao nhiêu nấm?

Không, tôi chỉ hỏi, ý tôi là

Điều gì đã diễn ra trong tâm trí bạn?

Cuộc đời con người là hữu hạn.

Vâng, anh ấy đã làm một vài điều phi thường.

Bạn là một trong những người dạy AI giỏi nhất thế giới.

Bạn là một trong những người giỏi nhất, và tôi không có ý nói xấu, tôi nói điều đó theo nghĩa tốt nhất có thể.

Bạn là một trong những người mày mò giỏi nhất trong thế giới AI, nghĩa là hiểu các nguyên lý cơ bản của cách một thứ gì đó hoạt động bằng cách xây dựng nó từ

Đầu và chơi với nó bằng trực giác cơ bản.

Giống như Einstein, Feynman đều rất giỏi những thứ này.

Như một ví dụ nhỏ về một thứ để chơi và cố gắng hiểu nó.

Và bây giờ với chúng tôi, bạn đã giúp xây dựng một đội ngũ kỹ sư học máy và một hệ thống thực sự hoàn thành điều gì đó trong thế giới thực.

Vậy với tất cả những điều đó, việc

Tìm kiếm bản thân như thế nào?

Chà, nó khó khăn vì rõ ràng tôi rất yêu công ty, và tôi yêu Elon, tôi yêu Tesla.

Tôi muốn, thật khó để rời đi.

Về cơ bản tôi yêu đội ngũ.

Nhưng tôi nghĩ thực ra tôi có thể quan tâm đến việc quay lại, có thể quay lại vào một thời điểm nào đó.

Làm việc với Optimus, làm việc với AGI tại Tesla.

Tôi nghĩ Tesla sẽ

Làm những điều phi thường.

Về cơ bản nó giống như một công ty robot quy mô lớn với rất nhiều tài năng nội bộ để làm những điều thực sự phi thường.

Và tôi nghĩ robot hình người sẽ rất tuyệt vời.

Tôi nghĩ vận tải tự động sẽ rất tuyệt vời.

Tất cả điều này đang xảy ra tại Tesla.

Vì vậy tôi nghĩ đó là một tổ chức thực sự tuyệt vời.

Vì vậy, là một phần của nó

Và giúp nó phát triển, tôi nghĩ về cơ bản tôi rất thích điều đó.

Vâng, về cơ bản nó khó khăn vì những lý do đó vì tôi yêu công ty.

Ừ, nhưng bạn biết đấy, tôi sẵn lòng có thể quay lại cho phần hai vào một lúc nào đó.

Nhưng tôi cảm thấy ở giai đoạn này, tôi đã xây dựng đội ngũ, nó hoạt động tự chủ, và tôi trở thành quản lý, và tôi muốn làm nhiều việc kỹ thuật hơn.

Tôi muốn

Học hỏi, tôi muốn dạy, và tôi cảm thấy đó là thời điểm tốt để thay đổi nhịp độ một chút.

Bạn nghĩ phần tiếp theo của phim nào hay nhất mọi thời đại?

Nhân tiện nói về phần hai, vì hầu hết các phần tiếp theo của phim đều tệ.

Vâng, và bạn tweet về phim ảnh, nên chỉ một chút lạc đề, có phần tiếp theo phim yêu thích nào không?

Bố già phần hai.

Ừm, bạn có phải là fan của Bố già không?

Vì bạn thậm chí không tweet hay nhắc đến Bố già.

Vâng, tôi không thích bộ phim đó.

Tôi biết, nó chưa, hãy cắt đoạn đó đi.

Chúng ta sẽ cắt bỏ sự ghét bỏ đối với Bố già.

Sao bạn dám?

Tôi nghĩ tôi sẽ đưa ra một tuyên bố mạnh mẽ.

Tôi không biết tại sao, nhưng về cơ bản tôi không thích bất kỳ bộ phim nào trước năm 1995, đại loại thế.

Bạn đã không nhắc đến

Kẻ hủy diệt 2?

Được rồi, Kẻ hủy diệt 2 ra mắt muộn hơn một chút.

1990?

Không, tôi nghĩ Kẻ hủy diệt 2 là một cái tên.

Tôi cũng thích Kẻ hủy diệt 1.

Vậy được rồi, có một vài ngoại lệ.

Nhưng nhìn chung, vì lý do nào đó tôi không thích phim trước năm 1995.

Chúng có cảm giác rất chậm, máy quay như bị thu nhỏ, nhàm chán, hơi ngây thơ, hơi kỳ lạ.

Và Kẻ hủy diệt cũng rất

Đi trước thời đại.

Vâng, và Bố già, không có AGI nào cả.

[Cười] Ý tôi là, nhưng bạn có Chàng Will Hunting là một trong những bộ phim bạn đề cập, và nó cũng không có AGI.

Tôi đoán đó là toán học.

Vâng, thỉnh thoảng tôi thích những bộ phim không có, như Anchorman, không có, đó là sự gia tăng.

Nó hay quá.

Tôi không hiểu.

Ừm, nói về AGI, vì tôi không

Hiểu tại sao Will Ferrell lại hài hước đến vậy.

Nó chẳng có ý nghĩa gì.

Nó không tính toán được.

Có điều gì đó về anh ấy, và anh ấy là một con người độc nhất.

Bởi vì ngày nay không có nhiều phim hài, và tôi tự hỏi liệu nó có liên quan đến văn hóa, hay cỗ máy Hollywood, hay chỉ là chúng ta may mắn với một số người và hài kịch đã kết hợp lại với nhau

Bởi vì anh ấy là một con người độc nhất.

Đó là một sự lạc đề ngớ ngẩn, tôi xin lỗi.

Nhưng bạn đã đề cập đến robot hình người.

Vậy bạn nghĩ gì về Optimus, về Tesla bot?

Bạn có nghĩ chúng ta sẽ có robot trong nhà máy, trong nhà trong 10, 20, 30, 40, 50 năm nữa không?

Vâng, tôi nghĩ đó là một dự án rất khó.

Tôi nghĩ nó sẽ mất một thời gian.

Nhưng còn ai khác sẽ chế tạo robot hình người với quy mô lớn?

Vâng, và tôi

Nghĩ rằng đó là một dạng hình thức rất tốt để theo đuổi, vì như tôi đã đề cập, thế giới được thiết kế cho dạng hình người.

Những thứ này sẽ có thể vận hành máy móc của chúng ta, chúng sẽ có thể ngồi xuống ghế, và thậm chí có thể lái xe.

Ừ, về cơ bản thế giới được thiết kế cho con người.

Đó là dạng thức bạn muốn đầu tư và làm cho nó hoạt động theo thời gian.

Ừ, tôi nghĩ, bạn biết đấy,

Có một trường phái tư duy khác là, "Được rồi, chọn một vấn đề và thiết kế robot cho nó." Nhưng thực tế, thiết kế một robot và làm cho toàn bộ hệ thống dữ liệu và mọi thứ đằng sau nó hoạt động lại là một vấn đề cực kỳ khó.

Vì vậy, sẽ hợp lý khi theo đuổi các giao diện tổng quát, ừ, chúng không hoàn hảo cho bất kỳ nhiệm vụ cụ thể nào, nhưng chúng thực sự có tính tổng quát để chỉ

Với một lời nhắc, bằng tiếng Anh, có thể làm được điều gì đó xuyên suốt.

Và vì vậy tôi nghĩ sẽ rất hợp lý khi theo đuổi một giao diện tổng quát trong thế giới vật lý.

Và tôi nghĩ đó là một dự án rất khó khăn.

Tôi nghĩ nó sẽ mất thời gian, nhưng tôi không thấy công ty nào khác có thể thực hiện tầm nhìn đó.

Tôi nghĩ nó sẽ rất tuyệt vời.

Giống như, về cơ bản là lao động chân tay.

Nếu bạn nghĩ vận tải là một

Thị trường lớn, hãy thử lao động chân tay.

Điên rồ.

Chà, nhưng không chỉ là lao động chân tay.

Đối với tôi, điều cũng thú vị là robot xã hội, mối quan hệ chúng ta sẽ có ở các cấp độ khác nhau với những robot đó.

Đó là lý do tôi rất hào hứng khi thấy Optimus.

Mọi người đã chỉ trích tôi vì sự hào hứng đó, nhưng tôi đã làm việc với nhiều phòng thí nghiệm nghiên cứu về robot hình người có chân

Robot: Boston Dynamics, Unitree, rất nhiều.