Các hệ thống ra quyết định lái xe tự trị truyền thống thường dựa vào thiết kế mô-đun. Từ nhận thức về môi trường, kế hoạch ra quyết định đến kiểm soát phương tiện, mỗi hệ thống con hoạt động độc lập và hợp tác kiểm soát hoạt động của xe. Trong các kịch bản giao thông phức tạp, kiến trúc phân cấp này dễ bị các vấn đề như lỗi tích lũy, mất thông tin và hiệu suất thời gian thực không đủ. Các mô hình lớn đang dần thay đổi tình huống này với các thông số lớn, khả năng xử lý dữ liệu chéo và các mô hình học tập từ đầu đến cuối. Nó không chỉ đạt được sự hợp nhất hiệu quả của dữ liệu đa cảm biến ở cấp độ nhận thức, mà còn lên kế hoạch cho các chiến lược lái xe hợp lý hơn cho các phương tiện thông qua sự hiểu biết ngữ nghĩa sâu sắc và lý luận hợp lý ở cấp độ ra quyết định, từ đó tăng cường sự an toàn và mạnh mẽ.
Ưu điểm của các mô hình lớn trong lái xe tự trị
Quá trình phát triển của công nghệ lái tự động đã trải qua nhiều giai đoạn, từ việc lái xe được hỗ trợ sớm đến việc chuyển đổi dần dần đến lái xe tự trị hoàn toàn. Các hệ thống ban đầu chủ yếu dựa vào phát hiện đối tượng đơn giản và kiểm soát quy tắc. Với sự phát triển của học tập sâu, việc áp dụng các phương pháp như CNN, RNN và thậm chí GAN đã liên tục cải thiện nhận thức môi trường và khả năng ra quyết định. Hơn nữa, đại diện và máy biến áp kết hợp công nghệ BEV (mắt của chim), ở một mức độ nhất định, đã tạo nên sự thiếu hụt của các phương pháp truyền thống trong mô hình không gian thời gian. Có thể nói rằng việc giới thiệu các mô hình lớn về cơ bản là định hình lại kiến trúc tổng thể của các hệ thống lái xe tự trị, đặt nền tảng vững chắc cho việc thương mại hóa các cấp L3, L4 và thậm chí L5 trong tương lai.
Kiến trúc mô hình dựa trên máy biến áp thường áp dụng cơ chế tự ý, có thể nắm bắt các phụ thuộc đường dài, do đó cải thiện đáng kể tính toàn cầu và độ chính xác của xử lý thông tin. Thông qua cách tiếp cận điều chỉnh trước khi đào tạo, mô hình được đào tạo trước trên dữ liệu không nhãn quy mô lớn và sau đó được tinh chỉnh cho các nhiệm vụ lái xe tự trị cụ thể. Điều này không chỉ làm giảm sự phụ thuộc vào một lượng lớn dữ liệu được dán nhãn mà còn cho phép mô hình có khả năng di chuyển từ miền chéo tốt. Các mô hình lớn đa phương thức có thể đồng thời xử lý các hình thức dữ liệu khác nhau như hình ảnh, đám mây điểm và dữ liệu radar, đạt được một bước nhảy vọt từ "nhìn thấy" đến "hiểu" và cung cấp các hệ thống lái xe tự trị với khả năng nhận thức tương tự như con người.
Ứng dụng cụ thể của các mô hình lớn trong lái xe tự trị
Trong các hệ thống lái xe tự trị, việc áp dụng các mô hình lớn chủ yếu được phản ánh trong nhiều khía cạnh như nhận thức môi trường, ra quyết định và lập kế hoạch và kiểm soát phương tiện. Về nhận thức môi trường, các hệ thống truyền thống chủ yếu dựa vào dữ liệu của một cảm biến duy nhất để phát hiện mục tiêu và phân đoạn ngữ nghĩa. Tuy nhiên, do những hạn chế của ánh sáng, thời tiết và chính các cảm biến, chúng thường gặp khó khăn trong việc xử lý các kịch bản phức tạp. Thông qua công nghệ hợp nhất dữ liệu đa phương thức, các mô hình lớn có thể tích hợp các dữ liệu khác nhau như máy ảnh, nắp, radar sóng milimet và bản đồ có độ chính xác cao để tạo thành một biểu diễn phong phú và chính xác hơn của môi trường. Ví dụ, mô hình hành động ngôn ngữ hình ảnh (VLA) có thể đồng thời trích xuất thông tin trực quan và thông tin ngữ nghĩa trong hình ảnh, và cho thấy độ chính xác cực kỳ cao trong việc phát hiện trở ngại, dự đoán hành vi của người đi bộ và đánh giá điều kiện đường. Sau khi thông tin của nhiều cảm biến được hợp nhất sâu sắc bởi mô hình lớn, không chỉ sự mạnh mẽ của việc phát hiện mục tiêu được tăng cường, mà còn dự đoán các cảnh động có thể đạt được thông qua phân tích chuỗi thời gian, cung cấp đầu vào đáng tin cậy hơn cho việc ra quyết định xe.
Ở cấp độ ra quyết định và lập kế hoạch, các hệ thống lái xe tự trị truyền thống thường dựa vào các quy tắc đặt trước hoặc thuật toán lập kế hoạch dựa trên mô hình để chuyển đổi kết quả nhận thức thành các quyết định lập kế hoạch và hành động. Tuy nhiên, phương pháp này dễ bị hỏng khi đối mặt với các điều kiện giao thông phức tạp chưa từng thấy trước đây và thiết kế giao diện giữa mỗi mô-đun khá cứng nhắc, khiến việc đạt được tối ưu hóa từ đầu đến cuối. Thông qua khung học tập từ đầu đến cuối, các mô hình lớn có thể trích xuất trực tiếp thông tin chính từ dữ liệu cảm biến thô và tạo các lệnh điều khiển phương tiện thông qua lý luận logic vốn có. DriveGpt -4 và Lawagempc đã chứng minh tiềm năng của việc sử dụng các mô hình lớn để ra quyết định đa nhiệm vụ. Các mô hình của họ không chỉ có thể tạo ra các chiến lược lái xe hợp lý trong các kịch bản phức tạp mà còn cung cấp các giải thích chi tiết, tăng cường khả năng diễn giải của hệ thống. Ưu điểm của việc ra quyết định từ đầu đến cuối này nằm ở việc giảm các lỗi trung gian trong quy trình truyền thông tin và cho phép toàn bộ hệ thống có khả năng thích ứng với các kịch bản mới.
Kiểm soát phương tiện, là bước cuối cùng của việc lái xe tự trị, không chỉ đòi hỏi tính chính xác của việc ra quyết định mà còn đảm bảo phản ứng thời gian thực của hệ thống. Vì các mô hình lớn thường có nhiều thông số và chi phí tính toán khổng lồ, nên có những thách thức nhất định trong việc triển khai trực tiếp trên các hệ thống gắn trên xe. Ngành công nghiệp đã thực hiện những khám phá rộng rãi trong nén mô hình và nhẹ. Thông qua công nghệ chưng cất mô hình, kiến thức thiết yếu trong các mô hình lớn được trích xuất và sau đó được chuyển sang các mô hình nhỏ và hiệu quả để đạt được một kết hợp hoàn hảo với phần cứng trong xe (như loạt NVIDIA Drive AGX). Công nghệ này không chỉ giữ lại hiệu suất cao của các mô hình lớn mà còn đảm bảo rằng thời gian đáp ứng đáp ứng các yêu cầu của kiểm soát thời gian thực, do đó đóng một vai trò quan trọng trong quá trình thương mại hóa lái xe tự trị L3\/L4.
Trong mô phỏng và xác minh vòng kín của lái xe tự trị, các mô hình lớn cũng đã chứng minh những lợi thế đáng kể. Đào tạo với dữ liệu quy mô lớn và các cảnh tổng hợp có thể xây dựng các mô hình thế giới thực tế và thử nghiệm vòng kín có thể đạt được trong một môi trường ảo thông qua công nghệ sinh đôi kỹ thuật số. Phương pháp này không chỉ làm giảm đáng kể rủi ro và chi phí thực hiện một số lượng lớn các thử nghiệm trên các con đường thực, mà còn có thể nhanh chóng mô phỏng các kịch bản cực đoan và đuôi dài khác nhau, cung cấp hỗ trợ dữ liệu đầy đủ cho việc tối ưu hóa lặp lại của mô hình. Mô hình Emma của Waymo, bằng cách tận dụng các nền tảng mô phỏng và công nghệ mô hình lớn, đã đạt được dự đoán quỹ đạo chính xác cao và ra quyết định tránh va chạm. Hiệu suất của nó vượt xa các hệ thống phân cấp truyền thống, cung cấp một cách tiếp cận mới để xác minh vòng kín của các hệ thống lái xe tự trị hoàn toàn trong tương lai.
Ngoài ra, các mô hình lớn cũng đã đóng một vai trò quan trọng trong việc tăng cường bảo mật hệ thống và trải nghiệm người dùng. Lái xe tự trị không chỉ đơn thuần là một vấn đề kỹ thuật; Nó cũng liên quan đến tương tác giữa người và máy tính và các vấn đề tin cậy xã hội. Thông qua công nghệ xử lý ngôn ngữ tự nhiên, các mô hình lớn có thể đạt được các cuộc trò chuyện thời gian thực với trình điều khiển, cung cấp các đề xuất lái xe và cảnh báo khẩn cấp và thậm chí cung cấp hỗ trợ cá nhân hóa dựa trên cảm xúc của người lái. Một thiết kế tương tác như vậy có thể tăng cường đáng kể niềm tin của hành khách, làm cho hệ thống lái xe tự trị không chỉ tiên tiến hơn trong công nghệ mà còn phù hợp hơn với nhu cầu của người dùng trong các ứng dụng thực tế.
Những thách thức gì các mô hình lớn đặt ra trong việc lái xe tự trị?
Mặc dù các mô hình lớn đã cho thấy tiềm năng lớn trong lĩnh vực lái xe tự trị, nhưng vẫn có nhiều vấn đề trong việc chuyển đổi chúng từ thành tích trong phòng thí nghiệm sang các ứng dụng thương mại. Hiệu suất thời gian thực và tài nguyên điện toán là một trong những tắc nghẽn chính hiện nay. Các mô hình lớn thường có quy mô lớn các tham số và độ phức tạp tính toán cao. Để tạo ra các quyết định trong cấp độ mili giây, đặt ra các yêu cầu cực kỳ cao đối với sức mạnh tính toán của nền tảng điện toán trong xe. Có thể sử dụng chip AI chuyên dụng và các mô hình lớn có thể được nén thông qua các kỹ thuật như chưng cất mô hình và định lượng hóa, cố gắng đáp ứng các yêu cầu phản hồi thời gian thực trong khi đảm bảo hiệu suất.
Các vấn đề về bảo mật và mạnh mẽ cũng là những thách thức cốt lõi trong việc áp dụng các mô hình lớn. Một khi một phương tiện tự trị mắc sai lầm ra quyết định, hậu quả có thể rất nghiêm trọng. Do đó, các mô hình lớn phải trải qua thử nghiệm và xác minh nghiêm ngặt trước khi được đưa vào sử dụng thực tế để đảm bảo rằng chúng có thể đáp ứng chính xác trong các kịch bản phức tạp và cực đoan khác nhau. Do tính chất "hộp đen" của các mô hình lớn, các quy trình ra quyết định nội bộ của họ thường khó giải thích. Làm thế nào để tăng cường khả năng diễn giải của mô hình trong khi đảm bảo hiệu suất cao đã trở thành một vấn đề cấp bách đối với các cơ quan quản lý và các nhà sản xuất ô tô để giải quyết. Trong tương lai, bằng cách kết hợp các phương pháp như học tập củng cố, tinh chỉnh dựa trên phản hồi của con người và các ràng buộc quy tắc, dự kiến sẽ thiết kế các hệ thống ra quyết định vừa hiệu quả và minh bạch.
Quyền riêng tư dữ liệu và các vấn đề đạo đức không thể bị bỏ qua trong việc áp dụng các mô hình lớn. Các hệ thống lái xe tự trị cần thu thập một lượng lớn dữ liệu xe, môi trường và người dùng và việc lưu trữ và sử dụng an toàn các dữ liệu này có liên quan trực tiếp đến việc bảo vệ quyền riêng tư của người dùng. Cách tận dụng đầy đủ các lợi thế của dữ liệu lớn trong khi đảm bảo tính bảo mật của truyền và xử lý dữ liệu là vấn đề đầu tiên mà các cơ quan quản lý cần giải quyết. Cần phải xây dựng các tiêu chuẩn bảo vệ dữ liệu nghiêm ngặt và các cơ chế bảo vệ quyền riêng tư để cung cấp các bảo đảm thể chế cho việc áp dụng an toàn các mô hình lớn trong lái xe tự trị.
Sự hợp tác giữa phần mềm và phần cứng cũng là chìa khóa để triển khai các mô hình lớn. Việc áp dụng thành công các mô hình lớn không chỉ phụ thuộc vào đổi mới thuật toán, mà còn yêu cầu hỗ trợ phần cứng hiệu suất cao. Hiện tại, các nhà sản xuất lớn đã ra mắt liên tiếp các nền tảng máy tính trong xe thế hệ mới, như NVIDIA Drive Agx Pegasus, Atlan, v.v ... Các nền tảng này cung cấp bảo đảm phần cứng cho suy luận thời gian thực và triển khai các mô hình lớn quy mô lớn. Sự tiến bộ liên tục của công nghệ cảm biến cũng đã cung cấp các nguồn dữ liệu chất lượng cao và phong phú hơn cho phản ứng tổng hợp dữ liệu đa phương thức. Với sự cải tiến liên tục của toàn bộ hệ sinh thái lái xe tự trị, sự tích hợp sâu sắc của phần mềm và phần cứng chắc chắn sẽ đưa toàn bộ ngành công nghiệp vào kỷ nguyên hoàn toàn mới của du lịch thông minh.
Tác động sâu sắc của các mô hình lớn đối với công nghệ lái xe tự trị không chỉ được phản ánh trong các chi tiết kỹ thuật, mà còn kích hoạt sự thay đổi mô hình từ các hệ thống mô-đun truyền thống sang từ đầu đến cuối và từ trí thông minh nhận thức sang trí thông minh nhận thức. Hệ thống lái xe tự trị trong tương lai, được dẫn dắt bởi các mô hình lớn, sẽ đạt được nhận thức môi trường có độ chính xác cao hơn, quy hoạch và quyết định linh hoạt hơn, cũng như kiểm soát phương tiện an toàn hơn và hiệu quả hơn. Đồng thời, nó sẽ đạt đến một cấp độ mới trong tương tác với máy, hỗ trợ cá nhân hóa và bảo mật dữ liệu.