ADAS và Lái xe tự động: Nguyên tắc cơ bản về cảm biến

Lợi nhuận:

• Khả năng giải thích vai trò của phản ứng tổng hợp máy ảnh, radar, LiDAR và cảm biến trong chuỗi phát hiện và các cấp độ tự động hóa SAE
• Khả năng tạo nhãn dữ liệu, xác định kịch bản và đánh giá số liệu để phát hiện, phân loại và theo dõi đối tượng
• Khả năng đánh giá nghiêm túc các trường hợp bất lợi, cân bằng dương/âm sai và biên độ an toàn trong đầu ra của mô hình phát hiện

Hầu hết các loại xe ngày nay đều có những tính năng như cảnh báo chệch làn đường, phanh khẩn cấp tự động hay kiểm soát hành trình thích ứng. Tất cả đều nằm dưới sự bảo trợ của ADAS (Hệ thống hỗ trợ người lái nâng cao). Trọng tâm của các hệ thống này và việc lái xe tự động hơn nữa là nhận thức: cách phương tiện “nhìn” thế giới xung quanh bằng cảm biến và “hiểu” nó bằng trí tuệ nhân tạo. Trong phần này, chúng ta sẽ đề cập đến chuỗi phát hiện, cảm biến, mức độ tự động hóa và vấn đề quan trọng nhất, ranh giới bảo mật.

Cảnh báo ngay từ đầu: Khu vực này rất quan trọng về mặt bảo mật. Nếu mô hình phát hiện không phát hiện được người đi bộ, kết quả có thể gây tử vong. Đó là lý do tại sao mọi đầu ra AI ở đây phải được bao quanh bởi các quy trình kỹ thuật bảo mật (ISO 26262 và SOTIF trong các bài tiếp theo).

Cảm biến: mắt, tai và radar

Hệ thống lái xe tự động kết hợp các cảm biến khác nhau vì mỗi cảm biến đều có điểm mạnh và điểm yếu:

• Camera: Camera “nhìn” màu sắc, văn bản (biển báo giao thông), vạch làn đường và loại đối tượng một cách tốt nhất. Nhưng nó rất kém vào ban đêm, sương mù, ánh nắng chói chang và ước tính khoảng cách.
• Radar (Phát hiện và đo phạm vi vô tuyến): Đo khoảng cách và tốc độ bằng sóng vô tuyến. Nó ít bị ảnh hưởng bởi mưa/sương mù và đo tốc độ trực tiếp (với hiệu ứng Doppler); nhưng độ phân giải của nó thấp nên khó phân biệt "đây là người đi bộ hay hộp?"
• LiDAR (Phát hiện ánh sáng và phạm vi): Bắn tia laser và tạo ra "đám mây điểm" ba chiều chính xác về môi trường xung quanh; Nó cho khoảng cách và hình dạng rất tốt. Nhưng nó đắt tiền và có thể bị ảnh hưởng bởi sương mù/mưa dày đặc.
• Siêu âm: Phạm vi ngắn, giống như cảm biến đỗ xe.

Vì bản thân cả hai cảm biến đều không đủ nên việc kết hợp cảm biến được thực hiện: bằng cách kết hợp dữ liệu của các cảm biến khác nhau, điểm yếu của mỗi cảm biến sẽ được bù đắp bằng sức mạnh của cảm biến kia. Ví dụ: camera cho biết "người đi bộ", radar cho biết "ở độ cao 12 mét, đang tiến tới tốc độ 5 km/h"; Fusion kết hợp cả hai và tạo ra một bản nhạc đáng tin cậy.

Mẹo: Khi đánh giá tuyên bố về phát hiện, "cảm biến nào có thể nhìn thấy nó và ở mức độ nào?" hỏi. Nếu ước tính khoảng cách của camera vào ban đêm kém thì quyết định khoảng cách dựa trên một camera duy nhất là điều đáng nghi ngờ.

Chuỗi phát hiện

Chuỗi điển hình từ dữ liệu cảm biến thô đến quyết định như sau:

1. Phát hiện: Tìm các đối tượng trong đám mây hình ảnh/điểm ("có một công cụ ở đây").
2. Phân loại: Xác định loại đối tượng (người đi bộ, xe đạp, xe cộ, biển báo).
3. Theo dõi: Theo dõi đối tượng giữa các khung hình, ước tính tốc độ và hướng của nó.
4. Fusion: Kết hợp các cảm biến để tạo ra một mô hình thế giới nhất quán.
5. Dự đoán: “Người đi bộ này sẽ băng qua đường chứ?”
6. Lập kế hoạch và kiểm soát: Quyết định và lệnh lái/phanh/tăng tốc.

Trí tuệ nhân tạo (đặc biệt là học sâu) 1-3. bước đi rất mạnh mẽ; 5-6. Các bước ngày càng được bao quanh bởi các quy tắc kỹ thuật và logic bảo mật.

Mức độ tự động hóa SAE

Quyền tự chủ không phải là chuyện “có/không”, nó diễn ra từ từ. Tiêu chuẩn SAE J3016 xác định sáu cấp độ:

Cấp độ

Tên

Ai đang lái xe?

ví dụ

0

Không tự động hóa

tất cả ổ đĩa

Chỉ cảnh báo (cảnh báo điểm mù)

1

Hỗ trợ lái xe

trình điều khiển + hỗ trợ duy nhất

Hành trình thích ứng HOẶC giữ làn đường

2

Tự động hóa một phần

Lái xe (giám sát liên tục)

Tốc độ + làn đường chung, tài xế chịu trách nhiệm

3

Tự động hóa có điều kiện

Hệ thống (trong điều kiện nhất định)

Trong điều kiện nhất định, hệ thống điều khiển, trình điều khiển sẵn sàng tiếp quản

4

tự động hóa cao

Hệ thống (trong khu vực cụ thể)

Không có người lái xe trong khu vực xác định

5

Tự động hóa hoàn toàn

Hệ thống (trong mọi điều kiện)

Không cần lái xe ở mọi nơi (chưa)

Thận trọng: Sự hiểu lầm nguy hiểm nhất là Cấp độ 2. Ở Cấp độ 2, xe hỗ trợ đánh lái và tốc độ, nhưng người lái xe vẫn luôn giám sát và chịu trách nhiệm. Việc nhầm hệ thống là "lái tự động" và không chú ý đã dẫn đến những vụ tai nạn chết người. Cấp độ 2 không có nghĩa là "không có người lái".

Số liệu đánh giá: dương tính giả và âm tính giả

Hai loại lỗi rất quan trọng khi đánh giá mô hình phát hiện:

• Dương tính giả: Nghĩ rằng có thứ gì đó không tồn tại. Chẳng hạn, nghĩ rằng bóng cầu là “chướng ngại vật” và phanh gấp một cách không cần thiết. Quấy rối và đôi khi nguy hiểm (đâm xe từ phía sau).
• Âm tính giả (âm tính giả/bỏ lỡ): Không thể nhìn thấy thứ gì đó đang tồn tại. Ví dụ, không nhìn thấy một người đi bộ thực sự. Đây là sai lầm nguy hiểm nhất trong việc lái xe tự động.

Các số liệu tóm tắt những điều này:

• Độ chính xác: Bao nhiêu phần bạn đánh dấu thực sự đúng.
• Nhớ lại (độ nhạy): Bạn đã nắm bắt được bao nhiêu điều thực sự tồn tại.
• mAP (Độ chính xác trung bình trung bình): Số liệu tổng hợp chung để phát hiện đối tượng.

Việc thu hồi (không bỏ sót bất kỳ người đi bộ nào) là rất quan trọng trong các vấn đề như phát hiện người đi bộ trong xe tự lái; Tăng điều này đôi khi làm tăng dương tính giả. Sự đánh đổi này là một quyết định kỹ thuật bảo mật, không phải là độ chính xác của mô hình thuần túy.

Vỏ cạnh và đuôi dài

Phần khó khăn nhất của việc lái xe tự động không phải là những tình huống thường gặp mà là những tình huống hiếm và lạ: biển báo hiện rõ một nửa dưới tuyết, xe tải lộn ngược, người đi bộ mặc thường phục, đồ đạc rơi trên đường. Những tình huống hiếm gặp nhưng nguy hiểm này được gọi là đuôi dài. Mặc dù một mẫu xe có thể hoàn hảo trong hàng triệu dặm "bình thường", nhưng nó có thể bị hỏng trong một tình huống khắc nghiệt mà nó chưa từng thấy trước đây. Đó là lý do tại sao thử nghiệm, mô phỏng và xác thực dựa trên kịch bản là vô tận.

Nghiên cứu trường hợp nhỏ

Trường hợp 1 - Giá trị của sự hợp nhất. Trong khi thử nghiệm phanh khẩn cấp tự động, nhóm ADAS nhận thấy rằng việc phát hiện một chiếc xe tối màu phía trước dưới ánh nắng chói chang chỉ bằng camera rất chậm. Khi thêm dữ liệu radar (radar không bị ảnh hưởng bởi độ chói) hệ thống sẽ phát hiện xe sớm hơn 0,4 giây; Điều này có nghĩa là khoảng cách phanh khoảng 10 mét ở tốc độ 90 km/h. Kết quả: Fusion đã đóng điểm mù cảm biến đơn.

Trường hợp 2 - Thu hồi/cân bằng chính xác. Khi ngưỡng của mô hình phát hiện người đi bộ được hạ xuống, tỷ lệ thu hồi tăng từ 96% lên 99%, nhưng kết quả dương tính giả (bóng, bụi rậm) lại tăng lên, dẫn đến việc phanh gấp không cần thiết. Nhóm an ninh đưa ra quyết định: tránh người đi bộ là ưu tiên hàng đầu, nhưng sự thoải mái vẫn được duy trì bằng cách loại bỏ các kết quả dương tính giả bằng logic hợp nhất và theo dõi. Kết luận: Lựa chọn số liệu là một quyết định kỹ thuật/bảo mật, không có "con số chính xác" duy nhất.

Trường hợp 3 - Trường hợp bất ngờ. Mặc dù một mô hình đã thành công 99,8% trong quá trình xác thực, nhưng nó đã nhầm bức ảnh chụp một người đi bộ khổng lồ phía sau chiếc xe tải chở quảng cáo lốp xe tuyết trên cánh đồng với một "người đi bộ thực sự" và phanh gấp. Nhóm thêm trường hợp biên này vào thư viện kịch bản và đào tạo lại mô hình. Kết luận: Cái đuôi dài không bao giờ “kết thúc”; Cần phải thu thập kịch bản liên tục.

mẫu lời nhắc

Mẫu 1 - Tạo danh sách kịch bản:

Vai trò: Bạn là kỹ sư trường hợp thử nghiệm ADAS. Nhiệm vụ: Đưa ra các kịch bản thử nghiệm đầy thử thách (trường hợp cạnh) cho phanh khẩn cấp tự động. Bối cảnh: Đô thị, 30-50 km/h, hỗn hợp người đi bộ và người đi xe đạp. Ràng buộc: Ưu tiên những tình huống hiếm/nguy hiểm, không phải những tình huống thường xuyên; viết hành vi đúng mong đợi cho từng kịch bản. Kết quả: Kịch bản | tình trạng | hành vi dự kiến ​​| mức độ rủi ro.

Mẫu 2 - Đề cương hướng dẫn ghi nhãn:

Vai trò: Trưởng nhóm chất lượng ghi nhãn dữ liệu.Nhiệm vụ: Viết dự thảo quy tắc nhất quán cho việc ghi nhãn cho người đi bộ.Bối cảnh: Có những người đi bộ được nhìn thấy một phần, ngồi, ngồi trên xe lăn và theo nhóm.Đầu ra: Quy tắc | ví dụ | bảng xếp loại trạng thái giới hạn

Mẫu 3 - Giải thích số liệu:

Vai trò: Chuyên gia đánh giá thị giác máy tính. Nhiệm vụ: Giải thích kết quả phát hiện người đi bộ của tôi. Bối cảnh: độ chính xác 0,93, thu hồi 0,90, hầu hết trượt vào ban đêm hoặc khi trời mưa. Ràng buộc: Nhấn mạnh tầm quan trọng của việc thu hồi để bảo mật; Hãy cho tôi biết những điều kiện nào cần phải xác minh bổ sung. Đầu ra: Nhận xét + lĩnh vực ưu tiên cần cải thiện.

Mẫu 4 - Sơ lược logic tổng hợp:

Vai trò: Bạn là kỹ sư tổng hợp cảm biến. Nhiệm vụ: Đề xuất logic quyết định dự thảo khi xung đột giữa camera và radar. Bối cảnh: Radar nhìn thấy vật thể nhỏ đang chuyển động ở khoảng cách 15 m trong khi camera thông báo 'cấm người đi bộ'. Ràng buộc: Áp dụng nguyên tắc giả định có lợi cho sự an toàn (mặt an toàn). Đầu ra: Bảng quyết định + căn cứ.

Dấu nhắc yếu / Dấu nhắc mạnh

Dấu nhắc yếu:

Mẫu xe tự hành của tôi có an toàn không?

Không có bối cảnh; "an toàn" không được xác định; AI chỉ nói một cách chung chung và có thể gây hiểu lầm.

Lời nhắc mạnh mẽ:

Vai trò: Bạn là nhà tư vấn đánh giá bảo mật ADAS. Nhiệm vụ: Tạo một danh sách kiểm tra để tôi đặt câu hỏi về các lỗ hổng trong mô hình phát hiện người đi bộ của mình. Bối cảnh: Hệ thống đô thị cấp 2; Nhớ lại rơi vào ban đêm và trong mưa; Chỉ có camera + radar, không có LiDAR. Ràng buộc: Không khai báo 'an toàn'; chỉ định những điều kiện nào hệ thống đang ở giới hạn của nó và những thử nghiệm bổ sung nào là cần thiết. Đầu ra: Khu vực rủi ro | tại sao | đề nghị kiểm tra | bảng quan trọng.

Những lỗi thường gặp

• Nhầm cấp độ 2 là "không có người lái". Trách nhiệm thuộc về người lái xe; Quan niệm sai lầm này là tai hại.
• Dựa vào một cảm biến duy nhất. Mọi cảm biến đều có điểm mù; tổng hợp là cần thiết.
• Chỉ cần nhìn vào độ chính xác trung bình. 99% thành công, 1% người đi bộ trượt có thể gây tử vong; các trường hợp thu hồi và biên là rất quan trọng.
• Bỏ qua những trường hợp cực đoan. Cái đuôi dài không bao giờ kết thúc; Việc thu thập kịch bản diễn ra liên tục.
• Để lại quyết định bảo mật cho mô hình. Các quyết định về ngưỡng và cân bằng là trách nhiệm của kỹ thuật bảo mật.

Tóm lại

• Trọng tâm của ADAS và cảm biến lái xe tự động là camera, radar, LiDAR và phản ứng tổng hợp cảm biến; Mỗi cảm biến đều có điểm mạnh/điểm yếu khác nhau.
• Chuỗi phát hiện bao gồm phát hiện, phân loại, giám sát, tổng hợp, dự đoán và kiểm soát; AI mạnh mẽ ở những bước đi đầu tiên.
• Mức SAE nằm trong khoảng từ 0 đến 5; Ở cấp độ 2, trách nhiệm thuộc về người lái xe.
• Phủ định sai (bắt cóc người đi bộ) là lỗi nghiêm trọng nhất; các trường hợp thu hồi và biên được ưu tiên.
• Các quyết định bảo mật là trách nhiệm kỹ thuật; Độ chính xác của mô hình không phải là tiêu chí duy nhất.

Nhiệm vụ ứng dụng

Chọn chức năng ADAS (ví dụ: hỗ trợ giữ làn đường). (1) Viết vào bảng những cảm biến nào hỗ trợ chức năng này và mức độ tốt như thế nào. (2) Tạo 5 kịch bản trường hợp biên với Mẫu 1 và chỉ định hành vi an toàn dự kiến ​​cho từng trường hợp. (3) So sánh kết quả dương tính giả và âm tính giả của hàm này. (4) Liệt kê những thử nghiệm độc lập cần thiết trước khi khẳng định mô hình là "an toàn".

danh sách kiểm tra

• [ ] Tôi đã đánh giá điểm mạnh/điểm yếu của cảm biến theo chức năng.
• [ ] Tôi cũng đã liệt kê các trường hợp cuối cùng (đuôi dài).
• [ ] Tôi đã so sánh các kết quả dương tính/âm tính giả để đảm bảo an toàn.
• [ ] Tôi đã tính đến tầm quan trọng về mặt bảo mật của việc Thu hồi.
• [ ] Tôi đã làm rõ cấp độ SAE và người chịu trách nhiệm.
• [ ] Tôi đã chuẩn bị kế hoạch thử nghiệm độc lập trước khi tuyên bố "an toàn".