Lợi nhuận:
- Khả năng đo lường và báo cáo độ không đảm bảo bằng phân tích toàn diện, độ nhạy, xác thực chéo và thử nghiệm mù
- Khả năng ngăn chặn rò rỉ dữ liệu bằng cách phân tách dữ liệu trên cơ sở giếng/trường và đảm bảo rằng độ chính xác được báo cáo phản ánh tính khái quát thực sự.
- Khả năng hiệu chỉnh điểm tin cậy trí tuệ nhân tạo bằng sơ đồ độ tin cậy và áp dụng kỷ luật không sử dụng điểm chưa được hiệu chỉnh làm xác suất
Có một chủ đề lặp đi lặp lại trong mỗi bài học của mô-đun này: không có "câu trả lời chắc chắn" trong địa vật lý, chỉ có các mô hình bị giới hạn bởi sự không chắc chắn. Đơn vị này biến chủ đề đó thành một môn học. Độ không chắc chắn của mô hình là sự tồn tại của các mô hình dưới bề mặt khác nhau có thể giải thích cùng một dữ liệu và mỗi mô hình mang một khoảng tin cậy. Xác thực là kiểm tra bằng bằng chứng độc lập xem một mô hình hoặc đầu ra AI có thực sự hợp lệ hay không. Hiệu chuẩn là để đảm bảo rằng các giá trị độ tin cậy/xác suất mà mô hình đưa ra phù hợp với kết quả thực tế. Trong phần này, chúng ta sẽ xem xét cách trí tuệ nhân tạo (AI) có thể vừa đo lường vừa che giấu sự không chắc chắn; và chúng ta sẽ hiểu tại sao một khung hiệu chuẩn-xác minh vững chắc lại khiến AI trở nên đáng tin cậy.
Nguồn của sự không chắc chắn
Sự không chắc chắn về địa vật lý đến từ nhiều lớp:
- Độ không đảm bảo của dữ liệu: Độ nhiễu đo lường, phạm vi phủ sóng hạn chế, lỗi hiệu chuẩn.
- Độ không chắc chắn của mô hình (đa nghĩa): Sự phù hợp của nhiều hơn một cấu trúc dưới bề mặt với cùng một dữ liệu.
- Độ không đảm bảo về phương pháp/tham số: Các lựa chọn xử lý, đảo ngược và chính quy hóa sẽ thay đổi kết quả.
- Tính không chắc chắn cụ thể đối với AI: Khả năng duy trì sự tự tin của mô hình nhưng không thành công khi di chuyển ra ngoài phân phối đào tạo (ca phân phối).
Công việc của một nhà địa vật lý giỏi không phải là loại bỏ sự không chắc chắn này mà là đo lường, truyền đạt và thu hẹp nó. AI có thể làm điều này trở nên dễ dàng (tạo ra nhiều tình huống) nhưng cũng có thể dễ dàng che giấu nó bằng cách đưa ra một câu trả lời tự tin duy nhất.
Các cách để đo lường độ không đảm bảo
Một số dụng cụ thiết thực:
- Tập hợp: Nhiều lần chạy với các lần khởi động, thông số hoặc mô hình khác nhau; Sự lan rộng của kết quả mang lại sự không chắc chắn.
- Phân tích độ nhạy: Thay đổi đầu vào (tham số, tập hợp con dữ liệu) và xem kết quả thay đổi bao nhiêu.
- Xác thực chéo: Chia dữ liệu thành nhiều phần, huấn luyện một phần và kiểm tra phần kia; Đo lường sức mạnh khái quát hóa.
- Kiểm tra mù: Kiểm tra mô hình với giếng/mỏ độc lập mà mô hình chưa từng thấy trong quá trình đào tạo.
- Đầu ra xác suất: Cung cấp kết quả dưới dạng khoảng tin cậy/phân phối, không phải một giá trị duy nhất.
Mẹo: Khi AI đưa ra kết quả, hãy luôn hỏi: "Tôi cần di chuyển cái gì và bao nhiêu trong đầu vào để thay đổi kết quả này?" Nếu kết quả đảo ngược với một thay đổi tham số nhỏ, thì kết quả đó rất mong manh và độ không chắc chắn cao.
Hiệu chuẩn: điểm tin cậy có đúng không?
Các mô hình AI thường đưa ra độ tin cậy/xác suất (“lỗi 90%”). Nhưng con số này sẽ gây hiểu nhầm nếu nó không được hiệu chỉnh: mô hình thực sự đúng trong khoảng 60% trường hợp mà nó nói là "90%". Hiệu chuẩn là căn chỉnh con số này với tỷ lệ kết quả thực tế. Trong thực tế, một sơ đồ độ tin cậy được vẽ ra: một mô hình được hiệu chỉnh tốt thực sự đúng 90% khi ghi "90%". Trong địa vật lý, điều cần thiết là phải hiệu chỉnh điểm tin cậy AI bằng dữ liệu độc lập trước khi làm cơ sở cho quyết định.
Thận trọng: Độ chính xác cao không đồng nghĩa với việc hiệu chuẩn tốt. Một mô hình nhìn chung có thể chính xác nhưng lại quá tự tin; Điều quan trọng trong các quyết định quan trọng là nó thực sự đáng tin cậy khi ghi "95%". Đừng coi điểm tin cậy chưa được hiệu chỉnh là một xác suất.
Quy tắc vàng của việc xác minh
Để xác minh mạnh mẽ: (1) Tính độc lập - dữ liệu kiểm tra hoàn toàn không được can thiệp vào quá trình huấn luyện/điều chỉnh (rò rỉ dữ liệu - làm tăng kết quả). (2) Thử nghiệm mù - cánh đồng/giếng mà mô hình không nhìn thấy. (3) Tính nhất quán về mặt vật lý - kết quả không được mâu thuẫn với vật lý và địa chất. (4) Khả năng tái tạo - cùng một kết quả với cùng một đầu vào và có thể được người khác tạo ra. (5) Tài liệu - bản ghi dữ liệu nào, tham số nào, phiên bản mô hình nào đã được sử dụng.
ba trường hợp nhỏ
Trường hợp 1 - Ngụy biện rò rỉ dữ liệu. Một nhóm báo cáo rằng bộ phân loại tướng mang lại độ chính xác 94%. Cuộc điều tra cho thấy các mẫu lân cận từ cùng một giếng có liên quan đến cả quá trình đào tạo và thử nghiệm (rò rỉ dữ liệu). Khi chia nhỏ ra, độ chính xác giảm xuống còn 71% - đó là sự khái quát hóa thực sự. Sự rò rỉ làm cho mô hình trông đẹp hơn thực tế.
Trường hợp 2 - Mô hình quá tự tin. Một máy phát hiện lỗi đã đưa ra "độ tin cậy 95%" cho các dấu hiệu của nó. Biểu đồ độ tin cậy cho thấy điểm "95%" thực sự chính xác 70%. Sau khi mô hình được hiệu chỉnh, điểm tin cậy trở nên thực tế và các nhà bình luận đã điều chỉnh chính xác mức độ tin cậy của mỗi dấu hiệu.
Trường hợp 3 - Sự đảo ngược dễ vỡ. Một mô hình trọng lực trông rất thuyết phục. Phân tích độ nhạy cho thấy cấu trúc chính biến mất khi trọng số chính quy thay đổi 20%: cấu trúc không đến từ dữ liệu mà đến từ việc lựa chọn tham số. Nhóm đã gắn cờ cấu trúc này là “độ tin cậy thấp” và yêu cầu dữ liệu bổ sung.
Bốn mẫu có thể sao chép
1) Kế hoạch đo độ không đảm bảo đo:
Vai trò của bạn: nhà tư vấn về sự bất ổn địa vật lý. Tôi có kết quả [đảo ngược/phân loại/dự đoán]. Tôi áp dụng những phương pháp nào (tập hợp, độ nhạy, xác thực chéo, mù nhất) để đo lường độ không đảm bảo và theo thứ tự nào? Giải thích điều mỗi người nói với tôi và cách báo cáo kết quả.
2) Kiểm tra hiệu chuẩn:
Mô hình AI của tôi cho điểm tin cậy/xác suất. Làm cách nào để kiểm tra xem điểm này có được hiệu chỉnh hay không? Làm cách nào để xây dựng sơ đồ độ tin cậy, nhận biết "sự tự tin thái quá" hoặc "sự thận trọng quá mức" và điều chỉnh điểm số cho phù hợp với tỷ lệ kết quả thực tế?
3) Kiểm tra rò rỉ dữ liệu:
Tôi đã đào tạo một bộ phân loại địa vật lý. Làm cách nào để tìm và ngăn chặn nguy cơ rò rỉ dữ liệu (cùng một mẫu giếng/mẫu hiện trường được đưa vào cả quá trình đào tạo và thử nghiệm)? Làm cách nào để thiết lập sự phân tách theo giếng/mỏ? Làm cách nào để biết liệu độ chính xác được báo cáo có phản ánh sự khái quát thực sự hay không?
4) Kết quả kiểm tra độ mong manh:
Tôi có kết quả đảo ngược/mô hình. Tôi muốn hiểu kết quả này mong manh đến mức nào. Bằng cách thay đổi những tham số nào và cấu trúc chính thay đổi bao nhiêu? Làm cách nào để phân biệt cấu trúc đến từ dữ liệu hay tham số/tiền đề? Đưa ra một giao thức nhạy cảm.
Dấu nhắc yếu / Dấu nhắc mạnh
Dấu nhắc yếu:
Xem liệu mô hình của tôi có độ chính xác cao hay không.
Một số chân lý duy nhất; rò rỉ che giấu sự hiệu chuẩn và khái quát hóa, tạo ra sự tin cậy sai lầm.
Lời nhắc mạnh mẽ:
Vai trò của bạn: chuyên gia xác nhận mô hình. Đầu vào: [bộ phân loại tạo ra N tốt, điểm tin cậy]. Nhiệm vụ: (1) đề xuất phân bổ hợp lý chống rò rỉ dữ liệu; (2) lắp đặt thử nghiệm giếng mù; (3) hiệu chỉnh điểm tin cậy bằng biểu đồ độ tin cậy; (4) kiểm tra độ nhạy của kết quả đối với tham số. Giảm xuống một số sự thật duy nhất; Báo cáo tổng quát, hiệu chỉnh và dễ vỡ riêng biệt.
Yêu cầu rò rỉ, kiểm tra mù, hiệu chuẩn và độ nhạy giúp việc xác minh trở nên trung thực.
Công cụ không chắc chắn
xe cộ
Nó đo lường cái gì?
Rủi ro chính
đầu ra
quần thể
Nhân giống mô hình
Chi phí tài khoản
Phạm vi/phân phối
Độ nhạy
Hiệu ứng tham số
Đầu vào bị thiếu
Tính dễ vỡ
xác nhận chéo
khái quát hóa
rò rỉ dữ liệu
độ chính xác thực tế
kiểm tra mù
thành công độc lập
Bộ kiểm tra không đủ
tin tưởng
Hiệu chuẩn
tin tưởng thực tế
quá tự tin
xác suất phù hợp
Những lỗi thường gặp
- Không nhận thấy rò rỉ dữ liệu. Nó thổi phồng sự công bình; Phân chia theo giếng/mỏ.
- Sử dụng điểm tin cậy mà không hiệu chỉnh nó. “90%” có thể không thực sự là 90%.
- Dựa vào con số chân lý duy nhất. Khái quát hóa và hiệu chuẩn là hai việc khác nhau.
- Không kiểm tra lỗ hổng. Cấu trúc bị mất bởi tham số không phải là thông tin thực.
- Không báo cáo sự không chắc chắn. Việc trình bày kết quả mà không có khoảng tin cậy là sai lầm.
Tóm lại
Tính bất định là một thực tế không thể xóa bỏ được của địa vật lý; công việc là đo lường nó, truyền đạt nó và thu hẹp nó. AI tạo điều kiện thuận lợi cho việc này bằng kết quả tổng hợp, độ nhạy và xác suất, nhưng cũng có thể ngụy trang nó bằng một câu trả lời tự tin duy nhất. Một khung vững chắc; ngăn chặn rò rỉ dữ liệu, đo lường mức độ khái quát hóa bằng thử nghiệm mù, hiệu chỉnh điểm tin cậy và kiểm tra tính mong manh của kết quả. Niềm tin không được kiểm chứng, tính trung thực chưa được kiểm chứng và sự không chắc chắn bị che giấu là ba ảo tưởng nguy hiểm nhất. Địa vật lý đáng tin cậy là địa vật lý thể hiện một cách trung thực tính không chắc chắn của nó.
Nhiệm vụ ứng dụng
Chọn kết quả địa vật lý AI (phân loại, đảo ngược hoặc dự đoán). Lập kế hoạch cho các bước thử nghiệm tổng hợp/độ nhạy/mù bằng mẫu "Kế hoạch đo lường độ không đảm bảo đo". Sau đó kiểm tra sự khác biệt trong bài kiểm tra đào tạo của bạn bằng mẫu “Kiểm tra rò rỉ dữ liệu”. Nếu mô hình cho điểm tin cậy, hãy đánh giá xem điểm đó có thực tế hay không bằng mẫu "Kiểm tra hiệu chuẩn" và viết kết quả của bạn kèm theo khoảng tin cậy.
danh sách kiểm tra
- [ ] Tôi đã đo độ không đảm bảo bằng tổng thể/độ nhạy.
- [ ] Tôi đã ngăn chặn rò rỉ dữ liệu bằng cách tách dữ liệu trên cơ sở giếng/trường.
- [ ] Tôi đã kiểm tra khả năng khái quát hóa bằng một bài kiểm tra mù.
- [ ] Tôi đã hiệu chỉnh điểm tin cậy và kiểm tra tính chân thực của nó.
- [ ] Tôi đã báo cáo kết quả bằng khoảng tin cậy chứ không phải một giá trị nào.