Lợi nhuận:
- Có thể nhận biết tại sao trí tuệ nhân tạo mắc lỗi trong toán học (là mô hình ngôn ngữ, không kiểm tra logic) và bảy loại lỗi chính
- Khả năng giải thích lý do bắt buộc phải xác minh từng bước bằng cách hiểu rằng lỗi được lan truyền và độ chính xác là nhị phân trong toán học.
- Khả năng áp dụng kỷ luật xác minh nhiều lớp thông qua kiểm tra thông thường, thứ tự kiểm tra mức độ, tổng kiểm tra, kiểm tra chéo và các phương pháp độc lập
Đơn vị này đào sâu ý tưởng cốt lõi của mô-đun: tại sao và làm thế nào AI mắc lỗi trong toán học, các loại lỗi này là gì và làm cách nào để chúng ta phát hiện chúng một cách có hệ thống? Trong các bài học trước, chúng ta đã thấy các phương pháp xác minh cho từng chủ đề; Ở đây chúng tôi tập hợp giải phẫu các lỗi dưới một mái nhà. Vấn đề là, khi bạn nhìn vào kết quả đầu ra của AI, bạn sẽ tự hỏi "điều gì có thể xảy ra ở đây?" Đó là để có được tâm lý xác nhận và suy nghĩ theo phản xạ.
Nhắc nhở: ảo giác là khi AI tự tin tạo ra thông tin không thực sự đúng. Trong toán học, ảo giác thường xuất hiện dưới dạng “có sức thuyết phục nhưng sai lầm”. Tại sao AI lại phạm sai lầm? Bởi vì nó là một mô hình ngôn ngữ, không phải một công cụ logic - tức là nó tạo ra văn bản với các mẫu thống kê, nó không kiểm tra tính hợp lệ logic của các bước. Đối với anh ta, “phép nhân 3 chữ số” và “bằng chứng hợp lệ” là nhiệm vụ tạo ra cùng một loại văn bản; Nó không có cơ chế nội bộ để đảm bảo độ chính xác.
Giải phẫu các lỗi toán học: bảy loại
Danh sách các loại sau đây tóm tắt các lỗi phổ biến nhất mà bạn sẽ gặp phải trong đầu ra AI và giải pháp giải quyết cho từng loại.
Loại lỗi
Nó trông như thế nào
thuốc giải độc
lỗi số học
Lỗi số như 7×8=54
Máy tính/SymPy
lỗi ký tên
−(a−b)=−a−b
Mở tên của tôi theo cách thủ công
Định lý hình thành
tên định lý không tồn tại
Xác nhận từ nguồn
Áp dụng sai quy tắc
Đừng quên quy tắc dây chuyền
"Quy tắc nào?" câu hỏi
Trạng thái bị bỏ qua
Bỏ qua gốc âm
Liệt kê tất cả các trạng thái
khoảng cách bằng chứng
“Vì vậy” không có lý do chính đáng
Đặt câu hỏi mỗi lần vượt qua
Dữ liệu cũ/không chính xác
thông tin lỗi thời
tìm nguồn cung ứng
Tại sao môn toán cần được quan tâm đặc biệt?
Trong hầu hết các lĩnh vực, một sai sót nhỏ sẽ gây ra hậu quả nhỏ. Trong toán học, lỗi lan rộng và gia tăng. Một lỗi dấu ở dòng đầu tiên của phương trình sẽ làm cho mười dòng tiếp theo và kết quả cuối cùng sai hoàn toàn. Một khoảng trống ở giữa một bằng chứng làm cho toàn bộ bằng chứng không hợp lệ. “Sự mong manh” này khiến cần phải xác minh từng bước trong toán học - “nói chung có vẻ đúng” là chưa đủ.
Hơn nữa, sự thật trong toán học là nhị phân: kết quả là đúng hoặc sai, không có kết quả nào ở giữa. "Chính xác tám mươi phần trăm" có thể được coi là chấp nhận được trong một bản tóm tắt văn bản; Không có cái gọi là "đúng 80%" trong tích phân—nó có thể là kết quả đúng hoặc không. Bản chất kép này làm cho việc xác minh trở nên quan trọng hơn và (may mắn thay) khả thi hơn: kết quả có thể vượt qua xác minh hoặc không.
Từng bước: kỷ luật xác minh có hệ thống
1. Xác nhận từng kết quả bằng số bằng một công cụ. Đừng bao giờ để số học dựa vào AI; SymPy, máy tính hoặc bằng tay.
2. Kiểm tra từng kết quả tượng trưng bằng SymPy. Tích phân, đạo hàm, đơn giản hóa, phương trình—tất cả đều có thể được xác minh bằng SymPy.
3. Xác nhận từng định lý/công thức từ nguồn. Tên và cách diễn đạt có đúng không? Các định lý bịa đặt là cái bẫy nguy hiểm nhất.
4. Hãy đặt câu hỏi về mọi sự xuất hiện trong mọi bằng chứng. “Điều này có thực sự diễn ra sau bước trước không?” Trường hợp cơ sở, giả định ngầm định, kiểm tra khoảng cách.
5. Kiểm tra và kiểm tra lại. Hoạt động nghịch đảo, thay thế, trạng thái giới hạn, phân tích thứ nguyên.
6. Đưa nó vào thử nghiệm thông thường. Kết quả có hợp lý không? Nếu xác suất lớn hơn 1 thì sẽ có lỗi nếu độ dài âm.
Gợi ý: Bài kiểm tra thông thường nhanh nhất là kiểm tra "thứ tự cường độ". Kết quả có nằm trong phạm vi mong đợi không? Nếu điểm trung bình của lớp là 250 (trên 100) hoặc xác suất là 3,5, bạn sẽ biết có lỗi mà không cần xem chi tiết. Việc kiểm tra 5 giây này sẽ loại bỏ nhiều kết quả vô lý từ trong trứng nước.
ba trường hợp nhỏ
Trường hợp 1 - Lỗi ký hiệu chuỗi. Một sinh viên nhận thấy rằng trong phép đơn giản hóa đại số 8 dòng, một lỗi dấu mà AI tạo ra ở dòng 2 sẽ truyền sang 6 dòng tiếp theo. Kết quả cuối cùng hoàn toàn sai nhưng AI đã trình bày nó một cách hoàn toàn tự tin. Khi sinh viên đơn giản hóa lại từ đầu bằng SymPy thì thu được kết quả đúng và cho phép AI tìm ra lỗi ở dòng thứ 2. Một ký bác bỏ 6 dòng.
Trường hợp 2 - Ý thức chung đã cứu được bài kiểm tra. Một giáo viên có AI giải quyết một bài toán xác suất; Kết quả là 1,4. Không nhìn vào chi tiết, giáo viên nói “xác suất không thể lớn hơn 1” và tìm lỗi: AI đã thu thập các sự kiện không rời rạc như thể chúng rời rạc. Một bài kiểm tra thông thường đã chỉ ra lỗi trong vòng vài giây.
Trường hợp 3 - Sữa công thức pha sẵn. Một kỹ sư đã yêu cầu AI cung cấp một "công thức khép kín" cho tổng chuỗi. AI đã đưa ra một công thức thuyết phục. Người kỹ sư đã thử nghiệm công thức với giá trị nhỏ của n (n=3) bằng cả công thức và phép cộng thủ công; Kết quả không khớp. Công thức đã được tạo thành. Một chút điều chỉnh đã ngăn chặn việc lạm dụng hàng giờ.
Bốn mẫu có thể sao chép
1) Yêu cầu xác minh nhiều lớp:
Bạn đã tìm thấy: [kết quả]. Bây giờ hãy xác minh BA cách khác nhau này: (1) băm ngược lại, (2) kiểm tra một giá trị tùy chỉnh đơn giản, (3) một số mã để kiểm tra bằng SymPy (Tôi sẽ xem kết quả đầu ra). Hãy cho tôi biết liệu cả ba cách đều nhất quán hay không; Nếu không thì chỉ ra bước nào có lỗi.
2) Kiểm tra ý thức chung/xếp hạng:
Bạn đã tìm thấy: [kết quả]. Hãy đưa nó vào bài kiểm tra thông thường để xem liệu kết quả này có HỢP LÝ hay không: thứ tự độ lớn dự kiến là gì, dấu hiệu có đúng không, nó có nằm trong giới hạn không (ví dụ: xác suất 0-1)? Nếu thấy không hợp lý, hãy điều tra xem có thể có sai sót ở đâu.
3) Xác nhận định lý/công thức:
[Định lý/công thức] bạn đang sử dụng có thực sự chuẩn và chính xác không? Viết biểu thức và điều kiện chuẩn của nó. Hiển thị một tài khoản kiểm tra điều này bằng một mẫu nhỏ (ví dụ: n=3). Nếu đó là sữa công thức pha sẵn hoặc điều gì đó mà bạn không chắc chắn, hãy nói rõ ràng.
4) Chẩn đoán chế độ lỗi:
Tôi biết có lỗi trong giải pháp bên dưới. Kiểm tra từng loại lỗi sau: số học, dấu, quy tắc sai, điều kiện bị bỏ qua, tên miền. Hãy cho tôi biết đó là loại lỗi gì và ở bước nào. Giải pháp: [tại đây]
Dấu nhắc yếu / Dấu nhắc mạnh
Yếu: "Kết luận này có đúng không?" [dán kết quả]
Kết quả: AI thường nói “ừ đúng rồi” (có xu hướng xác nhận kết quả đầu ra của chính mình); không đáng tin cậy vì không có kiểm toán độc lập.
Mạnh: "KIỂM TRA kết quả này theo cách độc lập: sử dụng cách giải quyết khác hoặc kiểm tra bằng mã SymPy (Tôi sẽ chạy mã). Đừng chỉ nói 'đúng/sai'; hãy cho biết bạn đã thực hiện kiểm tra nào và kết quả. Nếu tổng kiểm tra không thành công, hãy tìm lỗi."
Kết quả: Một phương pháp kiểm soát độc lập bị thách thức; AI bị ngăn cản việc phê duyệt một cách mù quáng kết quả đầu ra của chính nó.
Những lỗi thường gặp
- Bắt AI xác nhận kết quả đầu ra của chính nó. "Điều này có đúng không?" AI thường tự nhận lỗi của mình; Phương pháp độc lập là cần thiết.
- Bỏ qua bài kiểm tra ý thức chung. Những điều vô nghĩa như xác suất lớn hơn 1 và độ dài âm có thể bị phát hiện mà không cần nhìn vào chi tiết.
- Dựa vào một xác minh duy nhất. Sử dụng nhiều đường dẫn độc lập (băm + SymPy + giá trị tùy chỉnh) trên các kết quả quan trọng.
- Không thử nghiệm công thức với mẫu nhỏ. Công thức tạo sẵn sẽ thu gọn ngay ở các giá trị nhỏ như n=2, n=3.
- Quên rằng lỗi đã được lan truyền. Một lỗi ở dòng đầu tiên sẽ làm hỏng toàn bộ kết quả; Nếu phát hiện sai sót, hãy kiểm tra lại từ đầu.
Thận trọng: Không có mối tương quan giữa độ tin cậy của AI và độ chính xác của nó. Câu có vẻ quả quyết nhất, trôi chảy nhất, “chắc chắn” nhất rất có thể sai hoàn toàn. Tin tưởng vào sự xác minh độc lập chứ không phải giọng điệu. Chỉ coi kết quả là “đúng” khi bạn xác nhận kết quả đó bằng tay hoặc bằng công cụ xác định — không phải vì AI nói “chắc chắn”.
Tóm lại
AI mắc sai lầm trong toán học vì nó là mô hình ngôn ngữ tạo ra văn bản theo thống kê chứ không phải là công cụ điều khiển logic. Lỗi rơi vào bảy loại chính: số học, dấu hiệu, định lý bịa đặt, áp dụng sai quy tắc, trường hợp bị bỏ sót, khoảng cách chứng minh, dữ liệu cũ. Trong toán học, lỗi lan rộng và ngày càng lớn, sự thật là nhị phân - vì vậy mỗi bước đều phải được xác minh. Kỷ luật có hệ thống: xác minh mọi công cụ số, mọi kết quả ký hiệu với SymPy, mọi định lý từ nguồn, mọi bằng chứng được đưa ra bằng cách đặt câu hỏi; Áp dụng kiểm tra, kiểm tra ngược và kiểm tra thông thường. Sự tự tin của AI không phải là bằng chứng về tính chính xác.
Nhiệm vụ ứng dụng
Chọn một bài toán có lời giải có độ dài trung bình (ít nhất 6-8 bước) và nhờ AI giải quyết. Sau đó, thực hiện xác minh nhiều lớp bằng cách sử dụng mẫu 1 và 4 từ đơn vị này: (a) kiểm tra thông thường/xếp hạng, (b) kiểm tra bằng SymPy, (c) kiểm tra trên một giá trị đặc biệt. Sau đó, xem xét từng dòng giải pháp với con mắt “săn lỗi” có chủ ý và kiểm tra xem loại lỗi nào trong số bảy loại lỗi có thể xảy ra. Ghi lại từng lỗi bạn tìm thấy cùng với loại của nó.
danh sách kiểm tra
- [ ] Tôi xác nhận từng kết quả bằng số bằng một công cụ xác định.
- [ ] Tôi đã kiểm tra từng kết quả tượng trưng bằng SymPy.
- [ ] Tôi đã xác minh định lý/công thức được sử dụng từ nguồn hoặc với ví dụ nhỏ.
- [ ] Tôi đã áp dụng ý thức chung/thứ tự kiểm tra độ lớn.
- [ ] Tôi đã kiểm tra nó một cách độc lập (không dựa vào sự chấp thuận của chính AI).
- [ ] Khi phát hiện ra lỗi, tôi đã kiểm tra lại cách giải quyết từ đầu.