Lợi nhuận:
- Khả năng theo dõi nghiên cứu bằng cách ghi lại các quyết định về phương pháp, lời nhắc và thông tin mô hình
- Khả năng tách dữ liệu thô khỏi dữ liệu đã xử lý và ghi lại tất cả các bước chuyển đổi
- Có thể tuyên bố minh bạch vai trò của trí tuệ nhân tạo trong phần phương pháp và áp dụng bài kiểm tra 'nó có thể tái tạo được không'
Đặc điểm cơ bản nhất của khoa học là một phát hiện không dựa trên lời nói của một người mà dựa trên một quá trình có thể được xác minh bởi những người khác. Khả năng tái tạo là khả năng của một nhà nghiên cứu khác, sử dụng dữ liệu và phương pháp nghiên cứu, để đạt được kết quả tương tự bằng cách thực hiện theo các bước tương tự. Một khái niệm tương tự là tính minh bạch: nhà nghiên cứu ghi lại rõ ràng những gì anh ta đã làm và lý do anh ta đưa ra quyết định đó. Trong thời đại AI, hai khái niệm này vừa trở nên dễ dàng hơn vừa quan trọng hơn. Dễ dàng vì AI giúp xử lý tài liệu; rất quan trọng, bởi vì nếu bạn không để lại dấu vết về các quyết định của AI, thì không ai - kể cả bạn - có thể sao chép tác phẩm của bạn. Trong phần này, bạn sẽ học cách làm cho nghiên cứu của mình có thể lặp lại và minh bạch.
Trọng tâm của vấn đề là ở chỗ: Khi làm việc với AI, bạn đưa ra rất nhiều quyết định nhỏ - bạn đã sử dụng lời nhắc nào, mô hình nào, cài đặt nào, đầu ra nào bạn chấp nhận và đầu ra nào bạn từ chối. Nếu những quyết định này không được ghi lại, bạn có thể nhận được kết quả đầu ra khác khi chạy cùng một lời nhắc vào một ngày khác (mô hình ngôn ngữ không đưa ra cùng một phản hồi chính xác mỗi lần). Khi người đánh giá hoặc đồng nghiệp hỏi "làm thế nào bạn đi đến phân tích chủ đề này", "AI đã nói như vậy" không phải là câu trả lời khoa học. Tính minh bạch chính xác là việc mở “hộp đen” này và làm cho quy trình có thể truy nguyên được.
Từng bước: thiết lập một nghiên cứu có thể theo dõi
1. Ghi nhật ký quyết định. Viết ra mọi quyết định quan trọng về phương pháp luận—tại sao lại lấy mẫu này, tại sao lại dùng mã này, tại sao bạn lại chấp nhận đề xuất AI này—trong một cuốn nhật ký ghi ngày tháng. AI giúp tổ chức nhật ký này.
2. Lưu lời nhắc và thông tin mẫu máy. Ghi lại mọi lời nhắc bạn đã sử dụng, mô hình AI bạn đã chạy nó và vào ngày nào. Đây là “danh sách vật liệu” cho công việc của bạn.
3. Tách dữ liệu thô khỏi dữ liệu đã xử lý. Giữ nguyên dữ liệu gốc; thực hiện tất cả các chuyển đổi (dọn dẹp, mã hóa) riêng biệt với các bước được ghi lại. Vì thế mọi người có thể xem lại từ đầu.
4. Viết rõ vai trò của AI. Trong phần phương pháp, hãy nêu trung thực nhiệm vụ nào và cách bạn sử dụng AI. Hầu hết các tạp chí và tổ chức hiện nay đều yêu cầu điều này.
5. Chia sẻ dữ liệu và mã nếu có thể. Khi đạo đức và quyền riêng tư cho phép, việc chia sẻ dữ liệu ẩn danh và mã phân tích trong các kho lưu trữ mở là đỉnh cao của sự minh bạch.
Mẹo: Một bài kiểm tra đơn giản: "Tôi có thể tự mình thực hiện lại nghiên cứu này sau 6 tháng không?" Nếu bạn chưa ghi lại lời nhắc, quyết định và các bước của mình thì câu trả lời rất có thể là "không". Hãy biến nó thành hiện thực cho chính bạn; Sau đó, nó cũng xảy ra với người khác.
ba trường hợp nhỏ
Trường hợp 1 - Phân tích không dấu vết bị lỗi. Một nhà nghiên cứu đã thực hiện phân tích chủ đề bằng AI nhưng không ghi lại lời nhắc nào anh ta đã sử dụng. Khi trọng tài hỏi "làm thế nào bạn đến được những chủ đề này?" anh ấy không thể chỉ ra quá trình; Anh phải lặp lại quá trình phân tích một lần nữa, lần này anh phải ghi nhật ký. Anh ấy đã mất hai tuần.
Trường hợp 2 - Nhật ký quyết định kết thúc cuộc thảo luận. Một sự bất đồng nảy sinh trong một nhóm hỏi "tại sao chúng tôi lại kết hợp các mã này?" Nhưng nhật ký quyết định có ghi ngày tháng và lý do giải thích cho mỗi quyết định sáp nhập. Cuộc tranh cãi đã được giải quyết trong vòng vài phút khi AI tóm tắt nhật ký và hiển thị theo trình tự thời gian.
Trường hợp 3 - Tiết lộ minh bạch tạo dựng niềm tin. Trong một bài báo, các tác giả đã viết rõ ràng rằng chúng tôi đã sử dụng AI “để chỉnh sửa bản ghi và đề xuất mã ban đầu, với hai nhà nghiên cứu xác minh tất cả các mã theo cách thủ công”. Những người đánh giá nhận thấy tính minh bạch này là tích cực; Nó được cho là đáng tin cậy hơn nhiều so với việc sử dụng AI được che giấu.
Bốn mẫu có thể sao chép
1) Mẫu nhật ký quyết định:
Tạo một bảng nhật ký quyết định phương pháp luận. Các cột: ngày tháng, quyết định, lý do, phương án thay thế, vai trò của AI (nếu có), ai phê duyệt. Chèn các ghi chú quyết định của tôi bên dưới vào bảng này và đánh dấu bất kỳ lý do còn thiếu nào là "phải được hoàn thành". Ghi chú: [tại đây]
2) Dự thảo tuyên bố sử dụng AI:
Soạn thảo một đoạn văn giải thích rõ ràng việc tôi sử dụng AI để đưa vào phần phương pháp. Tôi đã sử dụng nó trong các tác vụ sau: [danh sách]. Tôi KHÔNG sử dụng nó trong các nhiệm vụ sau: [danh sách]. Tôi đã xác minh tất cả các kết quả đầu ra theo cách thủ công. Model và ngày tháng: [x]. Sử dụng ngôn ngữ trung thực, nhẹ nhàng và mang tính học thuật.
3) Kiểm tra độ tái lập:
Tôi mô tả quá trình nghiên cứu của mình: [tóm tắt]. Nhà nghiên cứu khác có thể tái tạo điều này? Liệt kê các bước không có giấy tờ, không rõ ràng hoặc không thể theo dõi: dữ liệu nào, chuyển đổi nào, lời nhắc nào, quyết định nào bị thiếu? Hãy cho tôi biết những gì cần ghi lại cho mỗi không gian.
4) Bản đồ xuất xứ dữ liệu:
Liệt kê tất cả các bước chuyển đổi từ dữ liệu thô đến kết quả cuối cùng của tôi dưới dạng một luồng: dữ liệu thô → làm sạch → mã hóa → phân tích → tìm kiếm. Hiển thị những gì đã được thực hiện ở mỗi bước, với công cụ nào và quyết định gì. Đánh dấu bước không thể theo dõi. Quy trình: [tại đây]
Dấu nhắc yếu / Dấu nhắc mạnh
Dấu nhắc yếu:
Viết phương pháp phân tích này trong một đoạn văn.
AI tạo ra một đoạn phương pháp chung mà không ghi lại quy trình; Quyết định được đưa ra như thế nào và AI được sử dụng ở đâu vẫn chưa rõ ràng. Điều này không thể sản xuất được.
Lời nhắc mạnh mẽ:
Viết mô tả có thể thực hiện được cho phần phương pháp. Sử dụng các thông tin sau: nguồn dữ liệu [x], mẫu [y], các bước phân tích [z], mô hình AI tôi đã sử dụng và ngày tháng của nó [t], vai trò chính xác của AI [r], quy trình xác minh của con người [d]. Viết đủ cụ thể để người khác có thể làm theo các bước này và mô phỏng lại chúng. Hãy hỏi tôi về bất kỳ thông tin nào tôi đã bỏ sót.
Sự khác biệt: cách tiếp cận thứ hai làm cho quy trình trở nên cụ thể, có thể theo dõi và thực sự có thể tái sản xuất.
Lớp trong suốt
lớp
Những gì được ghi lại
Tại sao nó quan trọng?
nhật ký quyết định
Quyết định về phương pháp luận + cơ sở lý luận
bảo vệ cơ quan tư pháp
Đăng ký nhanh chóng
Lời nhắc sử dụng, kiểu máy, ngày tháng
Làm cho AI dễ điều khiển
Nguồn gốc dữ liệu
Chuyển đổi thô → chuyển đổi đã xử lý
mở bước
Tuyên bố AI
Vai trò và hạn chế của AI
trung thực
chia sẻ
Dữ liệu + mã ẩn danh
Tính minh bạch tối đa
Những lỗi thường gặp
- Không lưu lời nhắc. Nếu bạn không giữ lại hướng dẫn đã sử dụng, bạn không thể trình bày quy trình.
- Nó có nghĩa là "AI đã nói như vậy." Sự biện minh khoa học là quá trình và sự phán đoán, không phải từ ngữ của mô hình.
- Ghi đè dữ liệu thô. Giữ bản gốc; Thực hiện các chuyển đổi riêng biệt và được ghi lại.
- Ẩn việc sử dụng AI. Tuyên bố minh bạch tạo dựng niềm tin; Che giấu gây mất danh tiếng.
- Để nó không thể thực hiện được ngay cả đối với chính bạn. Một công việc mà bạn không thể làm lại sau 6 tháng là không khoa học.
Tóm lại
Khả năng tái tạo và tính minh bạch biến một nghiên cứu từ lời nói của một người thành một môn khoa học mà bất kỳ ai cũng có thể kiểm tra. Điều này càng quan trọng hơn khi làm việc với AI, vì nếu các quyết định của mô hình không được tuân theo, quy trình sẽ trở thành hộp đen. Giữ nhật ký quyết định, ghi lại lời nhắc và thông tin mô hình, tách dữ liệu thô khỏi dữ liệu đã xử lý, khai báo trung thực vai trò của AI cũng như chia sẻ dữ liệu và mã khi đạo đức cho phép. Một nghiên cứu vượt qua bài kiểm tra "Tôi có thể tự sinh sản sau 6 tháng" cũng đáng tin cậy đối với những người khác.
Nhiệm vụ ứng dụng
Đối với một phân tích nhỏ mà bạn đang thực hiện hoặc lập kế hoạch, hãy ghi lại ít nhất 5 quyết định mang tính phương pháp luận kèm theo các giải thích bằng "mẫu nhật ký quyết định". Giữ những lời nhắc bạn sử dụng, mô hình và ngày tháng trong một tệp riêng biệt. Sau đó, sử dụng mẫu “kiểm tra khả năng tái tạo” để yêu cầu AI tìm ra những khoảng trống không được ghi chép trong quy trình của bạn và thu hẹp từng khoảng trống. Cuối cùng, viết dàn ý cho "Tuyên bố sử dụng AI" và một đoạn văn minh bạch sẽ đặt trong phần phương pháp.
danh sách kiểm tra
- [ ] Tôi đã viết lý do cho từng quyết định quan trọng về phương pháp luận trong tạp chí.
- [ ] Tôi đã ghi lại lời nhắc tôi đã sử dụng, kiểu máy và ngày tháng.
- [ ] Tôi giữ nguyên dữ liệu thô và ghi lại các chuyển đổi.
- [ ] Tôi đã thành thật khai báo vai trò của AI trong phần phương pháp.
- [ ] Tôi đã áp dụng bài kiểm tra "Tôi có thể sinh sản sau 6 tháng không".