Lợi nhuận:
- Khả năng sử dụng trí tuệ nhân tạo trong lập bản đồ văn học, quét khái niệm và ưu tiên đọc để quản lý rủi ro từ các nguồn bịa đặt (ảo giác)
- Khả năng thiết lập quy trình xác minh xác nhận mọi trích dẫn, phát hiện và xác nhận kích thước có hiệu lực từ nguồn chính
- Khả năng phân biệt mức độ bằng chứng (phân tích tổng hợp, RCT, trường hợp) và cân nhắc bản tóm tắt AI với hệ thống phân cấp bằng chứng
Tâm lý học là một nghề dựa trên bằng chứng: bằng chứng nghiên cứu cho chúng ta biết liệu một biện pháp can thiệp có hiệu quả hay không chứ không phải “đối với tôi nó có vẻ giống như vậy”. Khi một chuyên gia muốn cập nhật thông tin, viết luận văn hoặc chọn cách tiếp cận phù hợp cho một vụ việc, anh ta sẽ chuyển sang nghiên cứu văn học. Nhưng văn học thì rất lớn; Hàng chục nghìn bài báo được xuất bản mỗi năm. Trí tuệ nhân tạo (AI) là một công cụ tăng tốc cực lớn ở đây: nó xác định một khái niệm, lập bản đồ lĩnh vực, gợi ý bài viết nào bạn nên đọc trước, đơn giản hóa một văn bản phức tạp. Nhưng đây chính là đặc điểm nguy hiểm nhất của AI trong văn học: nó tạo ra những nguồn không tồn tại. Trong phần này, bạn sẽ học cách biến AI trở thành công cụ tăng tốc trong lĩnh vực kinh doanh văn học, cách làm việc mà không rơi vào bẫy của các nguồn bịa đặt (ảo giác).
AI làm gì trong văn học, nó tạo nên điều gì?
Nhiệm vụ văn học mà AI mạnh mẽ: giải thích một khái niệm bằng ngôn ngữ đơn giản; tóm tắt các cuộc tranh luận lớn trong một lĩnh vực; để làm cho văn bản có thể đọc được; đề xuất từ khóa và chiến lược tìm kiếm; tóm tắt một bài viết (khi bạn cung cấp văn bản); so sánh các quan điểm khác nhau. Trong đó, AI giảm số giờ đọc xuống còn vài phút.
Những thứ AI tạo nên: trích dẫn (các nguồn trông hoàn hảo nhưng không tồn tại, bao gồm tác giả, năm, tạp chí, số DOI); số liệu thống kê (các số trông giống như thực tế như kích thước hiệu ứng, kích thước mẫu, giá trị p); những phát hiện (một nghiên cứu tuyên bố đã "tìm thấy điều đó" trong khi thực tế là không). Điều này là do AI không phải là một công cụ tìm kiếm mà là một “công cụ đoán từ có khả năng xảy ra”: nó tạo ra định dạng trích dẫn trông giống nhất mà không cần kiểm tra độ chính xác của nó.
Lưu ý: Mọi trích dẫn do AI đưa ra đều không hợp lệ nếu không được bạn xác minh từ nguồn chính (chính bài viết đó). Ngay cả một DOI dường như hoàn hảo cũng có thể là giả. Luôn luôn tốt hơn nếu nói "Tôi không thể tìm thấy nó" hơn là "Tôi đã ghi nhầm nguồn".
Thứ bậc của bằng chứng: không phải tất cả các phát hiện đều như nhau
Khi AI tóm tắt một phát hiện, nó không cho bạn biết sức mạnh bằng chứng của nó. Tuy nhiên, có một hệ thống phân cấp bằng chứng. Khi cân nhắc một tuyên bố, điều cần thiết là phải biết nó dựa trên loại bằng chứng nào.
Mức độ bằng chứng
Ý bạn là gì?
quyền lực
Phân tích tổng hợp/đánh giá hệ thống
Sự kết hợp thống kê của nhiều nghiên cứu
cao nhất
Thử nghiệm ngẫu nhiên có kiểm soát (RCT)
Thí nghiệm trong đó người tham gia được chia thành các nhóm ngẫu nhiên
cao
Nghiên cứu dọc/cắt ngang
Quan sát, phi thực nghiệm
trung bình
Chuỗi ca bệnh/báo cáo ca bệnh
Mô tả một hoặc nhiều trường hợp
thấp
Ý kiến chuyên gia/viết lý thuyết
Giải thích nhiều hơn bằng chứng
thấp nhất
Khi AI cho bạn biết “nghiên cứu cho thấy…” câu hỏi đầu tiên của bạn phải là: Loại nghiên cứu nào? Kết quả của một phân tích tổng hợp không có cùng tầm quan trọng như phát hiện của một báo cáo trường hợp riêng lẻ.
Từng bước: Luồng tài liệu an toàn được hỗ trợ bởi AI
- Yêu cầu AI giải thích khái niệm này. Để nhanh chóng đi vào vấn đề, hãy yêu cầu AI cung cấp một bản tóm tắt đơn giản và các khái niệm chính. (Đây là phần khởi đầu, không phải nguồn.)
- Thiết lập chiến lược tìm kiếm. Yêu cầu AI đề xuất từ khóa, từ đồng nghĩa và chuỗi tìm kiếm; sử dụng nó trên cơ sở dữ liệu thực (công cụ tìm kiếm học thuật, kho lưu trữ tạp chí).
- Hãy tự tìm nguồn thực tế. Lấy các bài viết từ cơ sở dữ liệu được bình duyệt. Sử dụng tiêu đề do AI gợi ý làm đầu mối tìm kiếm chứ không phải làm trích dẫn.
- Tóm tắt văn bản cho AI. Đưa nội dung của bài báo thực tế mà bạn tìm thấy cho AI và yêu cầu tóm tắt/so sánh. AI không còn tạo ra thứ gì nữa vì nó có văn bản thực.
- Xác nhận mọi số và phát hiện. AI so sánh kích thước hiệu ứng trong phần tóm tắt với giá trị thực tế trong văn bản.
- Dán nhãn mức độ bằng chứng. Viết loại bằng chứng bên cạnh mỗi phát hiện.
Mẹo: Sử dụng AI trong văn học ở hai chế độ khác nhau: “gợi ý không có nguồn” (trình bày khái niệm, tìm kiếm ý tưởng) và “tóm tắt có nguồn gốc” (khi bạn đưa ra văn bản). Điều thứ hai là an toàn vì AI hoạt động từ văn bản bạn cung cấp chứ không phải từ bộ nhớ của chính nó.
ba trường hợp nhỏ
Trường hợp 1 - Đại dịch ghi công giả. Một sinh viên tốt nghiệp yêu cầu trích dẫn AI cho chương 15 nguồn về rối loạn lo âu. AI cung cấp tất cả ở định dạng APA. Khi sinh viên kiểm tra, anh ta thấy rằng 6 trong số 15 nguồn không thực sự tồn tại (40%) và 3 nguồn được gán sai tạp chí. Vì vậy, một nửa danh sách là không thể sử dụng được. Bài học: sự phân bổ đến từ cơ sở dữ liệu thực chứ không phải AI.
Trường hợp 2 - Sử dụng đúng. Một bác sĩ lâm sàng đưa từng văn bản PDF gồm 4 phân tích tổng hợp thực tế cho AI và nói "lập bảng số mẫu, kích thước tác dụng chính và giới hạn của từng phân tích". AI rút gọn 4 bài viết 30 trang thành bảng so sánh trong 10 phút. Bác sĩ lâm sàng xác nhận từng số bằng văn bản; Tất cả đều đúng vì AI làm việc từ văn bản nhất định chứ không phải từ bộ nhớ của chính nó.
Trường hợp 3 - Mức độ bẫy bằng chứng. Một chuyên gia hỏi AI, "Liệu pháp X có hiệu quả không?" anh ấy hỏi. AI nói “có, các nghiên cứu ủng hộ điều đó” và đếm bốn “nghiên cứu”. Khi chuyên gia xem xét nó, anh ta thấy rằng ba trong số đó là một báo cáo trường hợp duy nhất và một là một bài đăng trên blog; Thậm chí không có một RCT nào. Mặc dù tuyên bố này có vẻ đã được “chứng minh một cách chính thức” nhưng sức thuyết phục bằng chứng của nó rất yếu.
Lời nhắc và mẫu có thể sao chép
Tôi chỉ mới bắt đầu về chủ đề này. KHÔNG TẠO NGUỒN CHO TÔI, chỉ cung cấp cho tôi phần giới thiệu khái niệm: các khái niệm cơ bản, các cuộc thảo luận chính về lĩnh vực này và danh sách từ khóa + từ đồng nghĩa tôi có thể sử dụng khi tìm kiếm. Ghi công; Nếu cần ghi nguồn, hãy nói "tự tìm nguồn". Chủ đề: [chủ đề]
Tôi đang dán văn bản của một bài viết thực tế dưới đây. Chỉ làm việc từ văn bản này, không thêm thông tin bên ngoài. Trích xuất những thông tin sau: câu hỏi nghiên cứu, phương pháp, mẫu (n), phát hiện chính và quy mô tác động, những hạn chế, mức độ bằng chứng. Văn bản: [văn bản bài viết]
Dưới đây là nguyên văn 3 bài viết. Đặt chúng vào một bảng so sánh với các cột sau: năm tác giả, mẫu, phương pháp, phát hiện chính, mức độ bằng chứng, hạn chế. Chỉ làm việc từ các văn bản nhất định, không thêm nguồn. Văn bản: [văn bản]
Liệt kê từng tuyên bố bằng số (n, p, kích thước hiệu ứng, tỷ lệ phần trăm) trong văn bản này trên một dòng riêng để tôi có thể xác nhận nó với bài viết gốc. Không thêm bất kỳ số nào mà bạn không thể tự xác minh. Văn bản: [tóm tắt]
Dấu nhắc yếu / Dấu nhắc mạnh
Lời nhắc yếu: "Đưa ra 10 nguồn học thuật về hiệu quả của liệu pháp nhận thức hành vi trong trầm cảm."
Lời nhắc này mời AI thực hiện phân bổ từ bộ nhớ; Một phần đáng kể của đầu ra sẽ là giả mạo.
Lời nhắc mạnh mẽ: "Đề xuất từ khóa, từ đồng nghĩa và chuỗi tìm kiếm để tìm kiếm cơ sở dữ liệu về liệu pháp nhận thức hành vi và trầm cảm. Không cung cấp nguồn/trích dẫn; tôi sẽ tìm các bài viết từ cơ sở dữ liệu thực tế, sau đó đưa cho bạn văn bản của chúng."
Lời nhắc này đặt AI vào vai trò an toàn (nhà chiến lược tìm kiếm); Các tài liệu tham khảo đến từ nguồn thực sự.
Những lỗi thường gặp
- Trực tiếp sử dụng thuộc tính do AI cung cấp. Những nguồn có vẻ hoàn hảo thường là bịa đặt; Nó không bao giờ được sử dụng mà không có xác nhận.
- Tin tưởng một cách mù quáng vào DOI/liên kết. AI cũng có thể tạo ra DOI thực tế nhưng không tồn tại; Nó sẽ không được coi là hợp lệ cho đến khi bạn mở và kiểm tra nó.
- Bỏ qua mức độ bằng chứng. Không hỏi liệu có một blog hoặc một phân tích tổng hợp đằng sau câu "nghiên cứu nói".
- Thay thế phần tóm tắt AI cho bài viết. Đó là một bản đồ tóm tắt; Chỉ đưa ra quyết định quan trọng dựa trên bản tóm tắt có nghĩa là đưa ra phán quyết mà không cần đọc văn bản.
- Sử dụng ở chế độ đơn. Luôn sử dụng AI ở chế độ "tài nguyên từ bộ nhớ"; trong khi chế độ an toàn là chế độ "tóm tắt từ văn bản đã cho".
Tóm lại
Trong kinh doanh văn học, AI là một công cụ tăng tốc mạnh mẽ để làm rõ khái niệm, chiến lược tìm kiếm và tóm tắt (khi bạn cung cấp văn bản). Nhưng anh ta bịa đặt các tài liệu tham khảo, số liệu thống kê và phát hiện từ trí nhớ của chính mình (ảo giác). Xác minh từng trích dẫn và số từ nguồn chính; Hãy xem xét nguồn bạn không thể tìm thấy không hợp lệ. Dán nhãn mức độ bằng chứng (từ phân tích tổng hợp đến báo cáo trường hợp) cho mỗi phát hiện. Sử dụng AI ở hai chế độ riêng biệt: “gợi ý không có nguồn gốc” và “tóm tắt có nguồn gốc”, ưu tiên chế độ sau.
Nhiệm vụ ứng dụng
Chọn một chủ đề. Đầu tiên hãy yêu cầu AI cung cấp 5 trích dẫn về chủ đề đó (chế độ có nguồn gốc). Sau đó tìm kiếm lần lượt 5 trích dẫn này trong một công cụ tìm kiếm học thuật thực sự và lưu ý xem có bao nhiêu trích dẫn thực sự tồn tại. Sau đó, tìm 2 bài viết thực sự về cùng một chủ đề, đưa văn bản của chúng cho AI và yêu cầu nó tạo ra một bảng so sánh. So sánh hai trải nghiệm: trải nghiệm nào cho kết quả đầu ra đáng tin cậy?
danh sách kiểm tra
- [ ] Tôi không sử dụng bất kỳ tài liệu tham khảo nào do AI đưa ra mà không xác nhận chúng.
- [ ] Tôi lấy được các bài báo từ cơ sở dữ liệu thực tế được bình duyệt.
- [ ] Để tóm tắt, tôi đã đưa cho AI nội dung bài viết thực tế (không phải từ bộ nhớ).
- [ ] Tôi đã so sánh từng khẳng định bằng số với văn bản gốc.
- [ ] Tôi dán nhãn mức độ bằng chứng cho mỗi phát hiện.
- [ ] Tôi đã vô hiệu hóa nguồn mà tôi không thể tìm thấy.