Lợi nhuận:
- Khả năng sử dụng trí tuệ nhân tạo để đưa ra chiến lược tìm kiếm, bản đồ khái niệm và đề cương tổng hợp cho một câu hỏi kinh tế
- Khả năng nhận biết rủi ro về nguồn, trích dẫn giả mạo và phát hiện sai lệch mà trí tuệ nhân tạo có thể tạo ra và xác minh từng tài liệu tham khảo từ nguồn ban đầu
- Khả năng chuyển đổi các phát hiện thành một bản tóm tắt tài liệu cân bằng với các quan điểm đối lập, sự khác biệt về phương pháp và ranh giới bối cảnh.
Không có phân tích kinh tế nào được sinh ra trong chân không. Trước khi bắt đầu một câu hỏi về chính sách, một dự báo, một báo cáo, hãy hỏi “những gì đã biết về vấn đề này, những gì đang được thảo luận?” Nó là cần thiết để trả lời câu hỏi. Đó chính là đánh giá tài liệu: một sự tổng hợp có tổ chức các kiến thức, phát hiện và tranh luận hiện có về một chủ đề. Trí tuệ nhân tạo dường như giống như một máy gia tốc đáng kinh ngạc trong lĩnh vực kinh doanh này - tóm tắt một chủ đề, lập bản đồ các khái niệm, phân loại các quan điểm đối lập. Nhưng đây chính là nơi nó ẩn chứa cái bẫy nguy hiểm nhất: Trí tuệ nhân tạo có thể tạo ra những nguồn không tồn tại, tác giả giả mạo và những phát hiện bịa đặt với độ tin cậy hoàn toàn. Quy luật bất di bất dịch của đơn vị này: Mọi tài liệu tham khảo, mọi phát hiện, mọi tên tuổi đều được xác minh từ nguồn gốc; Không có tài liệu tham khảo chưa được xác minh nhập văn bản.
Trí tuệ nhân tạo làm tốt điều gì trong văn học và điều gì nó không bao giờ làm được?
Những gì nó làm tốt (hữu ích): Lập bản đồ một chủ đề và các tiêu đề phụ của nó, gợi ý các khái niệm chính và thuật ngữ tìm kiếm cần tìm, tóm tắt và so sánh các văn bản bạn cung cấp, đóng khung “các khía cạnh” của một cuộc tranh luận, trích xuất cấu trúc lập luận của văn bản.
Không bao giờ được tin cậy (nguy hiểm): Tạo ra các trích dẫn và ghi nhận thực sự. Trí tuệ nhân tạo có thể đưa ra những câu cực kỳ thực tế nhưng hoàn toàn bịa đặt như "Yılmaz (2019) nhận thấy mối quan hệ lạm phát-tăng trưởng là tiêu cực". Tác giả có thể không tồn tại, bài viết có thể không tồn tại, hoặc bài viết thực tế có thể nói điều ngược lại. Điều này được gọi là ảo giác trong văn học và gây tổn hại nghiêm trọng đến danh tiếng học thuật/nghề nghiệp.
Lưu ý: Chỉ vì ID do trí tuệ nhân tạo đưa ra “trông giống thật” không chứng minh được điều gì. Tên tạp chí có thể đúng, năm xuất bản hợp lý, tên tác giả có thể là người Thổ Nhĩ Kỳ - và bài báo có thể không bao giờ tồn tại. Bạn chỉ chấp nhận rằng nó tồn tại khi bạn tìm thấy nó trong cơ sở dữ liệu thực tế (trang tạp chí, DOI, thư viện).
Quy trình làm việc phù hợp: Bản đồ AI, bạn xác minh
- Làm rõ câu hỏi. Bạn đang tìm kiếm gì? Phạm vi, thời kỳ, địa lý, phương pháp?
- Tạo bản đồ khái niệm. Hỏi AI về các tiêu đề phụ của chủ đề, khái niệm chính và cụm từ tìm kiếm - đây là những gợi ý có thể kiểm chứng được, không phải nguồn.
- Thực hiện một cuộc gọi thực sự. Tìm kiếm các thuật ngữ này trong cơ sở dữ liệu thực tế (công cụ tìm kiếm học thuật, kho lưu trữ tạp chí, ấn phẩm của tổ chức).
- Tóm tắt các văn bản tìm thấy cho trí tuệ nhân tạo. Bây giờ bạn có văn bản thực sự; AI có thể tóm tắt và so sánh nó.
- Tổng hợp và cân bằng. Những phát hiện trái ngược nhau, sự khác biệt về phương pháp và ranh giới bối cảnh được trình bày cùng nhau.
- Xác minh từng thuộc tính. Mỗi tài liệu tham khảo có trong văn bản có thực sự tồn tại không, ghi công của nó có chính xác không, nó có thực sự chứa kết quả được tuyên bố không?
Mẹo: Sử dụng AI làm “nhà chiến lược tìm kiếm và người tóm tắt” chứ không phải “công cụ tìm nguồn”. Bạn tìm và xác minh nguồn; AI giúp bạn hiểu và so sánh nguồn bạn tìm thấy.
Tổng hợp cân bằng: không thiên vị
Một bản tóm tắt tài liệu hay không trình bày một phát hiện nào là sự thật tuyệt đối. Có những phát hiện trái ngược nhau về hầu hết các câu hỏi trong kinh tế học: một nghiên cứu tìm thấy mối quan hệ tích cực còn nghiên cứu khác thì không. Điều này thường là do sự khác biệt về phương pháp, thời kỳ, quốc gia hoặc dữ liệu. Sự tổng hợp trung thực làm cho những khác biệt này trở nên rõ ràng: "Các nghiên cứu sử dụng phương pháp A tìm thấy điều này, các nghiên cứu sử dụng phương pháp B tìm thấy điều đó; sự khác biệt có lẽ bắt nguồn từ giả định này."
ba trường hợp nhỏ
Trường hợp 1 - Thuộc tính giả bị phát hiện. Một nhà nghiên cứu gọi AI là “tóm tắt 5 nghiên cứu về mối quan hệ giữa mức lương tối thiểu và việc làm”. AI đã đưa ra năm thẻ đàng hoàng. Nhà nghiên cứu đã tìm kiếm từng cái trong cơ sở dữ liệu học thuật: ba cái là có thật, hai cái là không hề - sự kết hợp giữa tác giả và năm tạp chí hoàn toàn bịa đặt. Anh ta sử dụng ba con thật và lấy ra hai con. Nếu không xác minh, có lẽ sẽ có hai nguồn tin ma được đưa vào bài viết.
Trường hợp 2 - Phát hiện bất lợi. AI đã trích dẫn một bài báo có thật với dòng tên chính xác nhưng lại cho biết "nghiên cứu này đã tìm thấy X." Nhà nghiên cứu mở bài báo gốc ra: thực tế lại thấy điều ngược lại. Trí tuệ nhân tạo quy kết phát hiện sai cho nguồn thực sự. Ngay cả khi dấu ấn là đúng, bài học rằng nó không thể được sử dụng nếu không xác minh tuyên bố đã được củng cố.
Trường hợp 3 - Tổng hợp cân bằng. Một nhà phân tích đã thu thập tài liệu về tác động của chính sách thuế. Trong dự thảo đầu tiên, AI đã đưa ra kết luận một chiều (“tác động tích cực”). Nhà phân tích cũng bổ sung thêm các nghiên cứu đối lập và cho thấy sự khác biệt đến từ phương pháp (dữ liệu ngắn hạn và dài hạn). Kết quả là một bản tóm tắt cân bằng về “có điều kiện”; Đánh giá chính sách đã trở nên đáng tin cậy hơn.
bảng xác nhận
Đầu ra AI
Bước xác minh
Trích dẫn/dấu ấn
Nó có thực sự tồn tại trong cơ sở dữ liệu/với DOI không?
"Nghiên cứu này đã tìm thấy điều này"
Đây có thực sự là phát hiện trong văn bản gốc?
Kết quả số
Nó có khớp với bảng/tóm tắt trong bài viết không?
"Sự chấp nhận chung là như thế này"
Những phát hiện trái ngược có bị ngăn chặn không?
Cụm từ tìm kiếm
Nó có mang lại kết quả có ý nghĩa trong tìm kiếm thực tế không?
Bốn mẫu có thể sao chép
1) Bản đồ khái niệm và chiến lược tìm kiếm:
Tôi sẽ điều tra câu hỏi kinh tế sau: [câu hỏi]. Cung cấp cho tôi các tiêu đề phụ của chủ đề, các khái niệm chính và thuật ngữ tìm kiếm (tiếng Thổ Nhĩ Kỳ + tiếng Anh) mà tôi có thể sử dụng trong cơ sở dữ liệu học thuật. NGUỒN SẢN XUẤT/ TRÍCH DẪN; chỉ cần cho tôi biết nơi để tìm và những điều khoản.
2) Tóm tắt văn bản được cung cấp:
Dưới đây là văn bản/tóm tắt của một bài viết thực tế. Tóm tắt điều này: câu hỏi nghiên cứu, phương pháp, dữ liệu, phát hiện chính, những hạn chế. Đừng thêm bất cứ điều gì KHÔNG có trong văn bản; Đánh dấu phần bạn không chắc chắn là "không rõ ràng trong văn bản".[text]
3) Tổng hợp so sánh:
So sánh bản tóm tắt của 4 nghiên cứu thực tế mà tôi đã cung cấp cho bạn: nghiên cứu nào cho thấy những phát hiện tương tự, nghiên cứu nào cho thấy những phát hiện trái ngược nhau và điều gì (phương pháp, giai đoạn, quốc gia, dữ liệu) có thể giải thích cho sự khác biệt? Đừng áp đặt một kết luận phiến diện; làm cho những phát hiện trái ngược nhau trở nên rõ ràng như nhau.
4) Danh sách xác minh trích dẫn:
Liệt kê tất cả các tài liệu tham khảo trong dự thảo này. Đối với mỗi mục, hãy nêu ba điều tôi cần xác minh: (1) nguồn có thực sự tồn tại không, (2) ghi công có chính xác không, (3) nó có chứa phát hiện được quy cho nó không? Đừng coi bất kỳ điều nào trong số đó là "chắc chắn" cho đến khi tôi xác minh chúng.
Dấu nhắc yếu / Dấu nhắc mạnh
Dấu nhắc yếu:
Viết một bản tóm tắt tài liệu về chủ đề này và cung cấp nguồn.
AI tạo ra văn bản trông thực tế nhưng chứa đầy các tài liệu tham khảo bịa đặt một phần; Nếu bạn không xác minh, các nguồn giả mạo sẽ được đưa vào báo cáo.
Lời nhắc mạnh mẽ:
Tôi sẽ nghiên cứu mối quan hệ lương tối thiểu-việc làm. Đầu tiên, hãy đưa cho tôi các tiêu đề phụ và cụm từ tìm kiếm (SỰ TẠO nguồn/trích dẫn). Tôi sẽ tìm những tác phẩm thực sự và mang văn bản của chúng đến cho bạn; Bạn chỉ cần tóm tắt và so sánh những gì tôi mang lại. Trình bày những phát hiện trái ngược nhau một cách bình đẳng và thảo luận xem sự khác biệt đến từ phương pháp hay giai đoạn. Không thêm bất kỳ con số hoặc phát hiện nào không có trong văn bản.
Những lỗi thường gặp
- Yêu cầu nguồn/trích dẫn trực tiếp từ trí tuệ nhân tạo và sử dụng chúng mà không cần xác minh. Nguy cơ bị ảo giác.
- Nhầm lẫn dấu ấn thực tế với thực tế. Ngoại hình không phải là bằng chứng.
- Không nhận thấy việc ghi kết quả tìm kiếm sai vào thẻ chính xác. Có nguồn nhưng khẳng định có thể sai.
- Tổng hợp một chiều. Che giấu những phát hiện trái ngược.
- Bỏ qua sự khác biệt về phương pháp/bối cảnh. So sánh táo và lê.
- Số rò rỉ vào phần tóm tắt không có trong văn bản. “Nhồi nhét” trí tuệ nhân tạo.
Tóm lại
Trong đánh giá tài liệu, AI là một nhà chiến lược và tóm tắt tìm kiếm mạnh mẽ nhưng lại là một công cụ tạo nguồn không đáng tin cậy. Quy trình làm việc phù hợp: AI lập bản đồ các khái niệm và cụm từ tìm kiếm, bạn tìm và xác minh các nguồn thực tế, sau đó AI tóm tắt và so sánh các phát hiện của bạn. Mọi tài liệu tham khảo và phát hiện đều được xác nhận từ nguồn ban đầu; Sự tổng hợp phản ánh trung thực những quan điểm đối lập và sự khác biệt về phương pháp luận.
Nhiệm vụ ứng dụng
Chọn một câu hỏi kinh tế. Nhận bản đồ khái niệm và cụm từ tìm kiếm từ AI với mẫu 1 (không yêu cầu nguồn). Tìm ít nhất ba nghiên cứu thực tế trong cơ sở dữ liệu học thuật thực tế với các thuật ngữ này. Tóm tắt và so sánh chúng với các mẫu 2 và 3. Sau đó, trong một nỗ lực riêng biệt, hãy yêu cầu trí tuệ nhân tạo trích dẫn trực tiếp và tìm kiếm cơ sở dữ liệu về các trích dẫn mà nó đưa ra để xác định có bao nhiêu là thật và bao nhiêu là bịa đặt và ghi lại chúng.
danh sách kiểm tra
- [ ] Tôi đã sử dụng AI với tư cách là nhà chiến lược/tóm tắt tìm kiếm chứ không phải công cụ tạo tài nguyên.
- [ ] Tôi đã tự mình tìm ra các nguồn thực sự và xác minh chúng trong cơ sở dữ liệu.
- [ ] Tôi đã xác nhận rằng mỗi tài liệu tham khảo thực sự tồn tại và ghi công của nó là chính xác.
- [ ] Tôi đã kiểm tra phát hiện được cho là từ văn bản gốc.
- [ ] Tôi đã trình bày những phát hiện trái ngược nhau và những khác biệt về phương pháp luận một cách cân bằng.
- [ ] Tôi đã kiểm tra rằng không có con số/phát hiện nào không có trong văn bản bị rò rỉ vào bản tóm tắt.
- [ ] Tôi không đưa bất kỳ tài liệu tham khảo nào chưa được xác minh vào văn bản.