مقدمه ای بر هوش مصنوعی در علم داده و تجزیه و تحلیل: گردش کار، نقش ها، مرزها، اعتبارسنجی و اخلاق

سود:

• توانایی تشخیص گردش کار شش مرحله‌ای علم داده (تعریف مشکل، جمع‌آوری، تمیز کردن، کشف، مدل‌سازی، ارتباط) و مرجعی که هوش مصنوعی در هر مرحله تحت آن کار می‌کند، با توجه به سطح ریسک کار
• امکان اعمال رشته‌ای که هر خروجی هوش مصنوعی را با اتصال آن به منبع، اجرا و مقایسه آن و عبور از فیلتر متخصص تأیید می‌کند.
• توانایی تبدیل تکرارپذیری و اصول حفظ حریم خصوصی (نوشتن به کد، ناشناس سازی) به عادت های تجزیه و تحلیل از روز اول

داده های خام، نامرتب و اغلب دروغگو هر روز روی میز یک دانشمند داده قرار می گیرند. در جدول فروش، ستون تاریخ در سه قالب مختلف نوشته شده است. شماره مشتریان در برخی از خطوط خالی است. نام یک ستون "درآمد" است، اما حاوی مقادیر TL و USD است. وظیفه علم داده گرفتن یک تصمیم قابل اعتماد از این هرج و مرج است: جمع آوری داده ها، پاک کردن آن ها، کاوش در آن، ساخت یک مدل، اعتبارسنجی نتیجه و تبدیل آن به یک داستان. هوش مصنوعی (AI یا به اختصار AI - سیستم‌های رایانه‌ای که می‌توانند متن و کد تولید کنند، الگوها را تشخیص دهند، خلاصه کنند و پیش‌بینی کنند) می‌توانند همه پیوندهای این زنجیره را لمس کنند: نوشتن کد پاکسازی در چند دقیقه، توصیه نمودارها برای تجزیه و تحلیل اکتشافی، تفسیر متریک مدل، تصحیح یک پرس و جوی SQL. اما همان هوش مصنوعی همچنین می‌تواند برای داده‌هایی که هرگز ندیده است، ساختگی مطمئنی مانند «همبستگی 0.72» به شما بدهد.

این واحد اول یک معرفی کتابخانه نیست. هدف آن این است که مشخص کند هوش مصنوعی را کجا در جریان کار علم داده قرار دهیم و هرگز آن را در کجا قرار ندهیم. بیایید اصل اساسی را از ابتدا بیان کنیم: هوش مصنوعی یک دستیار است، نه یک دانشمند داده. تصمیم در مورد اینکه چه داده‌هایی جمع‌آوری شود، چه معیارهایی باید تصمیم‌گیری شود، آیا یک مدل تولید شود یا نه، و کجا مرزهای اخلاقی ترسیم شود، بر عهده متخصص ذی‌صلاح است. یک خروجی هوش مصنوعی تایید نشده، همانطور که یک گزارش تجزیه و تحلیل بدون امضا نیز خطرناک است.

گردش کار علم داده: نقشه انتها به انتها

برای درک یک پروژه داده، تقسیم آن به شش مرحله مفید است. کل این ماژول از این نقشه پیروی می کند.

1. تعریف مشکل: برای حمایت از کدام تصمیم، چه چیزی را اندازه گیری می کنیم، چرا؟ این مرحله به هوش مصنوعی واگذار نشده است. این شخص است که شغل را تعریف می کند.

2. جمع آوری داده ها: شناسایی منابع، استخراج داده ها، نمونه گیری. (واحد 2)

3. تمیز کردن و پیش پردازش داده ها: مقدار از دست رفته، پرت، تبدیل نوع. (واحد 3)

4. تجزیه و تحلیل داده های اکتشافی (EDA - Exploratory Data Analysis، مرحله تشخیص توزیع و روابط داده ها "با چشم"): (واحد 4)

5. مهندسی و مدل سازی ویژگی: تولید متغیر، انتخاب الگوریتم، آموزش، ارزیابی. (واحد 5، 6، 7)

6. ارتباط و تولید: تجسم، داستان، MLOps (انضباط گرفتن مدل زنده و نظارت بر آن). (واحد 8، 11)

هوش مصنوعی در هر یک از این شش مرحله با قدرت متفاوتی عمل می کند. جدول زیر این توزیع اختیارات را خلاصه می کند. این تنها مهمترین جدول ماژول است.

مرحله

نقش هوش مصنوعی

سطح ریسک

کی تایید میکنه

تعریف مشکل

شریک طوفان فکری

پایین

دانشمند داده + ذینفع

یک کد پاکسازی بنویسید

مولد طرح کد

متوسط

دانشمند داده (کد را می خواند)

EDA comment

پیشنهاد دهنده الگو

متوسط

دانشمند داده

تولید ویژگی

تولید کننده ایده و کد

متوسط به بالا

کنترل نشتی ضروری است

انتخاب مدل/متریک

مشاور

بالا

دانشمند داده

تصمیم به تولید

ورودی کمکی

بسیار بالا

تیم + صاحب کسب و کار

تایید اخلاق/حریم خصوصی

محرک

بسیار بالا

انسان، همیشه

یک جمله از این نمودار را به خاطر داشته باشید: با افزایش ریسک، نقش هوش مصنوعی کاهش می‌یابد و تایید انسان افزایش می‌یابد.

چرا تأیید صحت قلب این تجارت است

مدل‌های زبان هوش مصنوعی مطمئن به نظر می‌رسند، اما ممکن است مطمئن نباشند. در زبان فنی، این توهم نامیده می شود: این ساخت مدل از اطلاعات غیر موجود در یک جمله روان است که گویی درست است. در علم داده، این به سه شکل است. اولی یک عدد جعلی است: اگر از مدل بپرسید "متوسط ​​مبلغ سفارش چقدر است" بدون اینکه داده ای ارائه کنید، با اطمینان یک عدد را به شما می گوید، حتی اگر هرگز اطلاعات شما را ندیده باشد. دومی تابعی است که وجود ندارد: مدل ممکن است تابعی را پیشنهاد کند که اصلاً وجود ندارد، مانند pandas.read_excel_fast(). سوم، تفسیر آماری نادرست: مدل می تواند یک خطای آماری کلاسیک مانند "p-value 0.04 است، بنابراین فرضیه 96٪ درست است" را به آرامی تکرار کند.

رشته تأیید شامل سه مرحله است:

1. پیوند به منبع: هر عدد، نرخ و روند باید از اطلاعات شما باشد، نه حافظه هوش مصنوعی. از هوش مصنوعی برای کدهایی استفاده کنید که روی داده ها کار می کنند، نه برای به خاطر سپردن داده ها.
2. اجرا و مقایسه: هر کدی که توسط هوش مصنوعی داده شده را خودتان اجرا کنید. هر معیاری را که تولید می کند با یک خط پایه مستقل مقایسه کنید.
3. فیلتر متخصص: خودتان تست کنید که آیا خروجی با آمار و دانش دامنه در تضاد است یا خیر.

احتیاط: قرار دادن یک تحلیل نوشته شده توسط هوش مصنوعی بدون اجرا و خواندن آن در یک ارائه مانند ارائه یک گزارش بدون امضا است. فقط به این دلیل که کد کار می کند به این معنی نیست که درست است. کدی که ستون اشتباه را جمع می کند نیز بدون خطا کار می کند.

تکرارپذیری: قادر به تولید یک نتیجه دو بار

اصل خاموش اما حیاتی علم داده تکرارپذیری است: وقتی شش ماه بعد مجدداً تجزیه و تحلیل را اجرا می کنید یا روی رایانه دیگری انجام می دهید، همان نتیجه را دریافت می کنید. این خطر هنگام کار با هوش مصنوعی افزایش می یابد، زیرا وقتی به هوش مصنوعی می گویید "این نمودار را بساز" و آن را به صورت دستی پخش کند، مراحل ناپدید می شوند. Rule: every step must be registered in the code and version control (like Git); در مراحل مربوط به تصادفی بودن، دانه تصادفی (مقدار اولیه مولد اعداد تصادفی؛ اگر ثابت شود، نتیجه قابل تکرار خواهد بود) باید ثابت شود. ما این موضوع را در بخش 10 تعمیق خواهیم داد. فعلاً این عادت را به خود بگیرید: «با دست کلیک نکنید، با کد بنویسید».

سه کیف کوچک

مورد 1 - شتاب ایمن. یک تحلیلگر تجارت الکترونیک معمولاً نیمی از روز را صرف پاک کردن جدول سفارش 240 هزار ردیفی می کند. او نام ستون ها و 5 ردیف اول (بدون اطلاعات شخصی) را به هوش مصنوعی داد و کد تمیز کردن پانداها را درخواست کرد. AI پیش نویس را در 8 ثانیه تولید کرد. تحلیلگر کد را خط به خط خواند، خطای تجزیه تاریخ را برطرف کرد و آن را اجرا کرد. مدت زمان: 35 دقیقه به جای 4 ساعت. هوش مصنوعی کدی را ارائه کرد، تأیید با انسان باقی ماند.

مورد 2 - تله متریک ساخته شده. یک کارآموز از هوش مصنوعی پرسید: "جنگل تصادفی در این داده ها چقدر دقیق است؟" بدون آموزش مدل اصلا. هوش مصنوعی گفت: «حدود 89 درصد». کارآموز این را در ارائه قرار داد. هنگامی که مدل واقعی آموزش داده شد، دقت 71٪ بود. اشتباه: انتظار برای معیارها بدون دادن داده ها و مدل ها به هوش مصنوعی.

مورد 3 - نشت بی صدا. یک تیم ایده پیشنهادی هوش مصنوعی مبنی بر "افزودن میانگین متغیر هدف به عنوان یک ویژگی" را بدون تردید در آن اجرا کرد. این مدل 98٪ در مجموعه آزمایشی انجام شد اما در تولید خراب شد زیرا این ویژگی اطلاعات آینده را درز می کرد (نشت داده ها، واحد 10). اشتباه: فیلتر نکردن آماری توصیه هوش مصنوعی.

اعلان ضعیف / اعلان قوی

اعلان ضعیف:

این داده های فروش را تجزیه و تحلیل کنید و میانگین درآمد را به من بگویید.

این ادعا ناقص است: به هوش مصنوعی داده ای داده نشده است، بنابراین "درآمد متوسط" فقط می تواند ساخته شود. نه ستون ها، نه دوره و نه واحد پولی مشخص نیست.

اعلان قدرتمند:

نقش شما: دستیار کمک به دانشمند داده. من یک پاندا DataFrame دارم: df. ستون‌ها: - order_date (متن، در قالب "01-03-2024") - مقدار_tl (اعشار، NaN در برخی ردیف‌ها) - شناسه مشتری (عدد صحیح) وظیفه: (1) کد پانداها را بنویسید که مقدار متوسط ​​را محاسبه می‌کند، (2) توضیح دهید که چگونه مقادیر NaN را مدیریت می‌کند، (3) کد مفروضات را فهرست کنید. محتوای داده را تشکیل ندهید. فقط کد تولید کنید و من اجرا می کنم و نتیجه را تأیید می کنم.

در این درخواست، طرح، انتظار و «نهی از جعل» مشخص است. شما هنوز هم اجرا می کنید و خودتان خروجی را تأیید می کنید.

آغاز اخلاق و حریم خصوصی

علم داده اغلب با داده های شخصی کار می کند: سوابق مشتری، بیمار، کارمند. KVKK (قانون حفاظت از داده های شخصی) در ترکیه و GDPR در اروپا از این داده ها محافظت می کنند. چسباندن نام، شناسه، ایمیل یا آدرس واقعی خود در ابزار هوش مصنوعی عمومی تخلف است. قانون: قبل از اشتراک گذاری داده ها را ناشناس کنید، در صورت لزوم فقط طرحواره (نام ستون ها، انواع) و ردیف نمونه ساختگی را ارائه دهید. در بخش 11 به تعمیق موضوع اخلاق می پردازیم. بیایید اصل را از ابتدا قرار دهیم: برای درک داده ها، به اشتراک گذاشتن ساختار آن، نه محتوای آن، اغلب کافی است.

اشتباهات رایج

• در انتظار اعداد/متریک ها بدون دادن داده به هوش مصنوعی. مدل نمی تواند به داده ها دسترسی داشته باشد. شماره ای که می دهد جعلی است. همیشه نتیجه را محاسبه و اجرا کنید.
• فکر می کنم که کد کار درست است. کدی که ستون اشتباه را دستکاری می کند نیز بدون خطا اجرا می شود. بدون خواندن منطق اعتماد نکنید.
• چسباندن اطلاعات شخصی واقعی در ابزار باز. نام، شماره شناسه، ایمیل هرگز به اشتراک گذاشته نمی شود. نمودار کافی است.
• انجام مراحل به صورت دستی و عدم نوشتن آنها در کد. تحلیلی که قابل تکرار نباشد غیرقابل اعتماد است.
• پذیرش تفسیر هوش مصنوعی از آمار بدون سوال. هوش مصنوعی می تواند اشتباهات کلاسیک را در مفاهیمی مانند p-value و همبستگی تکرار کند.

نکته: یک «خط قانون» کوتاه در هر جلسه هوش مصنوعی خود بگنجانید: «محتوای داده را تشکیل ندهید، فقط کد/تحلیل ایجاد کنید و من اجرا می‌کنم و نتیجه را تأیید می‌کنم؛ «مطمئن نیستم» را در جایی که مطمئن نیستید مشخص کنید.» همین یک جمله به میزان قابل توجهی خطر توهم را کاهش می دهد.

به طور خلاصه

هوش مصنوعی یک دستیار قدرتمند در علم داده است: کد تمیز کردن، تفسیر EDA، توصیه مدل و تجسم را سرعت می بخشد. اما تعریف مسئله، انتخاب متریک، تصمیم تولید و مرزهای اخلاقی متعلق به انسان است. گردش کار دارای شش مرحله است و نقش هوش مصنوعی با افزایش ریسک کمتر می شود. سه عادت پایه و اساس همه چیز هستند: پیوند منبع (اعتبارگذاری)، تکرارپذیری (کدگذاری) و ناشناس سازی (محرمانه بودن). هنگامی که این سه مورد را درونی کردید، هر ابزار در بقیه ماژول به یک شتاب دهنده امن برای شما تبدیل می شود.

وظیفه کاربردی

فقط طرحی از جدول کوچکی که دارید (یا یک جدول فرضی) بسازید: نام ستون ها، انواع، و 2-3 ردیف نمونه ساختگی (بدون اطلاعات شخصی واقعی). با استفاده از الگوی "Powerful Prompt" در بالا، از هوش مصنوعی یک کد آمار خلاصه بخواهید. کد را اجرا کنید، خروجی را با یک مقدار دستی مقایسه کنید، فرضیه های جعلی را بررسی کنید و یافته های خود را در 5 نقطه گلوله یادداشت کنید.

چک لیست

• [ ] آیا من به جای داده های شخصی واقعی به هوش مصنوعی یک طرحواره و یک نمونه جعلی دادم؟
• [ ] آیا من خط به خط کد تولید شده را خوانده و اجرا کردم؟
• [ ] آیا من به طور مستقل هر عدد را در خروجی تأیید کرده ام؟
• [ ] آیا من هر مرحله از تجزیه و تحلیل را در کد نوشته ام و آن را قابل تکرار کرده ام؟
• [ ] آیا سطح خطر ماموریت را تعیین کرده ام و تصمیم نهایی را به یک انسان واگذار کرده ام؟