فائدہ:
- اینڈ ٹو اینڈ انٹرپرائز RAG اسسٹنٹ کے اجزاء اور ڈیٹا فلو کو ڈیزائن کرنا
- ملٹی سورس ڈیٹا (وکی، ٹکٹ، پی ڈی ایف، ڈیٹا بیس) کو ایک اسسٹنٹ میں ملانا
- اسکیل ایبلٹی، کیشنگ اور تاخیر کے لیے تعمیراتی فیصلے کریں۔
پچھلی اکائیوں میں، ہم نے حصوں کو ایک ایک کرکے سیکھا: ایمبیڈنگ، ویکٹر ڈیٹا بیس، چنکنگ، بازیافت۔ اب آئیے ان کو یکجا کرتے ہیں اور ایک اسسٹنٹ کا اینڈ ٹو اینڈ فن تعمیر بناتے ہیں جو آپ کی اپنی کمپنی کے ڈیٹا سے بات کرتا ہے۔ مقصد یہ ہے کہ ملازم سے پوچھے، "ہماری چھٹی کی پالیسی کیا ہے؟" ایک ایسا نظام جہاں لوگ سوالات پوچھ سکتے ہیں، جوابات حقیقی اندرونی دستاویزات، حوالہ جات اور متعدد ڈیٹا ذرائع کو یکجا کرنے پر مبنی ہوتے ہیں۔ یہ یونٹ پورے فن تعمیر، ڈیٹا کے بہاؤ اور پیداوار کی سطح کے فیصلوں پر کارروائی کرتا ہے۔
آخر سے آخر اجزاء
ایک کارپوریٹ RAG اسسٹنٹ دو الگ الگ لائنوں پر مشتمل ہوتا ہے۔ انڈیکسنگ لائن (آف لائن) ڈیٹا تیار کرتی ہے۔ استفسار لائن (آن لائن) سوال کا جواب دیتی ہے۔
انڈیکسنگ لائن اجزاء:
- کنیکٹر: کنیکٹر جو ذرائع سے ڈیٹا کھینچتے ہیں — ویکی، ٹکٹ سسٹم، فائل اسٹور، ڈیٹا بیس، ای میل۔
- نارملائزیشن: مختلف فارمیٹس (پی ڈی ایف، ایچ ٹی ایم ایل، ڈی او سی ایکس) کو صاف متن میں تبدیل کرنا؛ ہیڈر/فوٹر کی صفائی۔
- چنکنگ + میٹا ڈیٹا: چنکنگ اور ٹیگنگ (ماخذ، تاریخ، اتھارٹی)۔
- ایمبیڈنگ + لوڈنگ: ویکٹر ڈیٹا بیس میں ویکٹر اور میٹا ڈیٹا لکھنا۔
سوال پائپ لائن اجزاء:
- سوال پری پروسیسنگ: دوبارہ لکھنا، وکندریقرت۔
- بازیافت: ہائبرڈ تلاش + میٹا ڈیٹا فلٹر + دوبارہ درجہ بندی۔
- فوری تخلیق: ٹیمپلیٹ میں سیاق و سباق + سوال + ہدایات رکھنا۔
- جنریشن: ماڈل + ذرائع سے زمینی (متعلق) جواب۔
- پوسٹ پروسیسنگ: حوالہ فارمیٹنگ، سیکورٹی چیک، لاگنگ۔
ٹپ: فزیکل طور پر انڈیکسنگ لائن کو سوال لائن سے الگ کریں۔ اشاریہ سازی سست اور متواتر ہے (بیچوں میں راتوں رات چلتا ہے)؛ انکوائری کی لائن ہلکی اور فوری ہونی چاہیے۔ صارف کے انتظار کے دوران دونوں لائنوں کو ملانا بھاری پروسیسنگ پر مجبور کرتا ہے۔
ڈیٹا فلو کا تصور کرنا
[انڈیکسنگ - آف لائن]وسائل → نارملائز کریں → چنک+میٹا ڈیٹا → ایمبیڈ کریں → ویکٹر ڈی بی (وکی، ٹکٹ، پی ڈی ایف، ڈی بی)
ملٹی سورس ڈیٹا کو ملانا
حقیقی کمپنیوں میں، جواب ایک جگہ نہیں رکتا۔ "کسی گاہک کو رقم کی واپسی کیسے جاری کی جائے؟" سوال کا جواب مدد کے مضمون (طریقہ کار)، ٹکٹ کی تاریخ (حقیقی مثالوں) اور پالیسی پی ڈی ایف (قواعد) دونوں میں پایا جا سکتا ہے۔ اسسٹنٹ کو ان سب کو ایک تالاب میں تلاش کرنا چاہیے۔
اہم نکتہ: ایک واحد ویکٹر اسٹور میں وسائل کو یکجا کرتے وقت، ہر شارڈ میں `ذریعہ_ٹور` میٹا ڈیٹا ہونا ضروری ہے۔ لہذا آپ ان سب کو تلاش کر سکتے ہیں اور اگر ضروری ہو تو فلٹر کر سکتے ہیں، جیسے کہ "صرف سرکاری پالیسیاں لائیں"۔ نیز، مختلف ذرائع میں اعتبار کی مختلف سطحیں ہیں: سرکاری پالیسی > مدد کا مضمون > ملازم کا ٹکٹ نوٹ۔ آپ دوبارہ درجہ بندی یا فوری طور پر اس ترجیح کی وضاحت کر سکتے ہیں۔
ماخذ
مواد کی قسم
اعتماد
فریکوئنسی کو اپ ڈیٹ کریں۔
پالیسی پی ڈی ایف
سرکاری اصول
اعلی
ماہانہ
مدد کا مضمون
طریقہ کار
درمیانے درجے کا
ہفتہ وار
ٹکٹ کی تاریخ
اصلی نمونہ
درمیانہ
مسلسل
ویکی
مخلوط/موجودہ نوٹ
متغیر
مسلسل
اسکیل ایبلٹی، کیشے اور لیٹنسی
پیداوار میں تین مسائل نمایاں ہیں۔ تاخیر: جب صارف 2 سیکنڈ سے زیادہ انتظار کرتا ہے تو تجربہ بگڑ جاتا ہے۔ حل: جواب کو سٹریمنگ کی شکل میں ڈسپلے کریں - یہ ماڈل کے لکھتے ہی اسکرین پر ڈالا جاتا ہے۔ کیش: اکثر پوچھے گئے سوالات اور بار بار ہونے والے سیاق و سباق کے لیے، کیش رفتار کو بڑھاتا ہے اور لاگت کو کم کرتا ہے۔ پیمانہ: جیسے جیسے صارف بڑھتا ہے، یہ ضروری ہے کہ بازیافت اور ماڈل کالز کو افقی طور پر اسکیل کرنے کے قابل ہو۔
لاگت کی طرف انگوٹھے کا اصول: سب سے مہنگا مرحلہ عام طور پر بڑے ماڈل پر جانے والے ٹوکنز کی تعداد ہے۔ لہذا، دوبارہ درجہ بندی کرکے سیاق و سباق کو 4 اچھے حصوں تک کم کرنے سے معیار اور قیمت دونوں میں بہتری آتی ہے۔ ایک عام ڈیزائن سادہ درجہ بندی یا روٹنگ کے لیے ایک چھوٹا/تیز ماڈل اور حتمی جواب کے لیے زیادہ طاقتور ماڈل کا استعمال کرنا ہے (مثلاً claude-opus-4-8)۔
احتیاط: انڈیکسنگ کو "ایک بار کرو، بھول جاؤ" کے طور پر ترتیب نہ دیں۔ دستاویزات کو تبدیل کیا جاتا ہے، حذف کیا جاتا ہے، شامل کیا جاتا ہے۔ دوبارہ ترتیب دینے کی حکمت عملی بنائیں: تبدیل شدہ دستاویزات کا پتہ لگائیں اور صرف ان پر دوبارہ عمل کریں۔ باسی انڈیکس ایک جواب تیار کرتا ہے جو موجودہ لگتا ہے لیکن غلط ہے۔
کمزور فن تعمیر / مضبوط فن تعمیر
کمزور (واحد اسکرپٹ، سب کچھ ملا ہوا):
جب صارف پوچھتا ہے: اس وقت دستاویزات کو پڑھیں، انہیں ٹکڑے ٹکڑے کر دیں، ان کو ایمبیڈ کریں، انہیں تلاش کریں، ان کا جواب دیں۔ تاخیر کے سیکنڈ، # کوئی ماخذ علیحدگی، کوئی فلٹر، کوئی ریفریش نہیں۔
طاقتور (اسپلٹ پائپ + میٹا ڈیٹا + کیشے + اسٹریمنگ):
انڈیکسنگ: بیچ رات کو چلتا ہے، تبدیل شدہ دستاویزات کو تازہ کرنا۔ سوال: ہلکی پھلکی لائن — پری پروسیسنگ → ہائبرڈ بازیافت + فلٹر → رینک → پرامپٹ → ماڈل (سٹریمنگ) → حوالہ → لاگ۔ اکثر پوچھے جانے والے سوالات اور ماخذ کو محفوظ کیا جاتا ہے۔
تین چھوٹے کیسز
کیس 1 - کنفیوزڈ لائن، بھاری تاخیر۔ ایک اسٹارٹ اپ نے ایک اسکرپٹ لکھا جو ہر سوال کے ساتھ پی ڈی ایف کو دوبارہ پروسیس کرتا ہے۔ ہر جواب میں اوسطاً 11 سیکنڈ لگے۔ جب انڈیکسنگ لائن کو الگ کیا گیا تھا اور ڈیٹا کو پہلے ویکٹر اسٹور میں منتقل کیا گیا تھا، استفسار کا وقت 1.3 سیکنڈ تک کم ہو گیا اور سٹریمنگ کے ساتھ، "پہلا لفظ" 400 ms میں ظاہر ہوا۔
کیس 2 - بہت زیادہ وسائل، غلط ترجیح۔ ایک معاون اسسٹنٹ نے پالیسی پی ڈی ایف اور پرانے ٹکٹ نوٹوں کو برابر وزن دیا۔ ماڈل نے بعض اوقات سرکاری اصول کے طور پر دو سال پہلے سے ملازم کی غلط درجہ بندی پیش کی تھی۔ جب source_tour میٹا ڈیٹا اور "تنازعہ کی صورت میں سرکاری پالیسی پر غور کریں" ہدایات کو فوری طور پر شامل کیا گیا تو، غلط ترجیحی غلطیاں 89% تک کم ہو گئیں۔
کیس 3 - باسی انڈیکس۔ ایک HR اسسٹنٹ ایک ایسے انڈیکس کے ساتھ کام کر رہا تھا جسے 3 ماہ سے اپ ڈیٹ نہیں کیا گیا تھا۔ چھٹی کی پالیسی بدل گئی لیکن اسسٹنٹ پرانے دنوں کی بات کہہ رہے تھے۔ جب روزانہ ریفریش انسٹال کیا گیا تھا، جو تبدیل شدہ فائلوں کا پتہ لگاتا ہے، موجودہ ردعمل کی شرح 70% سے بڑھ کر 99% ہو گئی۔
عام غلطیاں
- اشاریہ سازی اور استفسار لائنوں کو ملانا: صارف کے انتظار کے دوران بھاری پروسیسنگ کی جاتی ہے۔ تاخیر پھٹ جاتی ہے۔
- میٹا ڈیٹا میں ماخذ کی قسم نہ ڈالنا: کوئی ترجیح اور فلٹرنگ نہیں؛ غیر بھروسہ مند ذریعہ سرکاری معلوم ہوتا ہے۔
- تازہ کاری کی حکمت عملی قائم نہ کرنا: انڈیکس باسی ہو جاتا ہے۔ غلط جوابات جو موجودہ نظر آتے ہیں تیار کیے جاتے ہیں۔
- اسٹریمنگ کو چھوڑیں: صارف خالی اسکرین کو دیکھتا ہے۔ سمجھی جانے والی تاخیر زیادہ ہو جاتی ہے۔
- ہر قدم پر سب سے بڑے ماڈل کا استعمال: لاگت غیر ضروری طور پر بڑھ جاتی ہے۔ اسٹیئرنگ کو چھوٹے ماڈل پر چھوڑ دیں۔
خلاصہ میں
- کارپوریٹ RAG اسسٹنٹ دو الگ الگ لائنوں پر مشتمل ہوتا ہے: آف لائن انڈیکسنگ اور آن لائن استفسار؛ انہیں جسمانی طور پر الگ کریں.
- انڈیکسنگ = کنیکٹر + نارملائز + حصہ/میٹا ڈیٹا + ایمبیڈ/اپ لوڈ؛ استفسار = پری پروسیس + بازیافت + پرامپٹ + جنریٹ + پوسٹ پروسیس۔
- ملٹی سورس ڈیٹا کو ایک ریپوزٹری میں ملایا جاتا ہے، لیکن source_type میٹا ڈیٹا اور اعتماد کی ترجیح محفوظ رہتی ہے۔
- تاخیر کے لیے سٹریمنگ اور کیش، سیاق و سباق کی تھروٹلنگ اور لاگت کے لیے ماڈل کا انتخاب اہم ہے۔
- دوبارہ اشاریہ سازی کے بغیر، اشاریہ باسی ہو جاتا ہے۔ باقاعدگی سے تبدیل کرنے والے دستاویزات پر دوبارہ عمل کریں۔
درخواست کا کام
اپنی ٹیم کے لیے اسسٹنٹ کا آرکیٹیکچرل ڈایاگرام بنائیں۔ (1) کم از کم تین حقیقی ڈیٹا ذرائع کی شناخت کریں اور ہر ایک کے لیے کنیکٹر کی ضرورت، اپ ڈیٹ فریکوئنسی اور اعتماد کی سطح لکھیں۔ (2) اشاریہ سازی اور استفسار کی لکیروں کو باکس-تیر کے خاکے کے ساتھ الگ سے کھینچیں۔ (3) "میں اس اسسٹنٹ میں تاخیر اور لاگت کو کہاں کم کروں؟" سوال پر کم از کم دو ٹھوس فیصلے لکھیں۔ (4) اپنی تازہ کاری کی حکمت عملی کو ایک جملے میں بیان کریں: کون سا وسیلہ دوبارہ ترتیب دیا جائے گا اور کتنی بار؟
چیک لسٹ
- میں اشاریہ سازی اور استفسار کی لائنیں الگ الگ اور درست اجزاء کے ساتھ کھینچ سکتا ہوں۔
- میں ملٹی سورس ڈیٹا کو source_type اور اعتماد کی ترجیح کے ساتھ جوڑ سکتا ہوں۔
- میں تاخیر کے لیے اسٹریمنگ/کیشے کے فیصلے کر سکتا ہوں اور لاگت کے لیے ماڈل کا انتخاب کر سکتا ہوں۔
- میں جانتا ہوں کہ دوبارہ اشاریہ سازی کی حکمت عملی کیوں ضروری ہے۔
- [ ] میں ذہن میں رکھتا ہوں کہ میرے فن تعمیر میں سب سے مہنگا مرحلہ عام طور پر ٹوکن ہے جو بڑے ماڈل پر جاتا ہے۔