Birlik 3 / 11

Ma'lumotlarni modellashtirish, ma'lumotlar lug'ati va korporativ ma'lumotlar arxitekturasi

Daromadlar:

  • Kontseptual, mantiqiy va jismoniy ma'lumotlar modellari va normalizatsiya tushunchalarini tushuntirish va sun'iy intellekt yordamida ob'ektlar o'rtasidagi munosabatlar loyihalarini ishlab chiqish qobiliyati
  • Ma'lumotlar lug'atini, biznes qoidalarini va jadval munosabatlarini tuzilgan takliflar bilan tuzish va ularni haqiqiy tizim bilan tekshirish qobiliyati
  • AI tomonidan yaratilgan sxema bo'yicha takliflarni yaxlitlik, o'ziga xoslik va biznes qoidalariga muvofiqligi nuqtai nazaridan tanqidiy baholash qobiliyati.

Axborot tizimi mohiyatan ma'lumotlarni tartibga soluvchi tuzilmadir. Ma'lumotlarni modellashtirish - bu biznes faktlarini (mijoz, buyurtma, mahsulot, schyot-faktura) va ularning bir-biriga bo'lgan munosabatlarini tuzilgan tarzda loyihalash vazifasi. Yaxshi ma'lumotlar modeli aniq hisobot, tezkor so'rovlar va izchil ma'lumotlarning asosidir; Yomon model yillardagi nomuvofiqlik va takroriy tuzatish ishlarining manbai hisoblanadi. Ko'pincha MIS mutaxassisi modelni noldan kodlamaydi, balki model biznes qoidalariga muvofiqligini tekshiradi va modelni biznes bo'linmasi va IT o'rtasida tarjima qiladi.

Ma'lumotlarni modellashtirish uchta abstraktsiya darajasida davom etadi. Kontseptual model (inglizcha kontseptual) eng yuqori darajadir: qanday asosiy ob'ektlar mavjud va ular qanday bog'liq? "Mijoz buyurtma beradi, buyurtma mahsulot o'z ichiga oladi." Texnik tafsilotlar yo'q. Mantiqiy model har bir ob'ektning atributlari (maydonlari), kalitlari va munosabatlar turlarini belgilaydi; lekin u hali ham ma'lum bir ma'lumotlar bazasi mahsulotiga bog'lanmagan. Jismoniy model (inglizcha jismoniy) - bu ma'lum bir ma'lumotlar bazasidagi (masalan, SQL Server, PostgreSQL) jadvallar, ma'lumotlar turlari va indekslarning aniq versiyasi. Ushbu uchta daraja bir xil g'oyaning tobora batafsil versiyalari.

Shaxs-munosabat va kalitlar

Ma'lumotlar modelining asosiy tili "Entity-Relationship (ER)" modelidir. Ob'ektni jadval sifatida ko'rish mumkin: Buyurtmachi, Buyurtma. Atribut jadvalning ustunidir: ism, elektron pochta, miqdor. Aloqa - bu sub'ektlarning qanday bog'langanligi: mijoz ko'p buyurtmalarga ega bo'lishi mumkin (birdan ko'pga).

Ikkita muhim asosiy tushunchalar mavjud. Birlamchi kalit - jadvaldagi har bir qatorni yagona identifikatsiya qiluvchi maydon; masalan, CustomerID. Chet el kaliti - bu bitta jadvaldagi boshqa jadvalning asosiy kalitiga ishora qiluvchi maydon; Buyurtmalar jadvalidagi mijoz identifikatori qaysi mijozning buyurtmasi ekanligini bog'laydi. Ushbu ulanishlar ma'lumotlarning yaxlitligini ta'minlaydi: mavjud bo'lmagan mijozga buyurtma berish mumkin emas.

Maslahat: AI ER loyihasini yaratishda, har bir jadval uchun asosiy kalitni va har bir munosabat uchun tashqi kalitni aniq so'rashni osonlashtiradi. Biroq, model tomonidan taklif qilingan har bir xorijiy kalitni haqiqiy biznes qoidasiga qarshi tekshiring: ba'zida siz "birdan ko'pga" deb o'ylagan munosabatlar aslida "ko'pdan ko'pga" bo'ladi.

Normalizatsiya: takrorlanishning oldini olish

Normallashtirish - bu ma'lumotlarni mantiqiy jadvallarga bo'lish orqali ortiqchalikni kamaytirish va yaxlitlikni saqlash jarayoni. Maqsad bir xil ma'lumotlarni bir joyda saqlashdir. Misol uchun, har bir buyurtma satrida mijozning manzilini qayta-qayta yozish o'rniga, siz manzilni Mijozlar jadvalida bir marta saqlaysiz va uni buyurtmadagi xorijiy kalit bilan bog'laysiz. Shunday qilib, manzil o'zgarganda, uni bir joyda yangilaysiz; Aks holda, yuzlab buyurtmalar turli manzillarga ega bo'ladi. Bu yangilanish anomaliyasi deb ataladi.

Normalizatsiyaning qarama-qarshi tomoni bu denormalizatsiya: hisobot tezligi uchun ataylab takrorlashga ruxsat berish. Biznes tizimlarida (operatsion ma'lumotlar bazasi) odatda normalizatsiya, hisobot tizimlarida (ma'lumotlar ombori) ko'pincha denormalizatsiya afzal ko'riladi. Shunday qilib, "normalizatsiya har doim ham yaxshi emas"; Qaror maqsadga muvofiq qabul qilinadi.

Ma'lumotlar lug'ati: Umumiy til

Ma'lumotlar lug'ati - bu har bir maydon nimani anglatishini, uning turini, cheklovlarini va biznes qoidalarini belgilaydigan hujjat. "Status" maydoni nimani anglatadi? U qanday qiymatlarni olishi mumkin (kutishda, tasdiqlangan, bekor qilingan)? Bu majburiymi? Ushbu hujjatsiz bir xil maydon turli jamoalar tomonidan turlicha talqin qilinadi va hisobot buziladi. Ma'lumotlar lug'ati tashkilotning lingua francasi va MIS professionalining eng qimmatli natijalaridan biridir. AI mavjud jadval tuzilmasidan dastlabki ma'lumotlar lug'ati loyihasini tezda chiqarib olishi mumkin; Ammo faqat ushbu ma'lumotlardan foydalanadigan birlik har bir sohaning haqiqiy biznes ma'nosini tasdiqlaydi.

Uchta mini holat: raqamlar bo'yicha

1-holat - Takrorlash narxi. Tarqatish kompaniyasida mijozning manzili buyurtma va hisob-faktura jadvallarida alohida saqlangan. Mijoz ko'chganda, manzil faqat bitta jadvalda yangilangan; 1400 schyot-faktura eski manzilga borib, qaytarib berildi. Agar manzil bitta jadvalda normallashtirilgan bo'lsa, bitta yangilanish etarli bo'ladi. Ta'mirlash loyihasi 2 hafta davom etadi.

2-holat - munosabatlarning noto'g'ri turi. Ta'lim muassasasidagi MIS mutaxassisi sun'iy intellekt yaratilgan modeldagi "Talaba sinfga tegishli" (birdan ko'pga) munosabatini tan oldi. Biroq, talabalar bir nechta ixtiyoriy sinflarga yozilishlari mumkin edi; O'zaro munosabatlar aslida ko'p-ko'p edi va oraliq jadval (Rekord) kerak edi. O‘quvchi 2-sinfga o‘qishga kirolmagani uchun xato dalada aniqlangan. Agar AIning taklifi tasdiqlansa, u boshidanoq qo'lga olingan bo'lardi.

3-holat - Ma'lumotlar lug'atining qiymati. Sug'urta kompaniyasidagi "policy_status" maydoni 5 xil jamoa tomonidan turlicha talqin qilinganligi aniqlandi, shuning uchun bir xil KPI hisobotlarda 3 xil natija berdi. Sun'iy intellektga asoslangan ma'lumotlar lug'atini ishlab chiqish va biznes bo'linmasi bilan yagona kelishuvga erishish orqali hisobotdagi nomuvofiqlik bartaraf etildi va oylik kelishish yig'ilishi vaqti 60% ga qisqardi.

Zaif taklif / Kuchli taklif

Zaif taklif:

Elektron tijorat ma'lumotlar bazasini loyihalash.

Kuchli so'rov:

Sizning rolingiz: Siz tajribali ma'lumotlar modelchisisiz. Quyidagi biznes qoidalariga muvofiq MANTIQLI ma'lumotlar modelini LOYIHALAYING. Qoidalar:- Har bir ob'ekt uchun: maydonlar, asosiy kalit, talab qilinadigan maydonlar.- Har bir munosabat uchun: turi (birdan ko'pga / ko'pdan ko'pga) va tashqi kalit.- Ko'pdan ko'pga munosabatlarda oraliq jadvalni taklif qiling; 3-shaklni normallashtiring. Agar qasddan denormalizatsiya qilishni tavsiya qilsangiz, mantiqiy asosni yozing.- Siz ishonchingiz komil bo'lmagan har qanday biznes qoidasini [TASDIQLASH TALAB] yorlig'i bilan belgilang.Biznes qoidalari:- Mijoz bir nechta buyurtma berishi mumkin.- Buyurtmada bir nechta mahsulot mavjud; Bitta mahsulot ko'p buyurtmalarda uchraydi.- Mahsulotlarning toifalari bor.[boshqa qoidalar...]

Kuchli taklif model darajasini (mantiqiy), kalit va munosabatlar qoidalarini, normallashtirish maqsadini va tasdiqlashni talab qiladigan nuqtalarni aniqlaydi.

To'rt nusxa ko'chirish shablonlari

1) Ma'lumotlar lug'ati loyihasi:

Ma'lumotlar lug'ati konturi jadval ta'rifidan kelib chiqadi. Har bir maydon uchun: nomi, turi, majburiymi, mumkin bo'lgan qiymatlar, biznes ma'nosi (agar bu bashorat bo'lsa, [PRODICTION] belgisi). Jadval: [DDL yoki maydonlar ro'yxati]

2) Normalizatsiyani ko'rib chiqish:

Quyidagi jadval tuzilmasida takroriy ma'lumotlar, yangilanish anomaliyasi va normallashtirish imkoniyati xavfi bormi? Har bir topilma uchun qaysi normal shaklni buzganligini va taklifingizni yozing. Tuzilishi: [matn]

3) Biznes qoidasidan ER loyihasi:

Quyidagi biznes qoidalarini ob'ektlar, atributlar va munosabatlarga tarjima qiling. Har bir munosabat turini belgilang (1-1, 1-N, N-N) va agar N-N bo'lsa, oraliq jadvalni taklif qiling. Noma'lum qoidalarni belgilang. Qoidalar: [matn]

4) Aloqa turini tekshirish savollari:

Quyidagi maʼlumotlar modelidagi har bir munosabat uchun uning turining toʻgʻriligini tekshiradigan “ha/yoʻq” biznes savolini yarating (masalan, “Talaba bir vaqtning oʻzida bir nechta sinflarga yozilishi mumkinmi?”). Model: [matn]

Taqqoslash jadvali: model darajalari

xususiyat

kontseptual

mantiqiy

jismoniy

Tafsilot

hech bo'lmaganda

o'rta

eng

kalit/aloqa

Asosiy aktivlar

Kalitlar aniqlandi

Shu jumladan indeks/turi

Ma'lumotlar bazasiga bog'liq

yo'q

yo'q

Ha

maqsadli auditoriya

biznes birligi

tahlilchi

Dasturchi/DBA

AIning hissasi

qoralama

kuchli qoralama

Qoralama, DBA tasdiqlash

Umumiy xatolar

  • Ko'pdan ko'pga munosabatni birdan ko'pga deb o'ylash. Bu eng keng tarqalgan modellash xatosi; Agar oraliq jadval unutilgan bo'lsa, tizim haqiqiy holatni saqlay olmaydi.
  • Hamma narsani bitta stolga qo'yish. "Oddiylik" uchun barcha maydonlarni bitta jadvalda yig'ish takrorlash va yangilanish anomaliyalarini keltirib chiqaradi.
  • Ma'lumotlar lug'ati yozilmaydi. Maydonlarning ma'nosi ongda qolganda bir xil KPI turli natijalar beradi.
  • AIning ma'lumotlar turlari va cheklovlari bo'yicha tavsiyalariga ko'r-ko'rona ishonish. Model "etarlicha katta" maydonni taklif qilishi mumkin; Biznes qoidasi haqiqiy chegaralarni belgilaydi (masalan, TR ID 11 raqamlari).
  • Absolutizing normalizatsiya. Hisobot qatlamida haddan tashqari normalizatsiya so'rovni sekinlashtiradi; Maqsad kontekstga qarab o'zgaradi.
Diqqat: Sun'iy intellekt chiroyli ko'rinadigan, lekin biznes qoidalarini buzadigan modellarni ishlab chiqishi mumkin. Model tomonidan taklif qilingan har bir munosabatlar uchun "bu haqiqatan ham shundaymi?" Biznesga oid savol bering. Ma'lumotlar modeli tizimning skeleti hisoblanadi; Skeletdagi sinish keyinchalik tuzatish juda qiyin.

Xulosa

Ma'lumotlarni modellashtirish - bu biznes faktlarini ob'ektlar, atributlar va munosabatlar bilan tuzilish jarayoni va kontseptual, mantiqiy va jismoniy darajalarda davom etadi. Birlamchi va xorijiy kalitlar ma'lumotlarning yaxlitligini ta'minlaydi; Normalizatsiya takrorlanishni kamaytiradi, ammo denormalizatsiya ham maqsadga qarab qonuniydir. Ma'lumotlar lug'ati tashkilotning umumiy tilidir. AI ER qoralamalarini, ma'lumotlar lug'atlarini va normalizatsiya sharhlarini ishlab chiqarishda sezilarli tezlikni ta'minlaydi; ammo, munosabatlar turlari, ma'lumotlar turlari va biznes semantikasi haqiqiy biznes qoidasiga qarshi tasdiqlanishi kerak. Modelning yaxshi ko'rinishi uning to'g'ri ekanligini anglatmaydi.

Ilova vazifasi

"Kutubxona krediti tizimi" ni ko'rib chiqing: a'zolar, kitoblar, kredit yozuvlari. (1) Kuchli taklif tomonidan ishlab chiqarilgan mantiqiy model loyihasiga ega bo'ling. (2) Model taklif qilgan har bir munosabatlar turini (xususan, "a'zo bir xil kitobning bir nechta nusxasiga ega bo'lishi mumkinmi?") biznes savol bilan sinab ko'ring. (3) Kamida bitta ko‘p-ko‘p munosabatini toping va oraliq jadvalni aniqlang. (4) Kamida 4 ta maydon (nom, tur, majburiy, biznes ma'nosi) uchun ma'lumotlar lug'ati qatorlarini yozing. (5) Model o'rnatilgan bo'lishi mumkin bo'lgan cheklovni ajratib ko'rsating va uni qanday tekshirishni tushuntiring.

nazorat ro'yxati

  • [ ] Har bir jadvalning asosiy kaliti aniqlanadi.
  • [ ] Men biznesga oid savol bilan har bir munosabat turini tasdiqladim.
  • [ ] Men ko'p-ko'p munosabatlar uchun oraliq jadvalni aniqladim.
  • [ ] Men takroriy ma'lumotlarning normalizatsiyasini normallashtirdim yoki oqladim.
  • [ ] Muhim maydonlar uchun maʼlumotlar lugʻati qatorini yozdim.
  • [ ] Men AIning biznes qoidasiga qarshi maʼlumotlar turi/cheklov takliflarini tasdiqladim.