Girdeji:
- Emeli intellekt bilen söz ýygylygy, birleşmek, söz baýlygy we açar sözler ýaly korpus ölçeglerini taýýarlamak ukyby
- Emeli intellektiň takyk sanamakda ygtybarly däldigini bilmek we her sanany aýratyn gural bilen barlap bilmek
- Sanlaryň özbaşdak hiç zat diýmeýändigine we manysyny kesgitleýän lingwistik düşündirişiň adamlara degişlidigine düşünmek ukyby.
Edebiýat we dil öwrenişleri diňe "düşündiriş" däl; Şeýle hem ölçenip bolýan we sanap boljak tarapy bar. Awtor näçe dürli söz ulanýar, haýsy sözleri ulanmagy halaýar, haýsy sözler bilen haýsy döwürde giňden ýaýran - bular lingwistika (diliň sesini, gurluşyny, manysyny we ulanylyşyny öwrenýän ylym) we esasanam korpus lingwistikasy arkaly öwrenilýär. Korpus - awtoryň doly eserleri, gazetiň ýyllyk arhiwi ýa-da bir döwrüň goşgulary ýaly tekstler ýygyndysy. Korpus derňewi bu bölümde san nagyşlaryny gözleýär.
Bu bölümde AI-ni korpus derňewi kömekçisi hökmünde ulanmagy öwreneris: söz ýygylygy (tekstde sözüň näçe gezek ýüze çykmagy), birleşmek (ýygy-ýygydan ýüze çykýan söz jübütleri, mysal üçin "gara" + "meniň bagtym"), söz baýlygy we möwsümleýin üýtgeşiklik ýaly ölçegleri çalt çykarmak. Theöne ilkibaşdan duýduryş: AI ýeke sananyňyzda ýalňyşlyk goýberip biler; Uly we takyk sanlar üçin ýörite gurallar zerurdyr we siz her sanyň manysyny kesgitleýän dilçi.
AI nirede güýçli we korpus derňewinde nirede gowşak?
Güýçli taraplary: Kiçi we orta tekstlerdäki nagyşlary tanamak, tekstiň söz düzümi barada gipotezalary döretmek, ýygnamaga dalaşgärleri teklip etmek, netijäni düşündirmek, usulyýeti beýan etmek. AI “bu ýazyjyda haýsy sözlemler tapawutlanýar?” Diýip soraýar. Soraga çalt başlaýar.
Gowşaklyk: takyk hasaplamak. AI kalkulýator däl-de, dil modeli; uzyn tekstde "näçe gezek bolup geçdi" diýen soraga takmynan we käwagt nädogry jogap berip biler. Takyk ýygylyk, takyk ýerleşiş statistikasy ýa-da müňlerçe sözüň uly korpus skaneri üçin ýöriteleşdirilen programma üpjünçiligi (meselem, AntConc ýa-da elektron tablisasy ýaly korpus gurallary) ulanylýar. AI bu gurallaryň çykyşyny düşündirmekde gymmatlydyr; Himöne ony çig hasaplamagy kör etmäň.
Maslahat: Takyk san gerek bolsa, iki ýoly ulanyň: kiçijik tekstde sanamagy guralyň we AI-ni düşündirmegini üpjün ediň; Ora-da AI sanap, başga bir ýol bilen barlaň. Hiç haçan tassyklamazdan "AI 47 gezek ýüze çykdy" sözlemini ulanmaň.
Stepdimme-ädim korpus öwrenmek
- Sorag beriň. "Bu şahyrda reňkli sözler nähili paýlanýar?" Munuň ýaly anyk sorag bolmasa sanamak manysyz.
- Korpusy kesgitläň. Haýsy tekstler? Haýsy neşir? Haýsy döwür? Serhet açyk bolmaly.
- Ölçegi saýlaň. Quygylyk, birleşmek, söz baýlygy?
- Ölçe we barla. Hasaplaň, soňra ikinji ýoly tassyklaň.
- Düşündiriş Diňe san hiç zat diýmeýär; "Ikinji döwürde reňkli sözler iki esse köpeldi" diýen netijäni manyly edýär.
Söz baýlygynyň ýygy-ýygydan ulanylýan ölçegi dürli sözleriň sanynyň sözleriň umumy sanyna (görnüş / belgi gatnaşygy) gatnaşygydyr. Bu gatnaşygy ýokary bolsa, tekst dürli-dürli, pes bolsa, gaýtalanýandygyny aňladýar. Emma bu gatnaşyga tekst uzynlygy täsir edýär; Gysga we uzyn tekstleri gönüden-göni deňeşdireniňizde seresap boluň.
üç sany kiçi halat
1-nji waka - Toplama bir stili görkezdi. Gözlegçi, ýazyjynyň 3 romanynda sypat-at jübütlerini gözden geçirdi. AI “reňkli” sözüniň 5 dürli at bilen gabat gelýändigini öňe sürdi; Gözlegçi tekstleriň 4-sini barlady we 1-sini galplaşdyrdy. Tassyklanan nagyş, awtoryň beýan ediş stili barada tezis beýany boldy.
2-nji waka - Tutulan säwligi hasaplamak. Bir okuwçy AI-den 2000 sözli tekstde “gije” sözüniň näçe gezek peýda bolandygyny sorady; AI "23" diýdi. Haçan-da okuwçy teksti elektron tablisasyna taşlap, sanasa, hakyky sany 17 boldy. AI-iň çig sanynyň ygtybarly däldigi belli boldy.
3-nji waka - Döwürleýin üýtgeşiklik jedel döretdi. Bir topar şahyryň irki we giç goşgularynda abstrakt sözleriň paýyny deňeşdirdi. AI-iň birinji taslamasy bir tendensiýany teklip etdi; Topar tekste gaýdyp, sanany barlanda, tendensiýa hakyky bolup çykdy, ýöne AI tarapyndan teklip edilen "sebäpler" tassyklanmadyk çaklamalar bolup, ýok edildi.
Göçürip boljak dört şablon
1) Söz ýygylygynyň çyzgysy (barlamak bilen):
Aşakdaky tekstde iň ýygy-ýygydan ýüze çykýan 15 söz sözüni (baglanyşyk we söz düzümi ýaly funksiýa sözlerini goşmaň) takmynan ýygylyklary bilen sanaň. DUNDURYŞ: Hasaplaryň dogry bolup bilmejekdigine üns beriň we "takyk bolmagy, aýratyn hasaplaýyş guraly bilen tassyklanmaly". Tekst: [teksti şu ýere goýuň]
2) ationerleşýän dalaşgärler:
Aşakdaky tekstde ýygy-ýygydan ýüze çykýan jübüt sözleri (ýygyndylary) teklip ediň. Her jübüt üçin tekstden azyndan bir sitata beriň. Tekstde ekwiwalent bolmadyk goşa ýasama; Ynanmasaňyz, ony "tassyklamaga mätäç" diýip belläň .Tekst: [teksti goýuň]
3) Sözlük deňeşdirmesi:
Men size iki tekst bererin. Her biri üçin: takmynan jemi sözler, dürli sözleriň görnüşleri baradaky synlar we görnükli söz domenleri (meselem, reňk, tebigat, duýgy). Sanlaryň takmynandygyny görkeziň. Deňeşdirmäniň düşündirişini meniň tassyklamam bilen goýuň. A tekst: [...] B teksti: [...]
4) Netijeleri düşündirmek:
Hasaplaýyş guralyndan aşakdaky netijeleri aldym: [netijeleri goýuň] .Bu sanlaryň dil taýdan nämäni aňladyp biljekdigi barada 2-3 gipoteza dörediň. Her gipotezany "subutnama talap edýär" diýip belläň we nädip synap biljekdigimi aýdyň. Artykmaç teswirlerden gaça duruň.
Gowşak haýyş / Güýçli haýyş
Gowşak: "Bu tekstde haýsy söz has köp duş gelýär?"
Güýçli: "Bu tekstdäki iň ýygy mazmun sözlerini takmynan ýygylygy bilen sanaň; funksiýa sözlerini aýyryň. Sanlaryň takyk däldigini we aýratyn gural bilen tassyklanmalydygyny aýdyň. Her söz üçin mysal sözlemi beriň."
Güýçli isleg AI-ni hasaplaýyş çägini kabul edýär we tassyklamagyň zerurdygyny öňünden aýdýar. Gowşak islegde AI ýekeje san berýär we ýalňyş bolup biljekdigini bilmeýärsiňiz.
Ölçeg we ygtybarlylyk tablisasy
ölçemek
Näme görkezýär
Diňe AI
dogry ýol
söz ýygylygy
ýygy-ýygydan sözler
Töwekgelçilikli
Counter + AI düşündiriş
ýerleşişi
bilelikde geçenler
Dalaşgärleri öndürýär
Tekstden tassyklama
Görkeziş / belgi gatnaşygy
Dildar dürlüligi
Azdyryjy bolup biler
Gural bilen hasap
möwsümleýin üýtgemeler
Wagtyň geçmegi bilen tendensiýa
gipotezalary döredýär
Ölçe we barla
Jemleýji teswir
Manysy
Güýçli, ýöne ulaldyp görkezýär
adam hökümi
Açar söz we n-gram düşünjeleri
Iki düşünje korpus derňewinde işiňizi aňsatlaşdyrýar. Birinjisi açar söz (iňlis dilinde açar söz - tekstde ýa-da ýazyjyda umumy dil bilen deňeşdirilende garaşylýandan has ýygy duş gelýän söz, şol tekste "häsiýet" berýär). Awtoryň açar sözleri onuň gyzyklanmalaryny we stilini açýar; Mysal üçin, "deňiz" we "aýralyk" şahyrda garaşylýandan has ýygy ýüze çyksa, bu statistiki uzynlyk düşündirişiň başlangyç nokadyna öwrülýär. Açar sözleri kesgitlemek üçin tekstiň ýygylyklaryny salgylanma korpusynyň ýygylyklary bilen deňeşdirmeli (deňeşdirmek üçin ulanylýan umumy, uly tekst); Bu deňeşdirme kesgitli gural işidir, AI özbaşdak ygtybarly edip bilmeýän hasaplama.
Ikinjisi n-gram (tekstdäki n yzygiderli sözleriň yzygiderliligi; iki sözüň yzygiderliligine "bigram", üç sözüň yzygiderliligine "trigram" diýilýär). N-gram derňewi awtoryň formula aňlatmalaryny we ýygy-ýygydan ulanylýan sözlemleri ýüze çykarýar. Mysal üçin, ýazyjy "görnüşi" ýa-da "ýöne" ýaly sözlemleri ýygy-ýygydan ulanýan bolsa, bu sözlem düzmek endigini görkezýär. AI bu sözlemleri kandidat hökmünde teklip edip biler; ýöne hakyky ýygylyk we statistik ähmiýet üçin hasaplaýyş guralyna dolanmak zerur.
Maslahat: AI-e aýdyň, "Bu tekstdäki görnükli sözlemleri (iki ýa-da üç söz) dalaşgär hökmünde sanaň we hersi üçin tekstden mysal beriň." Dalaşgärleriň sanawyny alyň we hakyky ýygylygy aýratyn gural bilen ölçäň. AI-ni “habardar”, agenti “hasaplaýjy”, özüňizi bolsa “terjimeçi” hökmünde ýerleşdiriň.
Adaty ýalňyşlyklar
- AI-iň çig sanyna bil baglamak. AI kalkulýator däl; Aýry gural bilen takyk sanyny barlaň.
- Belgini düşündirişsiz hödürlemek. "47 gezek geçdi" hiç zat diýmeýär; Munuň manysyny döredýärsiň.
- Tekstiň uzynlygyna ähmiýet bermezlik. Liriki dürlüligiň derejesi uzynlyga duýgur.
- Toplumyny barlamazdan tezis taýýarlamak. AI däl jübütler teklip edip bilerler; Tekstden tassyklaň.
- Gaty düşündiriş. AI tarapyndan subut edilen "sebäpleri" subutnamasyz kabul etmäň.
Gysgaça
Korpus derňewi edebiýatyň sanalýan tarapyny açýar: ýygylyk, ýygyndy, söz baýlygy, döwürleýin üýtgeşiklik. AI nagyşlary tanamakda we netijeleri düşündirmekde bu ugurda güýçlidir; ýöne mutlak hasaplamakda ygtybarly däl. Aýry gural bilen belgini barlaň, tekstdäki ýygyndylary tassyklaň we her sanyň manysyny özüňiz kesgitläň. San subutnama däl, subutnamanyň gapysydyr.
Programma meselesi
Gysga tekst saýlaň (500-1000 söz). Mazmun sözüni kesgitläň (meselem, "gije" ýa-da "ýol"). Ilki bilen tekstde özüňizi hasaplaň. Soňra AI sanap görüň. Iki netijäni deňeşdiriň; Tapawut bar bolsa, sebäbini derňäň. Soňra tekstdäki şol sözüň işleýşi barada bir abzas düşündiriş ýazyň - belgini manysyna öwüriň.
gözegçilik sanawy
- [] Açyk lingwistik sorag berdim.
- [] Korpusyň çäklerini kesgitledim (tekst, neşir, döwür).
- [] AI-iň hasaplamasyny ikinji gezek barladym.
- [] Tekstdäki ýygyndylary tassykladym.
- [] Belgini düşündirişsiz goýmadym; Manysyny özüm döretdim.