Biological Data Analysis Fundamentals gamit ang Python — Artipisyal na Katalinuhan sa Biology

Mga nadagdag:

Kakayahang magtiwala sa deterministikong output sa pamamagitan ng pagsulat ng code na nagbabasa at naglilinis ng biological data sa artificial intelligence at nagpapatakbo nito mismo sa Pandas, NumPy at Biopython
Ang kakayahang maiwasan ang panganib ng 'maling code na gumagana nang walang mga error' sa pamamagitan ng pagsubok sa code na may maliit na sitwasyon kung saan ang resulta ay alam at isang assert test.
Kakayahang magtatag ng paulit-ulit na pagsusuri gamit ang pag-pin ng bersyon, randomness seeding at mga gawi sa pangangalaga ng raw data

Ang wika ng modernong biology ay lalong nagiging Python. Ang manu-manong pagpoproseso sa isang lab notebook ay nagiging mga linya ng pagpoproseso ng code sa libu-libong linya ng mga talahanayan bawat segundo. Sa unit na ito, matututunan nating gamitin ang AI bilang isang co-programmer na nagpi-print ng Python code na nagbabasa, naglilinis, at nagbubuod sa iyong biological data. Ang mahalagang bagay ay isulat ang code sa artificial intelligence, patakbuhin ito sa iyong sarili at i-verify ang resulta; Ito ay dahil hindi ito umaasa sa verbal na hula ng modelo, ngunit sa deterministic (nagbibigay ng parehong resulta sa bawat pagtakbo) na output ng code.

Hindi mo kailangang malaman kung paano mag-code sa unit na ito; Matututo kang ipahayag nang tama ang intensyon at ibigay ang output.

Bakit Python at aling mga aklatan?

Ang pinaka ginagamit na Python library (library: package of ready-made functions) sa biology ay:

pandas: Upang basahin ang tabular data (CSV, Excel) at magsagawa ng mga pagpapatakbo ng row-column. Pangunahing tool upang i-filter, pangkat, pagsamahin ang isang talahanayan ng expression ng gene.
NumPy: Para sa mga numeric arrays at matrix operations; Tumatakbo ito sa ilalim ng mga panda.
Biopython: Para sa pagtatrabaho sa DNA/RNA/protein sequence, pagbabasa ng FASTA file, pagsasalin (pagsasalin ng DNA sa protina).
matplotlib / seaborn: Para sa paglalagay ng mga plot.
SciPy/statsmodels: Para sa mga pagsusulit sa istatistika.

Alam na alam ng artificial intelligence ang mga aklatang ito. Ang iyong trabaho ay malinaw na sabihin kung ano ang gusto mong gawin sa kung aling library at upang patakbuhin at i-verify ang nabuong code.

Hint: Ang modelo ay maaaring minsan ay "make up" (hallucinate) ng isang library function na wala. Kung nagbibigay ng error ang code, huwag mag-panic; pag-paste ng error pabalik sa modelo gaya ng karaniwang pag-aayos nito. Kung hindi pa rin ito gumana, tingnan ang opisyal na dokumentasyon.

Hakbang-hakbang: pag-clear ng talahanayan ng pagbibilang

Sabihin nating mayroon kang counts.csv: ang mga row ay mga gene, ang mga column ay mga sample, ang mga cell ay mga raw read count. Karaniwang unang hakbang:

Naglo-load: Basahin ang talahanayan na may mga panda.
Pagtuklas: Suriin ang laki (kung gaano karaming mga gene, gaano karaming mga sample), mga nawawalang halaga, mga duplicate na pangalan ng gene.
Pag-filter: Itapon ang mga gene na hindi nababasa sa anumang sample (kabuuang bilang 0); ang ingay nito.
Summarize: Kalkulahin ang kabuuang bilang ng mga nabasa sa bawat sample (laki ng library); Maaaring nabigo ang sample na masyadong mababa.

Maaari mong i-outsource ang workflow na ito sa artificial intelligence tulad ng sumusunod:

Tungkulin: Isa kang Python assistant na nakatuon sa bioinformatics. Gawain: Basahin ang counts.csv file na may mga panda. Data: ang mga row ay gene (index=gene_id), ang mga column ay 24 na sample, ang mga value ay integer raw na bilang. Gusto kong: (1) i-print ang laki, (2) itapon ang mga gene na hindi kailanman nabasa, (3) ipakita ang kabuuang nabasa sa bawat sample sa isang bar graph. Magdagdag ng maikling Turkish na komento sa bawat linya. Magbigay lang ng working code.

Bumubuo ng code ng modelo; patakbuhin mo ito. Kung makakita ka ng 24 na column at makatuwirang bilang ng mga gene (hal. 15,000-25,000) sa output, nasa track ka. Kung ang isang sample ay naglalaman ng ikasampu ng dami ng mga pagbabasa kaysa sa iba, isulat ang sample na iyon.

tatlong mini case

Kaso 1 — Nawawalang halaga ng bitag: Ang isang mag-aaral ay kinakalkula ang mean sa isang 30-sample na talahanayan ng metabolomics; Ang resulta ay walang katotohanan. Problema: ang mga nawawalang cell ay napunan ng text na "ND" sa halip na NaN (hindi isang numero), kaya binasa ang column bilang text. Naayos ito nang sabihin ko sa artificial intelligence na "Gumawa ng ND values NaN at i-convert ang column sa mga numero". Lesson: laging galugarin ang raw data muna.

Case 2 — Error sa pag-merge: Pinagsama ng isang mananaliksik ang dalawang talahanayan (expression at gene annotation) ngunit 2,000 genes ang nawala. Dahilan: sa isang talahanayan ang mga ID ay "ENSG00000141510", sa isa naman ay "ENSG00000141510.14" (na may numero ng bersyon). Sumulat ang modelo ng isang linya ng code na nag-clear sa numero ng bersyon; Ang pagkawala ay nabawasan sa 40 genes. Aralin: ihanay ang mga format ng ID bago pagsamahin ang mga ito.

Kaso 3 — Tahimik na pagkawala ng data: Hindi napansin ng isang technician na pagkatapos ng pag-filter, ang bilang ng mga gene ay bumaba mula 22,000 hanggang 8,000; ang threshold ay hindi naitakda nang tama (>10 kabuuan sa halip na >10 pagbabasa sa bawat sample). Sa wakas, nawawala ang isang kilalang gene (housekeeping gene: mga gene gaya ng GAPDH na palaging ipinapahayag sa bawat cell). Aralin: tingnan kung may "dapat may" gene post-filter.

Pagsubok na may alam na sitwasyon (pinakamahalagang ugali)

Ang pinakatiyak na paraan upang magtiwala sa katumpakan ng code na isinulat ng artificial intelligence ay ang subukan ito sa isang maliit na sample na ang resulta ay alam mo nang maaga. Halimbawa, magbigay ng dummy table na may 5 row; manu-manong kalkulahin ang kabuuang; Tingnan kung ang code ay nagbibigay ng parehong resulta.

Magdagdag ng pagsubok sa filtering code na iyong isinulat: Bumuo ng maliit na DataFrame na binubuo ng 5 gene, 3 sample, sadyang itakda ang 2 gene sa zero, i-verify nang may paninindigan na eksaktong itinatapon ng filter ang 2 gene na ito. Gawing executable ang pagsubok.

iginiit na binabalaan ka kung ang code ay lumihis mula sa inaasahang pag-uugali. Ito ang pinakamatibay na kalasag laban sa panganib ng "silent false conclusion".

Mahinang prompt / Malakas na prompt

Mahina: "Linisin ang aking tsart."

Napakahusay: "counts.csv: rows gene (gene_id index), 24 na column na sample, values raw integer. Gawin ang sumusunod: iulat ang mga nawawalang value, itapon ang mga gene na sum hanggang 0 sa lahat ng sample, i-print ang kabuuang nabasa para sa bawat sample, ihambing ang gene count bago/pagkatapos ng filter. Ibigay lang ang gumagana, nagkomento na Python code."

Pagkakaiba: Tinutukoy ng malakas na prompt ang istraktura ng data, mga hakbang, at output ng pagpapatunay (bago/pagkatapos ng paghahambing). Ang modelo ay hindi kailangang hulaan.

Chart ng paghahambing: AI o manwal?

transaksyon

I-print sa artificial intelligence

i-verify ito sa iyong sarili

Pagbabasa ng CSV, conversion ng format

Suriin ang laki at uri

Pag-filter, pagpapangkat

Bilangin bago/pagkatapos

Pagsusulit sa istatistika

Oo (code)

Kumpirmahin ang mga pagpapalagay at pagsubok

"Ilang linya ang natitira?"

Hindi (hayaan ang bilang ng code)

Basahin ang output

Biyolohikal na kahulugan ng resulta

bahagyang

Kinakailangan ang komento ng eksperto

Mga karaniwang pagkakamali

Ang pag-asa sa bilang na ginawa ng modelo: "Ano ang average na expression?" Itanong ang tanong sa code, hindi sa modelo.
Hindi sinusuri ang mga uri ng data: Ang mga column ng mga numerong binasa tulad ng text ay tahimik na nagbabalik ng mga maling resulta.
Hindi sinusuri ang post-filter: I-verify na mayroon pa ring inaasahang gene.
Nakalimutan ang binhi ng randomness: Kung ang binhi ay hindi naayos sa code na naglalaman ng mga random na operasyon, ang resulta ay nagbabago sa bawat oras; may kapansanan ang repeatability.
Pagpapatakbo ng code nang hindi binabasa ito: Kahit na basahin ang mga komento at sundin ang lohika.

Pansin: Dahil lang sa gumagana ang code ay hindi nangangahulugan na tama ang code. "Maling code na gumagana nang walang mga error" ay ang pinaka-mapanganib na sitwasyon sa biology; dahil ang maling resulta ay ginawa nang tahimik. Ang pagsubok sa isang kilalang kondisyon ay nag-aalis ng panganib na ito.

Reproducibility: pang-agham na halaga ng code

Sa biology, ang pang-agham na halaga ng isang resulta ay nakasalalay sa kakayahan ng iba (at ang iyong sarili sa hinaharap) na kopyahin ito. Ang mga manu-manong pagpapatakbo ng talahanayan ay hindi naitala; Walang nakakaalam kung aling cell ang nagbabago at kung paano. Ang code ay nagdodokumento sa bawat hakbang. Samakatuwid, isipin ang pagsusuri na iyong ginawa gamit ang artificial intelligence bilang isang naka-imbak at nakabahaging talaan, hindi bilang isang beses na kahon.

Tatlong gawi ang mahalaga para sa isang paulit-ulit na pagsusuri. Ang una ay ang pag-pin ng bersyon: tandaan kung aling bersyon ng library ang iyong ginagamit (hal. pandas 2.2); Ang iba't ibang bersyon ay maaaring magbigay ng iba't ibang mga resulta. Ang pangalawa ay ang randomness seed: ayusin ang seed sa bawat code na naglalaman ng mga random na operasyon upang ang resulta ay pareho sa bawat run. Pangatlo, huwag baguhin ang hilaw na data: huwag hawakan ang orihinal na file, gawin ang lahat ng pagbabago sa code upang ito ay maibalik.

Magdagdag ng mga linya na nagpi-print ng mga bersyon ng mga aklatan na ginamit sa simula ng analysis code na iyong isinulat, at kung mayroong random na proseso, ayusin ang seed gamit ang sanp.random.seed(42). Huwag baguhin ang raw CSV, i-save ang lahat ng output sa isang hiwalay na file.

Jupyter notebook: kumbinasyon ng pagsusuri at salaysay

Ang pinaka ginagamit na kapaligiran sa bioinformatics ay ang Jupyter notebook (notebook: tool na pinagsasama ang code, output at paglalarawan sa parehong dokumento). Ang pagkakaroon ng AI ay bumuo ng code ayon sa mga cell ng notebook, sa bawat hakbang na pinaghihiwalay ng isang Markdown na paliwanag, ay ginagawang mas madali para sa iyo at sa iyong mga kasamahan na sundin ang pagsusuri. Ginagawa nitong isang nababasang notebook sa laboratoryo ang pagsusuri, hindi isang "itim na kahon".

Pagkilala sa mga biological na format ng file

Kapag nagpoproseso ng biological data gamit ang Python, palagi kang makakatagpo ng ilang mga format ng file. Bago mabasa ng modelo ang isang file nang tama, dapat itong malaman kung anong format ito; Kung mali ka sa format, mahuhulog ka sa bitag na "maling code na gumagana nang walang mga error." Ang pinakakaraniwan ay:

pormat

Nilalaman

angkop na sasakyan

CSV/TSV

Data ng talahanayan (expression, pagsukat)

mga panda

FASTA (.fa/.fasta)

Mga pagkakasunud-sunod ng DNA/RNA/protina

biopython

FASTQ (.fq)

Raw sequencing read + kalidad

Biopython, mga custom na tool

VCF

Listahan ng variant (mutation).

panda/pysam

GFF/GTF

Genome annotation (mga posisyon ng gene)

panda, gffutils

Kung hindi mo nakikilala ang isang format, ipatukoy muna ito sa modelo sa pamamagitan ng pagpapakita ng ilang sample na linya, pagkatapos ay hilingin ang read code:

Ibinibigay ko ang unang 5 linya ng file sa ibaba. Anong biofile format ito? Ipaliwanag ang kahulugan ng mga column/field, pagkatapos ay magbigay ng code na ligtas na nagbabasa (mga pagsusuri sa format) ang file na ito sa Python. Unang 5 linya: [i-paste]

Pinipigilan ng diskarteng ito ang mga tahimik na pagkakamali na nagmumula sa pagpapalagay ng anyo sa unang lugar.

Sa buod

Ang Python ang pangunahing wika sa pagproseso para sa biological data; pandas, NumPy at Biopython ang mga pangunahing kasangkapan. Mabilis na isinulat ng AI ang code na ito, ngunit pinapatakbo mo ito at na-verify ito. Ang pinaka-kritikal na ugali ay subukan ang code gamit ang isang maliit na sample na ang resulta ay alam mo at i-embed ang inaasahan sa code na may assert. Umasa sa deterministikong output ng code na iyong pinapatakbo, hindi sa pandiwang hula.

Gawain ng aplikasyon

Mag-print ng code na binasa ng AI ang CSV table na mayroon ka (o isang sample), i-print ang laki nito, at i-filter ang mga walang laman na gene. Pagkatapos ay magdagdag ng assert test mula sa modelo na may 5 linya ng dummy data. Patakbuhin ang code; Tandaan ang bilang ng mga gene bago at pagkatapos ng filter. Tingnan kung mayroon pa ring housekeeping gene (hal. GAPDH/ACTB) sa resulta.

checklist

[ ] Sinuri ko ang laki at mga uri ng data bago ito iproseso.
[ ] Malinaw kong pinangasiwaan ang mga nawawalang halaga.
[ ] Inihambing ko ang bilang ng mga row bago/pagkatapos ng filter.
[ ] Nagdagdag ako ng assert test na may alam na kundisyon.
[ ] Iniwan ko ang pagbibilang/pagkalkula sa code, hindi ang modelo.
[ ] Binasa ko ang mga komento ng code at sinunod ang lohika.