0:00

48:03

WGS Variant Calling: Variant calling with GATK - Part 1 | Detailed NGS Analysis Workflow

Bioinformagician·48:03·Technology·B2

Chương · 6

Chương 1·Introduction to Variant Calling and GATK Workflow

Hiển thị

Tiếng ViệtAuto-scroll

0:00

Music foreign Music all my previous videos we have mainly been focusing on RNA seek or single cell rnacy but in this video we are Switching gears and talking about other type of high throughput data that is a whole genome sequencing so this video we will be talking about variant calling which is a very commonly performed analysis on whole genome sequencing on whole exome

[Nhạc] nước ngoài [Nhạc] tất cả các video trước đây của tôi chúng ta chủ yếu tập trung vào RNA seek hoặc single cell rnacy nhưng trong video này chúng ta đang chuyển hướng và nói về loại dữ liệu thông lượng cao khác đó là giải trình tự toàn bộ hệ gen vì vậy video này chúng ta sẽ nói về variant calling đây là một phân tích rất thường được thực hiện trên giải trình tự toàn bộ hệ gen trên toàn bộ exome

0:36

sequencing data so today I want to demonstrate how to perform a variant calling that is called variance on whole genome sequencing data using get K best practice workflow so the aim of uh we're in calling analysis um is to start with sequencing reads and perform some steps to determine what variants are present in these reads so basically the intuition behind this analysis is to generate a

Dữ liệu giải trình tự vì vậy hôm nay tôi muốn trình diễn cách thực hiện variant calling được gọi là variance trên dữ liệu giải trình tự toàn bộ hệ gen bằng cách sử dụng quy trình thực hành tốt nhất của get K vì vậy mục tiêu của phân tích uh chúng ta đang gọi là phân tích calling um là bắt đầu với các reads giải trình tự và thực hiện một số bước để xác định những biến thể nào có mặt trong các reads này vì vậy về cơ bản trực giác đằng sau phân tích này là tạo ra một

1:02

file a variant call format file that is a VCF file that stores variants that are present in the data so the diagram at the bottom is like a high level overview of the steps that are typically performed in a variant calling analysis so the DNA sample is First Fed into a sequencer which gives out reads which are stored in faster or fast queue format and these reads are aligned to a

Tệp định dạng variant call tức là tệp VCF lưu trữ các biến thể có mặt trong dữ liệu vì vậy sơ đồ ở dưới cùng giống như tổng quan cấp cao về các bước thường được thực hiện trong phân tích variant calling vì vậy mẫu DNA trước tiên được đưa vào máy giải trình tự để tạo ra các reads được lưu trữ ở định dạng faster hoặc fast queue và những reads này được căn chỉnh với một

1:23

reference genome so we get align reads which are in bam or Sam file format and using these aligned reads um we employ a variant calling algorithm that essentially calls variance identifies these variants and store them in a file called variant call format file that is a VCF file so today we are going to start with sequencing reads and we are going to perform various steps go into

Hệ gen tham chiếu vì vậy chúng ta nhận được các reads đã căn chỉnh ở định dạng tệp bam hoặc Sam và sử dụng những reads đã căn chỉnh này um chúng ta áp dụng một thuật toán variant calling mà về cơ bản gọi variance xác định những biến thể này và lưu trữ chúng trong một tệp gọi là tệp định dạng variant call tức là tệp VCF vì vậy hôm nay chúng ta sẽ bắt đầu với các reads giải trình tự và chúng ta sẽ thực hiện nhiều bước khác nhau đi vào

1:45

the details of each of these steps and ultimately call variance in our data and generate a VCF file So since today we are using a gadki best practice workflow I want to talk about what is Gad K so Gad K stands for genome analysis toolkit and is the industry standard toolkit for analyzing and identifying variants and get is basically designed for whole uh human

Chi tiết của từng bước này và cuối cùng gọi variance trong dữ liệu của chúng ta và tạo ra một tệp VCF Vì vậy vì hôm nay chúng ta đang sử dụng quy trình thực hành tốt nhất của gadki tôi muốn nói về Gad K là gì vì vậy Gad K là viết tắt của genome analysis toolkit và là bộ công cụ tiêu chuẩn công nghiệp để phân tích và xác định các biến thể và get về cơ bản được thiết kế cho toàn bộ uh người

2:10

whole genome and whole exome sequencing data so gadki essentially is a package of command line tools that are written in Java and these tools they have plethora of tools and these tools can be used individually or can be chained together into complete workflows and these tools can be used for Next Generation sequencing data processing genotyping and variant Discovery variant

Dữ liệu giải trình tự toàn bộ hệ gen và toàn bộ exome vì vậy gadki về cơ bản là một gói các công cụ dòng lệnh được viết bằng Java và những công cụ này chúng có vô số công cụ và những công cụ này có thể được sử dụng riêng lẻ hoặc có thể được xâu chuỗi với nhau thành các quy trình hoàn chỉnh và những công cụ này có thể được sử dụng cho xử lý dữ liệu giải trình tự thế hệ tiếp theo genotyping và khám phá biến thể variant

2:32

filtering and evaluation gadke also provides end-to-end workflows which are gadki best practice uh workflows which are tailored for specific use cases and gadke is very evolving and adapting to emerging sequencing Technologies and has a very active user community and extensive amount of documentation there has never been a time or an occasion where I haven't found a solution to a problem on

Lọc và đánh giá gadke cũng cung cấp các quy trình đầu cuối đó là các quy trình thực hành tốt nhất của gadki được điều chỉnh cho các trường hợp sử dụng cụ thể và gadke rất phát triển và thích ứng với các công nghệ giải trình tự mới nổi và có một cộng đồng người dùng rất năng động và lượng tài liệu phong phú chưa bao giờ có thời điểm hay dịp nào mà tôi không tìm thấy giải pháp cho một vấn đề trên

2:58

gadki Forum or in the documentation and so today for this demonstration I decided to follow and demonstrate a best practice get key workflow in the previous video where we were discussing a VCF file format we did take a look at uh how different types of variants were represented in a VCF file so we took a look at how a snip or an insertion or a deletion or even a

Diễn đàn Gadki hoặc trong tài liệu và vì vậy hôm nay cho phần trình diễn này tôi quyết định làm theo và trình diễn một quy trình get key thực hành tốt nhất trong video trước nơi chúng ta đang thảo luận về định dạng tệp VCF chúng ta đã xem xét uh cách các loại biến thể khác nhau được biểu diễn trong tệp VCF vì vậy chúng ta đã xem cách một snip hoặc một insertion hoặc một deletion hoặc thậm chí một

3:21

structural variant was represented in a VCF file so variant is nothing but it's an alteration in a DNA sequence and this alteration can be benign or pathogenic or of unknown significance so one of the criteria to determine the various steps you would essentially perform in a variant calling analysis would be dependent on whether you want to call germline mutations or somatic

Biến thể cấu trúc được biểu diễn trong tệp VCF vì vậy biến thể không gì khác ngoài một sự thay đổi trong trình tự DNA và sự thay đổi này có thể lành tính hoặc gây bệnh hoặc có ý nghĩa chưa biết vì vậy một trong những tiêu chí để xác định các bước khác nhau mà bạn về cơ bản sẽ thực hiện trong phân tích variant calling sẽ phụ thuộc vào việc bạn muốn gọi đột biến germline hay somatic

3:43

mutations whether the variant is a germline variant that you're interested or a somatic germline variants or mutations are the ones that are inherited from the parents via the germ cell that is the sperm and the oocyte whereas somatic mutations are the mutations that are acquired but are not inherited so to give you an example of a somatic mutation or let's say a variant

Đột biến liệu biến thể là biến thể germline mà bạn quan tâm hay biến thể somatic các biến thể hoặc đột biến germline là những biến thể được di truyền từ cha mẹ qua tế bào mầm tức là tinh trùng và trứng trong khi đột biến somatic là những đột biến mắc phải nhưng không được di truyền vì vậy để cho bạn một ví dụ về đột biến somatic hoặc giả sử một biến thể

4:04

is present in a stem cell in an infant so all the cells that are derived from the stem cell will have that variant but that variant will not be present on all in all the other cells in that infant in order to distinguish whether the mutation or a variant is germline or somatic one has to sequence the tumor sample along with a matched normal so consider an example of an individual

Có mặt trong một tế bào gốc ở một đứa trẻ sơ sinh vì vậy tất cả các tế bào có nguồn gốc từ tế bào gốc sẽ có biến thể đó nhưng biến thể đó sẽ không có mặt trên tất cả các tế bào khác trong đứa trẻ đó để phân biệt liệu đột biến hoặc biến thể là germline hay somatic người ta phải giải trình tự mẫu khối u cùng với một mẫu bình thường tương ứng hãy xem xét một ví dụ về một cá nhân

4:27

with lung cancer if we want to identify somatic mutations from this individual along with the tumor biopsy from the lung one has to also get a matched normal from the blood so um germline mutations are also involved in pathogenesis but it has been found that somatic variants are typically more involved in a disease and hence they are of special interest without having a

Bị ung thư phổi nếu chúng ta muốn xác định các đột biến somatic từ cá nhân này cùng với sinh thiết khối u từ phổi người ta cũng phải lấy một mẫu bình thường tương ứng từ máu vì vậy um các đột biến germline cũng liên quan đến sinh bệnh học nhưng người ta đã phát hiện ra rằng các biến thể somatic thường liên quan nhiều hơn đến một bệnh và do đó chúng được đặc biệt quan tâm mà không có một

4:51

matched normal one cannot distinguish whether the variant is germline or somatic because every genome contains tens of thousands of mutations and so a match normal from the same donor is necessary to identify whether the mutation is germline or somatic so for today's demonstration we are going to call germline variants and we are going to use germline short variant

Mẫu bình thường tương ứng người ta không thể phân biệt liệu biến thể là germline hay somatic bởi vì mỗi hệ gen chứa hàng chục nghìn đột biến và vì vậy một mẫu bình thường tương ứng từ cùng một người hiến tặng là cần thiết để xác định liệu đột biến là germline hay somatic vì vậy cho phần trình diễn hôm nay chúng ta sẽ gọi các biến thể germline và chúng ta sẽ sử dụng quy trình thực hành tốt nhất của gadki khám phá biến thể ngắn germline

5:14

Discovery gadki best practice workflow I will add the link to this workflow in the description section below so basically this workflow has three steps the first step is data pre-processing which mainly involves getting analysis ready reads uh and using these analysis ready reads we call a variant calling algorithm to call variance which is the second step and once we have the

Tôi sẽ thêm liên kết đến quy trình này trong phần mô tả bên dưới vì vậy về cơ bản quy trình này có ba bước bước đầu tiên là tiền xử lý dữ liệu chủ yếu liên quan đến việc lấy các reads sẵn sàng cho phân tích uh và sử dụng những reads sẵn sàng cho phân tích này chúng ta gọi một thuật toán variant calling để gọi variance đây là bước thứ hai và một khi chúng ta có

5:35

variance called we use these variants and filter them and annotate and predict the effects of these variants on genes so today we are going to mainly focus on various steps that go in data preprocessing and calling variance on analysis ready reads using gatkey's haplotype caller and calling raw Snips and indels uh once you have called this these raw variants you can filter and

Variance được gọi chúng ta sử dụng những biến thể này và lọc chúng và chú thích và dự đoán tác động của những biến thể này lên các gen vì vậy hôm nay chúng ta sẽ chủ yếu tập trung vào các bước khác nhau trong tiền xử lý dữ liệu và gọi variance trên các reads sẵn sàng cho phân tích bằng cách sử dụng haplotype caller của gatkey và gọi các Snips và indels thô uh một khi bạn đã gọi những biến thể thô này bạn có thể lọc và

6:01

annotate them and there are various tools like snip F or vep that can be used which annotates and predict the effects of these variants however for today's demonstration we are going to just stick with the first two steps so talking about data preprocessing steps we start with raw unmapped reads A in fastq files and we first perform quality control making sure that there

Chú thích chúng và có nhiều công cụ khác nhau như snip F hoặc vep có thể được sử dụng để chú thích và dự đoán tác động của những biến thể này tuy nhiên cho phần trình diễn hôm nay chúng ta sẽ chỉ dừng lại ở hai bước đầu tiên vì vậy nói về các bước tiền xử lý dữ liệu chúng ta bắt đầu với các reads thô chưa được ánh xạ A trong các tệp fastq và chúng ta đầu tiên thực hiện kiểm soát chất lượng đảm bảo rằng không

6:22

are no adapter sequences if there are then essentially we would trim them out and make sure that everything else with the reads um checks out I mean there are no major issues with the reads flag and once the quality control checks out we move on to mapping these reads to a reference genome and for that we need an algorithm to map the reads to the reference genome and here we are going

Có các trình tự adapter nếu có thì về cơ bản chúng ta sẽ cắt bỏ chúng và đảm bảo rằng mọi thứ khác với các reads um đều ổn ý tôi là không có vấn đề lớn nào với cờ reads và một khi kiểm tra chất lượng đạt yêu cầu chúng ta chuyển sang ánh xạ những reads này với một hệ gen tham chiếu và để làm điều đó chúng ta cần một thuật toán để ánh xạ các reads với hệ gen tham chiếu và ở đây chúng ta sẽ

6:43

to use pwa mem so bwa stands for Burrows wheeler aligner and it's basically used to map reads against a reference genome and bwa consists of three algorithms bwa backtrack bwa SW and bwa mem and each of these algorithms are designed for specific purposes so bwa backtrack is designed for Illumina sequence reads up to 100 base pairs bwa SW and mem are designed for sequences for longer

Sử dụng pwa mem vì vậy bwa là viết tắt của Burrows wheeler aligner và về cơ bản nó được sử dụng để ánh xạ các reads với một hệ gen tham chiếu và bwa bao gồm ba thuật toán bwa backtrack bwa SW và bwa mem và mỗi thuật toán này được thiết kế cho các mục đích cụ thể vì vậy bwa backtrack được thiết kế cho các reads giải trình tự Illumina lên đến 100 cặp base bwa SW và mem được thiết kế cho các trình tự dài hơn

7:11

sequences ranging from 70 base pairs to 1mb we are going to go with bwa meme because it is recommended for high quality queries as it is faster and more accurate in addition to that it can also perform gapped alignment for identification of indels and it can effectively map paired entries it can also perform soft clipping that is it can clip ends if they do not match and

Các trình tự từ 70 cặp base đến 1mb chúng ta sẽ chọn bwa meme vì nó được khuyến nghị cho các truy vấn chất lượng cao vì nó nhanh hơn và chính xác hơn ngoài ra nó cũng có thể thực hiện căn chỉnh có khoảng trống để xác định các indels và nó có thể ánh xạ hiệu quả các cặp reads nó cũng có thể thực hiện soft clipping tức là nó có thể cắt các đầu nếu chúng không khớp và

7:35

it has a moderate memory requirement so when aligning raw reads to a reference genome using an aligner like bwa mem uh the reads are the Align reads are stored in a Sam or bam file and sometimes the Sam of the BAM file will miss certain information the information we are talking about here is a read group so basically the term read group refers to a set of read that are

Nó có yêu cầu bộ nhớ vừa phải vì vậy khi căn chỉnh các reads thô với một hệ gen tham chiếu bằng cách sử dụng một aligner như bwa mem uh các reads là các reads đã căn chỉnh được lưu trữ trong tệp Sam hoặc bam và đôi khi tệp Sam của BAM sẽ thiếu một số thông tin nhất định thông tin chúng ta đang nói ở đây là một read group vì vậy về cơ bản thuật ngữ read group đề cập đến một tập hợp các read được

7:57

generated from a single run of a sequencing instrument so all the reads that are derived from a single Library preparation from a single biological sample that are run on a single Lane on a flow cell will have the same treatment now these regroup tags are present in the header section of the Sam or bam files if you're not sure what the header section of the Sam or bam file looks

Tạo ra từ một lần chạy duy nhất của một thiết bị giải trình tự vì vậy tất cả các reads có nguồn gốc từ một lần chuẩn bị thư viện duy nhất từ một mẫu sinh học duy nhất được chạy trên một Lane duy nhất trên một flow cell sẽ có cùng cách xử lý bây giờ các thẻ regroup này có mặt trong phần header của tệp Sam hoặc bam nếu bạn không chắc phần header của tệp Sam hoặc bam trông

8:17

like you can refer to the video where we have spoken about the Sam and Bam file format I will add the link to that video in the description section below so this read group tag which is present in the header section of the Sam or bam file will have information on the ID or unique ID that is associated with the reads the sequencing platform information DNA preparation Library ID

Như thế nào bạn có thể tham khảo video nơi chúng ta đã nói về định dạng tệp Sam và Bam tôi sẽ thêm liên kết đến video đó trong phần mô tả bên dưới vì vậy thẻ read group này có mặt trong phần header của tệp Sam hoặc bam sẽ có thông tin về ID hoặc ID duy nhất được liên kết với các reads thông tin nền tảng giải trình tự ID thư viện chuẩn bị DNA

8:38

sample names and so on and so forth so this tag can give us information on the IDS that are associated with a read uh what is the sequencing platform used and what sample these reads are derived from so at this point you would question as to why is it important to have this read group tag in the Sam or bam file because when you use these uh aligned reads in the downstream processing a lot

Tên mẫu và vân vân và vân vân vì vậy thẻ này có thể cung cấp cho chúng ta thông tin về các ID được liên kết với một read uh nền tảng giải trình tự nào được sử dụng và những reads này có nguồn gốc từ mẫu nào vì vậy tại thời điểm này bạn sẽ thắc mắc tại sao việc có thẻ read group này trong tệp Sam hoặc bam lại quan trọng bởi vì khi bạn sử dụng những reads đã căn chỉnh này trong xử lý hạ nguồn rất nhiều

9:05

of tools are gather information from these recruits so bwa mem has a parameter called hyphen r that allows you to add this read group information in the resulting Sam or bam files I will be demonstrating how to add this regroup information when we move on to the demonstration part of this video so once we have the aligned reads next we want to flag the duplicate rates so

Công cụ thu thập thông tin từ những recruits này vì vậy bwa mem có một tham số gọi là hyphen r cho phép bạn thêm thông tin read group này vào các tệp Sam hoặc bam kết quả tôi sẽ trình diễn cách thêm thông tin regroup này khi chúng ta chuyển sang phần trình diễn của video này vì vậy một khi chúng ta có các reads đã căn chỉnh tiếp theo chúng ta muốn đánh dấu các reads trùng lặp vì vậy

9:29

during sequencing process the same DNA fragments may be sequenced multiple times so duplicate reads can arise during sample preparation step that is Library construction during PCR so it is important to eliminate these duplicate reads as these are not informative and can be considered as evidence for or against or variant if we do not remove the duplicate reads we can risk having

Trong quá trình giải trình tự các đoạn DNA giống nhau có thể được giải trình tự nhiều lần vì vậy các reads trùng lặp có thể phát sinh trong bước chuẩn bị mẫu tức là xây dựng thư viện trong PCR vì vậy điều quan trọng là loại bỏ những reads trùng lặp này vì chúng không mang thông tin và có thể được coi là bằng chứng ủng hộ hoặc chống lại một biến thể nếu chúng ta không loại bỏ các reads trùng lặp chúng ta có thể có nguy cơ bị

9:53

over representation in our sequence of areas that are preferentially Amplified during PCR so these duplicate reads are not removed per se from the Sam or bam files but these are flat as duplicate reads so the second column in a Sam file is known as a bitwise flag and the flag value indicates that the read is flat as a duplicate in one of the videos previously we have spoken about Sam

Đại diện quá mức trong trình tự của chúng ta ở những vùng được khuếch đại ưu tiên trong PCR vì vậy những reads trùng lặp này không bị loại bỏ hoàn toàn khỏi tệp Sam hoặc bam mà chúng được đánh dấu là reads trùng lặp vì vậy cột thứ hai trong tệp Sam được gọi là cờ bitwise và giá trị cờ chỉ ra rằng read được đánh dấu là trùng lặp trong một trong những video trước đây chúng ta đã nói về Sam

10:17

flags and what do they mean so I will add the link to that video in the description section below so once these reads are flagged as duplicates they will then be ignored by all the downstream categy tools so for this step we will be using Mark duplicate spark uh tool from gadke which performs both the duplicate marking step as well as sorting the alignment files

Các cờ và ý nghĩa của chúng vì vậy tôi sẽ thêm liên kết đến video đó trong phần mô tả bên dưới vì vậy một khi những reads này được đánh dấu là trùng lặp chúng sẽ bị bỏ qua bởi tất cả các công cụ categy hạ nguồn vì vậy cho bước này chúng ta sẽ sử dụng công cụ Mark duplicate spark uh từ gadke công cụ này thực hiện cả bước đánh dấu trùng lặp cũng như sắp xếp các tệp căn chỉnh

10:39

so the last step in data preprocessing is to recalibrate base quality scores so we're in calling algorithms rely heavily on the quality scores that are assigned to individual bases in each sequencing rate uh this is because the quality score can tell us how much we trust that particular base at that location uh so if we have a base call that has a low quantity score that means that we are

Vì vậy bước cuối cùng trong tiền xử lý dữ liệu là hiệu chỉnh lại điểm chất lượng base vì vậy các thuật toán gọi chúng ta đang gọi dựa rất nhiều vào điểm chất lượng được gán cho từng base riêng lẻ trong mỗi lần đọc giải trình tự uh điều này là vì điểm chất lượng có thể cho chúng ta biết chúng ta tin tưởng base cụ thể đó tại vị trí đó đến mức nào uh vì vậy nếu chúng ta có một base call có điểm chất lượng thấp điều đó có nghĩa là chúng ta

11:02

not sure whether we actually see that base at that location or whether it could be something else so in other words we don't trust it as much as we trust the other base calls that have high quality scores so basically these quality scores serve as evidence that we have for or against uh a variant that exists at a particular site unfortunately the scores are produced by

Không chắc liệu chúng ta thực sự thấy base đó tại vị trí đó hay liệu nó có thể là thứ gì khác vì vậy nói cách khác chúng ta không tin tưởng nó nhiều như chúng ta tin tưởng các base call khác có điểm chất lượng cao vì vậy về cơ bản những điểm chất lượng này đóng vai trò là bằng chứng mà chúng ta có để ủng hộ hoặc chống lại uh một biến thể tồn tại tại một vị trí cụ thể thật không may các điểm số được tạo ra bởi

11:26

machines are subjected to various sources of systemic technical errors uh which can lead to over or underestimation of these quality scores in the data these errors are due to physics or chemistry of how sequencing reaction works and some are probably due to manufacturing flaws in the equipment so base quality score recalibration is a process in which we apply machine

Máy móc phải chịu nhiều nguồn lỗi kỹ thuật hệ thống khác nhau uh có thể dẫn đến đánh giá quá cao hoặc quá thấp những điểm chất lượng này trong dữ liệu những lỗi này là do vật lý hoặc hóa học của cách phản ứng giải trình tự hoạt động và một số có thể là do lỗi sản xuất trong thiết bị vì vậy hiệu chỉnh lại điểm chất lượng base là một quá trình trong đó chúng ta áp dụng máy

11:48

learning to model these errors and adjust the quality scores accordingly so this allows us to get more accurate base qualities and it improves the accuracy of variant calls so providing high level overview of how base quality score decalibration works so we provide the Gad K based recalibrator with a set of known variants and get K based recalibrator analyzes all reads looking

Học để mô hình hóa những lỗi này và điều chỉnh điểm chất lượng cho phù hợp vì vậy điều này cho phép chúng ta có được chất lượng base chính xác hơn và nó cải thiện độ chính xác của các lệnh gọi biến thể vì vậy cung cấp tổng quan cấp cao về cách hiệu chỉnh lại điểm chất lượng base hoạt động vì vậy chúng ta cung cấp cho Gad K based recalibrator một tập hợp các biến thể đã biết và get K based recalibrator phân tích tất cả các reads tìm kiếm

12:12

for mismatches between the read and the reference and Skip those positions that are included in the node variance file Gadget base recalibrator computes statistics on the mismatches based on the reported quality score the position in the read and the sequencing context and based on the statistics and empirical quality score is assigned to each mismatch overwriting the original

Sự không khớp giữa read và tham chiếu và bỏ qua những vị trí được bao gồm trong tệp node variance Gadget base recalibrator tính toán thống kê về các không khớp dựa trên điểm chất lượng được báo cáo vị trí trong read và ngữ cảnh giải trình tự và dựa trên thống kê và điểm chất lượng thực nghiệm được gán cho mỗi không khớp ghi đè lên

12:35

reported quality score base quality score recalibration step is an optional Step At Its highly recommended a invade and calling analysis in the event that one does not have a known set of variants available then these can be generated by um by calling variance first without using the base quality score recalibration step and filtering the variance to obtain high confidence set of variants and then

Điểm chất lượng được báo cáo ban đầu bước hiệu chỉnh lại điểm chất lượng base là một bước tùy chọn nhưng rất được khuyến nghị trong phân tích gọi biến thể trong trường hợp người ta không có một tập hợp biến thể đã biết có sẵn thì những biến thể này có thể được tạo ra bằng cách um gọi variance trước tiên mà không sử dụng bước hiệu chỉnh lại điểm chất lượng base và lọc các variance để có được một tập hợp biến thể có độ tin cậy cao và sau đó

13:00

using those variants as an input for the base quality score recalibration step and this process is called as bootstrapping so the second part of this pipeline is variant Discovery so we apply a vein calling algorithm on analysis ready reads that we generated in the previous step so we are going to use hyper type caller um to call variance um from the reads so the choice of Varian calling algorithm

Sử dụng những biến thể đó làm đầu vào cho bước hiệu chỉnh lại điểm chất lượng base và quá trình này được gọi là bootstrapping vì vậy phần thứ hai của quy trình này là khám phá biến thể vì vậy chúng ta áp dụng một thuật toán gọi biến thể trên các reads sẵn sàng cho phân tích mà chúng ta đã tạo ở bước trước vì vậy chúng ta sẽ sử dụng hyper type caller um để gọi variance um từ các reads vì vậy việc lựa chọn thuật toán gọi biến thể

13:28

um has to be dependent on certain criteria like whether one wants to call germline variance or somatic variants whether the organism you're working with is deployed how many number of samples you're processing and whether the samples are pooled or unpooled so for today's demonstration we are we want to call germline variants uh and the organism we are working is deployed

Um phải phụ thuộc vào một số tiêu chí nhất định như liệu người ta muốn gọi variance germline hay biến thể somatic liệu sinh vật bạn đang làm việc có phải là deployed hay không có bao nhiêu mẫu bạn đang xử lý và liệu các mẫu có được gộp chung hay không gộp chung vì vậy cho phần trình diễn hôm nay chúng ta muốn gọi các biến thể germline uh và sinh vật chúng ta đang làm việc là deployed

13:49

because it is a human sample we are just working with one sample and hence the choice of even calling algorithm today is haplotype caller habitat color can handle multiple samples but it is not recommended to use hypotype caller when you are trying to analyze more than 100 samples at a time so for today's demonstration we are using data from thousand genomes project

Bởi vì đây là một mẫu người chúng ta chỉ làm việc với một mẫu và do đó việc lựa chọn thuật toán gọi biến thể hôm nay là haplotype caller habitat color có thể xử lý nhiều mẫu nhưng không được khuyến nghị sử dụng hypotype caller khi bạn đang cố gắng phân tích hơn 100 mẫu cùng một lúc vì vậy cho phần trình diễn hôm nay chúng ta đang sử dụng dữ liệu từ dự án thousand genomes

14:12

and for anyone who hasn't heard about this project this project is an effort to produce an extensive catalog of human genetic variation that will support future medical research studies so genomes of over 1000 unidentified individuals from around the world were sequenced using Next Generation sequencing Technologies and this data is available for anyone to access and

Và đối với bất kỳ ai chưa nghe về dự án này dự án này là một nỗ lực để tạo ra một danh mục phong phú về biến thể di truyền của người sẽ hỗ trợ các nghiên cứu y học trong tương lai vì vậy hệ gen của hơn 1000 cá nhân không được nhận dạng từ khắp nơi trên thế giới đã được giải trình tự bằng các công nghệ giải trình tự thế hệ tiếp theo và dữ liệu này có sẵn cho bất kỳ ai truy cập và

14:34

process so for our demonstration we are using parent reads a whole genome sequencing reads from an individual who was a part of phase three of this project I will be adding links to download this data in the description section below so while going through the demonstration there are certain things that I will not go into the details of so I'm assuming you have basic understandings of Linux

Xử lý vì vậy cho phần trình diễn của chúng ta chúng ta đang sử dụng parent reads các reads giải trình tự toàn bộ hệ gen từ một cá nhân là một phần của giai đoạn ba của dự án này tôi sẽ thêm liên kết để tải xuống dữ liệu này trong phần mô tả bên dưới vì vậy trong khi xem qua phần trình diễn có một số điều tôi sẽ không đi vào chi tiết vì vậy tôi giả định bạn có hiểu biết cơ bản về Linux

14:56

system I'm assuming you know how to write and execute A bash script I am assuming you understand Linux file systems and permissions and I'm assuming you would know how to download and install tools using command line and these are the requirements for today's demonstration so the gadki runs natively on most if not all flavors of Unix which includes Mac OS Linux and BSD

Hệ thống tôi giả định bạn biết cách viết và thực thi một bash script tôi giả định bạn hiểu hệ thống tệp và quyền của Linux và tôi giả định bạn biết cách tải xuống và cài đặt các công cụ bằng dòng lệnh và đây là những yêu cầu cho phần trình diễn hôm nay vì vậy gadki chạy nguyên bản trên hầu hết nếu không phải tất cả các phiên bản của Unix bao gồm Mac OS Linux và BSD

15:20

so it is possible to get it running on some versions of windows but get K does not provide support or instructions and even does not recommend to run get K on a Windows system so for all the windows user if you need to run Gad K and process this then I will recommend you to um get a virtual machine and install a Linux OS in your virtual machine because that's what I did when I was in

Vì vậy có thể chạy nó trên một số phiên bản của windows nhưng get K không cung cấp hỗ trợ hoặc hướng dẫn và thậm chí không khuyến nghị chạy get K trên hệ thống Windows vì vậy đối với tất cả người dùng windows nếu bạn cần chạy Gad K và xử lý điều này thì tôi sẽ khuyến nghị bạn um lấy một máy ảo và cài đặt một hệ điều hành Linux trong máy ảo của bạn bởi vì đó là những gì tôi đã làm khi tôi đang trong

15:50

my master's program we were recommended to get a virtual machine and install a Linux OS and perform all the bioinformatics analysis in Linux so I will recommend you to do that as well you will need Java 1.8 and for the tools um you will need cat K bwa first QC samptools and multi-qc for today's demonstration so before we start writing the script let us set up our directory by creating

Chương trình thạc sĩ của tôi chúng tôi được khuyến nghị lấy một máy ảo và cài đặt một hệ điều hành Linux và thực hiện tất cả các phân tích tin sinh học trong Linux vì vậy tôi sẽ khuyến nghị bạn làm điều đó tương tự bạn sẽ cần Java 1.8 và đối với các công cụ um bạn sẽ cần cat K bwa first QC samptools và multi-qc cho phần trình diễn hôm nay vì vậy trước khi chúng ta bắt đầu viết script hãy thiết lập thư mục của chúng ta bằng cách tạo

16:15

some folders in it so this is my project working directory and you can see that it is empty right now so I'm going to create some folders within it so folders to hold align reads to hold reads to hold scripts to hold results and to hold some data that we generate um the intermediate files that we generate during the pipeline so now you can see that we have five

Một số thư mục trong đó vì vậy đây là thư mục làm việc dự án của tôi và bạn có thể thấy rằng nó hiện đang trống vì vậy tôi sẽ tạo một số thư mục trong đó vì vậy các thư mục để chứa các reads đã căn chỉnh để chứa các reads để chứa các script để chứa kết quả và để chứa một số dữ liệu mà chúng ta tạo ra um các tệp trung gian mà chúng ta tạo ra trong quy trình vì vậy bây giờ bạn có thể thấy rằng chúng ta có năm

16:38

folders here and these folders are empty right now but we are soon going to populate these folders with the relevant data within it so now moving on to the script so this is a script and we first start by downloading the data So within our project working directory um you can see that we have subfolders so this helps to keep the data more organized so I want to download the

Thư mục ở đây và những thư mục này hiện đang trống nhưng chúng ta sẽ sớm điền vào những thư mục này dữ liệu liên quan trong đó vì vậy bây giờ chuyển sang script vì vậy đây là một script và chúng ta bắt đầu bằng cách tải xuống dữ liệu Vì vậy trong thư mục làm việc dự án của chúng ta um bạn có thể thấy rằng chúng ta có các thư mục con vì vậy điều này giúp giữ dữ liệu có tổ chức hơn vì vậy tôi muốn tải xuống

17:01

reads in the reads folder so I'm going to provide the path to where I want my files to be downloaded with wget when I'm downloading it so I will be providing the path the prefix for wget so that's where I want my reads to be downloaded in the reads folder so now let's save this and go to the terminal and let's run the script so our script is present within the script

Các reads trong thư mục reads vì vậy tôi sẽ cung cấp đường dẫn đến nơi tôi muốn các tệp của mình được tải xuống bằng wget khi tôi tải xuống vì vậy tôi sẽ cung cấp đường dẫn tiền tố cho wget vì vậy đó là nơi tôi muốn các reads của mình được tải xuống trong thư mục reads vì vậy bây giờ hãy lưu điều này và đi đến terminal và hãy chạy script vì vậy script của chúng ta có mặt trong thư mục script

17:32

folder so let's go to the script folder and now let's run uh so free we might need to give the permission for it to run first and now let's run the script so these files can take a couple of minutes as these are larger files so I will be adding the links to download these files in the description section below we finished downloading the reads and the reads are present within the reads

Thư mục vì vậy hãy đi đến thư mục script và bây giờ hãy chạy uh vì vậy free chúng ta có thể cần cấp quyền để nó chạy trước và bây giờ hãy chạy script vì vậy những tệp này có thể mất vài phút vì đây là những tệp lớn hơn vì vậy tôi sẽ thêm các liên kết để tải xuống những tệp này trong phần mô tả bên dưới chúng ta đã hoàn thành việc tải xuống các reads và các reads có mặt trong thư mục reads

17:59

folder so let us go back to our script after downloading the reads um and we are building this Pipeline with just one sample but let's say if you're running um and you're trying to create a way in calling pipeline for multiple samples in that case you will require some files that your pipeline will be reusing multiple times so these files need to be generated only once uh but these are the

Thư mục vì vậy hãy quay lại script của chúng ta sau khi tải xuống các reads um và chúng ta đang xây dựng Pipeline này chỉ với một mẫu nhưng giả sử nếu bạn đang chạy um và bạn đang cố gắng tạo một cách trong quy trình gọi biến thể cho nhiều mẫu trong trường hợp đó bạn sẽ cần một số tệp mà pipeline của bạn sẽ sử dụng lại nhiều lần vì vậy những tệp này chỉ cần được tạo một lần uh nhưng đây là những

18:23

files that are required um by getk programs so some of the files that you will be required to download and create uh so first we start by downloading the reference files this is a reference genome file and this the this is important because we are going to align our reads to the reference genome so basically we require a reference genome faster file so we will be downloading

Tệp được yêu cầu um bởi các chương trình getk vì vậy một số tệp bạn sẽ được yêu cầu tải xuống và tạo uh vì vậy đầu tiên chúng ta bắt đầu bằng cách tải xuống các tệp tham chiếu đây là một tệp hệ gen tham chiếu và điều này điều này quan trọng vì chúng ta sẽ căn chỉnh các reads của mình với hệ gen tham chiếu vì vậy về cơ bản chúng ta cần một tệp faster hệ gen tham chiếu vì vậy chúng ta sẽ tải xuống

18:46

the reference faster file followed by that we will be creating an index of the reference Anna dictionary of the reference and these are some of the intermediate files that get programs uh require and lastly if you remember we are going to in the data preprocessing step we are going to perform uh something called as base quality score recalibration and that step if you

Tệp faster tham chiếu tiếp theo đó chúng ta sẽ tạo một chỉ mục của tham chiếu Anna dictionary của tham chiếu và đây là một số tệp trung gian mà các chương trình get yêu cầu uh và cuối cùng nếu bạn nhớ chúng ta sẽ trong bước tiền xử lý dữ liệu chúng ta sẽ thực hiện uh một cái gì đó gọi là hiệu chỉnh lại điểm chất lượng base và bước đó nếu bạn

19:08

recall requires a file with known variance so we are also going to download these files so we're going to make sure that all these files are downloaded and are ready before we start creating our pipeline so that none of the downstream Gadget tools will throw any error regarding not being able to find these files so let us write the commands to download and create these files so we are going

Nhớ lại yêu cầu một tệp với các variance đã biết vì vậy chúng ta cũng sẽ tải xuống những tệp này vì vậy chúng ta sẽ đảm bảo rằng tất cả những tệp này được tải xuống và sẵn sàng trước khi chúng ta bắt đầu tạo pipeline của mình để không có công cụ Gadget hạ nguồn nào sẽ báo bất kỳ lỗi nào liên quan đến việc không thể tìm thấy những tệp này vì vậy hãy viết các lệnh để tải xuống và tạo những tệp này vì vậy chúng ta sẽ

19:30

to use wget again to download uh the reference faster file and we are going to download it at within this folder so once this gets downloaded I would also want to unzip or unzip the file because this file is gz compressed so I need to uncompress this file so this file will be present at this location and then the name of the file would be this so I want to unzip it so after gun

Sử dụng wget một lần nữa để tải xuống uh tệp faster tham chiếu và chúng ta sẽ tải xuống nó trong thư mục này vì vậy một khi điều này được tải xuống tôi cũng muốn giải nén hoặc unzip tệp vì tệp này được nén gz vì vậy tôi cần giải nén tệp này vì vậy tệp này sẽ có mặt tại vị trí này và sau đó tên của tệp sẽ là thế này vì vậy tôi muốn giải nén nó vì vậy sau gun

19:57

zipping I will have a g38.fa DOT faster without the dot gz extension next let us create the index file for the faster file and for indexing a faster file we will be using some tools Fai DX command and this is the file that we would want to index the output of this index file would be dot Fai the same file name with DOT Fai extension and it will be created in the

Nén lại, tôi sẽ có g38.fa nhanh hơn mà không có phần mở rộng .gz. Tiếp theo, hãy tạo tệp chỉ mục cho tệp nhanh hơn và để lập chỉ mục cho tệp nhanh hơn, chúng ta sẽ sử dụng một số công cụ lệnh Fai DX và đây là tệp mà chúng ta muốn lập chỉ mục. Đầu ra của tệp chỉ mục này sẽ là .fai, cùng tên tệp với phần mở rộng .fai và nó sẽ được tạo trong

20:29

same folder next we also need to create a dictionary file and for that we will be using get K command create sequence uh direct dictionary and it requires um the reference file so this is our reference file and the output would be the dictionary file with DOT dict extension so instead of dot f a it would be dot dict and again this file needs to be present in the same folder where we have the index

Cùng thư mục. Tiếp theo, chúng ta cũng cần tạo một tệp từ điển và để làm điều đó, chúng ta sẽ sử dụng lệnh get K để tạo từ điển chuỗi trực tiếp và nó yêu cầu tệp tham chiếu, vì vậy đây là tệp tham chiếu của chúng ta và đầu ra sẽ là tệp từ điển với phần mở rộng .dict, vì vậy thay vì .fai, nó sẽ là .dict và một lần nữa tệp này cần có mặt trong cùng thư mục nơi chúng ta có chỉ mục

21:00

file as well as the reference file so all these files need to be created in one folder and lastly let us also download the known sites variant sites for um base quality score recalibration steps so let us again use wget to download this file this is the file containing the sites for the known variance and again I want to download uh this in the same location where I have my reference files

Tệp cũng như tệp tham chiếu, vì vậy tất cả các tệp này cần được tạo trong một thư mục và cuối cùng, hãy tải xuống các biến thể trang web đã biết cho các bước hiệu chỉnh điểm chất lượng cơ sở. Vì vậy, hãy sử dụng lại wget để tải xuống tệp này. Đây là tệp chứa các trang web cho các biến thể đã biết và một lần nữa tôi muốn tải xuống tệp này ở cùng vị trí nơi tôi có các tệp tham chiếu của mình

21:30

and let us also download um the index file for the VCF because that will also be required by the programs and again it will go in the same folder so now you save the script and run the script to create these files in your folders again I already have downloaded and created these files so I will not be running this section of the code again but since you are going to build the

Và hãy cũng tải xuống tệp chỉ mục cho VCF vì nó cũng sẽ được yêu cầu bởi các chương trình và một lần nữa nó sẽ đi vào cùng thư mục. Vì vậy, bây giờ bạn lưu tập lệnh và chạy tập lệnh để tạo các tệp này trong thư mục của bạn. Một lần nữa, tôi đã tải xuống và tạo các tệp này rồi nên tôi sẽ không chạy lại phần mã này, nhưng vì bạn sẽ xây dựng

21:59

pipeline for the first time you will require these files and these files will only have to be generated once and they can be used and reused again with the other samples that you are trying to process once you have downloaded all your data and you have generated these files you will not be required to run this block of code again so I will be putting an if and then block to prevent this from

Đường ống lần đầu tiên, bạn sẽ cần các tệp này và các tệp này chỉ cần được tạo một lần và chúng có thể được sử dụng và tái sử dụng lại với các mẫu khác mà bạn đang cố gắng xử lý. Khi bạn đã tải xuống tất cả dữ liệu của mình và bạn đã tạo các tệp này, bạn sẽ không cần chạy lại khối mã này. Vì vậy, tôi sẽ đặt một khối if và then để ngăn điều này

22:22

re-running again and again every time you run it um with separate samples or let's say if you're running multiple samples you don't want these files to be recreated or the data to be downloaded every time a different a sample is processed so this saves much of your time and memory in your system as for the next steps in the effort to make the code appear clean I'm going to

Chạy lại nhiều lần mỗi khi bạn chạy nó với các mẫu riêng biệt hoặc giả sử nếu bạn đang chạy nhiều mẫu, bạn không muốn các tệp này được tạo lại hoặc dữ liệu được tải xuống mỗi khi một mẫu khác được xử lý. Vì vậy, điều này tiết kiệm nhiều thời gian và bộ nhớ trong hệ thống của bạn. Đối với các bước tiếp theo trong nỗ lực làm cho mã trông sạch sẽ, tôi sẽ

22:46

save the parts to certain files and folders in the variables uh because this will save us from rewriting the parts again in the script making the script look very uh messy so just to make it more organized and easier to understand I'm just going to save the parts to some files and folders within the within some variables so we are going to save the parts to reference and Loan side files

Lưu các đường dẫn đến một số tệp và thư mục trong các biến vì điều này sẽ giúp chúng ta không phải viết lại các đường dẫn trong tập lệnh, khiến tập lệnh trông rất lộn xộn. Vì vậy, chỉ để làm cho nó có tổ chức hơn và dễ hiểu hơn, tôi sẽ lưu các đường dẫn đến một số tệp và thư mục trong một số biến. Vì vậy, chúng ta sẽ lưu các đường dẫn đến tệp tham chiếu và tệp trang web đã biết

23:13

um within some variables so let us start by providing the paths to these files so this is the reference um this is the path and the file uh with the complete path to reference file so I'm going to save it in a variable called reference then we have known sites files as well and the path for it is this so this is where the file is saved with the complete path now let us also

Trong một số biến. Vì vậy, hãy bắt đầu bằng cách cung cấp đường dẫn đến các tệp này. Đây là tham chiếu, đây là đường dẫn và tệp với đường dẫn đầy đủ đến tệp tham chiếu, vì vậy tôi sẽ lưu nó trong một biến gọi là reference. Sau đó, chúng ta có các tệp trang web đã biết và đường dẫn cho nó là thế này, vì vậy đây là nơi tệp được lưu với đường dẫn đầy đủ. Bây giờ hãy cũng

23:41

provide the path to the respective folders within our project working directory so that we will not have to write the path again and again so just going to the terminal and getting the project working directory and we also do it for reads we do it for results and finally for data this is a very common practice of saving the paths to the variable when writing bash scripts because this just helps to

Cung cấp đường dẫn đến các thư mục tương ứng trong thư mục làm việc của dự án để chúng ta không phải viết đường dẫn lại nhiều lần. Vì vậy, chỉ cần vào terminal và lấy thư mục làm việc của dự án và chúng ta cũng làm điều đó cho reads, chúng ta làm cho results và cuối cùng là cho data. Đây là một thực hành rất phổ biến khi lưu đường dẫn vào biến khi viết tập lệnh bash vì điều này chỉ giúp

24:28

make the code appear cleaner so now let us begin with the first step that is quality control of our reads assessing the quality of our reads making sure that we have good quality reads to begin with and use them for further processing so we use a tool called fastqc and we provide the path to the reads and as you know the pathways reads is saved in the reads um variable so we just interpolate that

Làm cho mã trông sạch sẽ hơn. Vì vậy, bây giờ hãy bắt đầu với bước đầu tiên, đó là kiểm soát chất lượng các reads của chúng ta, đánh giá chất lượng các reads của chúng ta, đảm bảo rằng chúng ta có các reads chất lượng tốt để bắt đầu và sử dụng chúng cho xử lý tiếp theo. Vì vậy, chúng ta sử dụng một công cụ gọi là fastqc và chúng ta cung cấp đường dẫn đến các reads và như bạn biết, đường dẫn reads được lưu trong biến reads, vì vậy chúng ta chỉ cần nội suy biến đó

24:51

variable and we need to provide the name of the rates so since these are paired end reads we will have two files the first file contains the forward set forward pairs so we are just going to provide the file name and output it again to the reads folder and we are going to repeat the same process for the second set of reads that is the reverse reads just to make a note here that the tools

Và chúng ta cần cung cấp tên của các reads. Vì đây là các reads paired-end, chúng ta sẽ có hai tệp, tệp đầu tiên chứa bộ forward, các cặp forward, vì vậy chúng ta chỉ cần cung cấp tên tệp và xuất nó lại vào thư mục reads và chúng ta sẽ lặp lại quy trình tương tự cho bộ reads thứ hai, đó là các reads reverse. Chỉ cần lưu ý ở đây rằng các công cụ

25:17

that I'm using the executable of these tools the paths to these executables are in my bash rco bash profile meaning that these tools are in my path and hence I do not need to provide the complete path to the executable but if you haven't added the executable to the path then I will recommend you to write the entire path uh to the executable for this Tool uh otherwise it will just throw you an

Mà tôi đang sử dụng, tệp thực thi của các công cụ này, đường dẫn đến các tệp thực thi này nằm trong bashrc hoặc bash profile của tôi, nghĩa là các công cụ này nằm trong PATH của tôi và do đó tôi không cần cung cấp đường dẫn đầy đủ đến tệp thực thi. Nhưng nếu bạn chưa thêm tệp thực thi vào PATH, thì tôi khuyên bạn nên viết toàn bộ đường dẫn đến tệp thực thi cho công cụ này, nếu không nó sẽ chỉ báo cho bạn một

25:43

error that it is not able to find this tool if you just directly try to execute it so just making a note of that here so now that we have saved this let us go back to the terminal and go to our script folder and run the sort now that this is finished running let us take a look at the folder contents and we can see that in addition to the sequencing reads we have files that are

Lỗi rằng nó không thể tìm thấy công cụ này nếu bạn chỉ cố gắng thực thi nó trực tiếp. Vì vậy, chỉ cần lưu ý điều đó ở đây. Bây giờ chúng ta đã lưu điều này, hãy quay lại terminal và đi đến thư mục tập lệnh của chúng ta và chạy tập lệnh. Bây giờ điều này đã chạy xong, hãy xem nội dung thư mục và chúng ta có thể thấy rằng ngoài các reads giải trình tự, chúng ta có các tệp được

26:09

generated ending in dot HTML and dot zip so I want to open the files ending in dot HTML to see um the results of the fast QC because these are the first QC reports uh so I'm just going to open them looking at the forward reads first um at first glance um this sample um these set of reads rather fail for the portal sequence quality and has been flagged for GC content but the rest of

Tạo ra kết thúc bằng .html và .zip. Vì vậy, tôi muốn mở các tệp kết thúc bằng .html để xem kết quả của fast QC vì đây là các báo cáo QC đầu tiên. Vì vậy, tôi sẽ mở chúng, xem các reads forward trước. Thoạt nhìn, mẫu này, bộ reads này thất bại ở chất lượng trình tự theo từng base và đã bị gắn cờ cho nội dung GC nhưng phần còn lại của

26:38

the metrics uh seems to check out so looking at the basic statistics the um the read uh the size of the reads are 100 base pairs and the GC content is 40 so I'm mainly going to check a couple of things starting with um whether there are any a poor quality basis present in the reads and here it seems that all the reads check out the per base sequence quality uh in addition to that this these set of

Các chỉ số có vẻ ổn. Vì vậy, nhìn vào thống kê cơ bản, kích thước của các reads là 100 base pairs và nội dung GC là 40. Vì vậy, tôi chủ yếu sẽ kiểm tra một vài điều, bắt đầu với việc liệu có bất kỳ base chất lượng kém nào trong các reads không và ở đây có vẻ như tất cả các reads đều ổn về chất lượng trình tự theo từng base. Ngoài ra, bộ reads này

27:04

reads are flagged for GC content but they did not fail the GC content so I'm not going to be very much worried about that and lastly I'm also going to check whether there is any adapter content present because if there are adapters present then I will have to trim those out before I align them um another note that if I do see um poor quality bases had it been that this had

Được gắn cờ cho nội dung GC nhưng chúng không thất bại ở nội dung GC, vì vậy tôi sẽ không lo lắng quá về điều đó. Và cuối cùng, tôi cũng sẽ kiểm tra xem có bất kỳ nội dung adapter nào không vì nếu có adapter, thì tôi sẽ phải cắt bỏ chúng trước khi căn chỉnh. Một lưu ý khác là nếu tôi thấy các base chất lượng kém, nếu điều này đã

27:26

been flagged or it failed for poor quality bases I would still not trim out the poor quality bases because um as the aligner that I'm using a perform soft clipping so it basically Clips off the bases that do not match and also I would risk shortening the length of my reads so that would result in um multiple incorrect mappings so I would not uh go for um trimming the Reeds of poor quality bases

Bị gắn cờ hoặc thất bại vì các base chất lượng kém, tôi vẫn sẽ không cắt bỏ các base chất lượng kém vì trình căn chỉnh mà tôi đang sử dụng thực hiện soft clipping, vì vậy nó về cơ bản cắt bỏ các base không khớp và tôi cũng sẽ có nguy cơ làm ngắn độ dài các reads của mình, điều đó sẽ dẫn đến nhiều ánh xạ không chính xác. Vì vậy, tôi sẽ không cắt bỏ các reads có base chất lượng kém

27:58

and a risk having shorter reads so looking at this test report this assessment report I'm not going to um perform any trimming and let's go to the reverse reads let's go to the second set of trees and it seems that at first glance these set of reads are flagged for per base sequence content and GC content but the rest of the metrics check out so the per base sequence quality looks great

Và có nguy cơ có các reads ngắn hơn. Vì vậy, nhìn vào báo cáo kiểm tra này, báo cáo đánh giá này, tôi sẽ không thực hiện bất kỳ cắt bỏ nào và hãy chuyển sang các reads reverse, hãy chuyển sang bộ reads thứ hai và có vẻ như thoạt nhìn, bộ reads này được gắn cờ cho nội dung trình tự theo từng base và nội dung GC nhưng phần còn lại của các chỉ số đều ổn. Vì vậy, chất lượng trình tự theo từng base trông tuyệt vời

28:28

the GC content is flagged again but I'm not worried about that very much um also I do not see any additional Peaks here so I'm not going to be concerned about it and lastly I do not see any adapter content so uh basically overall this report suggests that I do not have to perform trimming mainly to remove any um adapter sequences or trimming the poor quality bases

Nội dung GC lại bị gắn cờ nhưng tôi không lo lắng quá về điều đó. Ngoài ra, tôi không thấy bất kỳ đỉnh bổ sung nào ở đây nên tôi sẽ không quan tâm đến nó. Và cuối cùng, tôi không thấy bất kỳ nội dung adapter nào. Vì vậy, về cơ bản, tổng thể báo cáo này gợi ý rằng tôi không cần thực hiện cắt bỏ, chủ yếu để loại bỏ bất kỳ trình tự adapter nào hoặc cắt bỏ các base chất lượng kém

28:51

coming back to the script I'm just going to add a little comment here saying no trimming required as quality looks okay now that the quality of the reads um look great we can move on to the next step where we map these reads to a reference genome and we use um bwa aligner to do that so bwa also indexes reference uh because it allows it to be more efficient to search the genome

Quay lại tập lệnh, tôi sẽ thêm một chút bình luận ở đây nói rằng không cần cắt bỏ vì chất lượng có vẻ ổn. Bây giờ chất lượng của các reads trông tuyệt vời, chúng ta có thể chuyển sang bước tiếp theo, nơi chúng ta ánh xạ các reads này đến một bộ gen tham chiếu và chúng ta sử dụng trình căn chỉnh bwa để làm điều đó. Vì vậy, bwa cũng lập chỉ mục tham chiếu vì nó cho phép tìm kiếm bộ gen hiệu quả hơn

29:20

while performing the alignment so we use bwa index function to generate the index for the reference and since the reference file with the complete path is stored in the reference variable we are just going to provide um the variable here so that the script can interpolate the path and the file here and followed by that we can also provide the command to run the alignment

Trong khi thực hiện căn chỉnh. Vì vậy, chúng ta sử dụng hàm bwa index để tạo chỉ mục cho tham chiếu và vì tệp tham chiếu với đường dẫn đầy đủ được lưu trong biến reference, chúng ta chỉ cần cung cấp biến ở đây để tập lệnh có thể nội suy đường dẫn và tệp ở đây và sau đó, chúng ta cũng có thể cung cấp lệnh để chạy căn chỉnh

29:45

so we are going to use bwa mem as we previously discussed and we are going to use four threads and since we know that the resulting align reads the Sam or the BAM files will be missing a read group we will be providing the regroup information here so we provide the regroup information in double quotes with regroup in tag starts with at RG and this field is tab delimited so we

Vì vậy, chúng ta sẽ sử dụng bwa mem như đã thảo luận trước đó và chúng ta sẽ sử dụng bốn luồng và vì chúng ta biết rằng các reads căn chỉnh kết quả, tệp Sam hoặc BAM sẽ thiếu nhóm đọc, chúng ta sẽ cung cấp thông tin nhóm đọc ở đây. Vì vậy, chúng ta cung cấp thông tin nhóm đọc trong dấu ngoặc kép với thẻ nhóm đọc bắt đầu bằng @RG và trường này được phân tách bằng tab, vì vậy chúng ta

30:11

separate the fields by tab so the first value would be ID and here every read would be having a unique ID but since we just have one sample I'm just going to provide the name of the sample to be the ID followed by that we provide platform information which is Illumina and followed by that we provide the sample information and again since I'm just running one sample I'm just going

Phân tách các trường bằng tab. Vì vậy, giá trị đầu tiên sẽ là ID và ở đây mỗi read sẽ có một ID duy nhất nhưng vì chúng ta chỉ có một mẫu, tôi sẽ chỉ cung cấp tên của mẫu làm ID, tiếp theo chúng ta cung cấp thông tin nền tảng là Illumina và tiếp theo chúng ta cung cấp thông tin mẫu và một lần nữa vì tôi chỉ chạy một mẫu, tôi sẽ chỉ

30:38

to repeat the sample name here followed by that we provide the reference file and provide the reads so the reads are present in the reads folder and these are the names of the file and I want to Output the Align reads in a line reads folder so I'm going to provide the sample name and I want the Sam file so we are using bwa mem algorithm we are defining the read group we are providing

Lặp lại tên mẫu ở đây, tiếp theo chúng ta cung cấp tệp tham chiếu và cung cấp các reads. Vì vậy, các reads có trong thư mục reads và đây là tên của tệp và tôi muốn xuất các reads căn chỉnh vào thư mục align reads, vì vậy tôi sẽ cung cấp tên mẫu và tôi muốn tệp Sam, vì vậy chúng ta đang sử dụng thuật toán bwa mem, chúng ta đang xác định nhóm đọc, chúng ta đang cung cấp

31:22

the reference the reads and outputting Sam file and since we've already done the fastqc for our reads I'm not going to rerun it again and hence I am just commenting it out so now let's save the script and go to the terminal go to the script folder and let's run the script now that the alignment step has finished running I first want to show you the output files that are generated at each

Tham chiếu, các reads và xuất tệp Sam. Và vì chúng ta đã thực hiện fastqc cho các reads của mình rồi, tôi sẽ không chạy lại nó nữa và do đó tôi chỉ chú thích nó. Vì vậy, bây giờ hãy lưu tập lệnh và đi đến terminal, đi đến thư mục tập lệnh và chạy tập lệnh. Bây giờ bước căn chỉnh đã chạy xong, trước tiên tôi muốn cho bạn thấy các tệp đầu ra được tạo ra ở mỗi

31:48

step in the alignment so first we index the reference so let us take a look at what files that are created after the indexing so if you recall the first five files were downloaded and generated at the beginning of the script the next five files are what are BW index function generated so these were the files essentially that bwa used uh for alignment next let's take a look at the

Bước trong căn chỉnh. Vì vậy, đầu tiên chúng ta lập chỉ mục tham chiếu, vì vậy hãy xem những tệp nào được tạo ra sau khi lập chỉ mục. Nếu bạn nhớ, năm tệp đầu tiên đã được tải xuống và tạo ra ở đầu tập lệnh, năm tệp tiếp theo là những gì hàm BW index tạo ra, vì vậy đây về cơ bản là những tệp mà bwa đã sử dụng để căn chỉnh. Tiếp theo, hãy xem

32:16

folders so in the Align reads folder we can see that the aligned reads are um are present in the form of a DOT Sam file so let us take a look at these reads so we can use some tools view function to view the Sam file and taking a look at the Sam file we can see that there is there are various kinds of information uh present for the alignments we have previously discussed

Các thư mục. Vì vậy, trong thư mục Align reads, chúng ta có thể thấy rằng các reads căn chỉnh có mặt dưới dạng tệp .sam. Vì vậy, hãy xem các reads này, chúng ta có thể sử dụng hàm view của một số công cụ để xem tệp Sam và nhìn vào tệp Sam, chúng ta có thể thấy rằng có nhiều loại thông tin khác nhau có mặt cho các căn chỉnh. Chúng ta đã thảo luận trước đó

32:47

what a Sam file is and how to make sense of this information here in addition to viewing the alignments I also want to take a look at the flag stat the output of the flag star provides us with counts for various categories uh present in the Sam bitwise flag field so here we can get like bunch of information as to how many pairs of reads are present how many mapped how many duplicates how many are

Tệp Sam là gì và cách hiểu thông tin này. Ngoài việc xem các căn chỉnh, tôi cũng muốn xem flagstat. Đầu ra của flagstat cung cấp cho chúng ta số lượng cho các danh mục khác nhau có trong trường cờ bitwise của Sam. Vì vậy, ở đây chúng ta có thể nhận được một loạt thông tin như có bao nhiêu cặp reads, bao nhiêu đã được ánh xạ, bao nhiêu là bản sao, bao nhiêu là

33:13

supplementary uh and for now you can see that there are no reads uh mapped as duplicates and we previously discussed that um during uh generation of the sequencing reads there could be uh steps during Library preparation where we could have duplicate reads so it's important to flag these reads so the next step is to Mark duplicate reads so that and flag them so that the following

Bổ sung và hiện tại bạn có thể thấy rằng không có reads nào được ánh xạ là bản sao và chúng ta đã thảo luận trước đó rằng trong quá trình tạo các reads giải trình tự, có thể có các bước trong quá trình chuẩn bị thư viện nơi chúng ta có thể có các reads trùng lặp, vì vậy điều quan trọng là phải gắn cờ các reads này. Vì vậy, bước tiếp theo là đánh dấu các reads trùng lặp để gắn cờ chúng để các

33:40

programs and the downstream analysis uh the programs in gadki would identify these flags and would ignore these rates so we will utilize Gad case function Mark duplicate spark which performs both uh the flagging of the duplicate reads as well as sorting uh the Sam files so the input here would be um align rates so basically this file so I'm going to provide the complete

Chương trình tiếp theo và phân tích hạ nguồn, các chương trình trong gatk sẽ xác định các cờ này và sẽ bỏ qua các reads này. Vì vậy, chúng ta sẽ sử dụng hàm MarkDuplicatesSpark của Gatk, thực hiện cả việc gắn cờ các reads trùng lặp cũng như sắp xếp các tệp Sam. Vì vậy, đầu vào ở đây sẽ là các reads căn chỉnh, về cơ bản là tệp này, vì vậy tôi sẽ cung cấp đường dẫn đầy đủ

34:09

path as well as the file name and I want to Output the deduplicator sorted reads again in the Align reads folder and I'm going to name this as the sample name underscore sorted underscore deduplicated reads dot back again we have previously run these commands I'm just going to comment it out because I don't want to run them again let's save the script and go to our

Cũng như tên tệp và tôi muốn xuất các reads đã khử trùng lặp và sắp xếp lại vào thư mục Align reads và tôi sẽ đặt tên này là tên mẫu _sorted_deduplicated_reads.bam. Một lần nữa, chúng ta đã chạy các lệnh này trước đó, tôi sẽ chỉ chú thích chúng vì tôi không muốn chạy lại. Hãy lưu tập lệnh và đi đến

34:39

terminal and now go to the scripts folder and let's run the script uh the mock duplicates step has finished running so let us take a look at the folder contents so inside the line reads you can see that we have additional files uh so we have reduplicated reads dot bam and additional files so let us take a look at the deduplicated reads so let us go into the Align reads and take

Terminal của chúng ta và bây giờ đi đến thư mục scripts và chạy tập lệnh. Bước đánh dấu trùng lặp đã chạy xong, vì vậy hãy xem nội dung thư mục. Bên trong align reads, bạn có thể thấy rằng chúng ta có các tệp bổ sung, vì vậy chúng ta có các reads đã khử trùng lặp .bam và các tệp bổ sung. Vì vậy, hãy xem các reads đã khử trùng lặp, hãy đi vào Align reads và xem

35:09

a look at Flagstaff output for the de-uplicated reads the Flagstar output indicates that there are these many reads that are marked as duplicates and the subsequent programs in gadki will ignore these many reads uh in the following analysis now that the duplicate reads have been successfully flagged the next step in data preprocessing is to um correct for base quality scores to perform base

Đầu ra Flagstat cho các reads đã khử trùng lặp. Đầu ra Flagstat chỉ ra rằng có nhiều reads được đánh dấu là bản sao và các chương trình tiếp theo trong gatk sẽ bỏ qua nhiều reads này trong phân tích tiếp theo. Bây giờ các reads trùng lặp đã được gắn cờ thành công, bước tiếp theo trong tiền xử lý dữ liệu là hiệu chỉnh điểm chất lượng cơ sở để thực hiện hiệu chỉnh

35:39

quality uh score recalibration so if you recall there are essentially two steps where in the first step we build a machine learning model using the known variants and then use those uh that model to adjust for the base quality score so to build a model we will be using get K base recalibrator function the input would be the deduplicated sorted align reads the reference would be the reference file

Điểm chất lượng cơ sở. Vì vậy, nếu bạn nhớ, có hai bước cơ bản trong đó bước đầu tiên chúng ta xây dựng một mô hình học máy bằng cách sử dụng các biến thể đã biết và sau đó sử dụng mô hình đó để điều chỉnh điểm chất lượng cơ sở. Vì vậy, để xây dựng mô hình, chúng ta sẽ sử dụng hàm BaseRecalibrator của gatk, đầu vào sẽ là các reads căn chỉnh đã khử trùng lặp và sắp xếp, tham chiếu sẽ là tệp tham chiếu

36:09

we provide known sites and this file is stored in a variable called known sites and it is going to Output a table so that table will I want the table to be outputted in the data folder and we will call it recall data dot table once the recall data or table is created we will use that to adjust the base quality score so to adjust the base quality score we will be using a

Chúng ta cung cấp các trang web đã biết và tệp này được lưu trong một biến gọi là known sites và nó sẽ xuất ra một bảng, vì vậy tôi muốn bảng đó được xuất ra trong thư mục data và chúng ta sẽ gọi nó là recal_data.table. Khi dữ liệu recal hoặc bảng được tạo, chúng ta sẽ sử dụng nó để điều chỉnh điểm chất lượng cơ sở. Vì vậy, để điều chỉnh điểm chất lượng cơ sở, chúng ta sẽ sử dụng một

36:38

function in get K called apply bqsr the input again would be the Align reads sorted deduplicated reads that we generated previously the reference would be the reference file stored in the ref variable we will provide the pqsr recall file that we generated in the previous step and the output would again be in the Align reads directory and I will copy the name of the file generated in the

Hàm trong gatk gọi là ApplyBQSR, đầu vào một lần nữa sẽ là các reads căn chỉnh đã sắp xếp và khử trùng lặp mà chúng ta đã tạo trước đó, tham chiếu sẽ là tệp tham chiếu được lưu trong biến ref, chúng ta sẽ cung cấp tệp recal của bqsr mà chúng ta đã tạo ở bước trước và đầu ra một lần nữa sẽ nằm trong thư mục Align reads và tôi sẽ sao chép tên của tệp được tạo trong

37:12

previous step just adding bqsr so we will be able to distinguish that these are the reads with base quality score recalibrated so and again um commenting out Mark duplicates step because I do not want to rerun it again let's save this and go back to the terminal let's go to the script folder and run the script once both these steps finish running that is creating the model and using the

Bước trước chỉ thêm bqsr để chúng ta có thể phân biệt rằng đây là các reads với điểm chất lượng cơ sở đã được hiệu chỉnh. Và một lần nữa, chú thích bước Mark duplicates vì tôi không muốn chạy lại nó. Hãy lưu điều này và quay lại terminal, hãy đi đến thư mục script và chạy tập lệnh. Khi cả hai bước này chạy xong, đó là tạo mô hình và sử dụng

37:43

model to correct for the base quality scores let us check the folder contents to see what files are created so in the data table we create the recall data.table and this table is essentially used to correct and recalibrate the base quality scores so the final alignments with base code recalibrated are present in this file and the index for this bam file is also generated so basically the

Mô hình để điều chỉnh điểm chất lượng cơ sở, hãy kiểm tra nội dung thư mục để xem những tệp nào được tạo. Vì vậy, trong bảng data, chúng ta tạo recal_data.table và bảng này về cơ bản được sử dụng để điều chỉnh và hiệu chỉnh lại điểm chất lượng cơ sở. Vì vậy, các căn chỉnh cuối cùng với điểm chất lượng cơ sở đã được hiệu chỉnh có trong tệp này và chỉ mục cho tệp bam này cũng được tạo. Vì vậy, về cơ bản, các

38:09

reads that are present in this file are analysis ready reads and these reads can be used to call variance from but before going on to that step there is another step that we can perform a sort of a QC where we can collect some alignment and insert size metrics so to collect alignment metrics we can use Gad case function collect alignment summary metrics the reference used is

Reads có trong tệp này là các reads sẵn sàng phân tích và những reads này có thể được sử dụng để gọi biến thể. Nhưng trước khi đi đến bước đó, có một bước khác mà chúng ta có thể thực hiện, một loại QC nơi chúng ta có thể thu thập một số chỉ số căn chỉnh và kích thước chèn. Vì vậy, để thu thập chỉ số căn chỉnh, chúng ta có thể sử dụng hàm CollectAlignmentSummaryMetrics của Gatk, tham chiếu được sử dụng là

38:39

saved in the reference variable the input would be the base quality score recalibrated reads and the output would be in the result or rather in the alignment reads folder we call it alignment Matrix to collect insert size metrics we can use function collect insert size Matrix the input here would be the base the same the base quality score recalibrated align reads

Được lưu trong biến reference, đầu vào sẽ là các reads đã hiệu chỉnh điểm chất lượng cơ sở và đầu ra sẽ nằm trong thư mục result hoặc thay vào đó là trong thư mục align reads, chúng ta gọi nó là alignment metrics. Để thu thập chỉ số kích thước chèn, chúng ta có thể sử dụng hàm CollectInsertSizeMetrics, đầu vào ở đây sẽ là cùng các reads căn chỉnh đã hiệu chỉnh điểm chất lượng cơ sở

39:23

the output would be again so here I forgot to put the dollar sign so I want the output to be in the Align reads folder as well and I want the output to be in insert size Matrix and I also want histogram and I want it again to be in the Align reads folder and call it inserts outside so basically this histogram would provide us with the distribution of insert sizes across the reads

Đầu ra một lần nữa, vì vậy ở đây tôi quên đặt dấu đô la, tôi muốn đầu ra nằm trong thư mục Align reads và tôi muốn đầu ra nằm trong insert size metrics và tôi cũng muốn histogram và tôi muốn nó một lần nữa nằm trong thư mục Align reads và gọi nó là insert size. Vì vậy, về cơ bản histogram này sẽ cung cấp cho chúng ta phân phối kích thước chèn trên các reads

40:08

and before we run this let us just comment out the previous commands save this and let us go to the terminal let's go to the script folder and let us run the script so now that this has finished running um let us take a look at the folder contents so here you can see that we have alignment metrics we have insert size metrics and we have insert side histogram so taking a look at the

Và trước khi chúng ta chạy điều này, hãy chú thích các lệnh trước đó, lưu điều này và hãy đi đến terminal, đi đến thư mục script và chạy tập lệnh. Bây giờ điều này đã chạy xong, hãy xem nội dung thư mục. Ở đây bạn có thể thấy rằng chúng ta có alignment metrics, chúng ta có insert size metrics và chúng ta có insert size histogram. Vì vậy, nhìn vào

40:43

histogram here we can get a distribution of insert sizes for um the reads across the reads so basically this provides us a way to validate the library construction um in addition to that we can also create a multi-qc report to assess the alignment metrics and the insert size metrics so let us go to the terminal and go to align reads use multi-qc to generate a report

Histogram ở đây, chúng ta có thể nhận được phân phối kích thước chèn cho các reads trên các reads, vì vậy về cơ bản điều này cung cấp cho chúng ta một cách để xác nhận việc xây dựng thư viện. Ngoài ra, chúng ta cũng có thể tạo báo cáo multi-qc để đánh giá các chỉ số căn chỉnh và chỉ số kích thước chèn. Vì vậy, hãy đi đến terminal và đi đến align reads, sử dụng multi-qc để tạo báo cáo

41:14

just a quick note before I move on to the multi-qc report multi-qc is basically a tool that Aggregates and summarizes results from the text files or the log files that are generated from other bioinformatics tools so here we generated alignment metrics and insert metrics from using cat K functions and the information present in each of these files can be summarized in a report using a tool like

Chỉ một lưu ý nhanh trước khi tôi chuyển sang báo cáo multi-qc. Multi-qc về cơ bản là một công cụ tổng hợp và tóm tắt kết quả từ các tệp văn bản hoặc tệp nhật ký được tạo ra từ các công cụ tin sinh học khác. Vì vậy, ở đây chúng ta đã tạo alignment metrics và insert metrics bằng cách sử dụng các hàm của gatk và thông tin có trong mỗi tệp này có thể được tóm tắt trong một báo cáo bằng cách sử dụng một công cụ như

41:39

multi-qc also while executing multi-qc we just provided a DOT meaning that to we asked multi-qc to search for the text files or the log files generated by other programs in the current folder that is in the Align reads folder so in the Align read folder it could pick up these two text files that is alignment metrics and insert metrics so basically it's going to create a report using these two

Multi-qc. Cũng trong khi thực thi multi-qc, chúng ta chỉ cung cấp một dấu chấm, nghĩa là chúng ta yêu cầu multi-qc tìm kiếm các tệp văn bản hoặc tệp nhật ký được tạo bởi các chương trình khác trong thư mục hiện tại, tức là trong thư mục Align reads. Vì vậy, trong thư mục Align reads, nó có thể chọn hai tệp văn bản này, đó là alignment metrics và insert metrics, vì vậy về cơ bản nó sẽ tạo một báo cáo bằng cách sử dụng hai

42:04

text files so multi-qc generates an HTML report and when we open this so basically this is how it looks like so it provides us with a bunch of metrics to assess the quality of the alignments as well as the quality of the reads and the number of reads that passed the quality thresholds as well as provides us with the way to validate um the library construction so here we

Tệp văn bản này. Vì vậy, multi-qc tạo ra một báo cáo HTML và khi chúng ta mở nó, về cơ bản nó trông như thế này. Vì vậy, nó cung cấp cho chúng ta một loạt các chỉ số để đánh giá chất lượng của các căn chỉnh cũng như chất lượng của các reads và số lượng reads đã vượt qua ngưỡng chất lượng cũng như cung cấp cho chúng ta cách để xác nhận việc xây dựng thư viện. Vì vậy, ở đây chúng ta

42:35

get the number of reads that are aligned the insert sizes we also get the number of reads uh which are unaligned we can also get mean read length we get the insert size so basically this can be looked at as a post alignment QC and can help us evaluate the alignment as well as the library Construction now that we have finished um pre-data free processing steps and we

Nhận được số lượng reads được căn chỉnh, kích thước chèn, chúng ta cũng nhận được số lượng reads chưa được căn chỉnh, chúng ta cũng có thể nhận được độ dài đọc trung bình, chúng ta nhận được kích thước chèn, vì vậy về cơ bản điều này có thể được xem như là QC sau căn chỉnh và có thể giúp chúng ta đánh giá căn chỉnh cũng như việc xây dựng thư viện. Bây giờ chúng ta đã hoàn thành các bước tiền xử lý dữ liệu và chúng ta

43:03

have also collected post alignment uh QC we are ready to call variants on our analysis ready reads so let us use cat K haplotype caller provide it with the reference file the input would be analysis ready reads that is the base quality score recalibrated reads and the output would be in the result folder results folder and these are raw variance dot VCF I'm going to comment

Cũng đã thu thập QC sau căn chỉnh, chúng ta đã sẵn sàng gọi biến thể trên các reads sẵn sàng phân tích của mình. Vì vậy, hãy sử dụng HaplotypeCaller của gatk, cung cấp cho nó tệp tham chiếu, đầu vào sẽ là các reads sẵn sàng phân tích, tức là các reads đã hiệu chỉnh điểm chất lượng cơ sở và đầu ra sẽ nằm trong thư mục results và đây là raw variants .vcf. Tôi sẽ chú thích

43:42

out the previous commands we save this and we move on to the terminal so let us go to the scripts folder and run script so this steps take usually a longer time to run so this took around three hours for me and I have access to 16 gigs of RAM so I'm not going to run this step because I previously run it and I have the results so I'm just going to show you the output files so in my results

Các lệnh trước đó, chúng ta lưu điều này và chuyển sang terminal. Vì vậy, hãy đi đến thư mục scripts và chạy script. Bước này thường mất nhiều thời gian để chạy, vì vậy nó mất khoảng ba giờ đối với tôi và tôi có quyền truy cập 16 gigs RAM, vì vậy tôi sẽ không chạy bước này vì tôi đã chạy nó trước đó và tôi có kết quả, vì vậy tôi sẽ chỉ cho bạn các tệp đầu ra. Vì vậy, trong thư mục results của tôi

44:13

folder I have raw variance.vcf and I have indexed um VCF file which is generated by haplotype caller so now we have the raw variant so let us take a look at these raw variants so we can see that there are a lot of variants uh called and this is a VCF file and we have previously discussed the VCF file and how data is organized um in this file now going back to the script now that we

Tôi có raw variants.vcf và tôi có tệp VCF đã được lập chỉ mục được tạo bởi HaplotypeCaller. Vì vậy, bây giờ chúng ta có biến thể thô, hãy xem các biến thể thô này. Chúng ta có thể thấy rằng có rất nhiều biến thể được gọi và đây là tệp VCF và chúng ta đã thảo luận trước đó về tệp VCF và cách dữ liệu được tổ chức trong tệp này. Bây giờ quay lại tập lệnh, bây giờ chúng ta

44:48

have called the row variance I want the Snips to be present in one file and I want the index to be present in another file so I'm just going to separate out the variance so to select specific variants I'm going to use a function get key function called select variance the reference I'm going to provide it the reference file we also need to provide the variance file which is present in the results

Đã gọi là phương sai hàng, tôi muốn các Snip có mặt trong một tệp và tôi muốn chỉ mục có mặt trong một tệp khác, vì vậy tôi sẽ chỉ tách riêng các phương sai để chọn các biến thể cụ thể. Tôi sẽ sử dụng một hàm get key được gọi là select variance. Tham chiếu tôi sẽ cung cấp cho nó tệp tham chiếu. Chúng ta cũng cần cung cấp tệp phương sai có mặt trong thư mục kết quả.

45:15

folder and we need to select variant types so first I want to extract snips and I want to Output it again in the results folder and I want to repeat the same step for the indels as well so I'm just going to copy the same command and instead of the snip in the select tab I'm going to type Intel and I'm going to change the name of the output file I'm going to comment out the previous comment

Và chúng ta cần chọn các loại biến thể, vì vậy trước tiên tôi muốn trích xuất các snip và tôi muốn xuất nó lại trong thư mục kết quả, và tôi muốn lặp lại bước tương tự cho các indel. Vì vậy tôi sẽ chỉ sao chép cùng một lệnh và thay vì snip trong tab chọn, tôi sẽ gõ Intel và tôi sẽ thay đổi tên của tệp đầu ra. Tôi sẽ chú thích bình luận trước đó.

45:53

and I'm going to save this going back to the terminal let us go to the script folder and let us run the script so this is finished running and let us take a look at the folder contents again and we can see that we have raw snips.bcf and the indexes and the raw intels.vcf and their index in the result files so let us take a look at these files so taking a look at Raw Snips basically

Và tôi sẽ lưu cái này, quay lại terminal, hãy để chúng ta đi đến thư mục script và chạy script. Vậy cái này đã chạy xong và hãy để chúng ta xem lại nội dung thư mục và chúng ta có thể thấy rằng chúng ta có raw snips.bcf và các chỉ mục và raw intels.vcf và chỉ mục của chúng trong các tệp kết quả. Vậy hãy để chúng ta xem các tệp này, xem Raw Snips về cơ bản.

46:26

it indicates these are the Snips that are called from this individual and taking a look at Raw indels these are the raw indels these are the indels that are called from this individual so these are the varians that is a snip and the indels that are called from this individual um using the haplotype caller um we're in calling algorithm from cat K and we follow the gadke best practice

Nó chỉ ra rằng đây là các Snip được gọi từ cá thể này và xem Raw indels, đây là các indel thô, đây là các indel được gọi từ cá thể này. Vậy đây là các biến thể, đó là một snip và các indel được gọi từ cá thể này, ừm, sử dụng haplotype caller, ừm, thuật toán gọi từ cat K và chúng tôi tuân theo thực hành tốt nhất của gadke.

46:54

workflow so typically once you have called the variance you could essentially filter out the low quality variance and retain the high confidence variance and you would annotate these variants and predict their effects there are various tools like snip F and be Peak that can help you annotate and predict the effects of these variants so that brings me to the end of this video

Quy trình làm việc, vì vậy thông thường khi bạn đã gọi các biến thể, bạn có thể về cơ bản lọc ra các biến thể chất lượng thấp và giữ lại các biến thể có độ tin cậy cao và bạn sẽ chú thích các biến thể này và dự đoán tác động của chúng. Có nhiều công cụ khác nhau như snip F và be Peak có thể giúp bạn chú thích và dự đoán tác động của các biến thể này. Vậy điều đó đưa tôi đến phần cuối của video này.

47:16

um I hope this video was helpful and informative I try to keep this um lesser on the technical side and more on the purpose behind performing these steps again these best practice workflow are not supposed to be used as is there are a lot of these pipelines are always um has to be tailored according to your data set and your requirements this was just an idea on what are the various

Ừm, tôi hy vọng video này hữu ích và mang tính thông tin. Tôi cố gắng giữ cái này, ừm, ít về mặt kỹ thuật hơn và nhiều hơn về mục đích đằng sau việc thực hiện các bước này. Một lần nữa, các quy trình thực hành tốt nhất này không được cho là sử dụng nguyên trạng. Có rất nhiều quy trình trong số này luôn, ừm, phải được điều chỉnh theo bộ dữ liệu và yêu cầu của bạn. Đây chỉ là một ý tưởng về những gì là các.

47:41

steps that are typically performed in a vegan calling analysis and the rationale behind performing these steps so I will be adding the various links that I have spoken throughout this video in the description section below and I hope you find this video informative if you did please make sure you hit the Subscribe button like the video share it and leave your comments under the comment section

Các bước thường được thực hiện trong phân tích gọi biến thể và lý do đằng sau việc thực hiện các bước này. Vì vậy tôi sẽ thêm các liên kết khác nhau mà tôi đã nói trong suốt video này vào phần mô tả bên dưới và tôi hy vọng bạn thấy video này hữu ích. Nếu có, xin hãy nhấn nút Đăng ký, thích video, chia sẻ nó và để lại bình luận của bạn dưới phần bình luận.

48:01

until next time see you

Hẹn gặp lại lần sau, tạm biệt.

Transcript

Hiển thị

Introduction to Variant Calling and GATK Workflow

This chapter introduces the concept of variant calling on whole genome sequencing data using the GATK best practices workflow. It explains that variant calling starts with sequencing reads and produces a VCF file that stores identified variants. GATK is presented as an industry-standard Java-based toolkit for analyzing next-generation sequencing data, especially human whole genome and exome data. The germline short variant discovery workflow consists of three main steps: data pre-processing, variant calling, and filtering/annotation. Data pre-processing involves quality control, trimming adapters, and mapping reads to a reference genome using BWA-MEM.

Chương này giới thiệu khái niệm gọi biến thể trên dữ liệu giải trình tự toàn bộ hệ gen bằng quy trình thực hành tốt nhất của GATK. Nó giải thích rằng gọi biến thể bắt đầu từ các đoạn đọc giải trình tự và tạo ra tệp VCF lưu trữ các biến thể được xác định. GATK được giới thiệu là một bộ công cụ dựa trên Java tiêu chuẩn ngành để phân tích dữ liệu giải trình tự thế hệ tiếp theo, đặc biệt là dữ liệu toàn bộ hệ gen và exome của người. Quy trình phát hiện biến thể ngắn dòng mầm bao gồm ba bước chính: tiền xử lý dữ liệu, gọi biến thể, và lọc/chú thích. Tiền xử lý dữ liệu bao gồm kiểm soát chất lượng, cắt bỏ adapter, và ánh xạ các đoạn đọc lên hệ gen tham chiếu bằng BWA-MEM.

1 / 6