Загрузка сиквенсов в базу данных коллекции (Specify 7) и экспорт данных в GenBank и GBIF

Первая стадия подготовки сиквенсов включает их первичную обработку (обрезание концов, ассемблинг, и другие операции по необходимости), сохранение готовой отредактированной последовательности и комментарии в лабораторном журнале.

Создать проект для первичного редактирования сиквенсов в Codon Code Aligner или другом программном обеспечении. Загрузить исходные последовательности с исходными именами (номерами пробирок).

Провести анализ и необходимое редактирование сиквенсов:

1. Если сиквенс слишком короткий, грязный или не отвечает другим параметрам качества, напротив этого сиквенса в лабораторном журнале (поле SeqQualRemarks) ставится пометка "плохой" и в дополнительном поле комментарий (поле REMARKS) - рекомендация (сделать с нуля, поставить вторично секвенсовую, поставить обратную секвенсовую и др). Такой сиквенс не загружается в Specify.
2. Если сиквенс не достаточной длины, но хорошего качества, в лабораторном журнале (поле SeqQualRemarks) ставится пометка "хороший" и в дополнительном поле комментария (поле REMARKS) - "сделать обратный". Такой сиквенс редактируется и загружается в Specify, оставляя поле сиквенса пустым (оно будет заполнено после получения обратной последовательности).
3. Если сиквенс достаточно хороший, его редактируют, проверяют по базе NCBI утилитой BLAST и сохраняют в формате FASTA, в первой строке .fas файла после знака > вносят номер образца с акронимом гербария и через нижнее подчеркивание указывают локус .

4. Результат проверки по базе NCBI вносят в соответствующие поля в лабораторном журнале (поля BLAST_closest_species, genSequence FASTA, BLAST_closest_ID, TYPE_specimen), а затем загружается в Specify в полном объеме (см. ниже).

A	B	C	D	E	F	G	H	I	J	K	L
№ пробирки	№ в коллекции	Вид в коллекции	BLAST ближайшее сходство	Имя исходного файла	Последовательность	% BLAST	BLAST closest ID	TYPE specimen	GenBankID	Seq_Qual_Remarks	Work_remarks
173	YSU-F-12619	Lentinus castoreus	Lentinellus sublineolatus	173_ITS_F_A09_01_2022-10-06-23-24-52.ab1	seq	99.4	NR_119505.1	TENN:059307	OQ450397	хороший	короткий, сделать обратный
173	YSU-F-12619	Lentinus castoreus	Lentinellus sublineolatus	173_ITS_R_A08_01_2023-02-15-16-27-33.ab1						хороший
174	YSU-F-12628	Hypsizygus ulmarius	Hypsizygus marmoreus	174_ITS_F_B09_02_2022-10-06-23-24-52.ab1	seq	99.0	OP980886.1		OQ450398	хороший	короткий, сделать обратный
174	YSU-F-12628	Hypsizygus ulmarius	Hypsizygus marmoreus	174_ITS_R_B08_02_2023-02-15-16-27-33.ab1						хороший
175	YSU-F-12594	Cortinarius adustoremosus	Cortinarius adustorimosus	175_ITS_F_C09_03_2022-10-06-23-24-52.ab1	seq	99.0	NR_172319.1	PC:R. Henry 883	OQ450391	хороший	короткий, сделать обратный
175	YSU-F-12594	Cortinarius adustoremosus	Cortinarius adustorimosus	175_ITS_R_A07_01_2023-02-14-17-16-01.ab1						хороший

Пример фрагмента таблицы лабораторного журнала с анализом качества полученных последовательностей и оценкой ближайшего сходства

Вторая стадия - собственно загрузка сиквенсов, их метаданных и исходных файлов в БД Specify 7. База данных является основным местом хранения сиквенсов на долгую перспективу. Отсюда данные экспортируются в GenBank и GBIF. Внесение данных на этом этапе требует внимательного отношения.

Войти в БД Specify 7 под своим логином. Сделать поиск и открыть карточку соответствующего образца коллекции.

В нижней части формы, открыть кнопку DNA sequence. Внести данные в поля:

1. Genbank Accession Number - обязательное поле. Если номера еще нет, внести название фаста-файла без знака > (например, "YSU-F-12619_LOCUS")
2. Molecule type - по умолчанию "DNA" (или выбрать иное)
3. Sequencer - выбрать ФИО ответственного за секвенирование
4. BOLD Barcode ID - добавить уникальный номер BOLD, если имеется
5. Target Marker - по умолчанию "ITS", можно выбрать соответствующий локус
6. Collection object - заполняется автоматически при сохранении
7. Make public - поставить галочку, если сиквенс открыт для публикации в GenBank и GBIF, открывается после получения номера генбанка
8. Assembled - поставить галочку, если получена консенсусная последовательность из прямого и обратного (или других) ридов
9. Nucleotide Sequence - вставить последовательность в формате FASTA. См. пример ниже
10. Отредактировать последовательность так, чтобы в названии последовательности был номер коллекции в формате ">YSU-F-12619_LOCUS", без кавычек, вместо LOCUS соответствующий маркер ДНК
11. Открыть следующую форму: DnaR (DNA Sequencing Runs), в которой будет внесена информация об исходных файлах.

Открыть кнопку DnaR (DNA sequence runs) . Внести данные в поля:

1. Trace File Name - название .ab1 файла исходного сиквенса

2. Run Date - скопировать дату из названия .ab1

3. Seq Primer Name - название праймера секвенсовой реакции (в нашем случае при использовании адаптеров используется 2 значения: M13F, M13R). При использовании для ПЦР праймеров без адаптеров, секвенирование производится с праймерами для ПЦР. Соответственно в этом случае указывается соответствующий праймер

4. DNA Primer - название пары праймеров, использованных во время ПЦР (выбор из выпадающего списка)

   Note

   В базу данные внесено большое число используемых праймеров и их метаданные. Ввод новых пар понадобится в исключательных случаях использования новых праймеров. В этом случае нужно нажать значок "+" рядом с полем DNA Primer и внести данные в открывшуюся форму
   5. Seq Type - тип секвенирования (по умолчанию "Sanger")

5. Если исходных праймеров несколько (например, прямой и обратный), то заполнить следующий файл, нажав "+" в левом верхнем углу формы

6. После заполнения всех форм, нажать "закрыть".

Прикрепить исходные .ab1 файлы сиквенсов :

1. Прикрепить исходные файлы сиквенсов можно в форме DNA Seq Runs или DNA Sequences
2. Мы пользуемся DNA Sequence Attachments
3. Открыть форму, нажать "+", перетащить соответствующий файл, и т.д. (метаданные файла заполняются автоматически)
4. По завершении нажать "Close" формы DNA Sequences

Добавить новую детерминацию таксона на основе поиска ближайших последовательностей в NCBI:

1. Добавить новую детерминацию к уже существующей истории определений (нажать "+" рядом с заголовком формы Determinations)
2. Добавить новый таксон
3. Добавить ФИО того, кто выполнил поиск в BLAST
4. Добавить дату (когда выполнен поиск, или когда был получен сиквенс)
5. В поле "Remarks" добавить комментарий по шаблону:

• Closest type specimen sequence (NR_119505) 99.4%
• Closest voucher specimen sequence (TD119503) 99.1%

Экспорт данных в GenBank осуществляется через создание запроса в Specify и последующую загрузку таблицы и сиквенсов пакетным образов в GenBank.

Войти в БД Specify 7 под своим логином. Зайти в раздел Queries и выбрать запрос под названием GENBANK export

В открывшихся настройках запроса в поле Cat Number с включенным оператором "In" ввести необходимые образцы для экспорта в GenBank (например: 12619, 12628, 12594).

Экспортировать созданный запрос в виде таблицы .csv.

Подготовьте файл с метаданными сиквенса (модификаторами). Для этого скачайте шаблон таблицы формата .tsv с портала GenBank или создайте файл с соответствующими названиями полей:

A	B
Sequence_ID	Идентификатор сиквенса, должен совпадать с названием сиквенса в фаста файле (YSU-F-12594)
Organism	Название таксона на латыни (Cortinarius adustorimosus)
Specimen-Voucher	Номер ваучерного образца (YSU-F-12594)
Country	Страна (Russia)
Latitude-Longitude	Широта и долгота в формате (61.04119 N 69.31318 E)
Collection-Date	Дата сбора образца (03.10.2023)
Collected-By	Автор находки (Bulyonkova, Tatiana)
Fwd-Primer-Name	Название прямого праймера (ITS1-F)
Rev-Primer-Name	Название обратного праймера (ITS4)
Fwd-Primer-Seq	Последовательность прямого праймера
Rev-Primer-Seq	Последовательность обратного праймера

Пример заполнения полей модификаторов (метаданных сиквенса) при загрузке последовательностей в GenBank пакетным образом

Перенесите данные из скачанной из Specify таблицы в шаблон. Отредактируйте формат данных в поле географических координат, Страна и Дата. Сохраните шаблон с данными в виде .tsv файла.

Подготовьте файл с сиквенсами в формате Fasta: скопируйте последовательности из столбца экспортированной таблицы Gene Sequence в текстовый файл. Убедитесь, что между названием сиквенса и его последовательностью есть перенос строки или добавьте переносы. Сохраните файл с расширением .fasta или .txt.

Зайдите на портал NCBI (https://www.ncbi.nlm.nih.gov/) под своим логином.

Пройдите последовательно шаги ввода данных для отправки сиквенса:

1. Submit
2. GenBank
3. New Submission
4. Submission Type (ribosomal RNA (rRNA) or rRNA-ITS; Eukaryotic nuclear rRNA or rRNA-ITS; contains rRNA-ITS region)
5. Submitter (Group 1 - настройте группу соавторов для каждого случая пакетного импорта)
6. Sequencing technology (Sanger dideoxy sequencing)
7. Assembly state (Unassembled sequence reads или Assembled sequences)
8. Sequences (на этом шаге загружается подготовленный файл с сиквенсами в формате fasta. В случае, если появляются предупреждения об ошибках, файл можно отредактировать и загрузить еще раз).
9. Source info (Specimen - Voucher)
10. Source midifiers (на этом шаге выбираем "upload a tab-delimited table" и загружаем подготовленный файл с модификаторами)
11. References (выбираем авторов сиквенсов, публикацию/проект и ее авторов из ранее созданных групп, или создаем заново)
12. Revew and Submit (проверяем результат загрузки и нажимаем Submit ).

После получения уникальных номеров сиквенсов в GenBank, зайдите в базу данных Specify и добавьте номера в соответствующее поле в шаблоне DNA Sequence.

Экспорт данных сиквенсов в GBIF осуществляется для всех открытых для публикации сиквенсов в базе данных после получения соответствующих номеров в GenBank. Публикация осуществляется регулярно раз в месяц (в первых числах каждого месяца). Экспорт сиквенсов осуществляется через шаблон запроса, экспорт в таблицу .csv, и последующий импорт таблицы на портал Integrated Publishing Toolkit, где каждый сиквенс получает привязку к соответствующему образцу набора данных коллекции.

Войти в БД Specify 7 под своим логином. Зайти в раздел Queries и выбрать запрос под названием YSU-F-GBIF-Seq

В открывшейся форме запроса можно настроить редактирование на экспорт по заданным параметрам, или использовать поиск всех имеющихся последовательностей:

1. CatNumber - номер образца в коллекции (используя оператор "In" можно перечислить интересующие номера через запятую)
2. BoldSampleID - номер сиквенса в BOLD
3. Primer Name Forward - название прямого праймера (ПЦР)
4. Primer Name Reverse - название обратного праймера (ПЦР)
5. Primer Seq Forward - последовательность прямого праймера
6. Primer Seq Reverse - последовательность обратного праймера
7. Genbank Accession Number - номер в генбанке
8. Gene Sequence - используя оператор "Not Empty" настроен экспорт только заполненного поля с последовательностью сиквенса. В противном случае поиск выдаст все 10K образцов в базе данных
9. Seq type - тип секвенирования
10. Target Marker - маркер
11. Make Public - True (запрос только тех сиквенсов которые разрешены для публичной публикации)
12. Determinations | is Current - поле "текущая детерминация" с оператором "True or Empty" помогает отфильтровать только последние детерерминации, если их было несколько у одного образца. В противном случае поиск выдаст примерно в 2 раза больше записей, номера образцов при этом будут дублироваться.

Создать запрос (Query) и экспортировать его в таблицу (Create CSV) и скачать ее на компьютер

Загруженная таблица может потребовать доработки: добавления нулей в поле номеров коллекции (5-значный номер), или другие погрешности при вводе данных (лучше редактировать сразу в базе данных и повторить экспорт).

Публикация данных в GBIF происходит через размещение исходных данных на портале Integrated Publishing Toolkit. В случае загрузки сиквенсов, используется специальное расширение DNA-derived-data, которое позволяет связать таблицу сиквенсов с таблицей загруженных ранее образцов коллекции.

Зайти на портал IPT под своим логином (http://ipt.ugrasu.ru:8080/). Открыть интересующий набор данных на портале IPT (в нашем случае The Fungarium of Yugra State University), начать редактирование набора данных.

В разделе Source Data удалить (если раньше была загружена) и добавить новую таблицу сиквенсов.

В разделе   Darwin Core Mappings добавить новое картирование и связать поля таблицы сиквенсов с полями IPT. Отредактировать и сохранить картирование и перейти к редактированию набора данных.

! связывание полей пройдет автоматически, если в исходной таблице названия столбцов переименовать в названия полей в IPT.

A	B
Название поля в Specify	Название для импорта в IPT
Cat number	occurrenceID
Primer Name Forward	pcr_primer_forward
Primer Seq Forward	pcr_primer_reverse
Primer Name Rev	pcr_primer_name_forward
Primer Seq Rev	pcr_primer_name_reverse
Primer Ref Cit Forward	pcr_primer_reference
Genbank Accession Number	url
Gene Sequence	DNA_sequence
Seq type	seq_meth
Target Marker	target_gene

Шаблон для переименования заголовков столбцов таблицы сиквенсов для импорта в IPT

Обновить метаданные набора данных: если идет обновление только сиквенсов, то обновить информацию об общем числе полученных сиквенсов и прошедших баркодинг образцов в Абстракте и Методике работы. Нажать Publish и подождать некоторое время, пока пройдет обновление набора данных в GBIF.

Проверить несколько загруженных образцов в наборе данных в GBIF. Таблица с сиквенсами появится в нижней части карточки образца в разделе Dna Derived Data.

Источники информации о формате данных DNA-Derived-Data и публикации данных последовательностей в GBIF:

GENBANK_SEQ_template.fas

GenBank_modifiers_template.csv

GBIF_seq_template.xlsx