До пандемии COVID рецензирование было бьющимся сердцем научных публикаций. Для того чтобы исследования вошли в свод научных знаний, предполагалось, что исследователи будут подавать их в академические журналы, которые перед публикацией отправляли работы другим экспертам для редактирования и пересмотра.
Но это процесс, который не очень хорошо подходит для срочной борьбы с пандемией COVID, когда ранние исследования могут спасти жизни. На рецензирование часто уходят месяцы, и оно требует огромного количества неоплачиваемого труда со стороны ученых, которые тщательно проверяют статьи. В начале 2020 года все больше ученых стали размещать результаты исследований в базах данных с открытым доступом, называемых серверами препринтов, до того, как эти препринты прошли официальное рецензирование.
Новые исследования показывают, что научные нормы все еще действуют на серверах препринтов. Как написала в выходные в Washington Post врач и репортер Триша Пасрича, "когда группа авторов выкладывает какое-либо исследование в открытый доступ... они ставят на кон свою репутацию".
Препринты, которые в новостях часто называют "предварительными исследованиями", уже набирали популярность в таких ранних областях, как геномика и нейронауки, но из-за нехватки времени, вызванной пандемией, они приобрели новый приоритет. За первый год пандемии на серверах препринтов было размещено 7 000 статей COVID, в то время как журналы опубликовали около 12 500 официальных статей. (В отличие от многих журналов, доступ к серверам препринтов свободный, и исследователям не нужно платить за публикацию. Многие из этих ранних работ в конечном итоге проходят рецензирование: Соучредитель двух ключевых серверов препринтов недавно написал в Твиттере, что половина всех препринтов COVID 2020 года уже официально опубликована. Независимо от этого, препринты стали центральным элементом науки о COVID и ее освещения в СМИ.
Это стало источником разногласий. По мнению критиков препринтов, они являются хранилищем сомнительных научных данных. "Ограничение заключается в том, что любой идиот может опубликовать любой идиотский материал на платформе, которая не имеет предварительной экспертной оценки", - так выразился один бывший редактор журнала в прошлом месяце в интервью обозревателю New York Times. Но согласно двум новым анализам, опубликованным в (рецензируемом) журнале PLOS Biology, препринты в целом содержат много той же информации и интерпретаций, что и рецензируемые исследования.
В одной работе специалист по вычислительной биологии разработал инструмент для анализа тысяч препринтов и рецензируемых работ до пандемии на предмет лингвистических различий. Во второй работе группа ученых вручную изучила все 184 работы, опубликованные как в виде препринтов, так и прошедшие рецензирование с декабря 2020 года по апрель 2020 года.
Оба анализа показали, что изменения между препринтами и рецензируемыми публикациями редко касались полного пересмотра выводов статьи. В большинстве случаев исследователи находили лишь небольшие грамматические правки. "Я думаю, что наши результаты заставляют пересмотреть роль рецензирования", - говорит Джонатон Коутс, постдокторский исследователь в области иммунологии в Исследовательском институте Уильяма Харви и автор второго обзора. "Стоит ли то количество времени и денег, которое [как ученые, так и налогоплательщики] вкладывают в рецензирование?".
Для проведения крупномасштабного вычислительного анализа Дэвид Николсон, кандидат наук в Школе медицины Пенсильванского университета, начал с широкого вопроса: "Как люди используют препринты?". Но вскоре команда Николсона поняла, что разработанный им инструмент можно также использовать для оценки того, как рецензирование влияет на написание научных работ. "Рецензирование занимает много времени и длится долго, но приводит ли оно к изменениям, которые мы можем увидеть в статьях?" - говорит он.
Команда Николсона сравнила 3 миллиона статей в научной библиотеке открытого доступа Национального института здравоохранения с 98 000 статей, опубликованных в феврале 2020 года на сервере препринтов BioRxiv (BioRxiv и его подразделение MedRxiv, специализирующееся на медицине, размещают подавляющее большинство препринтов COVID). Они также сопоставили препринты с их опубликованными версиями, чтобы проанализировать изменения.
Дэвид видит, что изменились только наборные знаки, такие как знак плюс или минус, тире, а также слова "дополнительный", "дополнительный" и "файл"", - говорит Кейси Грин, специалист по вычислительной биологии из Медицинской школы Университета Колорадо и один из авторов статьи. "Это говорит о том, что люди, вероятно, не меняют текст кардинально в процессе публикации, они добавляют дополнительную поддержку ключевым утверждениям, и их материал набирается".
Между тем, второй, более масштабный обзор показал, как эти небольшие изменения выглядят на практике. Команда Коутса обнаружила только один случай, когда авторы изменили вывод во время рецензирования, хотя в 17 процентах работ, опубликованных в COVID, и в 7 процентах работ, не опубликованных в COVID, в выводах были "серьезные изменения". "Одна из вещей, которую мы заметили между препринтом и статьей, - это разница не в выводах, а в том, как они были сформулированы, - говорит Коутс. Например, существительное менялось местами или снижалась степень уверенности. Процесс рецензирования говорит: "Да, вы правы, но немного сбавьте обороты", - добавляет Коутс.
Коутс и его соавторы утверждают, что вывод не в том, чтобы внезапно поверить в надежность препринтов. А в том, чтобы с такой же готовностью подвергать сомнению рецензируемые работы. "Вы должны доверять рецензируемой литературе в той же степени, что и препринту", - говорит он. "Это, я думаю, просто сводится к здравому смыслу. Всякий раз, когда вы читаете статью, вы должны как бы проводить свою собственную рецензию; вы должны спрашивать других людей, что они думают".
MedRxiv и BioRxiv проверяют плагиат, ненаучные и явно ложные работы. А такие проекты, как Preprint Review Club, группа начинающих иммунологов из разных университетов, стали появляться для обеспечения стандартных рецензий на работы, которые не были официально опубликованы.
"Конечная цель - сделать [публикацию] более совместным проектом, который принесет пользу всем нам как научному сообществу", - говорит Эстер Геа-Маллорки, иммунолог из Оксфордского университета и координатор Клуба препринтов. "Мы стремимся внести свой вклад в этот независимый и более прозрачный процесс рецензирования, предоставления отзывов и конструктивной критики".
Геа-Маллорки говорит, что, исходя из ее опыта, "большинство препринтов уже полностью готовы, когда их загружают". Но, по ее словам, увидеть такие небольшие изменения было неожиданностью, которая должна способствовать большей открытости в процессе публикации.
Экспертиза также не всегда была идеальным щитом. В Международном журнале микробных агентов была опубликована опровергнутая, но широко цитируемая статья о том, что гидроксихлорохин работает как средство лечения COVID. Смысл этого процесса заключается в том, чтобы отсеять плагиат или ошибочную логику, а не в том, чтобы прийти к правильным ответам.
Во время пандемии научные журналы в какой-то мере адаптировались. Сроки публикации исследований, связанных с COVID, были сокращены, и Коутс говорит, что рецензенты реже запрашивали дополнительные эксперименты и результаты, понимая, что физически трудно попасть в лабораторию во время изоляции. Известный издатель журналов Taylor & Francis также начал продавать потенциальным авторам опции "ускоренной публикации" - за $7 000 можно было опубликовать статьи через три-пять недель после подачи.
В конечном счете, серверы препринтов забирают право принятия решений из рук научных журналов и отдают его исследователям. "Все просто меняется, когда исследование выкладывается в общий доступ", - говорит Коутс. "Вместо того чтобы ждать, пока редактор и несколько случайных рецензентов скажут, что это приемлемо для распространения, ученый принимает это решение".
Это особенно ценно для начинающих исследователей, таких как он сам. "[Серверы препринтов] сокращают тот год между завершением исследования и его публикацией, чтобы мы могли подать заявку на гранты", - говорит Коутс. Более того, они делают исследования доступными для широкой аудитории. "Это действительно хорошо и для широкой публики, потому что если вас заинтересовало какое-то исследование, вы можете прочитать его, а не платить до 10 000 долларов, чтобы получить доступ в журнал", - объясняет он.
Тем не менее, Gea-Mallorqui говорит, что оперативность препринтов может иметь и недостатки: "Это также верно, что, будучи экспертами в данной области, при просмотре препринтов мы уже отфильтровываем те, которые [являются] более значимыми". Несмотря на то, что серверы препринтов быстро удаляют недостоверные исследования - в качестве примера она приводит недавнюю статью о "дельтакроне" - они все еще могут вызвать резонанс в СМИ.
Эта пара статей в PLOS Biology сама по себе является демонстрацией того, как препринты могут изменить характер научного диалога. Разные команды опубликовали свои работы в виде препринтов на сайте BioRxiv прошлой весной. Вместо того чтобы повторять работу друг друга, они решили одновременно опубликовать общую картину.
Без этого сотрудничества, говорит Коутс, также вероятно, что работа его группы не прошла бы официальное рецензирование: У них не было денег на оплату публикации, которую, в конечном счете, готова была взять на себя лаборатория Грина.