Российские разработчики вакцины против коронавируса наконец-то подробно ответили на критику западных ученых. Разбираем, чьи аргументы убедительнее
Мы говорим как есть не только про политику. Скачайте приложение.
Разработчики отечественной вакцины против коронавируса «Спутник V» наконец отреагировали на претензии международной группы ученых, обнаруживших статистические аномалии в данных, которые представили россияне. Ответ разработчиков вышел там же, где и сама статья про вакцину, — в авторитетном журнале The Lancet. Руководитель разработки Денис Логунов и его соавторы утверждают, что найденные коллегами повторы в данных либо на самом деле не являются таковыми, либо представляют собой результат случайного совпадения результатов по очень небольшому числу добровольцев. «Медуза» сравнила аргументы обеих сторон и попросила прокомментировать исследование независимого эксперта.
Максимально короткая (и простая) версия материала. Российских разработчиков упрекнули в том, что они, возможно, фальсифицировали данные в научной статье об исследовании отечественной вакцины против коронавируса. У многих участников исследования (имеются в виду люди, на которых испытывали вакцину) полученные результаты по важным показателям оказались подозрительно похожими. Разработчики ответили, что это вполне возможно, учитывая, что методы, с помощью которых проводились измерения, дают не произвольные, а только определенные (огрубленные) значения. Однако этой проблемы бы не возникло, если бы выборка была больше. А вот почему вакцину исследовали на таком малом числе людей, российские разработчики не объясняют.
Как исследовали российскую вакцину?
Испытания любой вакцины делятся на два этапа: доклинические испытания на животных и исследования на людях (то есть клинические исследования). Подробности доклинических испытаний российской вакцины на животных до сих пор не опубликованы, а статья, о которой идет речь, касается именно результатов клинических исследований. «Медуза» уже подробно писала о ее содержании.
Традиционно клинические исследования делятся на три отдельные фазы, в которых сначала оценивается безопасность препарата на здоровых добровольцах (фаза I), затем способность вызывать иммунный ответ в сравнении с плацебо или существующим стандартом (фаза II), и, наконец, проводится длительное исследование эффективности на основных группах населения, в котором испытывается защитная способность вакцины в реальном мире; для этого обычно сравнивают долю заболевших в группе вакцинированных против соответствующей доли среди тех, кто получал плацебо (фаза III).
Число добровольцев, участвующих в каждой из фаз исследования, поэтапно увеличивается и измеряется на первой фазе обычно десятками, затем сотнями и, наконец, тысячами человек. Однако конкретное количество добровольцев при любых исследованиях рассчитывается на основе законов статистики с учетом главного параметра — величины измеряемого эффекта. Если речь идет о ярком и однозначном эффекте (как, например, бывает в случае ДНК-терапии генетических заболеваний), для демонстрации эффективности лекарства может хватить небольшой группы пациентов. Если же речь, как в случае с вакцинами, о снижении риска заболевания или его тяжести среди привитых, группа добровольцев должна быть значительной.
К настоящему моменту у российской вакцины «Спутник V» завершена начальная фаза, которую авторы называют совмещенной I/II. Однако в ней нет ни сравнения с плацебо, ни рандомизации, ни ослепления — в соответствии в традиционной терминологией ее можно считать только первой. III фаза исследований для вакцины «Спутник V» стартовала всего несколько недель назад, она должна продлиться до конца 2020 года.
В исследовании участвовали 76 добровольцев. Их поделили на две равные группы, которые испытывали два вида вакцины: обычную (замороженную) и высушенную (формально это два разных препарата, поэтому исследовать их нужно отдельно). Каждую из групп по 38 человек поделили на три подгруппы: девять человек получили вакцину на основе аденовируса человека типа 26, еще девять человек получили вакцину на основе аденовируса типа 5, а 20 оставшихся добровольцев получили обе инъекции с паузой в три недели.
После первой инъекции, которая состоялась 18 июня, ученые наблюдали за побочными эффектами, а также измеряли несколько параметров реакции иммунной системы: прежде всего, уровень антител против S-белка SARS-CoV-2 в крови и процент активированных лимфоцитов двух разных типов. У всех 100% добровольцев появились антитела к новому вирусу, причем уровень нейтрализующих антител — тех, которые достоверно предотвращают попадание вируса в клетки, — был сравним с антителами у группы переболевших (речь шла о жителях Москвы).
Эти измерения авторы показали на иллюстрациях к статье в The Lancet индивидуально для каждого из добровольцев. Именно эти иллюстрации и вызвали подозрения со стороны нескольких исследователей и медиков во главе со специалистом по анализу данных, профессором Университета Темпл (США) Энрико Буччи.
В чем заключаются претензии к исследованию?
Авторы критического письма в адрес российских разработчиков говорят, что на иллюстрациях к статье есть признаки манипуляций — преднамеренных или нет. Они обращают внимание на совпадение точек данных (уровень антител и доля активированных лимфоцитов) в разные дни и у добровольцев из разных групп. По их мнению, такие совпадения «на основе простых статистических оценок… крайне маловероятны» (highly unlikely).
На основании этих подозрений они предлагают разработчикам вакцины показать исходные численные данные по измерениям, а также файлы с приборов, с помощью которых оценивается уровень активации лимфоцитов. Такие данные, говорят авторы письма, «могли бы оказать помощь в оценке этого исследования».
Дополнительно авторы письма интересуются подробностями о группе переболевших, с которой сравнивали вакцинированых добровольцев, — в статье, в частности, не указано время между заболеванием и забором сыворотки для анализа.
Что ответили разработчики?
Вкратце — что все данные, указанные в статье, верны и приведены в исходном виде, без обработки. А найденные Энрико Буччи и коллегами совпадения объясняются либо их собственными неаккуратностями при анализе, либо естественными причинами, либо просто совпадением.
Теперь подробнее. Найденные совпадения можно поделить на три группы:
- совпадение уровня антител у одних и тех же добровольцев в разные дни после вакцинации,
- совпадение уровня антител у разных людей в разных группах,
- совпадение по уровню активации лимфоцитов у разных людей.
Все эти совпадения наблюдаются внутри или между группами, в которых участвовали по девять человек; в группах по 20 человек, которые получали оба компонента вакцины, никакого дублирования не наблюдается. Важно отметить, что измерение как уровня антител, так и уровня активации лимфоцитов, по словам авторов, было «квантованным» — то есть измеренные данные могли принимать не произвольные, а только определенные значения.
При измерении уровня антител методом ИФА всегда проводятся кратные разбавления, поэтому точность определения ограничена «лесенкой» значений. Буччи и авторы письма признают, что это могло бы частично объяснять совпадения, но только не в случае с уровнем активации лимфоцитов, который определяется в специальном приборе. Однако разработчики вакцины подчеркивают, что и в этом случае все измерения приведены именно с той точностью, которую позволяет достичь прибор, то есть до 0,1%. Иными словами, эти данные тоже фактически ограничены «лесенкой» допустимых значений.
Уточнив все эти ограничения используемых методов, разработчики вакцины объясняют наблюдаемое на картинках совпадение тем, что изменение уровня антител либо слишком небольшое, чтобы быть заметным (при совпадении у одних людей в разные дни), либо просто случайное. Например, на иллюстрации 2А выделенное голубым совпадение между разными группами происходит всего между девятью точками, расположенными на пяти позициях на логарифмической «лесенке». Такого рода совпадения, названные Буччи и авторами письма «очень маловероятными», разработчики, напротив, называют «неудивительными».
При этом они признают, что небольшое число добровольцев — важное ограничение исследования. Но почему все-таки было решено ограничить так называемую совмещенную первую и вторую фазу исследования столь маленькой выборкой, в разы уступающей всем остальным исследованиям вакцин от коронавируса, они так и не объясняли.
Этих ответов достаточно?
Никаких дополнительных данных, о которых шла речь у критиков статьи, разработчики вакцины не предоставили, только комментарии по уже опубликованным. По словам Логунова и коллег, этих данных просто нет — все сырые данные и так приведены в исходной статье. Исключением, возможно, являются технические данные приборов, измеряющих активацию лимфоцитов, их в ответе не обсуждают. В иммунологии такие технические данные до сих пор выкладывать было не принято, и неизвестно, сохранились ли они у исследователей.
«Медуза» попыталась связаться с Энрико Буччи и узнать, насколько он и его коллеги удовлетворены ответом разработчиков российской вакцины, — однако так и не получила ответа, хотя ранее Буччи охотно общался с российскими журналистами. Из 13 других подписантов письма, которым мы написали с теми же вопросами, откликнулся лишь Константин Андреев из Северо-Западного Университета в США. Он отметил, что не удовлетворен ответом группы Логунова, поскольку некоторые из вопросов проигнорированы — прежде всего, данные по демографии и другим особенностям группы переболевших, с которыми проводилось сравнение вакцинируемых.
Что касается ключевого вопроса о возможности случайного совпадения, которую авторы письма называют «очень маловероятной», а разработчики вакцины — «неудивительной», то на просьбу дать приблизительное численное значение этой вероятности Андреев отметил, что речь идет примерно о 1,4% — в рамках того гипотетического случая, когда уровень антител у девяти добровольцев случайно принимает восемь возможных значений. «То, что для авторов такое совпадение неудивительно, говорит, возможно, лишь о том, что их трудно удивить», — иронизирует Андреев.
«Мы не можем сказать, были ли эти данные преднамеренно обработаны или нет. Мы просто отмечаем, что авторы не ответили на наши опасения по поводу подозрительного перекрытия точек данных в иллюстрациях и не описали адекватно особенности контрольной группы. Исходные данные [приборов, измеряющих активность лимфоцитов в формате] FACS могли бы решить большинство поднятых вопросов, но не были предоставлены авторами», — заключает исследователь.
Кто убедительнее?
Эпидемиолог Антон Барчук, к которому «Медуза» обратилась за комментарием о том, как оценить вероятность совпадений, подчеркнул, что совпадения в статье на самом деле не самая большая проблема российской вакцины.
Все разговоры о том, что данные фальсифицированы, уводят в сторону от реальных проблем данного исследования. Я думаю, мало кто сомневается, что вакцина иммуногенна, но столь малая выборка в исследовании привела к тому, что есть шанс пропустить побочные эффекты. Мы также должны понимать, что результат этой работы — это не свидетельство эффективности, а лишь пропуск в финальную фазу исследования вакцины, которую еще надо провести. И тут сложно будет оперировать малой выборкой, когда другие производители планируют десятки тысяч участников. Публиковать фальсифицированные данные I—II фазы со всех точек зрения бессмысленное занятие. Если нужно было формально доказать на внутреннем рынке, что вакцина работает, хватило бы публикации внутри страны в журнале непонятного качества. Публикация же в Lancet I—II фазы, как сказано выше, не делает вакцину эффективной, и все в мире это понимают.
Мне кажется, стоит поддержать коллег за то, что они не пошли по первому пути — и, несмотря на ограничения [данных], подали публикацию в большой журнал. Репутацию нашей клинической науки даже нельзя назвать плохой — по сути, ее просто нет. Есть фундаментальные биологи, биоинформатики, которые что-то публикуют, но в клинических и популяционных исследованиях провал, поэтому я бы только радовался еще хоть одной из совсем уж небольшого числа наших публикаций.
Александр Ершов
(1) Иммуноферментный анализ
Взаимодействие антитела с антигеном, проводится в планшетах.
(2) А они случайны?
Это оценка снизу — в реальности, когда значения не случайны, вероятность совпадения существенно выше. Но чтобы оценить вероятность точнее, нужно заранее согласиться на какое-либо ожидаемое распределение величины — сделать это исходя лишь из теории вероятности невозможно.