Спонсоры получают такой ответ, какой хотят
Прежде, чем мы приступим, мы должны принять одну установку вне любого сомнения: финансируемые промышленностью испытания, более вероятно, приведут к положительному, лестному результату, чем независимые. Это — наша основная предпосылка, и Вам предстоит прочитать очень короткую главу, потому что это — один из наиболее хорошо зарегистрированных явлений в растущей области «исследований об исследованиях». Также в последние годы стало намного легче исследовать, потому что правила обнародования промышленного финансирования стали немного более ясными.
Мы можем начать с некоторой, проведённой в последние годы, работы: в 2010 году три исследователя от Гарварда и Торонто внимательно изучили испытания, рассматривающие пять основных категорий препаратов — антидепрессанты, лекарства от язвы и так далее — и затем провели оценку по двум главным параметрам: действительно ли они были положительны, и финансировались ли они промышленностью? Они исследовали более, чем пятьсот испытаний:
— 85% финансируемых промышленностью исследований были положительны,
— но только 50% финансируемых правительством испытаний были положительны.
Это очень значительная разница.
В 2007 году исследователи изучили опубликованные материалы о проведённых исследованиях, во время которых изучались положительные свойства статинов. Это группа препаратов для снижения уровня холестерина, которые также снижают риск возникновения сердечного приступа. Врачи прописывают их в очень больших количествах, о чём будет говориться далее на страницах этой книги. В этом исследовании обнаружилось всего 192 клинических эксперимента, где сравнивались либо различные статины между собой, либо статины с другим лекарством. Когда учёные взглянули на остальные факторы (мы объясним, что это значит, немного позже), они обнаружили, что спонсированные фармкомпаниями исследования в 20 раз чаще давали результаты в пользу проверяемого лекарства. Снова разница очень большая.
Рассмотрим еще пример. В 2006, исследователи изучали материалы каждого испытания психиатрических препаратов, представленные в четырёх академических журналах за десятилетний период, обнаружив в общей сложности 542 результата. Промышленные спонсоры получили благоприятные результаты для своего собственного препарата в 78% случаев, в то время как независимо финансируемые испытания дали положительные результаты только в 48% случаев. Если бы Вы проводили сравнительное испытание препарата против препарата спонсора, Вы оказались бы в довольно тяжёлом положении: Вы выиграли бы только в ничтожных 28% случаев.
Это — мрачные, пугающие результаты, но они поступают от отдельных исследований. Когда проводится большое количество исследований в определённой области, всегда возможно, что кто-нибудь — как я, например — мог бы выбрать результаты и представить частичную точку зрения. Я мог бы, по сути, сделать точно также, обвиняя фармацевтическую промышленность, сообщать Вам только об исследованиях, которые подтверждают мою концепцию, скрывая иные результаты от Вас.
Чтобы принять меры против этого риска, исследователи изобрели систематизированную экспертизу. Вскоре мы исследуем это более подробно, так как это составляет ядро современной медицины, но в по сути систематизированная экспертиза проста: вместо того, чтобы просто блуждать по материалам исследований, сознательно или подсознательно выбитать то эту статью, то ту, которая подтверждает Ваше предвзятое убеждение, Вы осуществляете научный, систематический подход к самому процессу поиска научных доказательств, гарантируя, что Ваши доказательства являются столь же полными и надёжными, насколько это возможно при наличии всех исследований по этому предмету, которые когда-либо проводились.
Систематизированная экспертиза очень, очень трудоёмка. В 2003 году, так совпало, были опубликованы результаты двух экспертиз, обе специально рассматривали вопрос, которым мы интересуемся. Обе изучали материалы исследований, когда-либо опубликованных, по вопросу, связано ли промышленное финансирование с результатами тестирований. У каждой из них были разные подходы к поиску материалов научно-исследовательских работ, и обе пришли к выводу, что финансируемые промышленностью испытания, в целом, приблизительно в четыре раза чаще сообщают о положительных результатах. Следующий обзор касался новых исследований, результаты которые были опубликованы за эти четыре года после этих двух более ранних обзоров: он рассматривал ещё двадцать исследований, и все, кроме двух, показали, что спонсируемые промышленностью испытания, более вероятно, приводят к получению лестных для спонсоров результатов.
Я излагаю эти доказательства подробно, потому что хочу абсолютной ясности, без тени сомнения в этой проблеме. Спонсируемые промышленностью испытания дают благоприятные результаты, и это не моё мнение или догадка, полученная из случайного мимолётного исследования. Это — очень хорошо задокументированная проблема, и она была экстенсивно исследована, без каких-либо отклонений от принятия эффективных действий, как мы увидим позже.
Я хотел бы сказать Вам ещё об одном последнем исследовании. Оказывается, та схема, что финансируемые промышленностью испытания с большей вероятностью дают положительные результаты, сохраняется, даже когда Вы переводите свой взгляд от опубликованных академических работ и смотрите вместо этого на отчёты об испытаниях, представленные на научных конференциях, где данные часто появляются впервые (фактически, как мы увидим, иногда результаты испытания только появляются на научной конференции, с очень небольшой информацией о том, как проводилось исследование).
Фрайз и Kришнен изучили все резюме исследований, представленных на собраниях Американского Колледжа Ревматологии в 2001 года, которые сообщали о любых испытания и признанном промышленном субсидировании, чтобы узнать, какова было доля результатов, одобряющих препарат спонсора. Здесь имеется небольшой кульминационный момент, и чтобы понять его, мы должны раскрыть немного, что такое академическая статья. Вообще, отдел результатов обширен: представлены необработанные данные по каждому результату, и для каждого — возможный причинный фактор. Даны «диапазоны», возможно исследованы подгруппы, проведены статистические тесты, и каждая деталь результата описана в табличной форме, и представлен короткий текст, объясняющий самые важные результаты. Этот долгий процесс обычно занимает несколько страниц.
В работе Фрайза и Кришнена [2004] этот уровень детализации был не нужен. Раздел результатов — единичный, простой, и — мне хотелось бы представить — довольно пассивно-агрессивное предложение:
В результате всех рандомизированных исследований (45 из 45) было получено одобрение препарата спонсора.
У этого чрезвычайного открытия есть очень интересный побочный эффект, для тех, кто заинтересован экономящими время короткими путями. Так как каждое спонсируемое промышленностью испытание привело к положительному результату, это — всё, что Вы должны были бы знать о предмете исследования, чтобы предсказать его результат: если это финансируется промышленностью, то Вы можете быть абсолютно уверены, что испытание найдёт, что препарат — превосходный.
Как это происходит? Как удаётся спонсируемым промышленностью испытаниям почти всегда получить положительный результат? А это происходит, как легко можно будет понять, благодаря целому набору факторов. Иногда уже в самом исследовании заложен изъян. Вы можете сравнить свой новый препарат с чем-то, о чём Вы знаете, что это — мусор: с существующим препаратом в несоответствующей дозе, возможно, или с сахарной таблеткой плацебо, которая ничего не делает. Вы можете очень тщательно отобрать своих пациентов, так, чтобы они с большей вероятностью поправились в процессе Вашего лечения. Вы можете посмотреть на результаты на полпути, и остановить своё испытание рано, если они выглядят хорошими (что является — по интересным причинам, которые мы обсудим — статистическим ядом). И так далее.
Но прежде, чем мы доберёмся до этих захватывающих методологических завихрений и причуд, до этих толчков локтём и ударам, которые мешают испытанию быть справедливым тестированием того, действует ли это лечение или нет, под рукой есть кое-что намного более простое.
Иногда фармацевтические фирмы проводят много экспертиз, и когда они видят, что результаты являются неудовлетворительными, они просто не публикуют их. Это не новая проблема, и это не ограничено медициной. Фактически, эта проблема отрицательных результатов, которые пропадают без вести при прекращении действий, почти на каждом углу науки. Это искажает результаты в самых разнообразных областях, от психологии до экономики, это высмеивает все наши усилия исключить отклонения из наших исследований, и несмотря на всё, что скажут Вам инспекторы, фармацевтические фирмы и даже некоторые академики, это — проблема, которую оставляют нерешённой на протяжении многих десятилетий.
Фактически, она настолько глубоко укоренилась что, даже если мы решим её сегодня — прямо сейчас, по-настоящему, навсегда, без каких-либо недостатков или лазеек в нашем законодательстве — это всё-таки не поможет, потому что мы всё ещё занимались бы медициной, бодро принимали бы решения о том, какое лечение лучше, на основе десятилетий принятия медицинских заключений, которые является — как Вы понимаете — существенно искажёнными.
Но надо идти вперёд.
Почему не достающие данные имеют значение
Ребокситин — препарат, который выписывал лично я. Другие препараты никак не помогали этому пациенту, поэтому мы хотели попробовать что-нибудь новое. Я прочитал данные об испытании прежде, чем выписал рецепт, и нашёл хорошо разработанное, честное тестирование, со всецело положительными результатами. Ребокситин был лучше, чем плацебо, и столь же хорош, как и любой другой антидепрессант. Он одобрен для использования агентством, контролирующим лекарства и продукты здравоохранения (MHRA), который управляет всеми лекарственными препаратами в Великобритании. Миллионы доз предписываются каждый год, во всём мире. Ребокситин очевидно был безопасным и эффективным лекарством. Пациент и я кратко обсудили основания и согласились, что следует попробовать этот препарат. Я подписал листок бумаги, предписание, и сказал, что я хотел бы, чтобы мой пациент попробовал этот препарат.
Но мы были оба введены в заблуждение. В октябре 2010 группе исследователей наконец удалось объединить все экспертизы, которые когда-либо проводились по ребокситину. Посредством долгого процесса исследования — поиска в академических журналах, настойчивых запросов данных от изготовителей и сбора документации от инспекторов — они смогли собрать все данные, и по испытаниям, результаты которых были опубликованы, и по тем испытаниям, результаты которых никогда не появлялись в академических статьях.
Когда все эти данные об испытаниях были объединены, они произвели шокирующее впечатление. Семь экспертиз были проведены, сравнивая ребокситин с плацебо. Только одно испытание, проведённое на 254 пациентах, имело аккуратный, положительный результат, и именно этот результат был опубликован в академическом журнале, для докторов и исследователей. Но были проведены ещё шесть исследований на количестве пациентов почти в десять раз большем. Все они показали, что ребокситин был не лучше, чем сахарная таблетка плацебо. Результаты ни одного из этих испытаний не были опубликованы. Я понятия не имел, что они существовали.
Дальше — хуже. Испытания, сравнивающие рибокситин с другими препаратами, показали точно ту же самую картину: три маленьких исследования, на 507 пациентах, показали, что ребокситин был так же хорош, как и любой другой препарат. Они были все опубликованы. Но заслуживающие внимания данные исследования, проведённого на 1 657 пациентах, остались неопубликованными, и эти неопубликованные данные показали, что пациенты, получающие ребокситин, чувствовали себя хуже, чем те, которые получали другие препараты. Всё это не было бы так плохо, если бы также не было данных о побочных эффектах. Препарат выглядел хорошо в испытаниях, которые появились в академических статьях: но когда мы увидели неопубликованные исследования, оказалось, что у пациентов было высокая вероятность возникновения побочных эффектов, прекращения принятия препарата и выхода из испытания из-за побочных эффектов, если они принимали ребокситин, а не какой-либо из его конкурентов.
Если у Вас когда-либо появятся сомнении относительно того, раздражают ли меня истории, представленные в этой книге, — а я обещаю Вам, что бы ни случилось, я буду придерживаться данных, и стремиться нарисовать справедливую картину всего, что мы знаем — Вы должны просто взглянуть на эту историю. Я сделал всё, что должен был сделать доктор. Я прочитал все статьи, я критически оценил их, я разобрался в них, я обсудил их с пациентом, и мы приняли решение вместе, основываясь на доказательствах. По опубликованным данным ребокситин был безопасным и эффективным препаратом. В действительности, он был не лучше, чем сахарная таблетка, и даже хуже: он принёс больше вреда, чем пользы. Как доктор, я сделал что-то, что при взвешивании всех данных, повредило моему пациенту, просто потому, что нелестные данные остались неопубликованными.
Если Вы считаете это удивительным или возмутительным, Ваше путешествие только начинается. Поскольку никто не нарушил закон в этой ситуации, ребокситин всё ещё находится на рынке, и система, которая позволила всему этому произойти, — всё ещё работает, для всех препаратов, во всех странах мира. Отрицательные данные пропадают без вести, для всеобщего обозрения, во всех областях науки. Инспекторы и профессиональные организации, от которых мы ожидали искоренения таких методов, подвели нас.
Несколько страниц мы посвятим литературе, которая продемонстрирует всё это вне всякого сомнения, показывая, что «уклонение от публикации» — процесс, посредством которого отрицательные результаты оказываются неопубликованными — является эндемическим для всей медицины и академий; и что инспекторы не смогли ничего с этим поделать, несмотря на десятки данных, указывающих на масштаб проблемы. Но прежде, чем мы доберёмся до этого исследования, я хочу, чтобы Вы почувствовали его последствия, поэтому мы должны понять, почему недостающие данные имеют значение.
Доказательства — единственный способ, с помощью которого мы можем узнать, работает ли что-то — или не работает — в медицине. Мы продвигаемся, испытывая препараты, так осторожно, как мы можем, и собирая все доказательства. Этот последний шаг крайне важен: если я утаиваю от Вас половину данных, то для меня не составит труда убедить Вас в чем-угодно. Если я брошу монету сто раз, например, но скажу Вам только о результатах, когда она приземляется решкой, то я могу убедить Вас, что это — монета, у которой с двух сторон решки. Но это не означает, что у меня действительно есть такая монета: это означает, что я ввожу в заблуждение Вас, и Вы позволяете мне выйти сухим из воды. Это — как раз точно такая ситуация, к которой мы толерантны в медицине, и мы всегда её имеем. Исследователи могут проводить столько испытаний, сколько они желают, и затем выбирают, результаты каких опубликовать.
Последствия этого наносят вред, превышающий простое введение в заблуждение докторов в отношении пользы и вреда для пациентов. Медицинское исследование — это не просто абстрактное академическое преследование: речь идёт о людях, поэтому каждый раз, когда мы не опубликовываем результаты части исследований, мы подвергаем настоящих, живых людей ненужному страданию, которого можно было бы избежать.
TGN1412
В марте 2006 года шесть добровольцев поступили в лондонскую больницу, чтобы принять участие в испытании. Впервые на людях испытывался новый препарат под названием TGN1412, и им заплатили то 2 000£ каждому. Через час эти шесть мужчин почувствовали головную боль, боль в мышцах и чувство беспокойства. Затем ситуация ухудшилась: поднялась температура, усилилось беспокойство, появились периоды провалов в памяти, когда они не помнили, кто они и где они находятся. Вскоре все они начали дрожать, покраснели, их пульс был сильно учащён, кровяное давление упало. Затем наступил кризис: у одного отказала дыхательная система, уровни кислорода в его крови резко упали, его легкие заполнились жидкостью. Никто не знал, почему. У другого пациента кровяное давление понизилось до 65/40, он прекратил дышать и был срочно отправлен в отделение интенсивной терапии, была проведена детонация, и было введена трубка, осуществляющая механическую вентиляцию. К концу дня все шесть были катастрофически больны: жидкость в лёгких, тяжёлые усилия дышать, отказ почек, неудержимое свертывание крови всюду по организму и исчезновение лейкоцитов. Доктора применяли всё, что могли: стероиды, антигистамины, блокаторы рецепторов иммунной системы. Все шесть получали интенсивную терапию. Они прекратили производить мочу; они все были помещены в диализ; их кровь была заменена, сначала медленно, затем быстро; они нуждались в плазме, эритроцитах, тромбоцитах. Лихорадка продолжалась. Они заболели пневмонией. И затем кровь прекратила добираться до периферийных участков. Их пальцы рук и пальцы ног сначала покраснели, затем стали коричневыми, затем стали чёрными, и затем начали гнить и умирать. С героическими усилиями их удалось, по крайней мере, спасти.
Министерство здравоохранения созвало группу учёных экспертов, чтобы попытаться понять, что произошло, и было поднято два вопроса. Во-первых: можем ли мы предотвратить подобные случаи впредь? Это очевидная глупость, например, -давать новый экспериментальный препарат всем шести участникам испытания «впервые на человеке» одновременно, если этот препарат имеет абсолютно неизвестные свойства. Новые препараты должны выдаваться участникам постепенно, медленно, через день. Эта идея получила большой отклик от инспекторов и СМИ.
Меньше замечен был второй вопрос: могли ли мы предвидеть это бедствие? TGN1412 — молекула, которая прикрепляется к рецептору под названием CD28 на лейкоцитах иммунной системы. Это было новое и экспериментальное средство, и оно вмешалось в функционирование иммунной системы способами, которые были плохо поняты, и их трудно было смоделировать на животных (в отличие, скажем, от кровяного давления, потому что иммунные свойства очень различаются у различных разновидностей). Но как было сказано в обнаруженном итоговом отчёте, опыт с подобным вмешательством уже проводился: просто его результаты не были опубликованы. Один исследователь представил следствию неопубликованные данные об исследовании, которое он провёл на одном человеке десять лет назад, используя антитело, которое прикреплялось к CD3, CD2 и рецепторам CD28. У эффектов этого антитела были параллели с таковыми от TGN1412, и пациент, на котором это было проверено, заболел. Но никто не мог этого знать, потому что эти результаты никогда не стали известны научному сообществу. Они лежали неопубликованные, неизвестные, когда они, возможно, помогли бы спасти шестерых мужчин от ужасающего, разрушительного испытания, которого можно было бы избежать.
Тот первоначальный исследователь не мог предвидеть вред, которому он способствовал, и трудно винить его, как человека, потому что он действовал в академической культуре, где оставление полученных данных неопубликованными расценивается, как абсолютно нормальное явление. Сегодня существует та же самая культура. Итоговый отчёт о TGN1412 содержал заключение о том, что обнародование результатов всех впервые осуществлённых на человеке исследований -чрезвычайно важно: они должны быть опубликованы, каждый, как совершенно необходимая практика. Но результаты испытания фазы 1 не были опубликованы тогда, и они всё ещё не публикуются теперь. В 2009, впервые, были опубликованы результаты исследования, внимательно рассмотревшего вопрос, сколько опубликовано результатов этих впервые осуществлённых на человеке испытаний, и сколько осталось скрытыми. Они взяли все материалы по таким испытаниям, получив поддержку одного комитета по этике через год. После четырёх лет, девять из десяти оставались опубликованными; после восьми лет, четыре из пять были всё ещё неопубликованы.
В медицине, как мы увидим снова и снова, исследование не абстрактно: оно имеет прямое отношение к жизни, смерти, страданию и боли. С каждыми из этих неопубликованных исследований мы потенциально подвергаемся, вполне излишне, другому TGN1412. Даже представленной в международных новостях истории, с ужасающими изображениями молодых людей, размахивающих почерневшими ногами и руками с больничных коек, не было достаточно, чтобы сдвинуть процесс, потому что проблема недостающих данных является слишком сложной, чтобы её можно было выразить одним предложением.
Когда результаты фундаментальных исследований, таких как впервые проведённых на человеке, не публикуются, мы подвергаем людей ненужным рискам в будущем.
Действительно ли это было экстремальным случаем? Действительно ли проблема ограничена ранними, экспериментальными, новыми препаратами, испытанными на небольших группах участников экспертизы? Нет.
В 1980-ых, доктора начали давать антиаритмические препараты всем пациентам, испытывающим сердечные приступы. Эта практика выглядела очень разумной на бумаге: мы знали, что антиаритмические препараты помогали предотвратить аномальные сердечные ритмы; мы также знали, что люди, у которых был сердечный приступ, с большей вероятностью будут иметь аномальные сердечные ритмы; мы также знали, что это часто оставалось незамеченным, не выявленным и не вылеченным. Введение антиаритмических препаратов всем, у кого был сердечный приступ, казалось простой, разумной, превентивной мерой.
К сожалению, оказалось, что мы были неправы. Эта практика, проводимая с лучшими намерениями, на основании лучших принципов, фактически убивала людей. И потому, что сердечные приступы очень распространены, она убивала их в очень больших количествах: более 100 000 человек умерли прежде, чем врачи осознали, баланс между преимуществами и риском абсолютно отличался для пациентов без проверенного аномального сердечного ритма.
Мог ли кто-либо предсказать это? К сожалению, да, — это было возможно. Испытание в 1980 протестировало новый анти-аритмичный препарат, лоркаинид, на небольшом количестве мужчин, у которых был сердечный приступ — их было меньше, чем сто человек — чтобы увидеть, можно ли его как-нибудь использовать. Девять из сорока восьми мужчин, принимавших лоркаинид, умерли, по сравнению с одним из сорок семи, принимавших плацебо. Препарат находился на раннем этапе своего развития, и вскоре после этого исследования, от него отказались по коммерческим причинам. Поскольку его не было на рынке, никто даже и не подумал опубликовать результаты испытания. Исследователи предполагали, что это было особенностью их молекулы, и более не задумывались об этом. Если бы они опубликовали материалы тестирования, то мы были бы намного более осторожными в своих попытках применять другие антиаритмические препараты на людях с сердечными приступами, и феноменальные жертвы — более, чем 100 000 человек в своих могилах преждевременно — возможно, были бы намного меньше. Более, чем десятилетие спустя, исследователи наконец опубликовали свои результаты, с признанием «своей вины», признавая вред, который они причинили, не опубликовав ранее результаты своего исследования:
Когда мы выполнили наше исследование в 1980, мы подумали, что повышенный уровень смертности, который наблюдался в группе принимающих лоркаинид, был случайным. Разработка лоркаинида было остановлено по коммерческим причинам, и поэтому результаты этого исследования никогда не были опубликованы; теперь это хороший пример последствий «уклонения от публикации». Результаты, описанные здесь, возможно, впредь обеспечат предупреждение о проблеме.
Как мы вскоре увидим, эта проблема неопубликованных данных широко распространена всюду в области медицины, и действительно пронизывает всю академическую систему, даже при том, что масштаб проблемы, и вред, который она наносит, был зарегистрирован вне всяких сомнений. Мы рассмотрим истории о фундаментальных исследованиях рака, Тамифлю, блокбастерах холестерина, препаратах при тучности, антидепрессантах и т.д., с доказательствами, которые имеются с рассвета медицины до настоящего момента, и данными, которые всё ещё утаиваются, прямо сейчас, когда я пишу, о широко используемых препаратах, которые многие из Вас, читающих эту книгу, примут этим утром. Мы также увидим, как инспекторы и академические структуры постоянно оказываются не в состоянии решить эту проблему.
Поскольку исследователи имеют право похоронить любой результат, который захотят, пациенты подвергаются вредным воздействиям в потрясающем масштабе всюду в области медицины, от исследования до практики. Доктора могут понятия не иметь об истинных эффектах лечения, которое они предписывают. Действительно ли этот препарат работает лучше всех, или я был просто лишен половины данных? Никто не может ответить на этот вопрос. Действительно ли этот дорогой препарат стоит затраченных на него денег, или данные просто подтасовали? Никто не может сказать. Убьет ли этот препарат пациента? Есть ли какие-либо доказательства, что он опасен? Никто не может сказать.
Это — ненормально, чтобы такая ситуация возникла в медицине, — дисциплине, где всё, как предполагается, основано на доказательствах, и где каждодневная практика сфокусирована на медико — юридическом беспокойстве. В одном из наиболее отрегулированных аспектов человеческого поведения мы отвели глаза от мяча, и позволили загрязнить и исказить доказательства, управляющие практикой. Это кажется невообразимым. Теперь мы посмотрим, насколько глубоко вросла эта проблема.
Почему мы суммируем данные
Недостающие данные были изучены экстенсивно в медицине. Но прежде, чем я изложу доказательства, мы должны ясно понять, почему они имеют значение, с научной точки зрения. И для этого мы должны понять, что такое систематизированные обзоры и «метаанализ». Это — две практически самые сильные идеи в современной медицине. Они невероятно просты, но они были открыты ужасно поздно.
Когда мы хотим узнать, работает ли что-нибудь или нет, мы проводим испытание. Это — очень простой процесс, и первая зарегистрированная попытка проведения некоторого подобного испытания была описана в Библии (Даниэль 1:12, если Вам интересно). Во-первых, Вы должны рассмотреть оставшийся без ответа вопрос: например, «Действительно ли введение стероидов женщине, родившей недоношенного ребёнка, повышает вероятность выживания этого ребенка?». Затем Вы находите некоторых соответствующих участников, в этом случае, матерей, которые, скорее всего, родят недоношенного ребенка. Вам потребуется разумное количество их, скажем, двести человек, для этого испытания. Затем Вы поделите их на две группы наугад, обеспечиваете матерям одной группы наилучший современный режим (который доступен в Вашем городе), в то время, как матери другой группы получают наилучший современный режим ухода плюс некоторые стероиды. Наконец, когда все двести женщин пройдут Ваше испытание, Вы подсчитаете, сколько младенцев выжило в каждой группе.
Это — актуальный вопрос для всего мира, и было проведено множество испытаний по этой теме, начиная с 1972: два испытания показали, что стероиды спасли жизни, но пять не показали существенной пользы. Вы часто услышите, что доктора расходятся во мнениях, когда доказательства перемешаны, и это — именно такая ситуация. Доктор с сильным предубеждением в том, что стероиды работают — возможно, поглощённый мыслями о некотором теоретическом молекулярном механизме, посредством которого препарат мог бы сделать что-то полезное в организме — может прийти и сказать: «Посмотрите на эти два положительных испытания! Конечно, мы должны давать стероиды!». Доктор с сильным интуитивным предчувствием, что стероиды — мусор, мог бы указать на пять отрицательных испытаний и сказать: «Повсюду доказательства не показывают пользы. Зачем же идти на риск?»
Вплоть до совсем недавнего времени, в основном, именно так медицина и прогрессировала. Люди могли написать длинные, многотомные обзорные статьи — эссе, рассматривающие материалы исследований — в которых они цитировали бы данные об испытании, с которыми они столкнулись абсолютно несистематическим образом, часто отражая свои собственные предубеждения и ценности. Затем в 1980-ых люди начали делать нечто, названное «систематизированным обзором». Это — ясное, систематизированное рассмотрение литературы, с намерением получить все данные об испытаниях, которые Вы можете найти по одной теме, не склоняясь ни к какому особому набору результатов. В систематизированном обзоре Вы описываете точно, как именно Вы искали данные: какие базы данных Вы исследовали, какие поисковые системы и индексы Вы использовали, даже на какие слова Вы обращали внимание. Вы предварительно определяете виды исследований, которые могут быть включены в Ваш обзор, и затем Вы представляете всё, что Вы нашли, включая статьи, которые Вы отклонили, с объяснением почему. Делая это, Вы гарантируете, что Ваши методы полностью прозрачны, воспроизводимы и открыты для критики, предоставляя читателю ясную и полную картину доказательств. Это может походить на простую идею, но систематизированные обзоры — чрезвычайно редкая внешняя клиническая медицина, и являются одной из самых важных и трансгрессивных идей последних сорока лет.
Если Вы собрали все данные об испытании, Вы можете провести нечто, называемое метаанализом, в котором Вы объединяете все результаты в одной гигантской крупноформатной таблице, объединяете все данные и получаете одно единственное, итоговое число, самое точное резюме всех данных по одному клиническому вопросу. Результат всего этого называют «блоббограмма», и Вы можете видеть одну, представленную на противоположной странице, в эмблеме Кокрейн Коллэборэйшн, глобальной, некоммерческой академической организации, которая производила обзоры золотого стандарта доказательств по важным вопросам в медицине с 1980-ых.
Эта блоббограмма показывает результаты всех испытаний по вопросу, следует ли давать стероиды, чтобы помочь недоношенным детям выжить. Каждая горизонтальная линия — это испытание: если эта линия идёт далеко налево, то испытание показало, что стероиды оказались полезными и помогли в спасении жизней. Центральная, вертикальная линия — «линия отсутствия эффектов»: и если горизонтальная линия испытания касается этой линии, то испытание не показало статистически существенной выгоды. Некоторые испытания представлены более длинными горизонтальными линиями: это были небольшие испытания, с меньшим количеством участников, что означает, что вероятность ошибки — больше, таким образом, в оценке преимуществ есть больше неопределённости, и поэтому горизонтальная линия более длинна. Наконец, ромб в основании показывает «итоговый эффект»: это — общая польза от вмешательства, объединяющая вместе результаты всех отдельных испытаний. Она является намного более узкой, чем линии для отдельных испытаний, потому что эта оценка намного более точна: она суммирует эффект препарата при применении его на многих пациентах. На этой блоббограмме Вы можете видеть — потому что ромб находится далеко от линии отсутствия эффектов — что применение стероидов чрезвычайно полезно. Фактически, оно снижает вероятность смерти недоношенного ребенка почти вдвое.
Удивительно то, что блоббограмма была изобретена, и это произошло очень поздно в истории медицины. На протяжении многих лет у нас была вся необходимая информация о том, что стероиды спасали жизни, но никто не знал, что они были эффективны, потому что никто не делал систематического обзора до 1989. В результате терапия не применялась широко, и огромное количество младенцев умерло; не потому что у нас не было информации, но просто потому что мы не могли синтезировать ее должным образом.
В случае, если Вы думаете, что это — единичный случай, то стоит исследовать глубже, до какой степени была запутана медицина до настоящего времени. Диаграмма на противоположной странице содержит два блоббограммы, показывающих все экспертизы, когда-либо проведённые по вопросу, способствует ли применение стрептокиназы, разрушающего сгустки препарата, выживанию пациентов, у которых был сердечный приступ.
Взгляните сначала на графическую диаграмму, представленную на следующей странице. Это — обычная графическая диаграмма, из академического журнала, поэтому они немного более оживлённая, чем стилизованная в эмблеме Кокрейна. Принципы, однако, — точно такие же. Каждая горизонтальная линия — это испытание, и Вы можете видеть, что наблюдается мешанина результатов, с некоторыми испытаниями, показывающими пользу (они не касаются вертикальной, обозначающей отсутствие эффектов линии, озаглавленной «1»), и некоторые показывают отсутствие какой-либо пользы (они действительно пересекают эту линию). В основании, однако, Вы можете увидеть итоговый эффект — точку на этой старомодной блоббограмме, а не ромб. И Вы сможете увидеть очень ясно, что в целом, стрептокиназа спасает жизни.
Так что, то, что справа — это нечто, называемое совокупным метаанализом. Если Вы посмотрите на список исследований, представленный слева в диаграмме, Вы сможете увидеть, что они упорядочены по датам. Совокупный метаанализ, представленный справа, добавляет результаты новых исследований, по мере того, как они возникают, к результатам предыдущих испытаний. Это дает самую лучшую текущую оценку, каждый год, того, как выглядели бы доказательства, если бы кто-либо потрудился сделать метаанализ всех доступных данных. Из этой совокупной блоббограммы Вы можете увидеть, что горизонтальные линии, «итоговые эффекты, становятся более узкими, по мере того, как всё больше данных накапливается, и общая оценка этого лечения становится более точной. Вы можете также видеть, что эти горизонтальные линии прекратили касаться вертикальной линии очень давно — и кардинально, они ведут себя так задолго до того, как мы начали давать стрептокиназу всем пациентам с сердечным приступом».
В случае, если Вы сами не заметили — чтобы быть справедливыми, вся медицинская профессия медленно ухватывает — у этой диаграммы есть разрушительный подтекст. Сердечные приступы — невероятно частая причина смерти. У нас было лечение, которое работало, и у нас была вся информация, в которой мы нуждались, чтобы знать, что оно работало, но ещё раз: мы не объединяли это систематически, чтобы получить правильный ответ. Половине людей в тех испытаниях в блоббограмме, выбранных наугад, не давали стрептокиназу, и я думаю, что это — неэтично, потому что у нас была вся информация о том, что стрептокиназа работает: они были лишены эффективной терапии. Но они не были одинокими, потому что в такой же ситуации находилось большинство людей в мире в то время.
Эти истории иллюстрируют, я надеюсь, почему систематизированные обзоры и метаисследования настолько важны: мы должны объединить все доказательства по одному вопросу, а не просто выбирать лакомые кусочки, на которые мы натыкаемся, или действуя интуитивно. Слава Богу, медицина дошла до того, чтобы признать это, за несколько последних десятилетий, и систематизированные обзоры с метаисследованиями теперь используются почти универсально, гарантируя, что у нас есть самое точное резюме всех испытаний, которые были проведены по конкретной медицинской проблеме.
Но эти истории также демонстрируют, почему недостающие результаты испытания настолько опасны. Если один исследователь или доктор «выбирает лакомые кусочки», суммируя существующие доказательства, и рассматривая только испытания, которые поддерживают его догадку, то он может создать вводящую в заблуждение картину исследования. Это — проблема того одного человека (и любого, кто оказался настолько неблагоразумен или неудачен, чтобы попасть под влияние идей этого доктора). Но если мы всё упускаем отрицательные результаты испытаний, всё медицинское и академическое сообщество, во всём мире, а затем, когда мы объединяем доказательства, чтобы получить самое лучшее представлении том, что и как работает — как мы и должны делать — мы все полностью оказываемся введенными в заблуждение. Мы получаем вводящее в заблуждение впечатление об эффективности лечения: мы некорректно преувеличиваем его преимущества; или, возможно, даже можем ошибочно прийти к выводу, что вмешательство полезно, тогда как в действительности — оно причиняет вред.
Теперь, когда Вы понимаете важность систематизированных обзоров, Вы можете видеть, почему недостающие данные имеют значение. Но Вы сможете также оценить важность этого момента, потому что, когда я расскажу Вам, сколько данных об испытаниях отсутствует, я дам Вам чистый краткий обзор литературы, потому что я буду объяснять Вам эти доказательства, используя систематизированные обзоры.
Сколько данных отсутствует?
Если Вы хотите доказать, что результаты испытаний остались неопубликованными, перед Вами встаёт интересная проблема: Вы должны доказать существование исследований, к которым у Вас нет доступа. Чтобы справиться с этим, люди разработали простой подход: Вы идентифицируете группу испытаний, о которых Вы знаете, что они были проведены и закончены, затем проверяете, были ли их результаты опубликованы. Обнаружение списка законченных испытаний — самая хитрая часть этой работы, и чтобы её осуществить, люди использовали различные стратегии: траление списков испытаний, которые были одобрены комитетами по этике (или «экспертной комиссией» в США) или настойчивые просьбы результатов испытаний, обсуждённых исследователями на конференциях.
В 2008 группа исследователей решила проверить (на предмет публикации) каждое испытание, о котором когда-либо сообщали американскому Управлению по контролю за продуктами и лекарствами, по всем антидепрессантам, которые прибыли на рынок между 1987 и 2004. Это не было лёгкой задачей. Архивы FDA содержат разумное количество информации обо всех испытаниях, которые были представлены инспектору, с целью получения лицензии для нового препарата. Но это не все испытания, так или иначе, потому там не представлены результаты испытаний, проведённых в отношении препаратов, не поступивших на рынок; и информацию, которая предоставлена FDA, трудно искать, и часто она очень скудная. Но это — важная подгруппа испытаний, и её более, чем достаточно для нас, чтобы начать исследовать, как часто результаты испытаний пропадают без вести, и почему. Это — также представительная часть испытаний от всех главных фармацевтических фирм.
Исследователи нашли в общей сложности результаты 74 исследований, представляющих заслуживающие внимания данные о 12 500 пациентах.
38 из этих испытаний имели положительные результаты, и обнаружили, что новый препарат работал; 36 имели отрицательный результат. Поэтому результаты поделились между успехом и неудачей препаратов, в действительности. Затем исследователи приступили к поиску результатов этих испытаний в опубликованной академической литературе, материалах, доступных докторам и пациентам. Обнаружилась совсем другая картина. 37 из положительных испытаний — все, кроме одного — были полностью опубликованы, часто с большим количеством фанфар. Но у испытаний с отрицательными результатами была совсем другая судьба: только три были опубликованы. Двадцать два были просто потеряны для истории, никогда не появляясь нигде, кроме как в тех пыльных, неорганизованных, тонких файлах FDA. Оставшиеся одиннадцать, у которых были отрицательные результаты в резюме FDA, действительно появились в академической литературе, но с описанием, какой успех имел препарат. Если Вы сочтёте это абсурдным, я соглашусь в Вами: мы увидим в Главе 4, на «плохих испытаниях», как результаты исследования могут быть переделаны и отполированы так, чтобы исказить и преувеличить его результаты.
Это была замечательная работа, касающаяся двенадцати препаратов от всех главных изготовителей, без ярко выраженных негативных характеристик. Она ясно разоблачила нарушения в системе: в действительности у нас было тридцать восемь положительных испытаний и тридцать семь отрицательных; в академической литературе — сорок восемь положительных испытаний и три отрицательных. Сравните в уме: «тридцать восемь положительных испытаний, тридцать семь отрицательных»; или «сорок восемь положительных испытаний и только три отрицательных».
Если бы мы говорили об одном единственном исследовании, выполненном одной единственной группой исследователей, которые решили ликвидировать половину своих результатов, потому что они не позволяли получить желаемую общую картину, то мы могли бы вполне правильно назвать их действия «нарушением дисциплины исследования». Хотя, если точно то же самое явление происходит, когда пропадают без вести целые исследования, и это делается руками сотен и тысяч людей по всему миру, и в общественном, и в частном секторе, — мы принимаем это, как нормальный элемент жизни. Это проходит мимо зорких глаз инспекторов и профессиональных организаций, которые как правило ничего не предпринимают, несмотря на несомненное влияние, которое эта проблема оказывает на пациентов.
Ещё более странным является вот что: мы знали о проблеме пропадающих без вести исследований, имеющих отрицательные результаты, с той самой поры, когда люди начали заниматься серьёзной наукой.
Этот факт был впервые формально задокументирован психологом по имени Теодор Стерлинг в 1959. Он рассмотрел каждую работу, опубликованную в четырёх больших журналах по психологии того времени, и обнаружил, что 286 из 294 сообщали о статистически существенных результатах. Это, как он посчитал, было явно подозрительным: это не могло быть честным представлением результатов каждого исследования, которое было проведено, потому что, если бы это было так, то мы должны были бы полагать, что почти каждая теория, когда-либо проверяемая психологом в эксперименте, оказалась бы правильной. Если бы психологи действительно были настолько сильны в предсказании результатов, едва ли вообще стоило бы трудиться ставить эксперименты. В 1995, в конце его карьеры, тот же самый исследователь возвратился к тому же самому вопросу, когда прошла половина его жизни, и нашел, что почти ничто не изменилось.
Стерлинг был первым, кто смог поместить эти идеи в формальный академический контекст, но на признание лежащей в основе истины потребовались многие столетия. В 1620 Фрэнсис Бэкон объяснил, что мы часто вводим самих себя в заблуждение, запоминая только то, что нечто действует, и забывая то, что нечто не действует. Фаулер в 1786 году составил список случаев, в которых он для лечения применял мышьяк, и указал, что он, возможно, хотел замять случаи неудач, а это искушение могли бы испытать и другие, но включил их. Поступить иначе, сказал он, было бы равнозначно обману.
И всё-таки только три десятилетия назад люди начали понимать, что недостающие результаты испытаний представляют из себя серьёзную проблему для медицины. В 1980 Элина Хемминке обнаружила, что почти половина экспертиз, проведенных в середине — 1970-ых в Финляндии и Швеции, осталась неопубликованной. Затем в 1986 году американский учёный по имени Роберт Саймс решил исследовать испытания нового препарата для лечения рака яичника. Это было важным исследованием, потому что рассматривался вопрос о жизни-или-смерти. Комбинированная химиотерапия для этого вида рака имела очень жесткие побочные эффекты, и зная это, много исследователей полагали, что лучше было бы сначала применить «алкилирующий агент», перед тем, как в дальнейшем приступить к полной химиотерапии. Саймс рассмотрел все испытания по этому вопросу, опубликованные в академической литературе, которую читают доктора и академики. Из неё следовало, что однократное введение препарата — прекрасная идея: женщины с прогрессирующим раком яичника (что является тяжёлым диагнозом), которые принимали однократно алкилирующий агент, имели значительно большую вероятность выживания.
Затем у Саймса возникла умная мысль. Он знал, что иногда результаты испытаний не публикуются, и он слышал, что материалы с «менее захватывающими» результатами наиболее вероятно пропадают без вести. Тем не менее, доказать, что это произошло, — мудрёное дело: Вы должны найти честную, репрезентативную выборку всех экспертиз, которые были проведены, и затем сравнить их результаты с совокупностью меньшего размера испытаний, которые были опубликованы, чтобы увидеть, имеются ли какие-либо различия. Не представлялось возможным получить эту информацию от инспекторов лекарственных препаратов (мы обсудим эту проблему в деталях позже), так что вместо этого он пошел в Международный Банк Данных по Исследованиям рака. В нём имелся регистр интересных испытаний, которые проводились в США, включая большинство финансируемых правительством, и многих других, проведённых по всему миру. Это вовсе не был полный список, но у него действительно было одно фундаментальное свойство: испытания были зарегистрированы прежде, чем появились их результаты, таким образом, любой список, составленный из этого источника, будет, будет представлять собой если и не полную, то, по крайней мере, репрезентативную выборку всех исследований, которые когда-либо проводились, и не искажённую тем, были ли их результаты положительными или отрицательными.
Когда Саймс сравнил результаты опубликованных испытаний с количеством предзарегистрированных испытаний, результаты оказались тревожными. В академической литературе представлены исследования, которые исследователи и редакторы журнала хотели опубликовать — и исходя из этих данных применение однократно алкилирующих агентов, выглядит прекрасным решением, значительно снижающим уровень смерти от прогрессирующего рака яичника. Но когда Вы рассмотрите только предзарегистрированные испытания — непредубежденную, беспристрастную выборку всех экспертиз, когда-либо проведённых — новое лечение выглядит ничуть не лучше, чем старое — химиотерапия.
Саймс немедленно осознал — и я надеюсь, что и Вы также — что вопрос о том, лучше ли одна форма лечения рака, чем другая, — это маленький пустяк по сравнению с глубинной бомбой, которая была представлена в медицинской литературе. Всё, что мы думали, что знаем о том, действует ли данное лечение или нет, вероятно, искажено до такой степени, которую трудно оценить, но это, конечно, оказывает огромное влияние на лечение больных. Мы видели положительные результаты и пропускали отрицательные. Было очевидно, что мы должны сделать в этом отношении следующее: начать регистрацию всех клинических испытаний, требовать, чтобы люди регистрировали свои исследования прежде, чем приступали к их осуществлению, и настаивать на том, чтобы они публиковали результаты в конце.
Это было в 1986. С тех пор, поколением позже, мы действовали очень плохо. Я обещаю, что в этой книге не буду ошеломлять Вас данными. Но в то же время, я не хочу, чтобы фармацевтической фирмы, или правительственные инспекторы, или профессиональные организации, или любой, кто сомневается во всей этой истории, имели бы хоть малейшую возможность вывернуться. Поэтому я теперь рассмотрю все доказательства о недостающих испытаниях, настолько кратко, насколько возможно, указав главные подходы, которые использовались. Всё, что Вы прочитаете, поступило из актуальнейших систематизированных обзоров по данному предмету, таким образом, Вы сможете убедиться, что это — честное и непредубежденное резюме результатов.
Один подход к исследованию состоял в том, чтобы получить все материалы испытаний, о которых у инспекторов лекарственных препаратов есть отчёт, от очень ранних, сделанных в целях получить лицензию на новый препарат, и затем проверить, появились ли они в академической литературе. Это — метод, который использовался в упомянутой выше статье, где исследователи искали каждую статью о двенадцати антидепрессантах, и нашли, что разделение 50/50 положительных и отрицательных результатов превратилось в сорок восемь положительных исследований и только три отрицательных. Этот метод использовался экстенсивно в нескольких различных областях медицины:
Ли и коллеги, например, искали материалы по 909 испытаниям, представленные на рассмотрение наряду с маркетинговыми заявлениями на все девяносто новых лекарственных препаратов, которые поступили на рынок с 2001 до 2002: они нашли, что 66 процентов испытаний с существенными результатами были опубликованы, по сравнению с только 36 процентами остальных.
Меландер в 2003 искал сорок два исследования по пяти антидепрессантам, которые были представлены шведскому инспектору лекарственных препаратов в процессе получения маркетингового разрешения: были опубликованы двадцать одно исследование с существенными результатами; только 81 процент из тех, которые не обнаружили пользы, был опубликован.
Райзинг и др. в 2008 году обнаружили большинство тех искажённых рецензий, которые мы будем анализировать позже: они искали все экспертизы по ценности одобренных препаратов за двухлетний период. В резюме результатов FDA, которые удалось обнаружить, было 164 испытания. Вероятность того, что испытания с благоприятными результатами будут опубликованы в академических газетах, была в четыре раза больше, чем для испытаний с отрицательными результатами. Вдобавок к этому, четыре из испытаний с отрицательными результатами, как только они оказались в академической литературе, превратились в испытания с положительными результатами.
Если хотите, Вы можете рассмотреть доклады, представленные на конференции: огромное количество исследований представлено на конференциях, но наша наиболее точная текущая оценка — это то, что только приблизительно половина из всего этого количества появляется в академических статьях. Исследования, представленные только на конференциях, почти невозможны найти, или процитировать, и особенно трудно оценить, потому что даётся очень мало информации о специфических методах, используемых в исследовании (часто всего один параграф). И как Вы вскоре увидите, не каждое испытание — честное тестирование терапии. Некоторые имеют изъян, уже заложенный в проекте, таким образом, эти детали имеют значение.
В 2010 году был проведён новый систематизарованный обзор исследований, предметом рассмотрения которого было то, что происходит с докладами, представленными на конференциях, и было обнаружено, что тридцать отдельных исследований, рассматривающих, исчезают ли отрицательные результаты, представленные на конференциях — в разнообразных областях, таких как анестезиология, муковисцедоз, онкология и A&E — прежде, чем стать полноценными академическими статьями. В большинстве своём незавидные результаты, с огромной степенью вероятности, пропадают без вести.
Если Вы очень удачливы, Вы можете разыскать список испытаний, существование которых было публично зарегистрировано прежде, чем они были начаты, возможно, инспектором, который был намерен исследовать именно этот вопрос. С момента возникновения фармацевтической промышленности, вплоть до совсем недавнего времени, Вам бы очень повезло, если бы Вам удалось найти такой список в общественной области. Поскольку ситуация с публично финансируемыми исследованиями немного другая, здесь мы начинаем извлекать новый урок: хотя огромное большинство испытаний проводится промышленностью, с результатом, задающим тон тон для сообщества, это явление не ограничено коммерческим сектором.
К 1997 уже были проведены четыре исследования методом систематизированного обзора. Они нашли, что вероятность публикации исследований с существенными результатами в два с половиной раза больше, чем исследований без таковых.
В статье 1998 года были рассмотрены все испытания двух групп триалистов, спонсируемых Американскими Национальными Институтами Здоровья, проведённые за предшествовавшие десять лет, и снова было обнаружено, что исследования с существенными результатами публикуются чаще.
Другое исследование было проведено в отношении испытания лекарственных препаратов, зарегистрированных финским Национальным Агентством, и было обнаружено, что было опубликовано 47 процентов положительных результатов, но только 11 процентов — отрицательных.
В другом исследовании были рассмотрены все испытания, которые прошли через отдел аптеки глазной клиники, начиная с 1963: 93 процента существенных результатов были опубликованы, но отрицательных — только 70 процентов.
Вывод, сделанный в этого урагана данных, прост: это не недоступная для исследований область; доказательства были с нами в течение долгого времени, и они не являлись ни противоречащими, ни неоднозначными.
Два французских исследования в 2005 и 2006 предприняли новый подход: они пошли в комитеты по этике и получили списки всех исследований, которые были одобрены, и затем выяснили, какие из испытаний привели к положительным, а какие к отрицательным результатам, прежде чем приступить к поиску опубликованных академических статей. В первом исследовании было обнаружено, что существенные результаты имели в два раза больше шансов быть опубликованными; во втором, что эта вероятность была в четыре раза больше. В Великобритании два исследователя послали анкетный опрос всем ведущим исследователям по 101 проекту, оплаченному NHS R&D: это — не промышленное исследование, но это стоит отметить, так или иначе. Эти действия привели к необычному результату: не было никаких статистически значимых различий в показателях публикации положительных и отрицательных результатов.
Но недостаточно просто перечислить исследования. Систематически просматривая все доказательства, которые мы до сих пор имеем, что мы видим повсюду?
Не стоит стремиться к тому, чтобы смешать все исследования этого типа, поместив их в одну гигантскую крупноформатную таблицу, чтобы получить суммарный показатель уклонения от публикаций, потому что они все очень отличаются, в различных областях, с различными методами. Это — проблема многих метаисследований (хотя её и не следует преувеличивать: если имеется множество испытаний, сравнивающих один препарат с плацебо, скажем, и они все используют то же самое измерение результата, то Вы могли бы быть прекрасно смешать их всех вместе).
Но Вы можете разумно поместить некоторые из этих исследований в отдельные группы. Актуальнейший систематический обзор уклонений от публикаций, начиная с 2010, из которого взяты выше приведённые примеры, соединяет доказательства из различных областей. Двенадцать сопоставимых исследований отслеживали данные, представленные на конференциях, и соединив их все вместе, они обнаружили, что вероятность публикации исследований, закончившихся существенными открытиями, в 1.62 раза больше. Четыре исследования, рассмотревшие списки испытаний до того, когда они начались, пришли к выводу, что вероятность публикации существенных результатов в 2.4 раза больше. Таковы наши наилучшие оценки масштаба проблемы. Они актуальны, и они заслуживают осуждения.
Все эти недостающие данные не просто абстрактный академический вопрос: в реальном мире медицины опубликованные доказательства используются, чтобы можно было принять правильное решение в отношении лечения. Эта проблема касается самой сути всего, что делают доктора, поэтому очень важно детально рассмотреть, как именно она влияет на медицинскую практику. Во-первых, как мы видели в случае ребокситина, доктора и пациенты введены в заблуждение в отношении эффектов лекарств, которые они используют, и могут принять решение, способное вызвать страдание или даже смерть, которых можно было бы избежать. Мы могли бы также выбрать излишне дорогостоящее лечение, будучи введенными в заблуждение и полагая, что оно более эффективно, чем более дешевые и более старые препараты. Таким образом, впустую расходуются деньги, в конечном счете, лишая пациентов другого способа лечения, в то время, как финансирование здравоохранения отнюдь не бесконечно.
Также следует прояснить, что этих данных лишены все в медицине, сверху донизу. NICE, например, — Национальный Институт Здоровья и Клиники Превосходного Качества, созданный британским правительством, чтобы проводить тщательные, непредубежденные сводки всех показателей нового лечения. Он неспособен ни идентифицировать, ни получить доступ к данным по эффективности препарата, которые были скрыты исследователями или компаниями: NICE имеет не больше законных прав на эти данные, чем Вы или я, даже при том, что он принимает решения об эффективности и рентабельности от имени NHS, для миллионов людей. Фактически, как мы увидим, MHRA и EMA (Европейская Служба Лекарств) — инспекторы, которые решают, какие препараты могут поступить на рынок в Великобритании — часто имеют доступ к этой информации, но не делятся ею с общественностью, с докторами или с NICE. Это — экстраординарная и извращенная ситуация.
Итак, в то время, как доктора пребывают в неведении, пациенты подвергаются плохому, неэффективному лечению, ненужному лечению и излишне дорогому лечению, которое не лучше, чем дешевое; правительства платят за излишне дорогое лечение, и восполняют стоимость вреда, созданного несоответствующим или вредным лечением; и отдельные участники испытаний, таких, как в исследовании TGN1412, подвергаются ужасающим, опасным для жизни испытаниям, приводящим к пожизненным шрамам, и опять совершенно излишне.
В то же самое время, затормаживается научно-исследовательская работа в медицине, поскольку жизненно важные отрицательные результаты не доступны для тех, кто мог бы их использовать. Это затрагивает всех, но это является особенно вопиющим в мире «редких заболеваний», проблем со здоровьем, которые затрагивают только небольшое число пациентов, потому что эти области медицины нуждаются в ресурсах, и пренебрегаются исследовательскими отделами большинства фармацевтических фирм, так как возможности для дохода — ниже. Люди, работающие над редкими болезнями, будут часто исследовать существующие препараты, которые были опробованы и не подтвердили свою эффективность при других условиях, но у которых есть теоретический потенциал для редкой болезни. Если данные от более ранних исследованиях этих препаратов на других болезнях отсутствуют, то работа по исследованию их применения в редкой болезни и тяжелее и опаснее: возможно, они, что уже было выявлено, обладали преимуществами или эффектами, которые помогли бы ускорить исследование; возможно, они, как уже было выявлено, были активно вредны при использовании в отношении других болезней, и возможно имелись важные сигналы об опасности, которые помогли бы защитить будущих участников исследования от вреда. Никто не может сказать.
Наконец, и возможно наиболее позорно, когда мы позволяем незавидным данным оставаться неопубликованными, мы предаём пациентов, которые участвовали в этих исследованиях: люди, которые предоставили свои тела, и иногда и жизни, в слепой вере, что они помогают создать новое знание, которое в будущем принесёт пользу другим, находящимся в той же самой ситуации. Фактически, их вера не оправдана: часто то, что мы говорим им, как исследователи, — ложь, потому что данные об исследовании можно утаить, и мы знаем это.
Так, чья же это ошибка?
Почему отрицательные результаты испытаний исчезают?
Очень скоро я представлю больше очевидных случаев, когда фармацевтические фирмы утаивают данные — в историях, где мы можем идентифицировать людей — иногда с помощью инспекторов. Когда мы доберёмся до них, я думаю, что Вы разгневаетесь. Но сначала стоит потратить одну минуту, чтобы признать, что уклонение от публикации происходит вне коммерческой разработки лекарственного средства, и в академических областях, где люди мотивированы только репутацией, и их собственными личными интересами.
Во многих отношениях, в конце концов, уклонение от публикации — очень человеческий процесс. Если Вы провели исследование, и у это не привело к захватывающему, положительному результату, то Вы могли бы прийти к ошибочному заключению, что Ваш эксперимент не очень интересен для других исследователей. Есть также проблема стимулов: заслуги академиков часто измеряется грубыми показателями, такими как количество ссылок на их статьи, и количеством ярких исследований, опубликованных в гламурных известных журналах. Если отрицательные результаты труднее опубликовать в больших журналах, и менее вероятно то, что они будут цитироваться другими академиками, то и побуждений распространять их меньше. Тогда как положительный результат Вы воспринимаете, как обнаружение чего-то нового. Все вокруг Вас взволнованы, потому что Ваши результаты являются исключительными.
В 2010 наблюдалась одна ясная иллюстрация этой проблемы. Ведущий американский исследователь психологии по имени Дэрил Бем опубликовал компетентную академическую статью в уважаемом журнале, приведя доказательство предвидения, способности предсказывать будущее. Это исследование было хорошо разработано, и результаты были статистически существенными, но многие люди не были убеждены в достоверности результатов, по тем же самым причинам, по которым и Вы не убеждены: если бы люди действительно могли бы предвидеть будущее, мы уже, вероятно, знали бы об этом: экстраординарные заявления требуют экстраординарных доказательств, а не одноразовых результатов.
Но фактически исследование было воспроизведено, хотя положительных результатов Бема не удалось получить. По крайней мере, две группы академиков провели повторно несколько из экспериментов Бема, используя те же самые методы, и оба не нашли доказательств предвидения. Одна группа предложила опубликовать свои отрицательные результаты в Журнале Индивидуальности и Социальной Психологии — в том же самом журнале, который опубликовал работу Бема в 2010 — и журнал отклонил их статью. Редактор даже ответил: мы никогда не публикуем исследования, которые копируют друг друга.
Здесь мы видим ту же самую проблему, что и в медицине: положительные результаты будут опубликованы с большей вероятностью, чем отрицательные. Время от времени, публикуется причудливый положительный результат, показывая, например, что люди могут предвидеть будущее. Кто знает, сколько психологов попыталось за эти годы найти доказательствами эстрасенсорных способностей, проводя тщательно продуманные, отнимающие много времени эксперименты, на десятках объектах — возможно сотнях — и затем не нашли доказательств, что такие способности существуют? Любой ученый, пытающийся опубликовать такое открытие изо всех сил пыталось бы заставить журнал относиться к этому серьёзно. Статьи Бема о предвидении были широко представлены в серьёзных газетах по всей Европе и США, и академический журнал, недавно проявлявший интерес к вопросу о предвидении, просто отказался опубликовать работу с отрицательным результатом. Всё же воспроизведение этих результатов было ключевым — сам Бем заявил так в своей статье — поэтому также жизненно важно отслеживать отрицательные результаты.
Работающие в лабораториях люди скажут Вам, что иногда множество раз не получается достичь положительного результата эксперимента, прежде чем удаётся получить результат, который Вы надеетесь получить. Что это означает? Иногда неудачи являются результатом обоснованных технических проблем; но иногда они будут жизненно важным статистическим контекстом, возможно даже способствуя нахождению главного открытия исследования. Многие результаты исследования, помните, представляют из себя не абсолютные черно-белые результаты, а хрупкие статистические корреляции. При нашей существующей системе большая часть этой контекстной информации о неудаче просто смахивается «под ковёр», и это приводит к возникновению гигантских последствий в отношении стоимости воспроизведения исследования, способами, которые не сразу очевидны. Например, исследователи, у которых не получается воспроизвести начальное открытие, возможно, не знают, потерпели ли они неудачу из-за того, что оригинальным результатом была завышенная счастливая случайность, или потому что они допустили какую-то ошибку в своей методике. Фактически, стоимость доказательства того, что открытие было ложным, значительно больше, чем стоимость создания его впервые, потому что Вы должны провести эксперимент еще много раз, чтобы доказать отсутствие открытия, просто из-за способа, по которому работают статистические данные, касающиеся обнаружения слабых эффектов; и Вы также должны быть абсолютно уверены, что исключили все технические проблемы, чтобы избежать позора, если Ваш вывод окажется несоответствующим. Эти сложности опровержения могут частично объяснить, почему так легко можно уйти от публикацию результатов, которые в конечном счете, оказывается ошибочными. [Это было впервые указано мне Джейми Хейвудом из PatientsLikeMe, который потратил огромные ресурсы, пытаясь повторить результаты исследований в другой области медицины, но так и не смог. В последний раз, когда я его видел, мы говорили о том, чтобы написать свою идею о том, что вероятность того, что исследование будет истинным, пропорциональна стоимости его создания и обратно пропорциональна стоимости опровержения. Мы этого не сделали, и до тех пор описание нашего разговора является единственной ссылкой на эту идею].
Уклонение от публикации — это не только проблема абстрактных уголков исследований по психологии. В 2012 группа исследователей сообщила в журнале Нейча, как они попытались копировать пятьдесят три ранних лабораторных исследований, целью которых было лечения рака: сорок семь из этих пятидесяти трех не удалось воспроизвести. Это исследование вызвало серьёзные последствия в отношении разработки новых медицинских препаратов, потому что такие невоспроизводимые результаты — это не просто абстрактная академическая проблема: исследователи строят теории, основанные на том, что эти результаты действительны, и разрабатывают новые идеи, используя другие методы. Если они просто спускаются по садовой дорожке, в поисках неожиданной удачи, то огромное количество денег на исследование и усилий тратится впустую, и открытие новых методов лечения серьёзно задерживается.
Авторы исследования ясно истолковали и причину, и решение этой проблемы. Удачные находки, как они объяснили, с большей вероятностью будут предоставляться журналам — и более вероятно будут опубликованы — чем скучные, отрицательные результаты. Мы должны дать больше стимулов академикам для того, чтобы они предоставляли для публикации отрицательные результаты; но мы должны также дать им и больше возможностей.
Это означает изменить поведение академических журналов, и здесь мы сталкиваемся с проблемой. Хотя обычно редакторы журналов сами академики, они имеют свои собственные интересы и программы, и у них много общего с журналистами и редакторами газет, так что некоторые из них могут не захотеть признать, что очень ясно проиллюстрировал эпизод с экспериментами по предсказанию. Являются ли такие журналы, как этот, разумной моделью для того, чтобы сообщать результаты исследований вообще — горячо обсуждаемый предмет в академии, но это — текущая ситуация. Журналы — это привратники, они принимают решения о том, что релевантно и интересно для их аудитории, и они конкурируют за читателей.
Это может принудить их вести себя способами, которые не отражают интересы науки, потому что желание отдельного журнала обеспечить красочное содержание могло бы находиться в противоречии с коллективной потребностью обеспечить всестороннюю картину доказательств. В газетной журналистике есть известный афоризм:
«Когда собака кусает человека, это не новости; но когда человек кусает собаку…»
Эти суждения о том, что заслуживает освещения в печати в господствующих СМИ, были даже продемонстрированы количественно. Одно исследование в 2003, например, задалось целью рассмотреть освещение медицинских новостей Би-би-си за несколько месяцев, и вычислило, сколько людей должно было умереть от данной причины, чтобы дать возможность появиться одной истории. 8571 человек должно было умереть от курения для появления каждой истории о курении; но было по три истории для каждой смерти от новой болезни Крейцфельда-Якоба, или «коровье бешенство». В другом исследовании в 1992 году было рассмотрено освещение в печатных СМИ смертельных случаев от препарата, и было обнаружено, что требуется 265 смертельных случаев от отравления парацетамолом для появления одной истории о такой смерти в газете; но каждая смерть от MDMA, в среднем, заслуживала одного сообщения в печати.
Если подобные суждения влияют на содержание академических журналов, то это проблема для нас. Но возможно, действительно академические журналы — узкое место, препятствующее докторам и академикам иметь доступ к незавидным результатам испытания о безопасности и эффективности препаратов, которые они используют? Этот аргумент обычно предъявляется промышленностью, и исследователи также часто стремятся обвинить журналы в том, что они отклоняют отрицательные результаты. К счастью, этот вопрос стал предметом некоторого исследования; и в целом, хотя журналы и не безупречны, трудно утверждать, что они — главный источник этой серьезной проблемы здравоохранения. И особенно это так потому, что имеются академические журналы, основная задача которых публиковать клинические испытания, с обязательством публиковать и отрицательные результаты, записанном в их уставе.
Но ради справедливости и полноты, и потому что промышленность и исследователи очень часто стремятся переложить вину на академические журналы, мы рассмотрим, верно ли то, чего они требуют.
В одном обзоре просто спрашивали у авторов неопубликованных работ, предоставляли ли они когда-либо материалы для публикации. Сто двадцать четыре неопубликованных результата были идентифицированы, методом прослеживания каждого исследования, одобренного группой американских комитетов по этике, и когда исследователи связались с командами, стоящими позади неопубликованных результатов, оказалось, что только шесть статей когда-либо фактически предоставлялись для публикации и были отклонены. Возможно, Вы могли бы сказать, это — странное открытие. Другой подход заключался в том, чтобы проследить все статьи, представленные одному журналу, и увидеть, чаще ли отклоняются те статьи, которые представляют отрицательные результаты. Здесь снова, журналы кажутся безупречными: 745 рукописей, представленных Журналу Американской Медицинской Ассоциации (JAMA), были рассмотрены, и не было никакого различия в пропускной способности для существенных и незначащих результатов. То же самое попробовали сделать со статьями, представленными BMJ, Анналы Внутренних Болезней и Журналу Костной и Суставной Хирургии. Снова и снова, никакого эффекта не было обнаружено. Может это было потому, что журналы играли в честную игру, когда знали, что за ними наблюдают? Переворачивание всей практики публикации для одного краткого представления — это было бы трудно, но это возможно.
В эти исследования входят наблюдения того, что происходит в нормальной практике. Один последний вариант состоит в том, чтобы проводить эксперимент, посылая идентичные статьи в различные журналы, но изменяя направленность результатов наугад, чтобы увидеть, имеет ли это какое-либо значение для пропускных способностей. Это не то, что можно было бы делать очень часто, потому что на это уходит огромное количество времени; но в отношении вопроса об уклонении от публикации, это можно было бы расценить, как оправданное предприятие в некоторых случаях.
В 1990 исследователь по имени Эпштейн создал серию фиктивных бумаг, с идентичными методами и изложением, которые отличались только тем, сообщали ли они о положительных или отрицательных результатах. Он послал их наугад в 146 социальных журналов: положительные материалы были приняты в 35 процентах случаев, и отрицательные — в 26, — разница не достаточно большая, чтобы быть статистически существенной.
Другие исследования попробовали провести нечто подобное в меньшем масштабе, не представляя статью журналу, а скорее, с помощью журнала, посылая подставные академические бумаги отдельным рецензентам: эти люди не принимают окончательное решение относительно публикации, но они действительно дают советы редакторам, таким образом, пронаблюдать их поведение было бы полезно. У этих исследований были более смешанные результаты. В одном исследовании подложные статьи с идентичными методами, но различными результатами были послали семидесяти пяти рецензентам. Было обнаружено некоторое уклонение рецензентов от результатов, которые не совпадали с их собственными взглядами.
Другое исследование, проведённое в 1994 году рассмотрело ответы рецензентов на статью о машинах TENS (электротерапевтических приборах с аппликаторами): это — довольно спорные устройства, предназначенные для облегчения боли. Тридцать три рецензента с жёсткими представлениями по этому вопросу дали свою оценку, и снова было обнаружено, что их суждения о статье были широко коррелированы с их существующими ранее взглядами, хотя исследование было маленьким. В другом исследовании было проведено то же самое в отношении статей о шарлатанском лечении; было обнаружено, что направленность результатов не оказывала никакого воздействия на рецензентов из ведущих медицинских журналов, решающих, принять их или нет.
Одно заключительное рандомизированное исследование 2010 года попробовало в большом масштабе пронаблюдать, отвергают ли рецензенты действительно идеи, основываясь на своих предвзятых мнениях (хороший индикатор того, оказывают ли результаты исследований влияние на журналы, тогда как должны просто сосредотачиваться на том, должным ли образом разработано и проведено исследование). Сфабрикованные статьи были посланы более, чем двумстам рецензентам, и все они были идентичны, за исключением результатов, о которых они сообщали: половина рецензентов получила результаты, которые соответствовали их взглядам, половина — которые не соответствовали. Рецензенты с большей вероятностью рекомендовали публикацию, если они получали версию рукописи с результатами, которые им нравились (97 процентов против 80 процентов), и с большей вероятностью обнаруживали ошибки в рукописях, результаты которых им не нравились, и более высоко оценили методы, применявшиеся в статьях, результаты которых им нравились.
В целом, даже если и наблюдаются острые моменты в некоторых областях, — эти результаты не предполагают, что журналы — главная причина проблемы исчезновения отрицательных испытаний. В экспериментах, рассматривающих влияние рецензентов, наблюдались отдельные уклоны в некоторых исследованиях, но не за ними последнее слово о публикации, и во всех исследованиях, изучающих, что происходит с отрицательными статьями, представленными в журналы в реальном мире, доказательства показывают, что они поступают в печать без проблем. Журналы, возможно, не полностью невиновны, но было бы неправильно возложить всю вину на них.
В свете всего этого данные о том, что исследователи говорят о своём собственном поведении, являются очень разоблачающими. В различных обзорах они говорили, что думали, что не было никакого смысла в передаче отрицательных результатов, потому что они будут просто отклонены журналами: 20 процентов медицинских исследователей сказали так в 1998; 61 процент исследователей по психологии и образованию сказал так в 1991; и так далее. Если спросить их, почему они не послали результаты исследования на публикацию, наиболее распространенные причины, которые выдвигают исследователи, — это: отрицательные результаты, отсутствие интереса или нехватка времени.
Это касается наиболее отвлечённых областей науки — в значительной степени далекой от непосредственного мира клинических испытаний — но кажется, что академики ошибаются, в лучшем случае, о причинах того, почему отрицательные результаты пропадают без вести. Журналы могут положить некоторые барьеры для публикации отрицательных результатов, но они не являются абсолютными, и большая часть проблемы заключается в побуждениях академиков и восприятии.
Более того, в последние годы, начинается эра открытого доступа к академическим журналам: теперь имеется несколько таких журналов, как журнал Трайелс, к которым доступ свободен, и суть редакционной политики которых такова, что они примут любой отчет об испытании, независимо от результата, и будут активно требовать отрицательных результатов. С предложениями, такими как эти, на столе очень трудно полагать, что кому-то придётся изо всех сил бороться за публикацию испытания с отрицательным результатом. И все же, несмотря на это, отрицательные результаты продолжают пропадать без вести, так как обширные международные компании просто утаивают результаты исследований по их препаратам, даже при том, что академики и доктора отчаянно пытаются познакомиться с ними.
Вы могли бы разумно задаться вопросом, может быть есть люди, которые, как предполагается, препятствуют тому, чтобы этот вид данных утаивали. Университеты, в которых было проведено исследование, на пример; или инспекторы; или «комитеты по этике, которых обвиняют в защите пациентов, участвующих в исследовании. К сожалению, наша история оборачивается к темной стороне. Мы увидим, что многие люди и организации, от которых мы могли бы ожидать защиты пациентов от вреда, причиняемого недостающими данными, вместо этого, уклоняются от своих обязанностей; и хуже того, мы увидим, что многие из них активно организуют заговоры, оказывая помощь компаниям в утаивании данных от пациентов. Мы вскоре столкнёмся с некоторыми большими проблемами, некоторыми плохими людьми и некоторыми простыми решениями.
Продолжение в следующей статье.
Полную книгу можно прочитать по этой ссылке.
