Как падает доля прорывных исследований
2023-й начался с занятной статьи в Nature о кризисе в науке. Поток открытий с годами не меняется, хотя расходы и количество ученых с середины ХХ века выросли в разы. Это значит, что эффективность вложений в научный поиск неуклонно падает, словно следуя ‘закону’ убывающей предельной полезности.
Парадокс: объем исследований и публикаций огромен, но сегодня “ученые полагаются на более узкий набор существующих знаний”, чем их предшественники.
Статья перекликается с другой работой, определившей, что чем больше науки, тем сложнее новым идеям пробиться.
Авторы ищут объяснений, но бросилось в глаза то, что деградация совпадает по времени с вводом в широкую практику научного рецензирования. Гоню эту мысль прочь.
⬆️⬆️⬆️ О том, как рецензирование может разрушать науку, вместо ее развития, пишет Адам Мастрояни, психолог из Гарварда, автор довольно экстравагантных взглядов на организацию науки.
Например, его бесило требование писать статьи нарочито скучным, нечитаемым стилем, и он показал, как можно сообщать об исcледовании так, чтобы вас поняли, оставаясь при этом корректным в отношении фактов, а чтение при этом не было бы мукой.
Эссе про рецензирование он начинает так:
«Последние 60 лет или около того наука ставила эксперимент над собой. Экспериментальный план был не очень хорош; не было ни рандомизации, ни контрольной группы. Точно никто не был ответственным, и никто не проводил последовательных измерений. И все же это был самый масштабный эксперимент из когда-либо проводившихся, и в нем участвовали все ученые на Земле».
Он провалился, считает Мастрояни. При всей радикальности позиции он ставит хорошие вопросы. И на очевидные незыблемые истины начинаешь смотреть по-другому:
«Я думаю, у нас была неправильная модель того, как работает наука. Мы относились к науке как к проблеме слабого звена, где прогресс зависит от качества нашей худшей работы. Но наука — это проблема сильного звена: прогресс зависит от качества нашей лучшей работы. Лучшие идеи не всегда побеждают сразу, но в конце концов они побеждают, потому что более полезны».
Его не пугает перспектива получить вал мусорных работ в отсутствие peer review. Во-первых, в астрофизике или информатике давно уже общаются препринтами; во-вторых, рецензирование не решило проблему низкого качества, мы просто обманываем себя.
Гари Маркус пришел в подкаст The New York Times. Подробно объяснил, почему глубокое обучение ведет к имитации без понимания, а масштабирование не решит проблем.
Метко сравнил нынешнее положение дел в ИИ с алхимией: в те времена люди что-то уже умели, но у них еще не было теории химии. Они даже не знали, как задать правильные вопросы. В том же положении сейчас разработчики — ищут под фонарем.
Есть аудио и транскрипт. Рекомендую.
К этому блюду хорошо пойдет летний манифест Лекуна A Path Towards Autonomous Machine Intelligence и его же небольшое размышление AI And The Limits Of Language.
