На прошлой неделе в ходе итогового заседания коллегии ФСКН директор службы Виктор Иванов назвал медиану «инновационным способом введения в заблуждение российского общества» и посвятил подтверждению этого тезиса отдельный слайд. Нелюбовь службы к робастной (нечувствительной к отклонениям) математической статистике вспыхнула не из-за теоретических свойств медианы, а из-за их применения к оценке работы антинаркотического ведомства.
Ранее Институт проблем правоприменения сравнил результативность МВД и ФСКН на основе данных о массе каждого наркотика, изъятого их сотрудниками. Из них следовало, что у ФСКН основной вал регистрируемых преступлений, как и у МВД, касается мелких объемов. Наша (консервативная) оценка такова, что 40% наркопреступлений, зарегистрированных ФСКН, не превышают по стоимости изъятых наркотиков преступления, зарегистрированные МВД.
Иванов не согласился с нами и привел на коллегии пример, который изображен в переработанном виде на рисунке. Директор службы моделирует мир с тремя ведомствами, каждое из которых изъяло по пять наркотиков. Синее ведомство (думается, МВД в этом примере) всегда изымало по грамму наркотических веществ. Зеленое ведомство (возможно, ФСБ или СК) изъяло три наркотика по грамму, а также 500 г и 5 кг. Оранжевое ведомство (очевидно, ФСКН) изъяло три раза по грамму, а также 2 и 15 кг.
Идейное расхождение Иванова с медианой заключается в том, что для всех трех ведомств она составляет один грамм (величина третьего изъятия). Он называет понятие медианы «диковинным для криминологии» и призывает российское общество обратить внимание на замечательные результаты оранжевого ведомства.
Согласно заявлениям руководителя ведомства ФСКН специализируется на выявлении крупных, оптовых партий наркотиков
Отказывать криминологии в понятии «медиана» – сильное утверждение. Но она не нуждается в защите: беглый поиск по статьям главного мирового журнала в этой области, Criminology, дает 344 упоминания. А вот интерпретация медианы должна быть прояснена. Оранжевое ведомство в мире Иванова изъяло больше других с точки зрения вала – об этом нам сообщит сумма изъятого и средняя величина. Медиана же нам скажет, что в половине случаев три ведомства работали одинаково, изымая то же самое. Медиана не позволяет наблюдателю обмануться впечатляющими по объему, но редкими изъятиями и рассказывает о ежедневной рутине ведомства. Пример директора ФСКН подтверждает, а не опровергает (как он думал) наш тезис о дублировании функций ведомств.
Из идейного расхождения Иванова с медианой следует и стилистическое. Российские ведомства (не только ФСКН) привыкли отчитываться валовыми показателями и предлагают сравнение «с аналогичным периодом прошлого года» как универсальную метрику успеха. В общемировой традиции годовых отчетов хорошим тоном считается впечатлить читателя внушительным числом. Но что скрывается за валом? Составить представление о процессах внутри ведомства невозможно на основе знаний о вале, требуется понимать и рутину работы. Наша карта наркопреступлений показала, в каких регионах медиана изъятого выше у МВД, несмотря на лидерство ФСКН по сумме изъятого. В ряде регионов Дальнего Востока разницы между ведомствами почти не заметно, тогда как УФСКН по Санкт-Петербургу и Ленобласти, например, никогда не дублирует МВД, действительно занимаясь крупными партиями наркотиков.
Яркая реакция руководства ФСКН на предложенный нами способ оценки работы государственных органов показала, какие трудности в России встречает подход к принятию решений на основе эмпирических данных. За непониманием методики следует ее отрицание и необоснованная критика. Мы готовы продолжать предметный диалог по методикам анализа данных. А намеки на то, что за любыми попытками критически оценить эффективность государственных ведомств скрывается некий «иностранный заказ», оставляем без комментариев.
Сегодня у российского государства уже нет иного выхода, кроме как совершенствовать качество госуправления. В контексте растущей открытости первичных данных активность независимых центров, подвергающих анализу работу государственных органов, будет только увеличиваться. Соответственно, в выигрыше будут те ведомства, которые инвестируют интеллектуальные и финансовые ресурсы в информационные технологии, дающие их руководству адекватное представление о том, что происходит на низовом уровне работы их сотрудников.
Авторы – научный руководитель и научный сотрудник Института проблем правоприменения при ЕУСПб
Источник Ведомости