"Фальсификации" в отчетах Пентагона: много шума из ничего

08.09.10 09:45

Армия, ВПК, спецслужбы

Аспирант политических наук Нью-йоркского университета Дрю Конуэй (Drew Conway) обработал данные о боевых действиях в Афганистане на основании данных Wikileaks и официальных отчетов ISAF (Международные силы безопасности в Афганистане).

Дрю Конуэй использовал язык "R" статистического программирования с открытым исходным кодом и графические инструменты и в итоге нашел небольшие "подозрительные" места в отчетах командования ISAF. Но в целом, доклады военных оказались довольно правдивы, а шум вокруг "разоблачающих" данных возник из-за того, что их мало кто может проанализировать.

Значительный объем отчетов, рапортов и наблюдений в файлах Wikileaks не позволяет большинству читателей изучить все данные. Их графическое отображение помогает быстро оценить картину обстановки и сделать прогноз.

Для обнаружения "фальсификаций" Дрю Конуэй использовал закон Бенфорда, который полагается на доказанный факт того, что числа, начинающиеся с определенных цифр, встречаются в природе чаще. Первым это удивительное явление заметил американский астроном Саймон Ньюкомб, который обратил внимание на то, что страницы библиотечных книг, содержащих логарифмические таблицы, больше всего истрепаны на страницах с логарифмами, начинающимися на 1. Позднее установили, что в разных вычислениях и измерениях люди чаще всего встречают числа, которые начинаются на 1, реже 2, 3, 4 и так далее.

В табличном выражении закон Бенфорда выглядит просто: по вертикали графика количество чисел (голосов на выборах, сумм прибылей в бухучете, накладных, рапортов, квитанций и т.п.), а по горизонтали простые числа от 1 до 9. По Бенфорду: в левой части графика должен быть пик, т.к. малые числа встречаются в природе чаще, соответственно чем больше число – тем ниже кривая. Если на графике видна ровная линия или слишком резкие пики – есть основания считать, что данные фальсифицированы. Закон применяется с рядом ограничений (например неприменим к телефонным номерам, почтовым индексам, номерам лотерейных билетов – т.е. случаям, когда числа всего лишь символы и могут быть заменены картинками, буквами и т.п.) но в целом его точность высока.


На первом графике количества событий Конуэя видны две линии: коричневая "теоретическая" показывает, как должен выглядеть график в соответствии с законом Бедфорда и синяя – результат докладов из Wikileaks.

Расхождения не очень значительные и их можно списать на ошибки разведки (неправильная оценка событий, неточный подсчет потерь, атак и т.п.).


На втором графике более детальный анализ данных с Wikileaks по региональным командованиям. Как можно видеть, графики "истины" Бедфорда и официальные доклады практически совпадают. За исключением небольших отклонений в докладах Восточного командования, в целом все выглядит правдиво.

Графики Конуэя также показывают, насколько важно графическое отображение сложных данных большого объема. Ведь даже самая ценная и сенсационная информация в неудобоваримой форме может пройти мимо потребителя.

Программные продукты, которые делают статистический анализ, широко используются спецслужбами и армиями многих стран.

Так, например, в Ираке испытывалась программа SCARE, позволяющая разведчикам с помощью компьютерного анализа и на основании доступной информации прогнозировать места установки самодельных бомб и координаты тайников с оружием. Данные о взрывах бомб в Багдаде за период с 2006 по 2008 годы были введены в компьютер, и после обработки SCARE выдала местонахождение тайников с оружием и предполагаемые места следующих нападений. По данным о 73 терактах программа определила местонахождение 14 хранилищ с вероятной ошибкой определения координат на 700 м. Группы солдат, которые обыскивали указанные SCARE точки, установили, что более половины предсказанных мест находились даже ближе к тайникам боевиков - на расстоянии менее 500 м. Средняя точность прогноза составила около 350 м, что серьезно облегчает опасную работу военнослужащих.

Графическое представление данных в большинстве случаев раздражает офицеров, которые часами готовят графики и делают презентации. Некоторые считают, что эта работа – самое тяжелое занятие на военной службе. Тем не менее она помогает избежать потерь и спрогнозировать многие неприятные инциденты.

На следующем графике можно увидеть интересные факты, которые неизбежно утонули бы в грудах рапортов и аналитических записок. Например, интерес представляет религиозный праздник Рамадан.


На графике четко видно, как террористическая активность связана с временем года, а также количество случаев применнения разных видов оружия

До 2008 года можно отчетливо проследить снижение террористической активности в этот праздник и значительный рост нападений на местные органы власти. Но после 2008 года, вместе с ростом нападений на местные органы власти в Рамадан, выросло и число терактов направленных, как против местных жителей, так и солдат коалиции. Это говорит о том, что главной проблемой талибы теперь считают укрепляющуюся местную власть и прилагают все усилия для дестабилизации обстановки, не ориентируясь более на религиозные принципы. На графике также четко видно, как террористическая активность связана с временем года. Тревожной тенденцией является не столько увеличение случаев применения тяжелого оружия (коричневый цвет), сколько резкий рост нападений террористов с легким оружием и из засад (оранжевый цвет). Это свидетельствует о том, что террористы смешиваются с местным населением и им все проще неожиданно применять оружие - спецслужбам следует искать тайники с оружием поблизости от мест атак.


На этом графике показана тенденция увеличения веса самодельных бомб

Наблюдается очень тревожная тенденция увеличения веса самодельных бомб. Хоть это и свидетельствует о том, что меры защиты личного состава и новый бронированный транспорт имеют эффект, но талибы пытаются вернуть убойность взрывов на прежний уровень.

Видимо серьезно выросли поставки взрывчатки террористам и нужно искать каналы поставок и принять меры по разминированию территорий, поскольку талибы могут использовать неразорвавшиеся авиабомбы и снаряды. Если талибы будут вынуждены уменьшить заряды или, как в Ираке, проводить теракты реже, то потери солдат и мирных жителей резко снизятся.


Рост числа нападений на "кольцо дорог" по периметру Афганистана

На этой схеме наблюдается рост числа нападений на "кольцо дорог" по периметру Афганистана. Это свидетельствует о попытке движения Талибан лишить правительство Афганистана власти, отрезав населенные пункты друг от друга, и требует принятия срочных мер для предотвращения изоляции регионов.

Источник: Cnews

Редактор: Bred


veldinc`

08.09.10 11:13

Данные конечно интересные, но проверять их надо, не очень я доверяю всяким "аспирантам политических наук", за ними обычно торчат ослиные уши ЦРУ и т.д....

SKS

08.09.10 14:39

> veldinc`
Данные конечно интересные, но проверять их надо, не очень я доверяю всяким "аспирантам политических наук", за ними обычно торчат ослиные уши ЦРУ и т.д....
Надо не доверять, а изучать результаты такого анализа, вот тогда и можно определить ахинея перед вами, целенаправленный "слив" дезы с самыми разными целями или эти данные объективно отображают реальность. Например, у меня есть некоторые вопросы по поводу использования закона Бенфорда, а вцелом выводы мне представляются достоверными.


Hayama

08.09.10 18:23


Очаровательно, идеальная кашица для промывания мозга, УЧЕНЫЕ, ПРОАНАЛИЗИРОВАЛИ, И В ЦЕЛОМ, ни слова о том что конкретно анализировалось что за НЕБОЛЬШИЕ исключения он там нашол. Ведь действительно за небольшим исключениями, таким как убийство мирных жителей, ошибочные авиационные удары по своим же силам и случайным селам я думаю отчеты ISAF довольно правдивы!
А теперь давайте проанализирум мы как опытные читатели невмеру свободной прессы.
1)"Значительный объем отчетов, рапортов и наблюдений в файлах Wikileaks не позволяет большинству читателей изучить все данные
" - ой зачем вам читать все ети скучные отчеты мы вам сейчас все понятно раскажем.
2) "Для обнаружения "фальсификаций" Дрю Конуэй
(давим на афторитет) использовал закон Бенфорда, который полагается на доказанный факт того, что числа, начинающиеся с определенных цифр, встречаются в природе чаще
." Конечно читателям которым сложно читать отчеты прост, понятен и знаком закон Бенфорда! (Абстрогируемся от того, что лично у меня вызывает большие сомнения применимость этого закона в данном случае) - псевдонаучностью вырубаем критического восприятие читателя.
3) "Как можно видеть, графики "истины" Бедфорда и официальные доклады практически совпадают. За исключением небольших отклонений в докладах Восточного командования, в целом все выглядит правдиво."
- вот это фурор оказыветься есть ГРАФИКИ ИСТИНЫ человечество столько веков мучалось, пытаясь отличить правду от лжи, а надо было просто сравнить с простыми и понятными графиками если совпадет занчит правда (интересно а если засунуть в метод текст анны корениной, вдруг все так и было). И вот вывод, посмотрите на красивые графики все хорошо пентагон говорит нам правду и только правду. Вывод сработает только если мозг убит пунктами 1 и 2.
4) Далее тыррористы, бомбы и графики графики графики. - переключение внимания на другой предмет и убаюкивание читателя, главное чтоб мозг не проснулся.
Каковже вывод читателя, тупейшая 4х компонентная клизма для промывания мозга биомассы без высшего образования, чейто заказаный вброс с целью уменьшить возможный эффект от публикации закрытых документов пентагона, типа там ничего интересного и нет. (но кстати работает, посмотрите на СКС, он уже собрался изучать не сами отчеты, а их псевдонаучный анализ - 100% попадание статьи, фокус смещен с факта фальсификаций в отчете на возможное обсуждение адекватности примененного метода. А адекватен метод или нет неважно, фальсификации не могут занимать скольнибудь значимый процент отчетов, информация скрываеться путем недоговорок и полуправды, искать их анализируя структуру текста - сама изначально поданная идея абсурдна и все дальнейшии дискусии служат цели стать отвлечению внимания)


SKS

11.09.10 20:06

> Hayama
но кстати работает, посмотрите на СКС, он уже собрался изучать не сами отчеты, а их псевдонаучный анализ - 100% попадание статьи, фокус смещен с факта фальсификаций в отчете на возможное обсуждение адекватности примененного метода. А адекватен метод или нет неважно, фальсификации не могут занимать скольнибудь значимый процент отчетов, информация скрываеться путем недоговорок и полуправды, искать их анализируя структуру текста - сама изначально поданная идея абсурдна и все дальнейшии дискусии служат цели стать отвлечению внимания)
В отличии от вас я как раз изучал отчеты, поэтому могу судить об их достоверности. Касаетельно того, что я "собрался изучать не сами отчеты, а их псевдонаучный анализ" - 100% бред, построенный на одной моей фразе. Ну отвелек бы выводы Конуэя (допустим) мое внимание... на несколько минут, но потом, путем изучения самих отчетов и все станет на свои места: сразу выяснится, может ли работа аспиранта претндовать на реальность или нет.
Разжую, что именно я имел ввиду в своем предыдущем посте. Изучить отчет и сравнить с результатами анализа Коуэла, вот тогда и станет понятно, ахинея перед вами или нет. Так вот, если приминение з-на Бенфорда, мягко говоря, спроно, то кое-что из статьи, на мой взгляд, достоверно и совпадает с выводами на основе отчетов. Безусловно, скорее всего подобные выкладки могут использоваться для отвлечения общественного внимания, с целью снижения уровня резонанса, который может/мог бы возникнуть. Более того, некоторые факты указывают именно на это, но все же отбрасывать сходу статью, не сравнив ее с выводами непосредственно из отчетов, было бы не верно.


SKS

12.09.10 17:44

Отвечая Hayama, хотел бы заметить следующее. Дело в том, что ваши утверждения о псевдонаучности статьи носят характер предположения и не более того, поскольку никаких прямых доказательств этой псевдонаучности статьи приведено не было. Я согласен с пунктом два, но чтобы говорить о неправдоподобности статьи нужны более веские обоснования. Т.е., однозначно утверждать о заказном характере статьи можно только если проанализировать сами отчеты, получить выводы, а потом сравнить их с выводами Конуэя и тогда можно будет понять, написал ли он заказной бред, с целью отвлечь обывателей от важности самих документов или нет. Вот это будет объективно и верно. Я понимаю, что вы, основываясь на моем посте подумали, что будто бы я решил "изучать не сами отчеты, а их псевдонаучный анализ", но это не соответствует действительности. Согласен, что очень высока вероятность того, что подобные статьи являются частью большой компании по дискредитации как содержания самих документов, так и тех, кто выложил эти документы на сайте. Этому уже есть подтверждение. Но, повторяю, надо больше обоснований, а то из вашего поста можно сделать и такой вывод, словно вы изначально предположили, что статья заказная и пытается отвлечь внимание, а, далее вы под эту гипотезу подгоняете факты (пункт 1-4). Чтобы такого не произошло нужны объективные данные, которые подтверждали бы ваше предположение. А получить объективность можно так, как я описал выше.

Размещение комментариев доступно только зарегистрированным пользователям