При президенте российской федерации III международная социологическая конференция "Продолжая Грушина"
Скачать 444.36 Kb.
|
Валерий Федоров: Коллеги, как всем нам стало понятно, Борис Зусманович не только великолепный исследователь и истории, но еще и блистательный оратор. Потому что слушать его можно было бы бесконечно. Всех, кому не хватило, агитирую на завтрашний мастер-класс, и, конечно, брошюра, которая всем роздана. А сейчас я бы попросил пройти к трибуне Александра Анатольевича Ослона – президента Фонда Общественное мнения, всем вам прекрасно известного. Фонд совсем недавно отметил свое 20-летие. Это прекрасная команда, многие из ярких представителей сегодня среди нас. Александр Анатольевич, Вам слово. Ослон Александр Анатольевич: Спасибо, я бы тоже хотел поблагодарить организаторов этой конференции, порадоваться за ВЦИОМ, за Валерия Федорова, который так бурно, активно и продуктивно работает. Я очень надеюсь, что конференция будет не только полезна, но и доставит удовольствие множеству собравшихся коллег. Второе, о чем бы я хотел сказать, - это то, что сама конференция «Продолжая Грушина» сразу отправляет куда-то в прошлое. Я могу сказать, что Борис Андреевич был фантастическим мотором. Он как ртуть, как шарик, который мчался, излучал энергию, бурлил, поражал. Когда он говорил, сразу можно было за ним записывать. В памяти сохраняются важные детали. Одна из них: Борис Андреевич был фантастически тщательным человеком, методическим, скрупулезным до бесконечности. Когда я увидел его новый кабинет, в котором уже были расставлены все предметы, в углу на тумбочке пишущая машинка. А у меня была слабость к пишущим машинкам, посмеялся и сказал, что это архаика, она механическая, что уже надо пользоваться электрической. Он настолько бурно на это отреагировал. По ходу дела выяснилось, что у него есть сертификат машиниста. Он был машинист, он печатал на машинке… Валерий Федоров: У меня тоже есть сертификат машиниста! Ослон: «Продолжая Федорова»... Я не хочу отнимать много времени. Третье, - это сама тема, которую Борис задал несколько лет назад – постгэллаповская эпоха. ПО этому поводу я хочу выступить, произнести несколько тезисов. Первый тезис состоит в том, что опросы основаны на определенной модели индивида. Я его называю homo respondentus. Это существо, это случайно возникшее существо, его легко заменить, чаще всего одноразовое. Все, что мы хотим от него, - это то, чтобы оно отреагировало на наши вопросы своими ответами. Даже если это ответ будет «затрудняюсь ответить», это представляет ценность. Вся суть работы с респондентом – это сбор достоверной статистики и стереотипов, поскольку обычно реакция респондента на вопросы – это проявление каких-то ходульных клише, стереотипов, которые на сегодняшний день сформированы, которые сидят как занозы в наших головах. Чаще всего мы обращаемся к респонденту с вопросами, относительно которых он либо ничего не знает, либо что-то слышал. Мы абсолютно не озабочены компетентностью респондента в том вопросе, который мы задаем. Мы снимаем его реакцию: вопрос – стимул, ответ – реакция. И статистика их реакций во многих случаях представляет большой интерес. Дело дошло до того, что каждый день в Америке снимали реакции избирателей. Это очень важно перед выборами, как можно чаще понимать, как реагируют люди на этот простой вопрос. А по сути дела - это сборщик статистики того, что в данный момент находится в головах людей. В этом мало кто интересуется, разбирался ли респондент, какие альтернативы ему предлагает политическая реальность, знает ли биографии и предбиографии кандидатов. И вообще, он что-нибудь знает? Мозги у респондента не предполагаются. Это модель, точно так же как есть homo economicus, который только и знает, как максимизировать прибыль. Это рыночная модель, но чтобы в научных сферах получать результаты, этой модели достаточно. И выводы, и результаты применимы в ограниченном диапазоне. Одно из направлений постгэллаповской эпохи состоит в том, что начали развиваться методы, которые стали называть краудсорсинг как некоторая альтернатива, другая сторона. Если работу с респондентами я предлагаю называть пассивной социологией, поскольку респондент – существо пассивное, активным является социолог. А методы, основанные на краудсорсинге, логично назвать активной социологией, поскольку речь идет о работе с людьми, которые обладают тем, что не предполагается в респонденте, мозгами, компетентностью, активностью, неравнодушием. Если этих качеств нет, то этот человек в той группе людей, с которыми происходит работа, быть не может. В этом смысле это активная социология. Но чтобы в социологическом ключе рассказать об этом, я приведу пример. Все мы знаем, что такое социологический отчет - это 95, чаще 98-99% это знание, которое было извлечено в ходе социологического исследования. А в конце отчета обычно совсем коротко пишутся так называемые рекомендации. То есть основные усилия были нацелены на то, чтобы изучить реальность методами опросов или другими методами, гэллаповскими или постгэллаповскими. Суть состоит в том, что мы некое знание сгенерировали и представили, а сами рекомендации делаются лицам принимающими решения, что нужно сделать, какие действия или подводки к действиям. Этим занимается автор-социолог. Так вот, краудсорсинг – это инструмент, когда социолог не занимался тем, что он делать не очень то умеет, поэтому это занимает так мало места, поэтому рекомендации обычно достаточно банальны. Метод краудсорсинга состоит в том, чтобы рекомендации по изменению реальности сделать не своими руками, а позвать людей и так организовать их, чтобы они это сделали. Это новый подход, в более широком смысле это решение трудных задач, привлекая незнакомых сторонних людей. Но в нашем случае очень хорошая иллюстрация, что это действие советует лицам, принимающим решения, не социолог, а этот этап развивается в качестве отдельного вида работ. Модель человека, участвующего в краудсорсинге, - это модель активного, неравнодушного, толкового человека. Я его называю partator, участника, homo partatious. Все знают слово аутсорсиннг, когда мы берем на работу на временный контракт с фамилией, с биографией, мы решаем, что можем ему поручить работу и заключаем с ним договор. Это очень распространено, особенно в сфере обороны. Там мы разбираемся в человеке и решаем, справится он или нет. Если мы привлекаем экспертов, то нам легко разобраться, есть список трудов, послужной список, есть репутация. И только после этого мы решаем, брать этого человека на работу или нет. Иногда мы не ошибаемся, чаще ошибаемся. Но краудсорсинг подразумевает совершенно иной подход. Мы зовем как можно больше людей, правда надо звать с умом, и предлагаем им поработать, и они начинают работать. Те, кто равнодушен, они не приходят, те, у кого интерес слабый, они уходят. Те, которые остаются, они неравнодушны, они могут просто пассивно себя вести. И, наконец, активные неравнодушные могут нести такую пургу, что… То есть толковость, наличие мозгов именно здесь и сейчас определяется по ходу дела. Если проявление в ходе совместной деятельности признаются продуктивными и качественными, то это человек заслуживает более высокой репутации, но здесь и сейчас. Известные в мире краудсорсинговые проекты включали в себя и сотни, и тысячи людей, и сотни тысяч, и даже есть проекты, в которых участвуют миллионы людей. Последний такой проект – Pepsi, с лозунгом - давайте наш мир улучшать. И вообще Pepsi позиционирует себя не как компанию, которая выпускает напиток, но она призывает улучшать мир. Она предлагает миллионам людей выдвигать идеи на самые разные темы. И сами же эти люди выбирают проекты, победителей выбирают тоже они, и победителей спонсирует Pepsi. Это работает для них как реклама и пиар. Но это работает даже эффективнее, чем тупые ролики. Они забрали рекламу со спортивных состязаний, это сотни миллионов долларов, и перенесли сюда. Но этот проект – простой, в нем много людей, это просто конкурс идей, где сами участники – жюри. Гораздо более продвинутыми являются методы, когда по ходу дела участники зарабатывают рейтинги по количеству голосов за свои идеи и предложения, и голосование происходит с учетом этих рейтингов. Человек, заработавший репутацию, имеет больший вес как член жюри в голосовании за предложения. Есть механизмы, основанные на биржах, когда участники делают ставки и условной валютой расплачиваются за ошибки или зарабатывают, делая ставки на те идеи, которые собирают много ставок. Суть всегда одна и та же, технология краудсорсинга предполагает отбор суждений, через механизм либо голосования, либо биржи, либо каких-то других, одновременно происходит селекции лучших участников. Это два кита: отбор объектов и селекция участников. В чем мотивация? На самом деле людям почти всегда интересно. Всегда есть элемент призов, наград, чаще всего это символические награды. Есть примеры, когда эти люди образуют некий коллектив, которые давно работают вместе, и тогда встает вопрос об оплате, но это уже проектная работа. А вообще, оказывается, если людям интересно, то они работают и без материального стимулирования. Это странное суждение, но это все равно, что нам кто-то бы 20 лет назад сказал, что миллионы людей будут добровольно проводить много времени в социальных сетях, в блогах, писать исходя из одного самовыражения и признания. Эти два фактора - это движущая сила, ставшая фактом, когда появился интернет. Мы все убедились, что человеческая природа включает в себя те аспекты, которые были не известны 20 лет назад. Это совершенно новое явление, оно относится уже к постгэллоповскому пониманию интернета как среды, а не как просто помойки, куда можно вывалить все, что угодно. На самом деле это структура, которая выявляет новые аспекты человеческой природы, так точно, как железные дороги, когда-то казавшиеся средством для перевозки грузов и людей, были факторов освоения нового пространства, индустриализации, потом предупредили развитие цивилизации. Но интернет в этом смысле еще более важный фактор. Это среда коммуникации, где возникает новое явление. Этим явлением как раз являются новые формы коллективной деятельности. Это не развлечения, не информация, не образование, а совместная коллективная работа. Как раз это сейчас называется краудсорсингом. Официально это слово вошло в русский язык, когда его в первый раз произнес Владимир Путин 11.11.2011. Он его сказал не сразу, но сказал, и с тех пор оно в официальном лексиконе госслужащих присутствует. Итак, суть краудсорсинга: если не можешь сделать сам, позови людей, они всегда найдутся. Рекомендации, которые пишут социологи – это догэллаповская эпоха. Отчеты, которые пишутся без рекомендаций, - это гэллаповская. В постгэллаповская – это когда рекомендации о том, как исправлять и действовать, делают те люди, которых касается проблема. В заключении хотел бы сказать, что есть такие задачи, которые невозможно решать таким путем, например, чтобы проектировать мост не нужно звать людей с улицы, это абсурд. С другой стороны есть задачи, в которых специалистов нет, все эксперты – это либо имеющие иллюзии в отношении себя, либо они проходимцы. Например, как добиться того, чтобы люди кидали окурки не мимо урны? Есть культуры, где это константа, это нормально, например, Япония. Но так было не всегда. Раньше в Европе было грязно. Но как это изменить здесь? Должна сильно назреть потребность, но как это сделать, когда это назрело, для этого надо посоветоваться с теми, кто хочет этого, и те, кто может сказать что-то дельное. Есть пример, когда в Штатах Фонд защиты здоровья мобилизовал миллион человек, организовал исследование, как снизить количество неврачебных ошибок (сиделки, нянечки). В результате отобрали 50-70 идей, которые были взяты на вооружение в госпиталях. Они были простые и практичные, оказалось, что смертность за год снизилась на четверть. Надо сказать, что все это не экзотика. Мы видим, как это развивается сегодня. Волонтеры – это активные неравнодушные люди. Есть ли у них мозги? Да, есть по большей части. И по ходу дела это и выясняется. Имеет ли это отношение к опросам. Это имеет отношение так же, как две стороны одной медали. С одной стороны, знание, которое извлекается с помощью опросов, оно необходимо, чтобы формулировать те самые рекомендации, а рекомендации – это отдельная работа, которую надо делать на основе новых технологий. Это, что я хотел сказать. Валерий Федоров: Спасибо большое. С помощью Вашего выступления я еще больше убедился в правоте Бориса Докторова, который сказал, что всякий исследователь общественного мнения – это романтик. Но те примеры, которые вы привели, что не только романтик, но и прагматик. И еще, Вы сказали, что нельзя сделать с помощью краудсорсинга мост. Мост, может, и нельзя, но я знаю об одном проекте в США, там сделали новый БТР через краудсорсинг. Так что получается, что даже в таких сложных областях он дает результаты! А теперь - Инна Феликсовна Девятко – заведующая кафедрой Высшей школы экономики. Инна Феликсовна Девятко: Я совсем не собиралась об этом говорить, но раз уж завязалась дискуссия, я отмечу, что вся эта история имеет серьезные ограничения, которые мы выявляем с помощью специальных периодических исследований, чем и занимается такая узкая сфера социологии, как методология социологических исследований. И мне пришлось признать, что даже в таких областях знания, как экспертиза повседневного знания, люди склонны к систематическим ошибкам, к переоценке собственной компетентности, и не всегда процессы сбора суждений приводят к уточнению, скорее даже к большему смещению высказываемых мнений. Так что социологи могут еще пригодиться, чтобы каким-то образом выяснять, являются ли интуитивно кажущиеся разумными коллективные решения – действительно разумными. Хочу отметить, что я с Борисом Грушиным познакомилась достаточно поздно. Но все-таки нам приходилось общаться, и мне показалось тогда, что его замечательной чертой была восприимчивость к новому, в том числе к методическим инновациям. В этом смысле он был удивительным человеком, поскольку его собственный гэллаповский этап наступил достаточно поздно, если понимать под гэллаповскими технологиями детализированные опросы общественного мнения, которые отличаются методологически от того, что делалось в советское время. Грушин смог здесь стать новатором, смог изменить свои опросные привычки. Мне кажется, что эта чуткость к новому очень нужна. Вопрос, который меня занимает сегодня, - это вопрос о том, что происходит с методами социологического исследования, когда они уходят в сеть и превращаются в онлайн-методы. На самом деле эта область бурно развивается в последнее время, особенно в последние 5-7 лет. Преобладающая точка зрения такова, что мы по этому поводу должны испытывать оптимизм. Какое-то время я потрачу на то, чтобы обратить ваше внимание на то, что и в отечественной традиции появляются первые работы, посвященные качеству получаемых онлайн-методами данных, в том числе опросных, экспериментальных. Довольно хорошее представление о положении дел в этой области можно составить, познакомившись, например, уже с третьим сборником «Онлайн исследования в России», который мы издали совместно с коллегами, с Александром Шашкиным из OMI и с коллегами из Высшей школы экономики и с другими организациями, представленными на этой конференции. Хочу заметить, поскольку очень о многом мне сегодня не удастся поговорить, этот и предыдущий сборник есть на сайте OMI, и на сайте мной сформированной лаборатории по методам онлайн-исследований в Высшей школе экономики, вы сможете найти источники, составить свою библиографию. Также в журнале «Социология 4М», который я уже три года редактирую, мы систематически ведем рублику, которая включает результаты методологических изысканий. Совершенно очевидно, что использование онлайн-опросов сопряжено со снижением издержек доступа к нашим респондентам. И возможно, также в каких-то тривиальных смыслах, это сопряжено со снижением ошибок. Например, ошибок ввода, поскольку анкету заполняет сам респондент. Многие также испытывают некоторый оптимизм с точки зрения новых возможностей, которые открывают онлайн-исследования: мы можем интерактивно контролировать сам процесс заполнения, и соответственно реагировать на то, что нам кажется неполным заполнением, или можно реагировать на какую-то стратегию минимизации усилий по заполнению, которые используются респондентами. Есть такие работы, которые показывают, что в принципе возможно то, что не было возможно, порой по финансовым причинам в оффлайн опросах. Это оптимистический факт, который позволяет верить, что у нас качество данных будет повышаться. Надо сказать, что также спорным преимуществом онлайн-опросов зачастую является возможность прямой аудиовизуальной поддержки, например, товаров, журналов, которые предстоит оценивать респонденту или о поведении в отношении которых можно рассказать. Но есть и менее популярная позиция в области экспериментов в онлайн-опросах, которая говорит о том, что есть и возрастающая угроза валидности наших данных. И, может быть, действительно то, что мы получаем в онлайн-опросах, несмотря на то, что нам сейчас доступны онлайн-панели, они часто бывают полумиллионными, миллионными, которые великолепно подходят для онлайн-экспериментов, проблематично назвать валидным. У нас пока нет удовлетворительного решения проблемы выборки на самом деле для онлайн-опросов, хотя есть и оспариваемые позиции. Во всяком случае, есть основания опасаться. Надо сказать, что во всем мире есть общая проблема для всех онлайн-исследований, - это снижение уровня ответов. Вы знаете, что респонденты устали. Онлайн-исследования даже порой усугубляют эту проблему. Есть активные респонденты, которые подписываются под панели, участвуют, это особая группа. Есть люди, которые против всего обилия развлекательных, рекламных онлайн-опросов, потому что просто не воспринимают всерьез предложение поучаствовать в исследовании, и соответственно мотивация к сотрудничеству снижается. И это проблемы, которые нам предстоит решить. И хочу обратить ваше внимание, что одна из самых главных больших методологических новаций первой половины XX века, которая позволила социологии институционализироваться в качестве успешной дисциплины, - это техника территориальной вероятностной выборки. И как раз поэтому со второй половины 40-х годов была создана специальная комиссия, происходили споры, в том числе с участием Гэллапа, относительно того, нужна ли вероятностная выборка. Многие думали, что вполне достаточно квотной выборки, так думали даже профессиональные статистики. И это потребовало времени. И эта стратифицированная, многофазная вероятностная выборка стремительно уходит в прошлое. У нас появляются совершенно новые проблемы, новые решения. Если мы будем говорить о новациях, хочу обратить свое внимание не на то, что происходит с онлайн-опросами и экспериментами. А все-таки на такую область онлайн-исследований, которая все еще не получает достаточного внимания. Я бы сказала, я так пишу в этой книге, что эволюция онлайн-методов как-то повторяет эволюцию оффлайн-методов. И точно так же как применительно к обычным методам социологического опроса, выборочного наблюдения, у нас есть некоторый дисбаланс между накопленным методическим знанием, касающимся надежности и валидности данных в опросе и эксперименте, и тем, что мы знаем о так называемых нереактивных методах. Например, невключенное наблюдение, анализ документов. В этой области социологи очень мало накопили методического знания. Интересный факт, касающийся онлайн-методов, которые развиваются на ваших глазах, заключается в том, что на самом деле так уж получилось, что онлайн-нереактивные методы (позже дам более точное определение), они и есть источник главного профессионального массового интереса в онлайн-методах исследования в социальных науках. Людям не столько интересны наши опросы, они воспринимают это как вещь рутинную. Их интересует очень легкая, не связанная с издержками доступа, возможность получения данных без того, чтобы вступить в прямой контакт с респондентом, информантом. Эта обманчивая легкая возможность получать нереактивные данные, собирая различные сетевые следы, отпечатки, она и есть, на мой взгляд, основная причина вот этого массового интереса к онлайн-методам. В этой ситуации мне кажется разумным вопрос, как мы можем классифицировать существующие методы онлайн-исследований? Применимы ли старые классификации реактивных и нереактивных методов исследования? Есть ли у нас какая-то классификация, которая позволяет хотя бы для начала просто систематизировать то, что мы знаем об онлайн-методах в их разных воплощениях. Первая будет классификация этих нереактивных методов, она достаточно давняя, она была представлена в книжке 66 года, она достаточно знаменитая, ее читали, наверное, все, но никто не использовал те методы, которые в ней описаны. Проблемы классификации логичны. Под нереактивными методами понимается все, что угодно: от косвенных улик в духе Шерлока Холмса до передачи «Скрытая камера», записи устройств скрытого наблюдения. Раньше для авторов книги казались не столь важными проблемы частного и публичного, они не воспринимались как для нас сейчас как столь очевидными. Эта книга характеризовалась чрезмерным оптимизмом по поводу нереактивных методов и ее неточным определением. Это помешало создать систематическое знание по нереактивным методам исследования. Соответственно, эта классификация была не точной и не обоснованной. Мы сейчас увидим. Здесь выделяются следы, физические следы, я добавила символические следы. Я также думаю, что в этой классификации была озвучена главная единица – это символические следы, которые подразумевают скрытые смыслы. Это поведенческие следы, которые вполне поддаются фиксации. Здесь также в качестве таксона включено включенное наблюдение, что совершенно неверно. Любой наш контакт с информантом, даже очень невинный, все равно сопровождается реакцией на ситуацию вопроса, вызывает разные установочные поведения, которые являются тоже реакцией. Также сюда в классификацию включены специальные провокации, направленные на то, чтобы вызвать реакцию. Это тоже сложно назвать нереакцивным. Эта классификация мне очень подходит сейчас, чтобы показать, какие виртуальные следы мы собираемся изучать. Я предлагаю пока скромное не исчерпывающее определение нереактивных методов. Надеюсь, оно не вызовет сомнений о том, что такое нереактивные методы. Это те, которые подходят под это определение. Это данные и источники данных, которые не требуют активного участия исследуемых субъектов в процессе исследования, то есть не предполагают явного эксплицитного осознания субъектами их роли, а также самого факта участия в исследовании, а также его цели и возможных последствий. К сожалению, это методы, о которых накоплено, к сожалению, мало систематического методического знания. Давайте теперь подумаем, применимо ли это к онлайн-методам? Онлайн-эксперименты и опросы, наблюдение могут быть легко вписаны в существующие классификационные рубрики. Если мы говорим о нереактивных онлайн-методах, то нам нужны дополнительные критерии их классификации. Одним из таких критериев, на мой взгляд, является немного уточненный ранее предложенный Раймондом Ли критерий, который описывает роль исследователя в регистрации, извлечении или обнаружении вот этих данных. Кто-то понимает, о чем я говорю, остальных я приглашаю познакомиться с книгой, о которой я уже говорила. Нужны часто специальные усилия, чтобы что-то онлайн-исследовать, блоги, клики, комментарии, цифровые следы. Иногда они легко доступны, но тем не менее, они нуждаются в консервации, потому что они ситуативно доступны. Иногда они требуют доступа на стороне сервера. Неудобство этого критерия в том, что обнаружении и извлечение онлайн не всегда доступно, оно требует какой-то формы консервации. Та классификация, которую я предлагаю, которую уже не успею детально обсудить, она делит реактивные и нереактивные методы. Она берет за основу существующую классификацию. Реактивные методы – это опрос, включенное наблюдение. И нереактивные методы – они от вас справа на экране. Я предлагаю вам посмотреть то, насколько удобна и полезна эта классификация для ваших целей, потому что большинство из вас, независимо от того, занимались ли специальным образом методологией онлайн-исследований, уже собирает какие-то онлайн-данные. Для этих данных существуют специфические источники ошибки, трудности, технологические проблемы, которые будет удобно наблюдать, если мы на это посмотрим. Я выделяю простое наблюдение за онлайн-сообществами и отдельно анализ различных цифровых отпечатков готовых данных. К этим цифровым отпечаткам я отношу и цифровые следы онлайн-активности. Например, клики, переходы. И собственно онлайн-документы, архивы, записи. Архивы и записи я предлагаю поделить на эпизодические и приватные, и на продолжающиеся и публичные, часто с ограниченным доступом. Вот та предварительная классификация, которая, как я надеюсь, позволит нам реализовать то, что мне кажется существенной чертой Грушинского подхода к социологическим исследованиям, то есть стремление к постоянному обновлению и готовность отказываться от привычных методов и привычных методических рецептом, искать и осознавать это новое. Спасибо. |
Похожие:
 | Принят за основу рабочей группой по подготовке Стратегии государственной... Стратегии государственной национальной политики Российской Федерации Совета при Президенте Российской Федерации по межнациональным... |  | Хозяйства и государственной службы при президенте российской федерации Ставропольский филиал федерального государственного бюджетного образовательного учреждения высшего профессионального образования... |
| Хозяйства и государственной службы при президенте российской федерации Ставропольский филиал федерального государственного бюджетного образовательного учреждения высшего профессионального образования... | | Международная Научно-практическая конференция «v Международная конференция... Международная конференция посвященная проблемам общественных наук: Международная Научно-практическая конференция, г. Москва, 23 февраля... |
| Международная Научно-практическая конференция «v Международная конференция... Международная конференция посвященная проблемам общественных наук: Международная Научно-практическая конференция, г. Москва, 23 февраля... | | Положение о формировании оценочных средств в федеральном государственном... Смоленский филиал Российской академии народного хозяйства и государственной службы при Президенте Российской Федерации |
| Программа по формированию навыков безопасного поведения на дорогах... Российской Федерации «Развитие образования» на 2013-2020 годы, федеральным законом «Об образовании в Российской Федерации» и другими... | | Анализ учебно- воспитательной работы на основании решений, принятых... Совета при Президенте Российской Федерации по реализации приоритетных национальных проектов и демографической политике 13 сентября... |
| С. Б. Левинсон Государственная экономическая политика Российской Федерации Фгбоу впо «Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации» | | Международная заочная научно-практическая конференция В соответствии со статьей 179 Бюджетного кодекса Российской Федерации Правительство Челябинской области |
| Закона Российской Федерации от 10 июля 1992 г. №3266-1 «Об образовании»... «Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации» | | Материалы доклад Межведомственная рабочая группа по вопросам сокращения различий между субъектами Российской Федерации по уровню информационного развития... |
| Н. С. Столяров Деловая культура государственного и муниципального служащего Румянцева Е. Е.,д э н.,профессор Российской академии государственной службы при Президенте Российской Федерации | | Правительства Российской Федерации от 7 августа 2009 г. №1101-р стратеги... Государственного совета Российской Федерации и Совета при Президенте Российской Федерации по развитию физической культуры и спорта,... |
| Санкт-Петербург Международная конференция 12 апреля 2012 года «Модернизация... Развитие технического осмотра в Российской Федерации и фз №170 о техническом осмотре транспортных средств | | Комментарий к уголовно-процессуальному кодексу российской федерации Смирнов А. В., доктор юридических наук, профессор, советник Конституционного Суда Российской Федерации, действительный государственный... |
