Критерии экспертной оценки – Экспертное оценивание — Википедия

3.8.2. Способы оценки качеств экспертов

Существуют различные, не противоречащие друг другу подходы к отбору экспертов. Одни авторы утверждают, что на практике применяют четыре основных метода отбора экспертов: на основании самооценки: на основании результатов прошлой экспертной дея­тельности: на основании определения компетентности: на основа­нии оценки группой каждого специалиста кандидата. Другие авто­ры говорят об использовании в квалиметрии пяти групп способов, с помощью которых оценивается качество эксперта, причем каж­дый из этих способов, как отмечает Г. Г. Азгальдов, характеризует несколько свойств эксперта. К этим способам относят: эвристи­ческие метопы

опенки, статистические метопы оценки, тестовые методы, документальные (рейтинговые) методы оценки, комбини­рованные методы опенки.

Эвристические методы оценки, к которым относятся методы самооценки и взаимооценки, основаны на предположении, что представление у окружающих экспертов о данном эксперте достаточно правильно отражает его качество.

Статистические методы оценки экспертов основаны на предположении, что показания эксперта как своеобразного измерительного прибора имеют случайную и систематическую погрешности. К этой груп­пе относятся: отклонение индивидуальной экспертной оценки от коллективной и воспроизводимость индивидуальной оценки через опре­деленный промежуток времени.

Тестовые методы — получение экспертных оценок в результате специальных испытаний экспертов.

Документальные (рейтинговые) методы оценки основаны на предположении о том, что некоторые документальные данные (характеристики) об эксперте могут характеризовать его качество как экспер­та. Например: содержание и количество публикаций, участие в между­народных семинарах и симпозиумах, стаж педагогической и научной деятельности.

Комбинированные методы оценки основаны на некоем обобщении оценок, полученных разными методами.

Независимо от метода, используемого для отбора группы экспертов, целесообразно уделить внимание вопросу ее состава. Принято считать, что в группах с однородным составом экспертов бывает меньше расхождений между собой, быстрее происходит процесс согласова­ния группового решения.

Однако факт взаимного влияния мнений экспертов может привести и к нежелательным последствиям. В связи с этим, эксперты, участвующие в работе комиссии, должны обладать способностью высказывать мнения, не зависящие от мнений признанных авторитетов, от мнения большинства, должны уметь отказаться от своего публично высказан­ного мнения при выработке нового взгляда на проблему. Такие требо­вания, естественно, создают значительные трудности при выборе экс­пертов для работы в комиссии.

В разнородных же группах эксперты приходят к согласованному мнению не так быстро, зато вырабатывают более широкий диапазон альтернатив и допускают меньше ошибок.

Понятие группового выбора, применительно к групповому экспертному оцениванию, не является средством замены индивидуального выбора неким коллективным образованием наподобие общественного мнения. В групповых решениях существенное значение имеют формирование на основе упорядочения объектов по их предпочтительносги коллективного заключения о групповом выборе и анализ индивидуаль­ных отклонений от него. При этом индивидуальное мнение не игнори­руется, а напротив, в случаях резкого отклонения от группового, ста­новится предметом специального рассмотрения.

Критерий большинства не должен исключать учета мнения меньшинства. Даже сугубо индивидуальное мнение, когда оно хорошо аргументировано, не должно быть потеряно при квалифицированном раз­боре принимаемых решений, особенно в процессе экспертизы. Инди­видуальные мнения, как правило, являются источником оригинальных предложений, столь необходимых для анализа нестандартных, неоче­видных ситуаций. Они незаменимы при оценке уникальных, индивиду­альных, специфичных разработок, опыта, деятельности. Индивидуаль­ные заключения особенно важны для экспертного определения вели­чины риска, поскольку индивид более чувствителен к опасности, не­жели коллектив.

Экспертное оценивание часто необходимо тогда, когда возникают неопределенные ситуации, допускающие множество альтернатив и возможностей. В таких случаях разброс экспертных оценок выражает не степень некомпетентности специалистов, а объективную многоликость явлений, в том числе вариабельность аксиологических характеристик. Это означает, что все экспертные заключения правомочны, и их стати­стическая обработка может определять лишь меры согласованности позиций экспертов. Что же касается группового выбора, то если он оказывается возможным, результат экспертизы выражает практичес­кий опыт экспертной группы, а не истину как таковую.

Индивидуальная экспертиза. На наш взгляд индивидуальные оцен­ки (индивидуальная экспертиза) предъявляют к эксперту особые, бо­лее высокие требования, нежели коллективные оценки (коллективная экспертиза), потому как при индивидуальной оценке выводы формулируются на основе суждения лишь одного эксперта. Совершенно оче­видно, что успех такой оценки в значительной степени зависит от спо­собности эксперта давать заключения по разным вопросам, требую­щим привлечения и общей эрудиции, как и специальных знаний (так как в большинстве своем педагогическая инновационная деятельность представляет собой совокупность самых различных направлений, школ, движений и т. п.).

Поэтому при выборе отдельного эксперта, прежде всего, должны приниматься во внимание соответствие сферы его компетентности задачам экспертизы, а также уровень квапифика^и эксперта в рассматриваемой области.

Экспертное оценивание рассматривается относительно двух основных форм экспертной работы: экспертного опроса (со всеми разновидностями от индивидуального интервью до коллективного генерирования идей и метода Дельфи) и диагностики, включая связанные с ней эксперт­ные системы в кибернетике. В любом случае опрос и диагностирование в качестве способов получения и распознавания информации входят в сферу экспертного оценивания как формы выбора и предпочтения, срав­нения и измерения, типологии и систематизации данных, моделирования и рационализации проблемных ситуаций экспертизы.

Квалифицированная экспертиза предполагает качественную и количественную оценку мнений экспертов и последующую математическую обработку ее результатов. Соответственно, экспертное оценива­ние может иметь многоуровневый характер: некоторые приемы срав­нения, измерения, систематизации, рационализации и другие могут применяться к самим оценкам, а не только к первичным данным, осо­бенно в ситуациях коллективного (группового) оценивания. В послед­нем случае ответы экспертов фиксируются, и таким образом строится их вероятностное распределение (27, 18).

В этой связи продуктивным способом организации групповой экспертизы является коллективное обсуждение индивидуального мнения, а точнее, выделение из экспертной группы наиболее квалифицированных, ав­торитетных экспертов в целях коррекции результирующих оценок.

Иначе говоря, при использовании экспертного оценивания возможны следующие ситуации:

  1. Эксперты располагают надежной информацией, полученной в процессе систематических эмпирических исследований (на основе наблюдений, опросов, экспериментов), которая поддается измерени­ям и может быть апробирована контрольными проверками. В таком случае можно говорить о наличии определенного истинного результата, а соответственно и знании (как продукта познания и осознания истины).

  2. Имеется информация, оцениваемая лишь в пределах конкретной ситуации. Применимость ее к другим обстоятельствам, будущим или возможным событиям — проблематична, а надежность не всегда возможна. Такой случай может быть квалифицирован в познавательном отношении как наличие некоего предположения (27, 26).

Определение сферы компетентности и уровня квалификации специалиста возможно путем разработки и совершенствования приемов взаимной оценки и самооценки этих профессиональных свойств специали­стов. Приемы самооценки квалификации специалистов должны быть рас­считаны на выработку количественной оценки уровня квалификации, и включать, прежде всего, показатели, характеризующие степень его участия в развитии рассматриваемой области. Анализ такой самооценки должен позволить делать более обоснованные заключения по результа­там экспертной оценки, выполненной каждым экспертом.

Назначение экспертов для проведения экспертизы инновационной проектной деятельности согласовывается и одобряется — с одной стороны экспертным советом, а с другой — авторами инновации.

Работа эксперта заключается в оценке (установлении качества) продукта по его характеристикам, для которых не существует объективно выработанного эталона. Оценивая инновацию, эксперт в большинстве случаев опирается на свое мнение о качестве, и, как предполагается, его ответ будет служить гарантией правильной и достоверной оценки.

В процессе рассмотрения состояния инновационного проекта эксперту предстоит понять, какой вид экспертизы подходит для ее оценки, каковы критерии этой оценки, какими средствами следует осуществлять оценку иннова­ции. В сложных инновационных проектах может наблюдаться отсутствие дос­таточной информации для прогнозирования результатов экспериментальной деятельности, невозможность определения подобных инновационных прак­тик и их сравнения. Поэтому необходимо привлечение квалифицированных специалистов-экспертов для проведения экспертизы различных вариантов про­гнозируемых результатов. Однако следует иметь в виду, что если сами экс­перты заинтересованы в результатах проекта, не исключено, что они могут сообщать не свое личное мнение, а такую информацию, которая приведет к принятию наиболее выгодного для них решения. Возможность такого искажения информации должна быть учтена в ходе проведения экспертизы.

При решении проблем нестандартных, связанных с прогнозированием s нестабильных условиях, должны участвовать эксперты высо­кой квалификации. Прогнозы, составленные экспертами средней ква­лификации, обычно основаны на традиционных привычных оценках. В ситуациях неопределенности, нестабильности они часто ошибочны. Высококвалифицированные специалисты оценят скрытые факторы и возможности появления новых тенденций.

На выбор группы (коллектива) экспертов оказывают влияние такие факторы, как соответствие суммарной сферы компетентности группы экспер­тов оцениваемой области, возможности прогнозистов по организации экс­пертизы с учетом затрат времени и средств на проведение опроса.

3.9. Критерии экспертизы

Критерии — зависимые переменные характеристики, которые предположительно являются наиболее адекватными для решения практических проблем.

Если считать, что задачей инновационной деятельности является прогнозирование и, в конечном счете, повышение эффективности деятельности образовательной системы, то базовыми критериями инновационной деятельности являются показатели эффективности деятельности на индивидуальном, групповом и организационном уровнях отдельного учреждения.

Критерий — признак, на основании которого производятся оценка, определение или классификация чего-либо; мерило оценки.

Критерии экспертной оценки определяются в соответствии с принципами и целями конкретной экспертизы. Существуют разные подходы к определению критериев экспертизы инновационных проектов.

Их состав определяется характером педагогических объектов, подлежащих экспертной оценке, наличием или отсутствием выработанных нормативов, мер, эталонов.

Некоторые авторы в качестве основных критериев выделяют реалистичность и реализуемость инновационного проекта.

В случае рассмотрения реалистичности инновации (эксперимента), совсем не предполагается рассматривать, насколько реально может существовать тот или иной инновационный проект. Главное — это определить, имеет ли он право на существование, насколько он соотносит­ся с ситуациями будущего, имеется ли в наличии прогноз с пошаговы­ми действиями, в которых будет осуществляться инновационный про­ект, или может ли он быть представлен. Другим критерием инноваци­онной деятельности является ее реализуемость (ресурсное обеспе­чение), которая рассматривается с учетом участников инновационного проекта; в данном случае возникает необходимость определить круг лиц, вовлеченных в инновационную проектную деятельность, для каж­дого из которых должно быть четко определено свое функциональное место, чем и будет обеспечиваться их включенность в реализацию идеи.

Мы рассмотрели один из подходов к критериям экспертизы инновационной деятельности. Гуманистичность инновационного проекта заключается в отражении в про­екте гуманистического мировоззрения, или же в представлении в нем раз­нообразной образовательной среды либо в его демократичности. Прорабо­танность инновационного проекта в качестве критерия предполагает наличие научного обоснования инновационной идеи и рассмотрение возможных пу­тей реализации проекта. Большую значимое имеет критерий возможного распространения представленной в проекте инновации, так как в данном случае наравне с возможностью ее распространения определяется и уровень инновации — подлежит ли она распространению на федеральном, регио­нальном, межрегиональном и местном уровнях, или возможно только ее частичное использование, или же инновация не подлежит распростране­нию, в связи с ос экстраординарностью, или она не представляет интереса.

На наш взгляд, достаточно полной и интересной является следующая классификация критериев экспертизы:

  • общие критерии, позволяющие оценить значимость предлагаемого проекта с точки зрения основных тенденций, целей и направлений развития и реформирования образования на разных уровнях его организации;

  • специальные критерии, позволяющие оценить компетентность автора и содержательность проекта с точки зрения его полноты, соответствия нормативным и понятийным требованиям;

  • частные критерии, позволяющие оценить степень обоснованности проекта с точки зрения возможностей его воплощения и жизнеспособности (17).

Рассмотрим состав названных критериев. В состав общих критериев инновационного проекта входят следующие показатели:

новизна (инновационность) проектной идеи, которая может заключаться в создании абсо­лютно нового, неизвестного до настоящего времени продукта или в совер­шенствовании существующей образовательной ситуации, в предложении альтернатив развитию инновационной идеи и т. п.; масштабность иннова­ционного проекта — какого уровня и какой значимости предполагаемый про­ект. Будет ли проект носить локальный характер, осуществляться на мест­ном уровне и иметь, соответственно, ценность на этом уровне, или инно­вационный проект предполагает изменение в образовательной практике на региональном, межрегиональном и даже федеральном уровнях.

Следующим показателем, относящимся к общим критериям, является системность инновационного проекта. В представленном на экспертизу проекте необходимо определить: какой характер будет ноешь проект — фрагментарный или системный, то есть, будет ли рассматриваться содержание образования или сценарий отдельного урока, как и будут ли разработаны и представлены образовательные технологии или отдельные педагогические действия и т. п.

В состав критериев входит также и эффективность инновационного проекта. При ее рассмотрении следует понять, что же произойдет в образовательной практике с введением данного инновационного проекта: улуч­шение, существенное обогащение образовательной теории или практики, кардинальное преобразование существующей образовательной ситуации.

Транслируемость проектной идеи говорит о возможности трансляции представленной инновации, ее тиражирования или о том, что идея может существовать (быть реализована) только в экстраординарных условиях.

Рассмотрев состав общих критериев и их значение в экспертизе инновационных проектов, остановимся на составе специальных критериев. Учитывая, что каждый из представленных критериев существенно значим для экспертизы проекта, рассмотрим их в определенной последовательности.

Полнота структуры инновационного проекта, которая в проекте представлена анализом реальной образовательной ситуации; концепцией инновационного проекта, включающего проектную идею, опи­сание проблем, постановку целей, формирование задач; содержательной и организационной моделью образовательной системы или ее фрагментом; планом и сметой реализации проекта с его ресурс­ным обеспечением.

Не менее значимой является и степень проработанности структурных элементов проекта. Следующим критерием является

согла­сованность структурных частей проекта: рассматриваются ли во взаимосвязи анализ ситуации и описание проблем, которые необходи­мо решить; концепция, цели и задачи инновационного проекта; цели, задачи проекта и необходимые ресурсы (технологические, органи­зационные, профессиональные, финансовые, материально-техниче­ские и т. д.).

И, конечно, группой критериев, необходимых для экспертной оцен­ки инновационного проекта являются частные критерии. К ним, в первую очередь, относится реалистичность инновационного проекта, которая предполагает соответствие идей, целей и задач проекта реальной образовательной ситуации и имеющимся ресурсам. Дру­гим частным критерием является реализуемость инновационного проекта, заключающаяся в наличии, вовлеченности и согласованно­сти действий других субъектов образовательной ситуации с дей­ствиями автора проекта при его реализации. Еще одной характерис­тикой и частным критерием в экспертизе инновационных проектов выступает

инструментальность (управляемость) проекта, то есть на­личие организационных форм, способов и плана действий по его реализации.

studfile.net

Экспертная оценка

Экспертная оценка — это диагностический метод измерения, с помощью которого качественные особенности психических явлений получают свое выражение в виде оценок. Суть экспертного оценивания состоит в формализованном выражении объективной информации о поведении и качествах личности в ряде субъективных мнений и оценок. Этот метод может быть широко использован для оценки качеств личности при составлении психологических характеристик.

Метод экспертных оценок заключается в формализованной процедуре сбора, анализа и интерпретации независимых суждений нескольких экспертов о степени выраженности каждого оцениваемого психологического качества студента со стороны хорошо знающих его преподавателей, товарищей по учебе, у которых была возможность общаться с ним в различных ситуациях.

В психологическом исследовании экспертные оценки выступают в качестве внешнего критерия для проверки валидности рекомендуемой системы тестов и опросников, при этом данные экспертного оценивания специально не анализируются и не интерпретируются как собственно диагностические. Однако метод экспертных оценок имеет самостоятельную диагностическую ценность и может включаться в систему методов изучения личности с учетом его реальных достоинств.

Основным преимуществом метода экспертной оценки является возможность создания подробного психологического «портрета» испытуемого, описания его личностных особенностей как системы взаимосвязанных, взаимозависимых и компенсирующих друг друга качеств. Это дает возможность сделать более точный прогноз обучаемости, позволяет целенаправленно выбирать средства педагогического воздействия с учетом возможной реакции на них данной личности, открывает пути к определению перспектив ее психологического и профессионального становления и развития.

При этом объективность собираемой экспертной информации обеспечивается путем привлечения широкого круга экспертов (преподавателей, товарищей по учебе), которые наблюдают за проявлением индивидуально-психологических особенностей студента на протяжении достаточного количества времени при непосредственном общении в различных ситуациях, возникающих в процессе его обучения в университете.

Метод экспертного оценивания психологических качеств дает возможность оперативно собирать диагностическую информацию, быстро фиксировать динамику развития личности. Его применение не требует длительной подготовки и поиска или разработки сложного исследовательского инструментария. Этот метод является достаточно гибким, он легко модифицируется при возникновении новых задач, а также пригоден для многократного использования.

Практика применения метода экспертной оценки показывает, что его диагностическая ценность может быть существенно повышена за счет правильного подбора экспертов различных категорий, стандартизации и усовершенствования процедуры экспертного оценивания, включения дополнительных способов статистической обработки результатов оценивания, применения новых критериев анализа и интерпретации. Важное значение имеет обоснование выбора критериев (признаков, параметров), подлежащих экспертной оценке, отвечающих конкретным целям изучения индивидуально-психологических особенностей студентов. Это позволяет, в частности, создать более точную психологическую «модель» выпускника университета.

Следует также отметить, что целый ряд профессионально важных качеств личности бывает чрезвычайно трудно, (а иногда и невозможно) выявить и оценить с помощью психологического анализа документов, применения анкет, опросников и тестов. В этих случаях только экспертный метод дает возможность получить необходимые данные (например, когда речь идет об оценке таких качеств, как ответственность, мотивация поступков и т.д.).

Особенно продуктивно применение метода экспертного оценивания не изолированно, а в совокупности с другими, хорошо зарекомендовавшими себя в практике изучения личности, диагностическими методами. Данные экспертных оценок при этом должны использоваться как подтверждающие или опровергающие, (ставящие под сомнение) достоверность сведений, полученных при тестировании и анкетировании, они должны быть проанализированы также как дополняющие, уточняющие или объясняющие результаты изучения личности другими методами. Например, если такие качества как «умный», «сообразительный», «рассудительный» получили у испытуемого высокие экспертные оценки, а при применении теста для изучения интеллекта балл оказался низким, то такое несоответствие должно стать предметом специального анализа и интерпретации.

Достоинство метода экспертных оценок заключается в целесообразности использования его результатов не только в качестве сведений для оптимизации учебно-воспитательных воздействий со стороны преподавателей, но и как информации, которую в обобщенной форме можно дать студенту с целью выработки навыков самопознания, самоанализа, коррекции самооценки, стимулирования процессов самообразования и самовоспитания, что особенно важно в юношеском возрасте.

Необходимо отметить и положительный эффект участия преподавателей в проведении экспертного оценивания психологических свойств и качеств студентов. Он проявляется в повышении уровня их психологической компетентности, развитии педагогических способностей, таких как: наблюдательность, рефлексия, способность объективного видения и понимания индивидуальности каждого студента, умение сопоставить свое мнение об обучаемом с мнением других преподавателей и самих студентов.

Следовательно, метод экспертных оценок можно рассматривать как важный элемент в целостной системе методов психодиагностического обследования, проводимого в целях изучения личности студента. Диагностическая сущность метода экспертной оценки состоит в получении объективной информации об индивидуально-психологических особенностях, в результате специально организованного опроса мнений экспертов.

Экспертные оценки не всегда являются верным показателем психологических качеств, т.к. восприятие эксперта подвержено субъективным искажениям. Это связано с особенностями его личности. Поскольку различные эксперты будут давать различные оценки, возникает проблема их объективности. Одним из примеров субъективных ошибок является влияние на оценки хорошего или плохого отношения эксперта к оцениваемому студенту. Другим примером ошибок, влияющих на оценку качеств личности, являются инструментальные искажения, причиной которых может быть различие в способах измерения. Причем они наиболее значительны именно при методе экспертных оценок.

Повышения надежности экспертных оценок можно добиться за счет снятия субъективных и инструментальных искажений. Для этого обычная процедура сбора экспертных оценок должна быть дополнена специальным приемом повторного оценивания с предварительным сообщением эксперту данных, полученных от других экспертов. В этом случае изменение первоначальной оценки является важным диагностическим показателем ненадежности эксперта. Кроме того, для повышения надежности экспертных оценок необходимо выполнять следующие специальные требования:

— оцениваемые качества должны определяться в терминах наблюдаемого поведения;

— эксперт должен иметь возможность наблюдать за поведением оцениваемого студента достаточно длительный период времени;

— необходимо наличие не менее пяти экспертов на одного оцениваемого студента

— ранжирование должно производиться экспертами только по одной черте за один раз, вместо оценивания одного испытуемого сразу по всем параметрам;

— данные экспертного оценивания необходимо соотносить с результатами объективных тестовых обследований.

Применение этих требований к проведению экспертного опроса может повысить надежность получаемых данных на уровень, достаточный для практического использования.

В процедуре проведения экспертного опроса можно выделить следующие этапы:

studfile.net

Методы экспертных оценок

Основная идея прогнозирования на основе экспертных оценок заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами оценки и обработки получаемых результатов.

Сущность методов экспертных оценок заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте.

Индивидуальные экспертные оценки — основаны на использовании мнений экспертов-специалистов соответствующего профиля.

1. Метод «интервью» предполагает беседу прогнозиста с экспертом по схеме «вопрос-ответ», в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по самым различным вопросам.

2. Метод анкетного опроса заключается в том, что эксперту предлагается для заполнения анкета (опросный лист), содержащая перечень вопросов, каждый из которых логически связан с задачей исследования.

В анкете могут использоваться следующие типы вопросов:

  • открытые – ответы на данные вопросы могут быть сформулированы в любой форме;

  • закрытого типа – предлагаются варианты ответов, один из которых должен выбрать эксперт.

Использование в анкете вопросов закрытого типа предпочтительней, так как упрощает статистическую обработку результатов ответа и облегчает работу эксперта при заполнении анкеты. С другой стороны, перечень ответов на вопрос может и не содержать мнение эксперта. Поэтому при формировании перечня вариантов ответов на некоторые вопросы следует предусматривать возможность выдвижения экспертом своего варианта ответа или уклонение от ответа

3. Аналитический метод (аналитических записок) предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода — возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.

Основное преимущество методов индивидуальных экспертных оценок состоит в возможности максимального использования индивидуальных способностей экспертов. Однако данные методы мало пригодны для прогнозирования наиболее общих стратегий из-за ограниченности знаний одного эксперта о развитии смежных областей науки и практики.

Примером использования экспертных оценок при планировании развития социально-экономических систем может служить многокритериальная задача выбора варианта решения, которая на сегодняшний день актуальна во многих сферах деятельности человека.

Процедура многокритериального выбора включает в себя следующие этапы:

  1. Выявление наиболее существенных показателей (критериев), характеризующих исследуемый объект;

  2. Определение способа количественной оценки показателей;

  3. Определение допустимых границ изменения показателей;

  4. Выбор метода поиска наилучшего варианта;

  5. Решение задачи и анализ результатов.

В качестве целевой функции для оценки вариантов решений чаще всего используется аддитивная свертка критериев:

или , (2.18)

где — весовые коэффициенты, характеризующие значимость критерия. Численные значенияопределяются экспертами, при этом, желательно соблюдение следующего условия:

. (2.19)

Если критерии имеют различные единицы измерения, то их необходимо привести к единому безразмерному масштабу так, чтобы выполнялись следующие неравенства:

(2.20)

(2.21)

Пример. По мнению экспертов, основными показателями экономического и социального развития региона являются:

  • валовый внутренний (региональный) продукт;

  • уровень занятости населения;

  • среднемесячная заработная плата.

Экспертная оценка значимости критериев по десятибалльной шкале представлена в табл. 2.2.

Руководству региона предложено четыре целевые программы развития региона, направленные на первоочередное финансирование:

  1. Агропромышленного комплекса;

  2. Предприятий пищевой промышленности;

  3. Отраслей социально-культурной сферы;

  4. Жилищного строительства.

Ожидаемые значения основных показателей, получаемые при реализации рассматриваемых целевых программ, приведены в табл. 2.3.

Таблица 2.2

Результаты экспертной оценки

Эксперт

Показатель

Валовый продукт

Уровень занятости

Среднемесячная заработная плата

1

10

5

4

2

10

6

5

3

7

4

3

Средняя арифметическая оценка

9

5

4

Таблица 2.3

Ожидаемые значения основных социально-экономических

показателей развития региона

Целевая программа

Значение показателей

Валовый продукт,

млн.руб

Уровень занятости,

%

Среднемесячная заработная плата,

руб

1

2000

80

2000

2

2500

70

800

3

1500

80

1000

4

2000

90

1500

Необходимо определить наиболее целесообразную программу развития региона.

Решение:

Определим значения весовых коэффициентов:

; ;.

Таким образом, в результате обработки экспертных оценок целевая функция имеет следующий вид:

.

Учитывая, что целевая программа №3 заведомо неэффективна по сравнению с программой №2 (1500<2000; 80=80; 1000<2000), удалим её из матрицы возможных решений:

Так как значения показателей имеют различную размерность, то их необходимо привести к единому безразмерному масштабу. Это достигается делением элементов каждого столбца на максимальную величину в столбце:

На заключительном этапе определим значение целевой функции для предложенных программ:

4.

Максимальное значение целевой функции соответствует программе №1. Следовательно, реализация данной программы наиболее целесообразна.

Наиболее достоверными являются коллективные экспертные оценки — предполагают определение степени согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным отдельными специалистами.

Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив развития данного объекта.

1. Суть метода коллективной генерации идей (мозговой атаки) состоит в использовании творческого потенциала специалистов при мозговой атаке проблемной ситуации, реализующей вначале генерацию идей, а затем их структурирование, анализ и критику с выдвижением контридей и выработкой согласованной точки зрения.

Метод коллективной генерации идей предполагает реализацию следующих этапов:

1. формирование группы участников «мозговой атаки» по решению определенной проблемы. Оптимальная численность группы находится эмпирическим путем. Наиболее продуктивными признаны группы, состоящие из 10—15 человек.

2. Группа анализа составляет проблемную записку, в которой формулируется проблемная ситуация и содержится описание метода и проблемной ситуации.

3. Этап генерации идей. Каждый участник имеет право выступать много раз. Критика предыдущих выступлений и скептические замечания не допускаются. Ведущий корректирует процесс, приветствует усовершенствование или комбинацию идей, оказывает поддержку, освобождая участников от скованности. Продолжительность «мозговой атаки» — не менее 20 мин и не более 1 ч в зависимости от активности участников.

4. Систематизация идей, высказанных на этапе генерации. Формируется перечень идей, выделяются признаки, по которым идеи могут быть объединены, идеи объединяются в группы согласно выделенным признакам.

5. На пятом этапе осуществляется деструктурирование (разрушение) систематизированных идей. Каждая идея подвергается всесторонней критике со стороны группы высококвалифицированных специалистов в составе 20-25 человек.

6. На шестом этапе дается оценка критических замечаний и составляется список практически реализуемых идей.

Метод «635» — одна из разновидностей «мозговой атаки». Цифры б, 3, 5 обозначают 6 участников, каждый из которых должен записать 3 идеи в течение 5 мин. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе — 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.

2. Метод «Дельфи». Цель метода — разработка программы последовательных многотуровых индивидуальных опросов. Индивидуальный опрос экспертов обычно проводится в форме анкет-вопросников. Затем осуществляется их статистическая обработка на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений. Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3-4 раз. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта.

Особенности метода «Дельфи»:

а) анонимность экспертов — взаимодействие членов группы при заполнении анкет полностью исключается;

б) возможность использования результатов предыдущего тура опроса;

в) статистическая характеристика группового мнения.

3. Метод «комиссий» — основан на работе специальных комиссий. Группы экспертов за «круглым столом» обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.

Метод экспертных комиссий может быть организован в одной из следующих форм:

  • обсуждение и открытое голосование;

  • обсуждение и закрытое голосование;

  • высказывание мнений и обсуждение без голосования.

Как показала практика, метод «комиссий» имеет существенные недостатки:

  • большое влияние такого психологического фактора как мнение авторитетных экспертов, к которому присоединяются остальные эксперты, не высказывая своей точки зрения;

  • нежелание экспертов публично отказываться от ранее высказанных ими мнений;

  • при работе комиссий чаще всего происходит спор двух или трех наиболее авторитетных экспертов, в результате чего другие эксперты в дискуссии участие или не принимают или не учитываются высказанные ими мнения.

4. Метод суда – основан на организации работы коллектива экспертов в форме ведения судебного процесса. Использование этого метода целесообразно при наличии нескольких групп экспертов, каждая из которых отстаивает свою точку зрения. В данном случае в качестве «подсудимого» выступает объект прогнозирования. Лидеры групп, высказывающих альтернативные точки зрения, выступают в качестве обвинения и защиты (прокурор, адвокат). Отдельные эксперты играют роль свидетелей, предоставляя суду необходимую для принятия решения информацию. Роль судьи играет заинтересованное лицо (группа лиц). Так, например, в телевизионной передаче «Процесс», основанной на использовании метода суда для анализа и прогнозирования развития различных социально-экономических процессов, роль судьи играли зрители, голосуя в процессе передачи телефонными звонками за ту точку зрения, которую они поддерживали.

Метод морфологического анализа предполагает выбор наиболее приемлемого решения проблемы из числа возможных. Его целесообразно использовать при прогнозировании фундаментальных исследований. Метод включает ряд приемов, предполагающих систематизированное рассмотрение характеристик объекта. Исследование проводится по методу «морфологического ящика», который строится в виде дерева целей или матрицы, в клетки которой вписаны соответствующие параметры. Последовательное соединение параметра первого уровня с одним из параметров последующих уровней представляет собой возможное решение проблемы. Общее количество возможных решений равно произведению числа всех параметров, представленных в «ящике», взятых по строкам. Путем перестановок и различных сочетаний можно выработать вероятностные характеристики объектов.

Метод написания сценария — основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. Прогнозный сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать генеральную цель развития объекта, критерии оценки верхних уровней «дерева целей», приоритеты проблем и ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые материалы по развитию объекта прогнозирования.

Прогнозный граф — это фигура, состоящая из точек-вершин, соединенных отрезками-ребрами. «Дерево целей» — это граф-дерево, выражающее отношение между вершинами-этапами или проблемами достижения цели. Каждая вершина представляет собой цель для всех исходящих из нее ветвей. «Дерево целей» предполагает выделение нескольких структурных или иерархических уровней.

Построение «дерева целей» требует решения многих задач: прогноза развития объекта в целом; формулирования сценария прогнозируемой цели, определение уровней и вершин «дерева», критериев и их весов в ранжировании вершин. Эти задачи могут решаться при необходимости методами экспертных оценок. Следует отметить, что данной цели как объекту прогноза может соответствовать множество разнообразных сценариев.

Сценарий обычно носит многовариантный характер и освещает три линии поведения: оптимистическую — развитие системы в наиболее благоприятной ситуации; пессимистическую — развитие системы в наименее благоприятной ситуации; рабочую — развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно. В рамках прогнозного сценария целесообразно прорабатывать резервную стратегию на случай непредвиденных ситуаций.

Сценарий в готовом виде должен быть подвергнут анализу. На основании анализа информации, признанной пригодной для предстоящего прогноза, формулируются цели, определяются критерии, рассматриваются альтернативные решения.

studfile.net

23 критерия для экспертной оценки сотрудников

Данная методика составлена для оценки компетенций, навыков и способностей сотрудников, которые сложно измерить. В моем примере они поделены на 23 категории и оцениваются по 15-балльной шкале. 15 баллов выбрано неспроста, если брать шкалу в 5 баллов и меньше, то сложно оценить все оттенки профессионализма, выйдет деление на плохой и хороший.

Оценку можно проводить в одно лицо, если вы можете оценивать сотрудника без пристрастий, отключив все чувства. Если позволяет ваша команда, то лучше это делать коллегиально. В моей практике мне очень помогали руководители отдела персонала, безопасности и собственники бизнеса. Для оценки сотрудников своего отдела руководитель отдела может также воспользоваться помощью коллег и руководителей других отделов.

В небольшой компании можно оценивать коллег по отдельности совместно с другими сотрудниками по очереди. Это очень мотивирует сотрудников и держит в тонусе. Ниже приведен пример, который я использую для оценки руководителей.

Для себя вы можете установить любые критерии и по ним оценивать сотрудников. Критерии могут зависеть от стратегии компании в данный момент или специфики компании. Эта методика хорошо подходит для оценки тех сотрудников, результаты которых оценить сложно, результатом может быть качество и его нельзя выразить в цифрах.

Критерии оценки

  1. Навыки продавать – если компания торговая, то продавать должны все, это может быть не только товар, но и решения, приказы и распоряжения.
  2. Исполнительность – важное качество любого сотрудника.
  3. Компетенции по управлению персоналом – в каждой компании они свои, я придерживаюсь регулярного менеджмента.
  4. Результативность управления – сотрудники должны давать результаты, продолжение компетенций – это результаты подчиненных.
  5. Инициативность – критерий вовлеченности в процесс. Если сотрудник вовлечен, он всегда старается своими действиями улучшать компанию.
  6. Результативность внедрений – инициативность наказуема, все внедрения должны приносить результаты.
  7. Анализ продаж, аналитика – это нужно не всем, но мы оценивали еще и руководителей региональных подразделений и маркетинга, поэтому критерии засчитываются только им.
  8. Выработка мероприятий – после план-фактного анализа нужны мероприятия, сотрудники должны сами проводить анализ и вырабатывать мероприятия по повышению показателей.
  9. Доведение мероприятий до сотрудника – каждый руководитель должен продать мероприятие сотруднику отдела.
  10. Выполнение мероприятий на 100% – сотрудник должен довести задачу до логического конца. Выполнить на 100%, можно перевыполнить, но выполнить на 99% неприемлемо.
  11. Коммуникабельность – общение – важный критерий, им нельзя пренебрегать.
  12. Общая результативность – экспертная оценка результативности в целом, по показателям, действиям и результатам.
  13. Энергичность – без энергии нет результатов, измерить это сложно, оценить экспертно можно.
  14. Отсутствие саботажа – обвинения, провокации и неконструктивная критика не приносят результатов.
  15. Имитация работы – нужны результаты, имитация бурной деятельности не приносит их.
  16. Тяга к знаниям – деланье одного и того же, не приведшего к результату, требует изменения тактики, для этого нужно обучаться.
  17. Обучаемость – тяги к знаниям мало, важна обучаемость, если сотрудник не владеет обучаемостью – он динозавр, а динозавры вымерли.
  18. Системность – хаос тоже система, но в хаосе результативность, как правило, равна «0». Системность – залог результативности.
  19. Требовательность – необходимо делать, пока не будет результата, требовательность позволяет достигать результатов там, где сдаться на первый взгляд легче.
  20. Выполнение профессиональных обязанностей – каждый сотрудник должен достигать результатов на своем месте согласно своей специализации. Иначе он не на своем месте.
  21. Самостоятельность и ответственность – это главные качества руководителя.
  22. Фокус на своих обязанностях – распыляться – значит нигде не быть результативным.
  23. Вклад для компании – результат отдельного сотрудника – это результат компании.

Для себя я установил такие критерии оценки, они жесткие и бескомпромиссные, зато в компании работают всегда лучшие:

  • Лучший сотрудник: 13-15 баллов.
  • Ключевой сотрудник: 12-13 баллов.
  • Удовлетворительный: 10-12 баллов.
  • Кандидат на замену: 0-10 баллов.

С удовлетворительным результатом стараемся развивать сотрудника, с кандидатом на замену ищем достойного сотрудника. Сотрудник, подающий надежды, получающий дополнительные толчки в развитии, принесет куда больше результатов, чем при тех же усилиях сотрудник с балами 0-10, а усилий там будет намного больше. Поэтому я также разработал оценку восприимчивости к управляемости и контролю сотрудников после оценки и стратегию работы:

Стратегия работы с сотрудниками после оценки

Как видно из схемы, к каждому сотруднику, по экспертной оценке, применяется стратегия работы. Так необходимо минимизировать время на работу с кандидатами на замену, если их результат минимален и их отсутствие ничему не повредит – то срочно удалить таких сотрудников с коллектива. В ином случае искать и готовить замену. Тратить на такого сотрудника необходимо не более 10% своего времени.

Первый вариант замены, который я практиковал, когда такого сотрудника невозможно уволить в один момент – найм ему в помощь заместителя. Заместитель перенимает знания о специфике должности, особенностях работы, выучивает все регламенты и особенности работы с учетной программой, через 2-3 недели он может заместить такого сотрудника.

Второй вариант замены – моментальное увольнение. Обычно на этом этапе все боятся за падение продаж или той области, в которой работает сотрудник. Это правильный страх, но неэффективный сотрудник, работающий без результата, а скорее с убытком – не лучшее решение. Поэтому в компаниях, в которых я работал, практиковалось срочное замещение таких сотрудников. Так при увольнении руководителя филиала срочно на место выезжал руководитель отдела продаж, в помощь ему отправляли квалифицированного продавца и сотрудника службы безопасности. И если все было верно спланировано, продажи не падали, а вырастали, иногда даже в несколько раз. Если это был менеджер по внешнеэкономической деятельности, его сразу замещал руководитель отдела. Все эксперименты с исправлением нерезультативных сотрудников были неудачными и вели только к убыткам.

Стратегия работы с сотрудниками, которые набрали 10-12 баллов, – поддерживать в развитии и контролировать. Все задачи максимально дробятся, точки контроля тоже максимально часто расставляются, результат описывается точно до мелочей. Чем точнее будет описание, тем ниже контроль, тем выше результат. Затраты времени на таких сотрудников максимальны и составляют 45%. Основная задача – это перевод на следующую ступень.

Стратегия управления с ключевыми сотрудниками – это стандартная оперативная работа. Их квалификация позволяет работать самостоятельно с задачами, на них можно положиться, задача будет выполнена именно так, как вы ее делегировали и на 100%. На таких сотрудников тратится 35% времени.

Следующая стратегия – признания или соратника. Думаю, вам часто приходит в голову идея клонирования вас, тогда вы бы успели сделать намного больше дел и задач. Сотрудники с баллом 13-15 могут работать самостоятельно, кроме того им можно делегировать на уровне идей, то есть не продумывать все до мелочей. Их профильная квалификация значительно выше вашей или на том же уровне, все мелочи они продумают сами, главное – установить сроки и описать результат. Такие сотрудники выступают советниками и соратниками. Лишний контроль их даже может обидеть. Таких немного, но они есть. С других уровней сотрудников перетащить сюда не выйдет одним желанием. Этого должны пожелать сами сотрудники.

www.e-xecutive.ru

Способы оценки качеств экспертов


⇐ ПредыдущаяСтр 6 из 8Следующая ⇒

Существуют различные, не противоречащие друг другу подходы к отбору экспертов. Одни авторы утверждают, что на практике применяют четыре основных метода отбора экспертов: на основании самооценки: на основании результатов прошлой экспертной дея­тельности: на основании определения компетентности: на основа­нии оценки группой каждого специалиста -кандидата. Другие авто­ры говорят об использовании в квалиметрии пяти групп способов, с помощью которых оценивается качество эксперта, причем каж­дый из этих способов, как отмечает Г. Г. Азгальдов, характеризует несколько свойств эксперта. К этим способам относят: эвристи­ческие метопы опенки, статистические метопы оценки, тестовые методы, документальные (рейтинговые) методы оценки, комбини­рованные методы опенки.

Эвристические методы оценки,к которым относятся методы самооценки и взаимооценки, основаны на предположении, что представление у окружающих экспертов о данном эксперте достаточно правильно отражает его качество.

Статистические методы оценкиэкспертов основаны на предположении, что показания эксперта как своеобразного измерительного прибора имеют случайную и систематическую погрешности. К этой груп­пе относятся: отклонение индивидуальной экспертной оценки от коллективной и воспроизводимость индивидуальной оценки через опре­деленный промежуток времени.

Тестовые методы— получение экспертных оценок в результате специальных испытаний экспертов.

Документальные (рейтинговые) методы оценкиоснованы на предположении о том, что некоторые документальные данные (характеристики) об эксперте могут характеризовать его качество как экспер­та. Например: содержание и количество публикаций, участие в между­народных семинарах и симпозиумах, стаж педагогической и научной деятельности.

Комбинированные методы оценкиоснованы на некоем обобщении оценок, полученных разными методами.

Независимо от метода, используемого для отбора группы экспертов, целесообразно уделить внимание вопросу ее состава. Принято считать, что в группах с однородным составом экспертов бывает меньше расхождений между собой, быстрее происходит процесс согласова­ния группового решения.

Однако факт взаимного влияния мнений экспертов может привести и к нежелательным последствиям. В связи с этим, эксперты, участвующие в работе комиссии, должны обладать способностью высказывать мнения, не зависящие от мнений признанных авторитетов, от мнения большинства, должны уметь отказаться от своего публично высказан­ного мнения при выработке нового взгляда на проблему. Такие требо­вания, естественно, создают значительные трудности при выборе экс­пертов для работы в комиссии.

В разнородных же группах эксперты приходят к согласованному мнению не так быстро, зато вырабатывают более широкий диапазон альтернатив и допускают меньше ошибок.

Понятие группового выбора, применительно к групповому экспертному оцениванию, не является средством замены индивидуального выбора неким коллективным образованием наподобие общественного мнения. В групповых решениях существенное значение имеют формирование на основе упорядочения объектов по их предпочтительносги коллективного заключения о групповом выборе и анализ индивидуаль­ных отклонений от него. При этом индивидуальное мнение не игнори­руется, а напротив, в случаях резкого отклонения от группового, ста­новится предметом специального рассмотрения.

Критерий большинства не должен исключать учета мнения меньшинства. Даже сугубо индивидуальное мнение, когда оно хорошо аргументировано, не должно быть потеряно при квалифицированном раз­боре принимаемых решений, особенно в процессе экспертизы. Инди­видуальные мнения, как правило, являются источником оригинальных предложений, столь необходимых для анализа нестандартных, неоче­видных ситуаций. Они незаменимы при оценке уникальных, индивиду­альных, специфичных разработок, опыта, деятельности. Индивидуаль­ные заключения особенно важны для экспертного определения вели­чины риска, поскольку индивид более чувствителен к опасности, не­жели коллектив.

Экспертное оценивание часто необходимо тогда, когда возникают неопределенные ситуации, допускающие множество альтернатив и возможностей. В таких случаях разброс экспертных оценок выражает не степень некомпетентности специалистов, а объективную многоликость явлений, в том числе вариабельность аксиологических характеристик. Это означает, что все экспертные заключения правомочны, и их стати­стическая обработка может определять лишь меры согласованности позиций экспертов. Что же касается группового выбора, то если он оказывается возможным, результат экспертизы выражает практичес­кий опыт экспертной группы, а не истину как таковую.

Индивидуальная экспертиза.На наш взгляд индивидуальные оцен­ки (индивидуальная экспертиза) предъявляют к эксперту особые, бо­лее высокие требования, нежели коллективные оценки (коллективная экспертиза), потому как при индивидуальной оценке выводы формулируются на основе суждения лишь одного эксперта. Совершенно оче­видно, что успех такой оценки в значительной степени зависит от спо­собности эксперта давать заключения по разным вопросам, требую­щим привлечения и общей эрудиции, как и специальных знаний (так как в большинстве своем педагогическая инновационная деятельность представляет собой совокупность самых различных направлений, школ, движений и т. п.).

Поэтому при выборе отдельного эксперта, прежде всего, должны приниматься во внимание соответствие сферы его компетентности задачам экспертизы, а также уровень квапифика^и эксперта в рассматриваемой области.

Экспертное оценивание рассматривается относительно двух основных форм экспертной работы: экспертного опроса (со всеми разновидностями от индивидуального интервью до коллективного генерирования идей и метода Дельфи) и диагностики, включая связанные с ней эксперт­ные системы в кибернетике. В любом случае опрос и диагностирование в качестве способов получения и распознавания информации входят в сферу экспертного оценивания как формы выбора и предпочтения, срав­нения и измерения, типологии и систематизации данных, моделирования и рационализации проблемных ситуаций экспертизы.

Квалифицированная экспертиза предполагает качественную и количественную оценку мнений экспертов и последующую математическую обработку ее результатов. Соответственно, экспертное оценива­ние может иметь многоуровневый характер: некоторые приемы срав­нения, измерения, систематизации, рационализации и другие могут применяться к самим оценкам, а не только к первичным данным, осо­бенно в ситуациях коллективного (группового) оценивания. В послед­нем случае ответы экспертов фиксируются, и таким образом строится их вероятностное распределение (27, 18).

В этой связи продуктивным способом организации групповой экспертизы является коллективное обсуждение индивидуального мнения, а точнее, выделение из экспертной группы наиболее квалифицированных, ав­торитетных экспертов в целях коррекции результирующих оценок.

Иначе говоря, при использовании экспертного оценивания возможны следующие ситуации:

1. Эксперты располагают надежной информацией, полученной в
процессе систематических эмпирических исследований (на основе
наблюдений, опросов, экспериментов), которая поддается измерени­ям и может быть апробирована контрольными проверками. В таком случае можно говорить о наличии определенного истинного результата, а
соответственно и знании (как продукта познания и осознания истины).

2. Имеется информация, оцениваемая лишь в пределах конкретной
ситуации. Применимость ее к другим обстоятельствам, будущим или
возможным событиям — проблематична, а надежность не всегда возможна. Такой случай может быть квалифицирован в познавательном
отношении как наличие некоего предположения (27, 26).

Определение сферы компетентности и уровня квалификации специалиста возможно путем разработки и совершенствования приемов взаимной оценки и самооценки этих профессиональных свойств специали­стов. Приемы самооценки квалификации специалистов должны быть рас­считаны на выработку количественной оценки уровня квалификации, и включать, прежде всего, показатели, характеризующие степень его участия в развитии рассматриваемой области. Анализ такой самооценки должен позволить делать более обоснованные заключения по результа­там экспертной оценки, выполненной каждым экспертом.

Назначение экспертов для проведения экспертизы инновационной проектной деятельности согласовывается и одобряется — с одной стороны экспертным советом, а с другой — авторами инновации.

Работа эксперта заключается в оценке (установлении качества) продукта по его характеристикам, для которых не существует объективно выработанного эталона. Оценивая инновацию, эксперт в большинстве случаев опирается на свое мнение о качестве, и, как предполагается, его ответ будет служить гарантией правильной и достоверной оценки.

В процессе рассмотрения состояния инновационного проекта эксперту предстоит понять, какой вид экспертизы подходит для ее оценки, каковы критерии этой оценки, какими средствами следует осуществлять оценку иннова­ции. В сложных инновационных проектах может наблюдаться отсутствие дос­таточной информации для прогнозирования результатов экспериментальной деятельности, невозможность определения подобных инновационных прак­тик и их сравнения. Поэтому необходимо привлечение квалифицированных специалистов-экспертов для проведения экспертизы различных вариантов про­гнозируемых результатов. Однако следует иметь в виду, что если сами экс­перты заинтересованы в результатах проекта, не исключено, что они могут сообщать не свое личное мнение, а такую информацию, которая приведет к принятию наиболее выгодного для них решения. Возможность такого искажения информации должна быть учтена в ходе проведения экспертизы.

При решении проблем нестандартных, связанных с прогнозированием s нестабильных условиях, должны участвовать эксперты высо­кой квалификации. Прогнозы, составленные экспертами средней ква­лификации, обычно основаны на традиционных привычных оценках. В ситуациях неопределенности, нестабильности они часто ошибочны. Высококвалифицированные специалисты оценят скрытые факторы и возможности появления новых тенденций.

На выбор группы (коллектива) экспертов оказывают влияние такие факторы, как соответствие суммарной сферы компетентности группы экспер­тов оцениваемой области, возможности прогнозистов по организации экс­пертизы с учетом затрат времени и средств на проведение опроса.

3.9. Критерии экспертизы

Критерии— зависимые переменные характеристики, которые предположительно являются наиболее адекватными для решения практических проблем.

Если считать, что задачей инновационной деятельности является прогнозирование и, в конечном счете, повышение эффективности деятельности образовательной системы, то базовыми критериями инновационной деятельности являются показатели эффективности деятельности на индивидуальном, групповом и организационном уровнях отдельного учреждения.

Критерий— признак, на основании которого производятся оценка, определение или классификация чего-либо; мерило оценки.

Критерии экспертной оценки определяются в соответствии с принципами и целями конкретной экспертизы. Существуют разные подходы к определению критериев экспертизы инновационных проектов.

Их состав определяется характером педагогических объектов, подлежащих экспертной оценке, наличием или отсутствием выработанных нормативов, мер, эталонов.

Некоторые авторы в качестве основных критериев выделяют реалистичность и реализуемость инновационного проекта.

В случае рассмотрения реалистичности инновации (эксперимента), совсем не предполагается рассматривать, насколько реально может существовать тот или иной инновационный проект. Главное — это определить, имеет ли он право на существование, насколько он соотносит­ся с ситуациями будущего, имеется ли в наличии прогноз с пошаговы­ми действиями, в которых будет осуществляться инновационный про­ект, или может ли он быть представлен. Другим критерием инноваци­онной деятельности является ее реализуемость (ресурсное обеспе­чение), которая рассматривается с учетом участников инновационного проекта; в данном случае возникает необходимость определить круг лиц, вовлеченных в инновационную проектную деятельность, для каж­дого из которых должно быть четко определено свое функциональное место, чем и будет обеспечиваться их включенность в реализацию идеи.

Мы рассмотрели один из подходов к критериям экспертизы инновационной деятельности. Гуманистичность инновационного проекта заключается в отражении в про­екте гуманистического мировоззрения, или же в представлении в нем раз­нообразной образовательной среды либо в его демократичности. Прорабо­танность инновационного проекта в качестве критерия предполагает наличие научного обоснования инновационной идеи и рассмотрение возможных пу­тей реализации проекта. Большую значимое имеет критерий возможного распространения представленной в проекте инновации, так как в данном случае наравне с возможностью ее распространения определяется и уровень инновации — подлежит ли она распространению на федеральном, регио­нальном, межрегиональном и местном уровнях, или возможно только ее частичное использование, или же инновация не подлежит распростране­нию, в связи с ос экстраординарностью, или она не представляет интереса.

На наш взгляд, достаточно полной и интересной является следующая классификация критериев экспертизы:

общие критерии,позволяющие оценить значимость предлагаемого
проекта с точки зрения основных тенденций, целей и направлений развития и реформирования образования на разных уровнях его организации;

специальные критерии,позволяющие оценить компетентность
автора и содержательность проекта с точки зрения его полноты, соответствия нормативным и понятийным требованиям;

частные критерии, позволяющие оценить степень обоснованности проекта с точки зрения возможностей его воплощения и жизнеспособности (17).

Рассмотрим состав названных критериев. В состав общих критериевинновационного проекта входят следующие показатели: новизна (инновационность) проектной идеи, которая может заключаться в создании абсо­лютно нового, неизвестного до настоящего времени продукта или в совер­шенствовании существующей образовательной ситуации, в предложении альтернатив развитию инновационной идеи и т. п.; масштабность иннова­ционного проекта — какого уровня и какой значимости предполагаемый про­ект. Будет ли проект носить локальный характер, осуществляться на мест­ном уровне и иметь, соответственно, ценность на этом уровне, или инно­вационный проект предполагает изменение в образовательной практике на региональном, межрегиональном и даже федеральном уровнях.

Следующим показателем, относящимся к общим критериям, является системность инновационного проекта. В представленном на экспертизу проекте необходимо определить: какой характер будет ноешь проект — фрагментарный или системный, то есть, будет ли рассматриваться содержание образования или сценарий отдельного урока, как и будут ли разработаны и представлены образовательные технологии или отдельные педагогические действия и т. п.

В состав критериев входит также и эффективность инновационного проекта. При ее рассмотрении следует понять, что же произойдет в образовательной практике с введением данного инновационного проекта: улуч­шение, существенное обогащение образовательной теории или практики, кардинальное преобразование существующей образовательной ситуации.

Транслируемость проектной идеи говорит о возможности трансляции представленной инновации, ее тиражирования или о том, что идея может существовать (быть реализована) только в экстраординарных условиях.

Рассмотрев состав общих критериев и их значение в экспертизе инновационных проектов, остановимся на составе специальных критериев.Учитывая, что каждый из представленных критериев существенно значим для экспертизы проекта, рассмотрим их в определенной последовательности.

Полнота структуры инновационного проекта, которая в проекте представлена анализом реальной образовательной ситуации; концепцией инновационного проекта, включающего проектную идею, опи­сание проблем, постановку целей, формирование задач; содержательной и организационной моделью образовательной системы или ее фрагментом; планом и сметой реализации проекта с его ресурс­ным обеспечением.

Не менее значимой является и степень проработанности структурных элементов проекта. Следующим критерием является согла­сованность структурных частей проекта: рассматриваются ли во взаимосвязи анализ ситуации и описание проблем, которые необходи­мо решить; концепция, цели и задачи инновационного проекта; цели, задачи проекта и необходимые ресурсы (технологические, органи­зационные, профессиональные, финансовые, материально-техниче­ские и т. д.).

И, конечно, группой критериев, необходимых для экспертной оцен­ки инновационного проекта являются частные критерии.К ним, в первую очередь, относится реалистичность инновационного проекта, которая предполагает соответствие идей, целей и задач проекта реальной образовательной ситуации и имеющимся ресурсам. Дру­гим частным критерием является реализуемость инновационного проекта, заключающаяся в наличии, вовлеченности и согласованно­сти действий других субъектов образовательной ситуации с дей­ствиями автора проекта при его реализации. Еще одной характерис­тикой и частным критерием в экспертизе инновационных проектов выступает инструментальность (управляемость) проекта, то есть на­личие организационных форм, способов и плана действий по его реализации.

 

 


Рекомендуемые страницы:

lektsia.com

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *