Игнатьева Ольга Петровна,
канд. пед. наук, доцент
кафедры русского языка Центра довузовской подготовки
иностранных граждан,
Тульский государственный университет,
г. Тула
тел. 8-905-115-79-38
e-mail: ignateva-tula@mail.ru
Рейтерская таблица как способ квалификации ошибок
в письменной речи инофона
Для последнего десятилетия настолько характерно применение тестового контроля, что сегодняшнюю систему образования в России можно определить как тестоориентированную.
Практика проведения сертификационных экзаменов по русскому языку как иностранному в рамках российской государственной системы тестирования позволила еще раз убедиться в их объективности. Для каждого из тестирующихся создаются равные условия, на выполнение заданий отводится строго фиксированное время. Все это призвано значительно уменьшить субъективный и личностный подход к оцениванию.
Для упорядочения системы оценки и оценивания созданы оценочные шкалы, представляющие собой «средство фиксации результатов измерения пу-тем их определенного упорядочения и выражения в соответствующих числах (цифрах)» [5; 142].
Разновидностью оценочных шкал в тестировании являются рейтерские таблицы или контрольные листы экспертной оценки, в которых содержатся критерии и параметры контроля, тестирования, поддающиеся измерению и оцениванию, а также оценка речевого продукта учащегося по данным критери-ям.
Поскольку основной функцией рейтерской таблицы является процедура комплексного оценивания, остановимся подробнее на определении «оценка». Как утверждает М.Б. Челышкова, традиционно в учебном процессе слову «оценка» придается оттенок, сводящий его к некоторому результату. Однако необходимо учесть, что важен не только конечный результат, но и процесс формирования оценки. При этом педагогические оценки не следует отождеств-лять с отметками, которые служат для установления численных аналогов оце-ночных суждений. И оценки, и отметки не лишены субъективизма особенно в тех случаях, когда контроль проводится традиционными методами, поскольку при их выставлении преподаватель сравнивает все достижения учащихся со своими мерками [3; 13]. В результате каждая оценка, особенно неудовлетвори-тельная, воспринимается обучаемым как выражение субъективного мнения преподавателя о нем. А у субъективизма в педагогическом контроле есть не-приятное следствие. Он является одной из причин прагматического отношения к предмету, когда у учащихся появляется стремление изучать предмет ради оценки, а не по существу. Гораздо труднее обучаемому поставить под со-мнение объективность тестовой оценки, при выставлении которой используются стандартизированные средства измерения, четкие критерии, а участие преподавателя сведено к нулю. В этом случае близость тестовых оценок к объективным зависит только от того, насколько профессионально сделаны тесты [3; 26].
Если в европейской практике при оценке речевого продукта существует два подхода: импрессионистический (метод впечатлений) и аналитический, то в российской практике используются оба вида оценки.
Объективность оценки складывается в соответствии с четко выстроенной оценочной шкалой. Согласно наиболее распространенному определению, шкала – средство фиксации результатов измерения определенных свойств эмпирических объектов путем упорядочения результатов в определенную числовую систему [4; 17].
Исследуя оценочные шкалы, Т.М. Балыхина отмечает, что они имеют следующие свойства:
– идентичность, позволяющую однозначно относить объекты к одной из выделяемых категорий;
– транзитивность, способствующую ранжированию объектов контроля в определенном порядке;
– метричность, обеспечивающую единую систему измерений.
В российской системе тестирования по русскому языку как иностранному оценочные шкалы вполне соответствуют данным требованиям. В качестве объектов контроля в них выступают:
– содержательный компонент;
– интенции;
– композиционная структура и форма;
– характеристика языковых средств [5; 142-143].
Особое значение в шкалировании приобретают рейтерские таблицы, применяемые при оценке субтестов «Письмо» и «Говорение». Они позволяют представить и оценить качественные и количественные характеристики (со-держательный и формальный компоненты) речевого продукта в сфере продук-тивных видов речевой деятельности.
Субтест «Письмо» I сертификационного уровня тестирования состоит из 2 заданий и инструкций к их выполнению.
В задании 1 проверяется умение записать основное содержание предъяв-ляемого текста с опорой на вопросы.
Тип текста: тексты смешанного типа (описательно-повествовательного характера с элементами рассуждения).
Объем текста: 600-800 слов.
Количество незнакомых слов в предъявляемом тексте: до 5%.
В задании 2 проверяется умение построить письменное монологическое высказывание на предложенную тему и с опорой на вербальное описание си-туации.
Характеристика презентируемого материала: предъявляется тема, вербальное описание ситуации.
Объем продуцируемого текста: 18-20 предложений.
Субтест «Письмо» относится к числу так называемых «открытых» тестов, проверка которых производится посредством использования определенных параметров, отраженных в рейтерских таблицах.
Таблица 1.
Контрольный лист экспертной оценки к заданию 1.
(общая стоимость – 40 баллов)
______________________________________
фамилия, имя тестируемого, страна, дата
КРИТЕРИИ ОЦЕНКИ 40 БАЛЛОВ
1. Адекватность создаваемого тестируемым текста цели, по-ставленной в задании.
2. Полнота представления информации текста-источника (-5 баллов за пропуск информативно значимого фрагмента теста).
3. Точность передачи информации текста-источника (-5 бал-лов за каждое нарушение)
4. Логичность и связность изложения информации (-2 балла за каждое нарушение).
5. Коммуникативно значимые ошибки (-2 балла за каждую).
6. Коммуникативно незначимые ошибки (-0,5 балла за каж-дую).
ИТОГО:
Поощрительные баллы (плюс-баллы) за выполнение задания 1
6. Полнота и развернутость высказывания (+3 балла)
7. Элементы самостоятельности в использовании языковых средств (+3 балла)
ИТОГО:
Общая оценка по заданию 1:
Контрольный лист экспертной оценки к заданию 2
(общая стоимость – 40 баллов)
______________________________________
фамилия, имя тестируемого, страна, дата
КРИТЕРИИ ОЦЕНКИ 40 БАЛЛОВ
1. Адекватность создаваемого тестируемым текста цели, по-ставленной в задании.
2. Соответствие заданному объему высказывания (-1 балл за пропуск информационной единицы).
3. Логичность и связность изложения (-2 балла за каждое на-рушение).
4. Коммуникативно значимые ошибки (-2 балла за каждую).
5. Коммуникативно незначимые ошибки (-0,5 балла за каж-дую).
ИТОГО:
Поощрительные баллы (плюс-баллы) за выполнение задания
6. Полнота и развернутость высказывания (+3 балла)
7. Элементы самостоятельности в использовании языковых средств (+3 балла)
ИТОГО:
Общая оценка по заданию 2:
На первом месте среди критериев оценки находится адекватность созда-ваемого тестируемым текста цели, поставленной в задании. А это значит, определяется соответствие речевого продукта набору интенций, который необ-ходим для решения поставленной коммуникативной задачи. Сложность задачи обусловлена актуальностью представленного текста, включающего злободнев-ную проблематику.
В традиционной системе обучения основным средством контроля пись-менной речи учащихся являлось изложение в виде письменного пересказа (вос-произведения) прослушанного произведения. При оценке изложения подразу-мевалась полная адекватность создаваемого речевого продукта первоисточни-ку. Тем более что предлагаемые тексты были описательно-повествовательного характера в рамках художественного стиля. То есть обучаемому для достиже-ния положительного результата достаточно было запомнить основную собы-тийную цепочку и воспроизвести ее письменно. Успешности работы способст-вовал список новых слов из первоисточника, предлагаемый для детального анализа, а также подробный план изложения. Для получения хорошей и отличной оценки требовалось переосмысление исходной информации в соответствии с формулировками творческих заданий.
Современные потребности коммуникации обусловили включение в пер-вое задание субтеста «Письмо» текста описательно-повествовательного харак-тера с элементами рассуждения публицистического стиля, в котором поднима-ются актуальные проблемы. Учащимся не нужно воспринимать текст на слух, он находится перед глазами. Однако задача заключается не только в том, чтобы воспроизвести основную информацию из прочитанного произведения, но и в том, чтобы создать связный, логичный текст репродуктивно-продуктивного характера, соответствующий предложенной в задании программе и включающий собственные размышления тестируемого по поводу значимости обозначенных проблем. Как правило, этот аспект вызывает наибольшие трудности у тестируемых.
Второе задание субтеста является творческим. Тестируемые должны на-писать официальное письмо в соответствии с предложенной программой. Аде-кватность создаваемого тестируемым текста цели, поставленной в задании, здесь представляет высокую степень сложности, поскольку обучаемому необ-ходимо владеть знаниями об особенностях жанра письма, об отличиях личного и официального письма.
Так, личное письмо может выражать любые эмоции автора, содержать в себе непринужденное изложение фактов о вещах, людях, событиях. Адресовано личное письмо кому-то из знакомых, родственников или близких друзей. При его написании автор использует преимущественно местоимение «я». В отличие от личного официальное письмо имеет четкую структуру и содержание, включающие языковые клише, свойственные официально-деловому стилю. Например, обращаясь к официальному лицу, мы не можем использовать упрощенную форму приветствия – Привет, дорогой друг, а только стандартизованный оборот – Здравствуйте, уважаемый господин директор. Официальное письмо целенаправленно, его задача, прежде всего, заключается в том, чтобы адресат отреагировал должным образом на изложенную в нем информацию. Чтобы убедить адресата, автор официального письма делает акцент на местоимении «вы».
Если у тестируемого не сформированы навыки оформления официально-го письма, его речевой продукт становится в той или иной степени неадекват-ным предлагаемому в задании алгоритму.
Далее в рейтерской таблице к заданию 1 следует критерий, который учи-тывает полноту представления информации текста-источника. То есть про-веряющий должен определить наличие в речевом продукте основных функцио-нально-смысловых блоков текста-источника, обозначенных в программе дейст-вия. Тогда как в задании 2 в связи с его продуктивным характером проверяется соответствие заданному объему высказывания, или наличие всех информа-ционных единиц, необходимых для решения поставленной коммуникативной задачи. В традиционном изложении полнота информации состояла в сравнении полученного количества слов с численным показателем первоисточника. При тестировании полнота и соответствие определяются путем сравнения речевого продукта с заданной программой. И это также усиливает смысловую наполняе-мость субтеста.
В первом задании, поскольку оно носит репродуктивно-продуктивный характер, большое значение придается правильному изложению фактической информации, не допускающей искажения, что выражается в формулировке очередного критерия: точность передачи информации текста-источника. Тестору необходимо иметь в виду, что точность речи проявляется на основе со-отношения речь – действительность и подразделяется на два вида: предмет-ную и понятийную. Если в речи, в данном случае письменной, адекватно обо-значены предметы реальной действительности, явления жизни, события, то в ней соблюдена фактическая, или предметная, точность. Если запланирован-ное пишущим содержание речи соответствует авторскому замыслу, то мы говорим о понятийной точности.
Перечень параметров, призванных выявить текстовые ошибки и несоот-ветствия, завершает общий для обоих заданий субтеста «Письмо» критерий: логичность и связность изложения информации. Являясь коммуникативным качеством речи, логичность речи связана со смысловой и синтаксической орга-низацией текста и проявляется на уровне:
– перехода от одной мысли к другой;
– членения текста на абзацы;
– выбора синтаксических структур, адекватных характеру выражения со-держания.
Связность, в свою очередь, заключается в наличии общего в двух и более фактах, явлениях и т.д., что обуславливает ее независимый характер. Связность способна объединить факты, явления в одно замкнутое в смысловом отношении целое.
Блок речевых и лексико-грамматических ошибок учитывается в рейтер-ских таблицах дифференцированно, разделяясь на коммуникативно значимые и коммуникативно незначимые. Для того чтобы правильно квалифицировать их, проверяющий должен знать особенности каждой из названных категорий ошибок.
Коммуникативно значимые ошибки нарушают понимание смысла от-дельной фразы, речевого продукта в целом, т.е. делают затруднительным или невозможным продолжение коммуникации по ряду причин, в число которых входят:
– нарушения координации и согласования, например: я умела писать язык; ты есть красивый имя;
– нарушение в управлении формой слова, например: далеко не все жите-ли Китая осваивают иностранными языками; он здесь для учиться;
– нарушение в порядке расположения частей предложения, например: друг сказал, мы надо помогли ему чтобы;
– употребление слова без учета его семантики, например: как мы согласились я тебе немного о турфирме напишу;
– искажение ритмико-интонационной структуры высказывания, напри-мер: кто ручка есть (данная фраза содержит грамматические ошибки и напи-сана без вопросительного знака) и т.д.
Коммуникативно незначимые ошибки чаще всего являются нарушением тех или иных норм изучаемого языка в области грамматики, фонетики, лексики и т.д. Несмотря на допущенные нарушения, речевой продукт понятен собеседнику при наличии у него языковой догадки, например: Какая сегодня красивая погода!
Так, к коммуникативно незначимым ошибкам будут относиться следую-щие:
1) в области фонетики:
– ошибки, связанные с пропуском непроизносимых согласных, например: зрастуйте (здравствуйте), стреча (встреча);
– фонематические ошибки, например: арбота (работа), дурук (друг), хотила (хотела), однаждыи (однажды)
2) в области грамматики, например: мы будем экзамены в июле; я читал много книга;
3) в области лексики, например: мой дедушка – старинный человек; я хо-рошо вспоминаю это событие и т.д.
Учет текстовых и речевых ошибок удачно сочетается в рейтерской таб-лице, выстраиваясь в иерархическом порядке. От ошибок, сопровождающих процесс создания письменного продукта в целом, тестор переходит к ошибкам, допущенным на уровне слова, словосочетания, предложения как более мелким единицам текста.
В последнее время внимание методистов и преподавателей-практиков приковано к особенностям дифференциации коммуникативно значимых и ком-муникативно незначимых ошибок, тогда как каждому из проверяющих понят-но, что конкретные ошибки приобретают значение только в том случае, если перед нами созданный обучаемым полноценный текст. Если же текст не соот-ветствует заданию, то разнородные речевые ошибки, или даже их отсутствие, теряют свое значение.
Теоретические рассуждения подтверждают статистические данные, воз-можность получения которых вполне обеспечена системой государственного тестирования. На базе кафедры русского языка Центра довузовской подготовки иностранных граждан Тульского государственного университета были прове-дены практические исследования результатов тестирования первого сертифи-кационного уровня 2009 года. В таблице 2 приведены средние показатели оши-бок.
Таблица 2.
Количество ошибок, допущенных в отдельных субтестах
Лексика/ грамматика Чтение Аудирование Говорение Письмо Средний процент ошибок
11,6% 15,6% 20,3% 21,1% 21,1% 16,9%
Средний процент ошибок позволяет судить о достаточном уровне обу-ченности студентов-иностранцев в ТулГУ. А это в 2008-2009 году были пред-ставители различных языковых групп из Камеруна, Конго, Иордании, Болга-рии, Китая, Вьетнама. Наибольшее количество ошибок при выполнении субтестов «Говорение» и «Письмо» еще раз подчеркивает трудности овладения репродуктивно-продуктивными и продуктивными видами устной и письменной речевой деятельности.
Анализ позволяет выявить наиболее частотные ошибки в интересующем нас субтесте.
Таблица 3.
Распределение ошибок в субтесте «Письмо»
Номер задания Наименование позиции оценивания из рейтерской таблицы Количество тестируемых, допустивших ошибки (в процентах)
1 Адекватность создаваемого тестируемым текста це-ли, поставленной в задании 10%
Полнота представления информации текста-источника 68%
Логичность и связность изложения информации 42%
Точность передачи информации текста-источника 32%
2 Адекватность создаваемого тестируемым текста це-ли, поставленной в задании 5%
Соответствие заданному объему высказывания 16%
По всем заданиям Коммуникативно значимые ошибки 58%
Коммуникативно незначимые ошибки 21%
Полученные выводы свидетельствуют о недостаточных знаниях, навыках и умениях студентов-иностранцев, обеспечивающих правильное восприятие и репродукцию исходного русскоязычного текста проблемного характера, а так-же о неумении продуцировать полноценные письменные монологические вы-сказывания.
В качестве основных путей преодоления ошибок в методике преподава-ния русского языка как иностранного предлагаются следующие:
– демонстрация правильного образца;
– анализ ошибок;
– тренинги;
– упражнения;
– контроль (тестовый контроль, внешний контроль, фронтальный кон-троль, взаимоконтроль, комбинированный контроль, самоконтроль).
Однако уже первая позиция – демонстрация правильного образца – зачастую не обеспечена учебными пособиями и ходом учебного процесса. К сожалению, в предлагаемых на сегодня учебниках, например: «Живем и учимся в России» (I уровень) – СПб: «Златоуст», 2003, не предусмотрена комплексная работа по анализу текстов-рассуждений, поднимающих социально значимые проблемы современности. Вследствие этого складывается ситуация, когда у обучаемых ко времени прохождения тестирования не выработаны необходимые навыки по определению основной мысли и проблематики исходного текста, созданию ассоциативных высказываний по поводу поднимаемых автором проблем. Недостаточное внимание в учебных пособиях отведено и жанру письма, особенно официального характера. В результате учащиеся, приступая к выполнению соответствующего задания в субтесте «Письмо» I сертификационного уровня, имеют весьма смутное представление о структуре официального письма и правилах его оформления.
Таким образом, выявленный посредством рейтерской таблицы «отрицательный языковой материал» (термин Л.В. Щербы) помогает не только оценить знания, навыки и умения тестируемых, но и служит материалом анализа методов обучения и контроля в процессе преподавания русского языка как иностранного.