Get Adobe Flash player
РУКОВОДСТВО ДЛЯ ИСПОЛЬЗУЮЩИХ РЕЗУЛЬТАТЫ ТЕСТА И ДРУГИХ ЗАИНТЕРЕСОВАННЫХ СТОРОН
 
Что такое TELLCAP®?
 
TELLCAP® - это признанный и надёжный квалификационный тест, предназначенный для определения уровня владения английским языком по Шкале ИКАО специалистами, входящими в состав летного экипажа ГА, и диспетчерами УВД.
 
Структура Теста
В 2004 году команда опытных лингвистов и авиационных специалистов разработала TELLCAP®, основываясь на рекомендациях ИКАО, результатах анализа интенсивного использования целевого языка и важнейших характеристиках качества теста – валидности, надёжности, объективности и целесообразности. В результате было решено следующее:
 
TELLCAP® проверяет только навыки аудирования и говорения
 
В процессе тестирования не задействованы навыки чтения и письма, умение печатать или владеть компьютером, что соответствует требованиям ИКАО и повышает объективность и валидность теста. 
 
TELLCAP® проверяет владение общим и авиационном английским языком в «связанном с работой» пилота и диспетчера контексте, а НЕ фразеологию радиообмена
TELLCAP® проверяет способность эффективно общаться на «общие, конкретные и связанные с работой темы», а также способность справляться с «ситуационными усложнениями или неожиданным поворотом событий» и решать задачи, которые могут возникнуть в процессе ведения радиообмена, когда невозможно воспользоваться стандартной фразеологией ИКАО. TELLCAP® реализует широкий подход к тестированию, выявляя способность «использовать общий язык при общении на различные темы, связанные с радиотелефонной связью или авиационной деятельностью, но без воспроизведения радиотелефонной связи как таковой» (Руководство по внедрению требований ИКАО к владению языком (Doc 9835), Глава 6, 6.2.8). Тест НЕ проверяет знание стандартной фразеологии или профессиональную компетентность. Способность пользоваться стандартной фразеологией должна оцениваться профессиональными экспертами. «Обучение и контроль знания стандартной фразеологии – это профессиональный аспект, но не аспект уровня владения языком» (Циркуляр ИКАО 318 «Критерии языкового тестирования для глобального согласования», Глава 4, п.4.6). Тестовые задания позволяют выявить умения использовать общий и авиационный английский язык в расширенном речевом контексте в сравнении с кратким и однозначным языком радиотелефонной связи.
 
TELLCAP® подходит как для пилотов, так и для диспетчеров 
 
TELLCAP® успешно применяется для оценки уровня владения языком как пилотов, так и диспетчеров в России и за её пределами. Аутентичные задания теста связаны с коммуникативными функциями и лексическими темами (доменами) (Doc 9835, Appendix B), которые встречаются пилотам и диспетчерам в повседневной профессиональной деятельности, а также в нештатных ситуациях. Такой подход снижает вероятность необъективности, повышает уровень соответствия теста требованиям ИКАО и его целесообразность.
 
Тестирование TELLCAP® проводится индивидуально и в условиях строгой секретности
 
Экзамен проводится строго для одного кандидата в закрытом на ключ звуконепроницаемом помещении специалистом, имеющим соответствующую квалификацию и подготовку. Используется портативный или стационарный компьютер и два комплекта гарнитур, оборудованных микрофонами. Личные данные кандидата хранятся в строгой секретности. Необъективность оценки предотвращается путём присвоения кандидату и аудиофайлу, содержащему запись экзамена, уникального буквенно-цифрового кода.
 
TELLCAP® позволяет получить и оценить напрямую образцы спонтанной, неподготовленной речи
 
Экзаменаторы используют особые стратегии для получения образцов спонтанной речи достаточной продолжительности. Они могут определить и вежливо прервать заученную речь с тем, чтобы полученный образец речи демонстрировал истинный уровень владения языком, что благоприятно сказывается на объективности теста и практической невозможности целенаправленно к нему подготовиться.
 
TELLCAP® позволяет оценить уровни владения языком с 1 по 6 по всем параметрам Шкалы ИКАО
 
Разнообразные тестовые задания (интервью, аудиозадания, ролевая игра) способствуют получению речевого образца достаточной продолжительности и качества. Рейтеры, используя методы лингвистического анализа образцов речи, соотносят их с дескрипторами Шкалы ИКАО для определения уровня владения языком.
 
Проверка умения общаться как в условиях прямого визуального контакта, так и без него
 
Часть тестовых заданий выполняется при наличии визуального контакта между экзаменатором и кандидатом. Другие же проводятся посредством только голосовой коммуникации, для чего между экзаменатором и тестируемым устанавливается разделительный экран.
 
Навыки аудирования оцениваются на протяжении всего теста, а также в специальных аудиозаданиях
 
Аудирование оценивается на протяжении всего теста и особенно в двух аудиозаданиях, использующих аутентичные записи авиационных текстов и радиообмена на английском языке. При этом представлены акценты как носителей языка, так и тех, для кого английский не является родным, но чей акцент понятен для международного авиационного сообщества.
 
Образцы речи записываются. Они оцениваются независимо двумя рейтерами.
 
Весь экзамен записывается в цифровом формате. Аудиозапись экзамена хранится в защищённой базе данных TELLCAP®.
Оценивание основано исключительно на образце речи, продемонстрированном кандидатом во время экзамена.
В процессе оценивания участвуют два рейтера.
Рейтеры независимо друг от друга выставляют оценки по каждому из шести параметров Шкалы ИКАО – Произношение, Грамматические структуры, Словарный запас, Беглость, Понимание и Взаимодействие, и итоговую оценку уровня владения языком.
 
TELLCAP® - это многовариантный тест; проведение экзамена является безбумажным
 
Большое количество эквивалентных вариантов теста гарантирует его объективность.
Безбумажное проведение экзамена повышает защищённость теста.
 
Содержание теста
 
Разнообразные тестовые задания позволяют оценить способность кандидата:
 
  • ·  эффективно общаться как в условия прямого визуального контакта, так и без него;
  • ·  недвусмысленно и четко изъясняться по общим, конкретным и связанным с работой темам;
  • ·  использовать необходимые коммуникативные стратегии для обмена сообщениями и для распознавания и устранения недопонимания;
  • ·  успешно и относительно легко решать лингвистические проблемы, связанные с усложнением или неожиданным поворотом событий;
  • ·  использовать и понимать диалекты или акценты, понятные авиационному сообществу.
 
Тест разработан с учетом актуальной для кандидата профессиональной сферы общения, с характерными для нее темами, ситуациями и задачами общения. 
 
Перечень лексических тем определяется Главой 3 и Приложением «Б» Части II к Документу ИКАО 9835 «Руководство по внедрению требований ИКАО к владению языком»
 
·  УВД и наземные службы
·  Грузы
·  Опасности
·  Проблемы со здоровьем
·  Происшествия
·  Процедуры
·  Угрозы
·  Транспортный поток
·  Отказы, поломки, сбои
·  Аппаратура / оборудование
·  Пожар и задымление
·  Социальные аспекты
·  Помехи
·  Трассы
·  Технические аспекты
·  Погода и окружающая среда и т.д.
 
Перечень задач общения и коммуникативных функций определяется Приложением «Б» Части I к Документу ИКАО 9835 «Руководство по внедрению требований ИКАО к владению языком»
 
·  Запрос информации / сообщения
·  Выдача распоряжений / инструкций
·  Уточнение
·  Запрос подтверждения / разрешения
·  Выражение предпочтения
·  Совершение запроса
·  Предположение
·  Выражение недопонимания
·  Сравнение
·  Обобщение
·  Проверка, уточнение, подтверждение правильности понимания
·  Предсказание
·  Доклад
·  Предоставление информации / рекомендации
·  Заверение
·  Выражение мнения
·  Выдача подтверждения / разрешения
·  Объяснение
·  Совершение предложения
·  Выражение нужд / пожеланий
·  Поощрение
·  Описание
·  Запрос повторения
·  Выражение отношения
·  Выражение возможности (осуществимости)
·  Повествование и т.д.
 
Формат теста
 
1.  Разминка: интервью при визуальном контакте. Кандидату задаются вопросы о его работе, образовании и планах на будущее.
2.  Интервью на общую тему: интервью при визуальном контакте на общую тему, имеющей прямое или опосредованное отношение к авиации.
3. Интервью на авиационную тему: интервью без визуального контакта на авиационную тему, касающуюся стандартных или нестандартных ситуаций, с которыми пилоты и диспетчеры могут столкнуться в своей профессиональной деятельности.
4.  Аудиозадание №1: задание без визуального контакта, направленное на проверку навыков аудирования. Задание  состоит из двукратного прослушивания аудиотекста на определённую тему, касающуюся стандартных или нестандартных ситуаций, с которыми пилоты и диспетчеры могут столкнуться в своей профессиональной деятельности, и структурированного интервью по содержанию прослушанного.
Реакция на ситуацию: прямое тематическое задание без визуального контакта, в котором кандидату требуется сделать сообщение по ситуации из аудирования.
5. Аудиозадание №2: задание без визуального контакта, направленное на проверку навыков аудирования.  Задание  состоит из двукратного прослушивания записи реального радиообмена и структурированного интервью по содержанию прослушанного.
6. Сбор и передача информации: ролевая игра при визуальном контакте.
Задание состоит из двух частей. В первой части кандидату необходимо собрать информацию о событии, во второй части – передать полученные сведении третьему лицу – экзаменатору, исполняющему роль руководителя. Ролевая игра не нацелена на проверку фразеологии радиообмена. Роли зависят от ситуации и учитывают специфику работы пилота и диспетчера.
 
Примечание. При выполнении 4, 5 и 6 заданий кандидату разрешено записывать информацию. Умение запоминать не проверяется. По окончании экзамена все записи остаются у экзаменатора.
 
Проведение экзамена
 
Экзамен проводится для одного кандидата в закрытом на ключ звуконепроницаемом помещении сертифицированным экзаменатором, который:
 
·  устанавливает личность кандидата и его готовность к экзамену;
·  использует только компьютер с двумя гарнитурами, оборудованными микрофонами;
·  следует стандартному сценарию одного из многих равнозначных вариантов теста для получения образца спонтанной речи, характеризующей истинный уровень владения языком;
·  записывает весь экзамен в цифровом формате, присваивая файлу уникальный буквенно-цифровой код;
·  строго следует всем предписанным правилам безопасности для предотвращения необъективности оценки и разглашения материалов теста.
 
Процедура оценки
 
·  Оценка основывается исключительно на образце речи, продемонстрированном кандидатом во время экзамена.
·  В процессе оценивания участвуют два рейтера.
·  Рейтеры, используя методы лингвистического анализа образцов речи, соотносят их дескрипторами Шкалы ИКАО для определения уровня владения языком.
·  Рейтеры независимо друг от друга выставляют оценки по каждому из шести параметров Шкалы ИКАО – Произношение, Грамматические структуры, Словарный запас, Беглость, Понимание и Взаимодействие, и итоговую оценку уровня владения языком.
·  Итоговая оценка уровня владения языком определяется по самой низкой из всех полученных оценок.
·  Если установлено расхождение в итоговых оценках, выставленных двумя рейтерами, назначается оценка аудиозаписи экзамена старшим рейтером.
 
Рейтеры-экзаменаторы
 
·  Носители или неносители английского языка, чей уровень владения языком соответствует 5 уровню по Шкале ИКАО или превосходит его.
·  Обладают глубокими знаниями в области авиации и знакомы с документами ИКАО.
·  Прошли соответствующую подготовку и сертифицированы Авиационным Учебным Центром «Комп Лэнг».
·  Проходят ежегодные КПК и регулярно выполняют задания, направленные на стандартизацию их деятельности.
·  Находятся под постоянным контролем качества работы с целью поддержания уровня их профессиональной подготовки.
·  Юридически связаны подписанным «Соглашением о неразглашении информации».
·  Следуют этическому кодексу экзаменаторов и рейтеров, разработанному Международной Ассоциации Языкового Тестирования (ILTA).
 
Подготовка рейтеров-экзаменаторов
 
·  Интенсивная (40-часовая) первоначальная подготовка рейтеров направлена на обучение применению стандартов ИКАО в тестировании путём анализа образцов речи на 2 – 6 уровнях по Шкале ИКАО и оценивания 10 – 15 тестов.
·  Экзаменаторы проходят первоначальную подготовку (32 часа) по вопросам проведения и безопасности тестирования, звукозаписи речи и приёмам получения образцов спонтанной речи, которые могли бы максимально продемонстрировать языковые возможности кандидата.
·  Сертифицированные экзаменаторы и рейтеры ежегодно проходят 40-часовой курс повышения квалификации.
·  Первые десять работ начинающих рейтеров-экзаменаторов контролируются Руководителем проекта TELLCAP®. 
·  Каждые шесть месяцев выполняются задания по оценке экзаменационных файлов вслепую в целях стандартизации.
·  Ненадёжные рейтеры повторно проходят курс подготовки. В случае если после повторного прохождения курса, они не демонстрируют успешной работы, они отстраняются от проведения дальнейших рейтерских оценок.
·  Создатель и первый руководитель проекта TELLCAP® участвовал в работе Исследовательской группы ИКАО по определению требований к владению языком (PRICE SG).
 
Контроль качества
 
·  Как минимум 10% всех работ рейтеров-экзаменаторов в произвольном порядке перепроверяются Руководителем проекта TELLCAP® для контроля качества проведения экзамена и оценивания.
·  Регулярно проводится проверка уровня межрейтерской надёжности.
·  Тестируемые, проходившие обучение в АУЦ «Комп Лэнг», не оцениваются рейтерами «Комп Лэнг».
·  При каждом последующем тестировании используются другие варианты теста.
·  Тестовые задания (кроме Разминки) используются только в одном варианте теста и не повторяются в остальных вариантах.
·  Одинаковый формат, продолжительность и уровень сложности тестовых заданий обеспечивают эквивалентность вариантов и объективность теста. 
 
Планирование тестирования TELLCAP® и выдача свидетельств
 
·  Тест можно сдать в Москве, Ульяновске, Алмате. Тестирование также может быть проведено на территории заказчика.
·  Экзамен должен быть назначен как минимум за день до сдачи, чтобы обеспечить возможность подбора незнакомых кандидату рейтеров-экзаменаторов и варианта теста.
·  Информация о тесте, предэкзаменационный брифинг и демо-версия на сайте TELLCAP® служат для ознакомления с форматом теста. Для всех желающих «Комп Лэнг» также предлагает однодневный курс ознакомления с форматом.
·  Немалая стоимость тестирования TELLCAP® препятствует его частой и/или необдуманной сдаче.
·  Защищённые от подделок, заверенные печатью свидетельства утверждённого образца на русском и английском языках выдаются стороне-плательщику в пятнадцатидневный срок с момента сдачи экзамена.
·  Тестирующая система TELLCAP® сертифицирована полномочным органом гражданской авиации РФ и аккредитована Межгосударственным Авиационным Комитетом (МАК).
 
Прием и рассмотрение апелляций
 
·  В целях обеспечения права на объективное оценивание кандидату предоставляется право подать в письменной форме апелляцию о нарушении установленной процедуры проведения тестирования и/или о несогласии с выставленными оценками на имя Директора Учебного центра «Комп Лэнг». 
·  Учебный центр «Комп Лэнг» не рассматривает апелляции по вопросам содержания и формата теста, а также по вопросам, связанным с нарушением кандидатом установленных требований к тестированию.
·  Апелляцию о нарушении установленной процедуры проведения тестирования кандидат подаёт в день проведения экзамена.
·  При удовлетворении апелляции результат тестирования, по процедуре которого кандидатом была подана апелляция, аннулируется и кандидату предоставляется возможность пройти повторное тестирование в иной день. 
·  Апелляция о несогласии с выставленными оценками может быть подана в течение 4 (четырех) недель со дня проведения тестирования.
·  Кандидат, подавший апелляцию, не информируется о фамилиях специалистов, участвовавших в первоначальном и повторном оценивании его/ее экзамена.
·  Аудиозапись экзамена и любые другие материалы тестирования не могут быть переданы кандидату, подавшему апелляцию, а также другим организациям или частным лицам, кроме как по решению суда.
·  В случае удовлетворения апелляции и выставлении других оценок производится замена выданного свидетельства об уровне владения языком.
·  В случае отклонения апелляции и сохранении выставленных оценок любые дальнейшие рассмотрения не производятся, а кандидат может пройти повторное тестирование.
 
Поддержание и устойчивое развитие системы TELLCAP®
 
·   Тестовые задания хранятся в банке данных, который ежегодно пополняется.
·   Тестовые задания регулярно пересматриваются на предмет их пригодности и изымаются в случае разглашения.
·   Количество не повторяющихся вариантов теста соответствует потребности в тесте на настоящий момент.
·   Ежегодно создаются пять новых равнозначных вариантов теста.
·  Новые варианты теста проходят апробацию на фокус-группе, а затем официально вводятся в употребление. Сравнительные данные, а также отзывы тестируемых, экзаменаторов и рейтеров используются для улучшения качества теста.
·  Нынешний кадровый состав рейтеров-экзаменаторов достаточен, чтобы справляться с объёмом тестирования без излишнего напряжения сотрудников. Чрезмерно интенсивная загрузка сотрудников экзаменами и/или заданиями по оценке тестов может негативно сказаться на адекватности тестирования и надёжности результатов.
·  Постоянное наличие относительно небольшой сплочённой команды рейтеров-экзаменаторов повышает надёжность оценок.
 
Безопасность теста
 
·  TELLCAP® не имеет бумажных версий, что уменьшает возможность потери, кражи или разглашения материалов теста. Любые записи, сделанные тестируемым во время экзамена, сдаются экзаменатору, который должен их уничтожить.
·  Во время проведения экзамена в закрытом на ключ звуконепроницаемом кабинете тестирования находятся только экзаменатор и экзаменуемый. Запрещается нахождение в кабинете тестирования личных вещей.
·  Материалы теста, информация о тестируемом и результаты оценки хранятся в базе данных на двух защищённых паролями компьютерах (основном и запасном), не имеющих соединения с Интернетом или локальной сетью. 
·  Файлы с записью теста могут временно храниться/перемещаться на защищённых паролем индивидуальных носителях.
·  Специальные меры предосторожности защищают личные данные рейтеров-экзаменаторов и кандидатов.
·  Рейтеры-экзаменаторы подписывают «Соглашение о неразглашении информации».
·  Экзаменаторы проверяют и письменно заверяют личность сдающего во избежание попыток выдачи себя за другое лицо.
 
Возможность ознакомления с тестом
 
·  Информацию о проверяемых при тестировании темах и ситуациях можно найти на сайте TELLCAP®.
·  На сайте представлены демо-версия теста и образцы речи 3, 4 и 5 уровней по Шкале ИКАО.
·  На сайте TELLCAP®, а также непосредственно перед сдачей теста можно ознакомиться с предэкзаменационным брифингом, поясняющим назначение, формат и продолжительность заданий теста; критерии оценки и процедуру получения результатов.
·  «Комп Лэнг» предлагает однодневный курс ознакомления с форматом теста TELLCAP®, включающий пробный экзамен, который не оценивается, но даёт возможность определить готовность к тестированию или необходимость дополнительной подготовки.
 
Проблемы квалификационного тестирования
Результаты квалификационного тестирования должны быть достоверными, надёжными и справедливыми. 
В дополнение к Мерам по обеспечению безопасности теста, было предпринято следующее:
для обеспечения обоснованности и надёжности оценки
 
·  Экзаменаторы обучены получению образцов спонтанной (неподготовленной) речи достаточной продолжительности, а также распознанию заученной речи и переводу беседы в другое русло.
·  Каждый вариант теста содержит разнообразные связанные с авиацией темы и различные акценты.
·  Аудиотексты предъявляются дважды, поскольку просьба повторить или уточнить сообщение является обычной для нестандартных ситуаций. Таким образом, сохраняется аутентичность контекста.
·  Порядок проведения тестирования, инструкции и протоколы оценки стандартизированы.
·  Эквивалентность вариантов достигается строгим соблюдением формата, продолжительности и сложности заданий, определённых в структуре теста. Мелкомасштабная апробация и последующее более полное внедрение закрепляют эквивалентность вариантов и позволяют выявить необходимость внесения изменений.
·  Наличие множества эквивалентных вариантов теста, в которых нет повторяющихся заданий (кроме первого), гарантирует, что кандидату не придётся сдавать один и тот же вариант дважды.
·  Благодаря подробному ведению базы данных и тщательному планированию при повторной сдаче обеспечивается подбор незнакомых для кандидата рейтеров-экзаменаторов и варианта теста.
 
для предотвращения необъективности и обеспечения справедливости
 
·  Аудиозаписи экзамена присваивается уникальным буквенно-цифровым кодом.
·  Оценки проводятся рейтерами вслепую; при этом они не знают, какую по счёту оценку они дают кандидату.
·  Ни один тестируемый не тестируется и не оценивается специалистом, который его обучал.
·  Результаты теста строго конфиденциальны и предоставляются только уполномоченным организациям/частным лицам.
·  Большинство заданий затрагивают макрофункции и тематические области, подходящие как для пилотов, так и для диспетчеров. Часть тестовых заданий (4 и 6) специально разработана для конкретной профессии кандидата.
·  Тестируемым разрешено делать записи во время заданий 4-6, умение запоминать не проверяется.
·  Нагрузка рейтеров-экзаменаторов контролируется с тем, чтобы избежать негативного воздействия перегруженности сотрудников на качество работы.