Асинхронный прокторинг как списать

Как обойти систему прокторинга

Обучение на карантине больше напоминает самообразование. Преподаватели редко ведут пары и не дают адекватную обратную связь, а на плечи студентов сваливаются горы домашней работы. Если к истории и философии у инженеров мы уже привыкли, то тесты по физкультуре стали неприятным сюрпризом для всех. Как бы ни проходил семестр, итоговые экзаменационные мероприятия никто не отменял, а потому нас ждет сессия в новом дистанционном формате.

Часто дистанционные экзамены напрямую связаны со страшным словом «прокторинг» (процедура контроля, при которой наблюдающий может следить за действиями экзаменуемого с помощью веб-камеры и демонстрации экрана). Что же делать? Представляем наш гайд «Как обойти систему прокторинга».

Способ 1: сервисы удаленного доступа

Сервисы удаленного доступа — это специальные программы, которые позволяют управлять компьютером из любой точки мира. Самая популярная из них — TeamViewer, но не спеши радоваться: её значок отображается на панели задач, поэтому хитрость быстро вычислят. Наиболее подходящий сервис — DeskRoll, его работа никак не отслеживается. Схема до неприличия проста: на компьютер экзаменуемого ставится программа, а второй человек подключается через сайт deskroll.com и получает полный доступ к экрану. Можно гуглить ответы в отдельной вкладке, а потом возвращаться к компьютеру экзаменуемого и проставлять ответы. От сдающего экзамен требуется только имитация мыслительного процесса. Не забудь закрыть окно программы до начала экзамена, чтоб не попасться. Не волнуйся, ничего не отключится.

Ещё один вариант. Нам понадобится помощник, который сядет вне обзора камеры, но так, чтоб видеть происходящее на мониторе. Если помощник недостаточно зоркий, можно увеличивать масштаб страницы. Предварительно выработайте систему знаков и подсказок, но помни: нельзя надолго отводить глаза от монитора, а то карета превратится в тыкву (высокий балл в незачет).

Способ 3: заранее приготовленная запись

Не нашлось партнера? Не беда, но придется заморочиться. Как правило, у всех экзаменов с прокторингом примерно одна структура: фотографирование экзаменуемого, предъявление документов для дальнейшей идентификации личности и непосредственно решение теста. Идея в том, чтобы заранее снять видео со всеми этими этапами, а потом установить телефон с готовой записью напротив веб-камеры (штатив или подставка из книг в помощь). Здесь важно рассчитать, какое время требуется на каждое действие. Вряд ли с первого раза получится удовлетворительный результат, поэтому придется потренироваться. Например, попробовать пройти демонстрационный вариант теста. На официальном экзамене твоя кибер-версия будет находиться в кадре, а ты сможешь спокойно подглядывать ответы. Способ больше годится для экзаменов с автопрокторингом, где за процессом следит программа. Он хорош тем, что сделанную запись можно использовать повторно на других тестированиях.

Общие советы при прохождении теста с прокторингом:

В слепой зоне камеры можно делать все, что угодно, только незаметно. Многое напрямую зависит от твоей способности включить pokerface и режим «самая быстрая рука на Диком Западе». Есть множество и других способов списать: развес шпаргалок вокруг монитора, установка телефона под экран и прочее. Мы же привели те, которые действительно работают.

Однако не стоит злоупотреблять списыванием, ведь учимся мы прежде всего для самих себя. Если потребность списать возникает систематически, задумайся, тем ли делом ты занимаешься. В остальных случаях — смело пользуйся нашим гайдом. Желаем легких экзаменов и высоких баллов!

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter или Control+Enter

Источник

«Прокторинг повышает риски для тех, кто хочет списать на экзамене»

Студент третьего курса бакалаврской программы МИЭФ ВШЭ Альберт Белков в весенне-летнюю сессию сдал три экзамена с прокторингом – по теории оптимизации, макроэкономике и финансовому посредничеству. Своим опытом он поделился с новостной службой портала.

Подготовка

Все три экзамена я сдавал с асинхронным прокторингом, то есть мои действия записывались и потом пересматривались. Подготовка к процессу заключалась в правильном прочтении инструкции и расспрашивании друзей-четверокурсников (они единственные, кто сталкивался с таким инструментом до нас) о том, как все это было и какие у них остались впечатления. Также довольно много времени ушло на подготовку рабочего места для написания экзамена – не в том смысле, чтобы налепить шпаргалки повсюду, это все равно было бы отлично заметно на записи, а чтобы убрать ненужные бумажки, лишние ручки и карандаши, проверить, как работает камера и хорошо ли идет с нее звук.

Нужно максимально постараться пойти навстречу прокторам, чтобы в дальнейшем не было никаких причин сомневаться в честности студента

К экзамену лучше готовиться не на том же рабочем месте, на котором вы собираетесь его писать. Во-первых, не будете волноваться, что во время экзамена у вас где-то завалялся черновик на столе. И, во-вторых, ваш мозг на какое-то время выйдет из зоны комфорта и будет гораздо активнее соображать на самом экзамене.

Технические сложности

Я находился дома во время экзамена, так что писать его было чуть спокойнее, чем в кампусе. Технических сложностей мне избежать не удалось, каждый раз они были разные, но все довольно быстро решались благодаря готовности учебного офиса помочь, за что ему отдельное спасибо.

На первом экзамене «вылетел» «Экзамус», причем у многих, но доступ удалось быстро восстановить. На втором ─ Интернет, но удалось моментально перезагрузить роутер. На последнем же, как я понял впоследствии при встречах с друзьями в Zoom, не шел звук с камеры. Но на результаты это повлияло, на мой взгляд, несильно. За отвод взгляда от экрана дисциплинарных взысканий вообще никому на факультете не выписывали.

Рекомендации

Моя основная рекомендация тем, кто сдает экзамены с прокторингом, – не нервничать больше обычного. Это не значит, что нужно бежать пить успокоительные, просто нужно себя морально подготовить. Насколько я понял из ситуаций, с которыми сталкиваются студенты по всей Вышке, если у вас и будут проблемы, то они же возникнут почти у всех и сразу. Так что даже после трех экзаменов разница в результатах с теми счастливчиками, которыми их не испытали, будет полностью нивелирована. И это значит, что в итоговом рейтинге по конкретному экзамену баллы всех студентов ужмутся в одинаковое количество раз, что никак не повлияет на относительную позицию и относительную оценку каждого студента.

Обязательно проверьте заранее, можете ли вы зайти в свой аккаунт в системе «Экзамус» заранее, 50% проблем в итоге будут решены

Если у вас возникли сложности со входом в систему, призываю не стесняться сразу написать об этом учебному офису. Да и вообще не стесняйтесь сообщать о любой проблеме.

Многие студенты боятся, что их отстранят от экзамена из-за продолжительного взгляда в сторону. Я думаю, что посмотреть на стену или в окно – это совершенно нормально, но лучше, конечно, несправедливых подозрений на себя не навлекать. А если так получилось – не концентрируйтесь на этом. Ваша задача – написать экзамен хорошо, и, если вы написали его честно, ни у кого вопросов не возникнет.

Не стоит надеяться, что процесс вашего написания экзамена не просмотрят. «Экзамус» поддерживает десятикратное ускорение записи, и на высокой скорости становится очень хорошо видно, если вы пытаетесь схитрить. Я советую писать честно, не устраивая себе неприятностей и не усложняя жизнь.

И, наверное, стоит также прибрать комнату, чтобы все выглядело поприличнее на записи при обзорной съемке на 360 градусов.

Списать не удастся

Подводя итоги, могу сказать, что в моральном плане писать экзамен с прокторингом было тяжелее. Формат необычный, непонятно, как действовать в нестандартных ситуациях, присутствовали риски «вылета» интернета и так далее. Но в плане результата большинство преподавателей пошли навстречу студентам и, насколько это возможно, упростили написание экзамена. Например, по предмету «финансовое посредничество» нам полностью поменяли структуру заданий с традиционного эссе на длинные ответы на вопросы.

На мой взгляд, прокторинг – это практически единственная мера, которая значительно повышает риски для тех, кто хочет списать, не за счет сложности экзамена. Те, кто хорошо списывает, на экзамене в аудитории, наверное, смогут это сделать, а вот в случае с прокторингом у них явно возникнут трудности. Это позитивно влияет на справедливость распределения оценок, хотя и не сравнимо по эффекту с очным форматом проведения экзамена. Так что прокторинг – это краткосрочное необходимое зло. Его нужно просто принять на то время, пока учеба проводится в дистанционном формате.

Источник

Прокторинг на стероидах, или как контролировать онлайн-экзамены

Недавно ProctorEdu и КРОК запустили систему для контроля онлайн-тестирования на экономическом факультете МГУ. Она помогает наблюдать за студентами, которые сдают экзамен.

Эта система «подсвечивает» нарушения, подсказывает, на кого и на что обратить внимание. В результате один преподаватель может контролировать разом несколько десятков студентов, сидящих у себя дома.

Такой подход к онлайн-обучению, прокторинг, первыми внедрили Coursera и Udemy. Разработчики ProctorEdu задумали собственную систему прокторинга в 2016 году именно для учебных заведений, но вскоре поняли, что она способна решать другие, более серьезные задачи.

В конце концов, многие хотя бы раз в жизни списывали в школе или вузе, и мир до сих пор не рухнул, но в некоторых ситуациях жульничество на экзаменах приводит к серьезным последствиям.

А ведь есть ответственная и опасная работа, где от знания должностных инструкций и техники безопасности зависят жизни людей.

Примеров много: от управления поездом до вахты на буровой платформе в открытом море. Это не говоря об экстремальных ситуациях, когда раздумывать просто некогда и нужны готовые, заученные решения.

Как правило, во всех этих сферах сотрудников регулярно обучают, тестируют и аттестуют, но часто это воспринимается, как формальность. К тому же, при популярных сейчас онлайн-экзаменах контролировать соблюдение правил довольно сложно.

Конечно, можно приставить к каждому участнику по проктору, следящему за соблюдением регламента из объектива веб-камеры, но чтобы всерьез протестировать персонал крупной компании за разумные сроки, потребуется целый взвод наблюдателей.

Разработчики ProctorEdu решают эту проблему при помощи нейронных сетей и нескольких десятков других алгоритмов, которые распознают нарушения по набору настраиваемых параметров.

Как это работает

Во время экзамена ProctorEdu ведет запись с камеры, микрофона и экрана компьютера.

Система отслеживает, кто находится в кадре: сравнивает человека с фотографией, сделанной перед началом тестирования, или со сканом паспорта, загруженного перед экзаменом.

Она проверяет, куда смотрит участник, нет ли в кадре других людей, и не говорит ли кто-то поблизости. Кроме того, ProctorEdu следит за тем, чтобы браузер был развернут на весь экран, детектирует переключение на другие окна и подключение дополнительных мониторов, периодически проверяет состояние сетевого подключения. Система собирает статистику по часто используемым диграфам и с ее помощью отслеживает манеру набора текста на клавиатуре.

Обычно, когда алгоритм фиксирует нарушения, например, теряет человека из виду, система сначала выводит на экран предупреждение. Если участник не реагирует, ProctorEdu приостанавливает тестирование, до тех пор, пока он не исправится. При этом делается отметка о нарушении регламента, к которой можно вернуться позже при просмотре видеозаписи экзамена.

На основе нарушений по формуле рассчитывается рейтинг достоверности результатов экзамена.

E ∈ [0, 100] ‒ оценка доверия (если E

Оценка доверия базируется на всех метриках, которые отслеживает система (если они включены в настройках конкретного экзамена) и весовых коэффициентах, которые подобраны опытным путем. Оценка показывает суммарный средний процент нарушений за весь сеанс.

Протокол сеанса в PDF-формате

ProctorEdu может работать в полностью автоматическом режиме, передавать рейтинг в систему тестирования, которая аннулирует результаты с низким рейтингом достоверности. Но для большей объективности обычно приглашают живого проктора. Он может просматривать записи участников с низким рейтингом доверия уже после экзамена, а может участвовать в нем с самого начала.

В таком сценарии проктор может эффективно контролировать до 30 участников. Ему практически не нужно вмешиваться в ход экзамена. Система сообщает о нарушениях в реальном времени и подсказывает, на кого из подопечных обратить внимание.

Проктор может развернуть видео на весь экран и приглядеться к происходящему, объяснить участнику, что тот делает не так, предупредить о нарушении, приостановить или досрочно завершить экзамен.

Такая технологическая поддержка облегчает работу проктора, ускоряет проведение онлайн-экзаменов и аттестаций и позволяет сохранить высокую достоверность результатов.

Ограничения браузера и детекция лиц

Запись камеры и экрана, распознавание лиц, логирование клавиатуры… Это звучит не секьюрно, поэтому разработчики ProctorEdu сознательно отказались от идеи устанавливать свое ПО на компьютеры участников экзамена.

ProctorEdu работает через браузер при помощи супервизор SDK — JavaScript-библиотеки, в которой реализованы алгоритмы машинного обучения.

SDK не требует установки расширений и плагинов. ProctorEdu интегрируется с сервисом онлайн-тестирования при помощи стандарта IMS LTI или нескольких API-команд. Система запускается на странице тестирования и работает параллельно с ним.

Это удобно для пользователей, и браузер с его политикой безопасности дает независимую гарантию того, что данные собираются только во время экзамена.

Конечно, с таким подходом связаны определенные сложности. Разработчики сами наложили на себя ограничения, с которыми теперь вынуждены жить. Например, у системы нет доступа к оборудованию, процессам, окнам и другим ресурсам компьютера. Поэтому тестирование проходит в той же вкладке, где работает прокторинг. Это позволяет отслеживать переключение фокуса на другие вкладки и окна. Есть и нюансы, связанные с архитектурой и нейросетями.

Распознавание лиц в ProctorEdu реализовано при помощи сверточных нейросетей с использованием OpenCV и Dlib. Они регулярно переобучаются на свежесобранных данных. Для детекции лиц используется отдельная модель.

Разработчики с самого начала планировали запустить эти алгоритмы в браузере. Обычно такие задачи решают при помощи компиляции C++ в WebAssembly (Wasm). Считается, что это хорошая практика.

Чисто теоретически Wasm работает быстрее, чем JavaScript сценарий, но на практике выяснилось, что он медленнее, потребляет больше памяти и процессора, весит больше. Только загрузчик такого кода получается от 10 МБ.

Пришлось разрабатывать на JavaScript в несколько итераций. Первые версии были слабенькими и часто ошибались, но со временем команда ProctorEdu добилась стабильной работы и вывела это решение в продакшн.

Получилось быстро и компактно, но через какое-то время Сколтех пожаловался, что система не видит некоторых студентов. Оказалось, что курсы этого института проходит много чернокожих ребят, которые подключаются прямо из Африки, и алгоритм действительно не всегда их замечает.

За время обучения нейронка видела достаточно людей разных рас и возрастов, никто не ожидал возникновения такой проблемы. В конце концов выяснилось, что сетка здесь ни при чем, а дело в засветке. Африка просто слишком солнечная.

Если за спиной студента окно, или он сидит на ярком солнце в белой с иголочки рубашке, камера выставляет экспозицию по самому светлому участку изображения. Черты лица затемняются, сливаются, и алгоритму не с чем работать. Пришлось добавить рекомендации по освещению в инструкцию для участников экзамена.

Сейчас разработчики планируют перенести в браузер и алгоритм распознавания лиц. Пока что модель великовата (20—30 Мбайт с учетом сжатия), это в то время как все SDK весит около 1 мегабайта. Но здесь стоит постараться и найти решение.

Когда все изображения будут распознаваться в браузере, расходы на хостинг сократятся на добрых 30%. К тому же, на сервер будут передаваться только дескрипторы, по которым нельзя восстановить оригинальное изображение, а фото и документы так и останутся на компьютерах пользователей.

Серверная часть ProctorEdu

Кстати, об архитектуре системы.

Основной компонент ProctorEdu — сервер приложений. Он работает на Node.js и занимается обработкой веб-запросов и веб-сокетных соединений. Сервер приложений связан с базой MongoDB. Там хранятся все данные, не являющиеся бинарными объектами. Для файлов, изображений, записей экзаменов предусмотрено отдельное S3-совместимое объектное хранилище.

Архитектура ProctorEdu включает отдельный сервис под API распознавания лиц и документов, и TURN-сервер для координации WebRTC-подключений между компьютерами участников.

Раньше для видеосвязи использовался медиасервер, через который проходили видеопотоки всех клиентов. Но разработчики быстро поняли, как тяжело приходится онлайн-кинотеатрам: то соединения отваливаются, то данные не передаются, то память переполняется — вечно какие-то сложно диагностируемые проблемы. Когда они перешли на p2p архитектуру, проблемы решились сами собой.

Вся система поддерживает горизонтальное масштабирование. Ее компоненты упакованы в контейнеры. Их можно разбросать по разным физическим серверам и собрать кластерную конфигурацию в режиме мастер-мастер. Тогда нагрузка будет распределяться равномерно.

Обычно ProctorEdu разворачивают на базе одного из российских хостингов, поддерживающих хранение персональных данных, но систему можно запустить и на локальном сервере, как в проекте с МГУ и КРОК.

Требования к железу невысокие: компьютер с восьмиядерным процессором и 8 ГБ оперативной памяти потянет порядка 500 одновременных сессий. Однажды ProctorEdu обслуживала больше 5 тыс. одновременных участников экзамена и понадобилось всего 6 серверов для обработки клиентских запросов.

Можно ли обмануть систему?

Можно, но не так, как это обычно пытаются сделать.

В торговых сетях, где используют ProctorEdu, часто бывает так, что один сотрудник пытается пройти тесты за весь магазин. Порой пользователи подменяют видео с камеры на какую-нибудь видеотрансляцию. Так, однажды разработчики наблюдали, как тесты по технике безопасности на предприятии проходила известная порноактриса.

Был случай, когда один из участников подготовился особенно серьезно: напечатал чужое фото на листе А4, вырезал глаза, привязал резинку и использовал как маску.

Конечно, это все легко детектируется.

Раньше можно было поставить смартфон перед монитором так, что его не было видно с фронтальной камеры. Казалось, что участник постоянно смотрит только на монитор. Теперь ProctorEdu обеспечивает и боковой обзор. К системе подключается вторая камера или тот же смартфон.

Еще можно попробовать списывать при помощи удаленного рабочего стола или виртуальной машины. Отследить их с вкладки браузера практически невозможно. Чтобы закрыть эту возможность, в систему добавили интеграцию с Safe Exam Browser.

Это браузер с открытым исходным кодом, который блокирует компьютер на время экзамена. Он не позволяет использовать удаленный рабочий стол, посторонние программы, а также распознает виртуальные машины.

Конечно, и это не панацея. Если постараться, Safe Exam Browser можно обмануть. Еще можно раздобыть скрытые наушники или аппаратный сплиттер для мониторов. Любой алгоритм можно обойти, вопрос лишь в том, сколько усилий для этого потребуется. ProctorEdu делает так, чтобы было проще выучить, чем смухлевать. И наши клиенты подтверждают, что система успешно справляется с этой задачей.

Источник

Онлайн-прокторинг:
для кого, зачем и как он работает

Спрос на онлайн-образование постепенно растет, а онлайн-экзамены и сертификаты давно стали нормой. Однако большинство университетов, школ и других учреждений столкнулось с тем, что в удаленном режиме практически невозможно отследить, насколько ученики вовлечены в процесс обучения. Кроме того, при сдаче экзаменов в онлайн-формате у студентов появляется множество возможностей для списывания и других способов облегчения тестирования.

Коронакризис и вынужденный перевод всех студентов на удаленку поставил перед образовательными учреждениями задачу решить проблемы контроля как можно быстрее. На помощь пришли системы онлайн-прокторинга на основе ИИ-технологий (AI online proctoring).

Что такое онлайн-прокторинг

Типы прокторинга

1. Синхронный прокторинг с прокторами

Обычно используется на письменных экзаменах (тестировании). За ходом экзамена в режиме реального времени наблюдает сторонний проктор. Его задача – контролировать прозрачность проведения экзамена. Проктор проводит идентификацию личности студента, контролирует соблюдение всех процедур и может комментировать действия студента в специальном чате. Ведется видеозапись с двух потоков: с веб-камеры студента и рабочего стола его компьютера. Проктор может прервать экзамен, пометив его как недостоверный, в случае возникновения перечисленных в инструкции нарушений: например, студент списывает и не реагирует на замечания проктора в чате. Один проктор может одновременно сопровождать экзамен для 6 студентов. Это самый точный, но и самый затратный вид прокторинга.

2. Асинхронный прокторинг с постпроверкой

Идентификация личности, а также весь ход экзамена обеспечивается программно, система в автоматическом режиме отслеживает некоторые запрещенные действия:
1. отсутствие в кадре студента;
2. второй человек в кадре;
3. разговор во время экзамена;
4. подключение второго монитора.

3. Автоматический мониторинг

Мониторинг полностью проходит без участия человека. Его главное преимущество – низкая стоимость. Однако во многих ситуациях человеческое участие незаменимо, ведь даже самый совершенный ИИ может ошибаться.

Как работает прокторинг

Для студента процесс онлайн-прокторинга довольно прост и не вызывает стресса. К примеру, у нас в “Экзамус” (Examus) процесс устроен следующим образом:

Перед началом экзамена

Шаг 1. Система прокторинга запрашивает доступ к камере и микрофону.
Шаг 2. Решение удаленного прокторинга проверяет стабильность интернет-соединения.
Шаг 3. Система прокторинга проверяет наличие второго экрана и все попытки симулировать или имитировать экран.
Шаг 4. Процесс идентификации студента (если все вышеперечисленные требования выполнены), то есть тестируемый должен будет сфотографировать себя и представить его в систему вместе с документом, удостоверяющим личность (это могут быть водительские права, студенческий билет или кредитная карта).
Шаг 5. Начните экзамен и покажите свои знания!

Во время экзамена система онлайн-прокторинга анализирует поведение испытуемого. Если учащимся разрешено пользоваться калькуляторами или бумагой и ручкой в определенных ситуациях – правила системы могут быть соответствующим образом скорректированы. Как правило, системы онлайн-прокторинга отслеживают следующие параметры:

• аномалии в направлении взгляда;
• закрытие части лица;
• наличие других лиц в кадре;
• обнаружение человеческого голоса;
• обнаружение переключения монитора;
• обнаружение вторичных гаджетов;
• обнаружение книг и заметок;
• обнаружение калькулятора (если это не разрешено);
• обнаружение широковещательного ПО;
• обнаружение переключения вкладок в браузере;
• обнаружение сторонних алгоритмов;
• обнаружение невербальной коммуникации.

Решение автоматически помечает все подозрительные действия и добавляет их в отчет. Каждая запись в нем включает разбивку по типу нарушения и соответствующую метку времени.

После экзамена

Система прокторинга собирает и объединяет информацию из всех источников в единую комбинированную запись. После этого программа рассчитывает общую вероятность нарушений во время экзамена: зеленая зона означает низкую вероятность, желтая — среднюю, а красная – высокую. Основываясь на полученных результатах, система Examus способна:

• Показать записи с камеры, микрофона и рабочего стола;
• Показать все возможные нарушения в хронологическом порядке;
• Показать подробную информацию по каждому нарушению (с указанием типа и метки времени).

Источник