Пакеты набранные из базы. Тестировать ли?

[di.sk]

Привет!
Попробую отфильтровать от эмоций то, что Андрей написал в соседней ветке. Давайте обсудим нужно ли тестировать пакеты, собираемые из базы, и стоит ли это делать. В студ. лиге часто проводящая команда или организаторы собирают пакет из базы когда нет написанного пакета. На сколько я знаю они очень редко тестировались перед отыгрышем. Я говорю именно про пакеты набранные из вопросов из базы. Самописные само собой тестируются.
Сейчас несколько человек предложили тестировать пакеты из базы или возмутились что так не делается. ПризнаЮсь, я не предлагал тестировать пакет команде "Утка следит за мной". И предыдущим командам с пакетами из базы тоже не предлагал. Я понимаю, что тестирование может помочь проверить сложность, нравится вопрос/не нравится, оценить поле перебора. А может кстати и не помочь. Меня смущает то же, о чем написал Матрик. Какая команда соберется, чтоб тестировать базу? Эти вопросы уже написаны, уже тестировались, уже отыграна на каком-то турнире. А чтоб оценить сложность команда, собирающая пакет, может прогнать вопросы через своих же игроков.
Андрей на игре предложил посылать пакеты Виталику Брееву и в Эдинбург. А на форуме написал про "полный РЧ потенциальных тестеров". Андрей, ты можешь с ними договориться? Или может тут кто-то прочитает и откликнется.
Кто что думает?
А как делают в ОЧР?

[vitalikb]

Мне кажется, что тестировать в узком смысле "отыгрывать онлайн/оффлайн с детальными комментариями" вопросы из базы не обязательно, так как по умолчанию редактор это всё уже сделал и вопрос имеет финальную форму, но давать прочитать и оценить соответствие набранных вопросов уровню студенческой лиги полезно.

Я рад ещё, что обо мне помнят, но не стоит рассчитывать, что я всё время этим буду добровольно заниматься, а в Эдинбурге совсем своя атмосфера, они не помогут.

[Vlavrinovics]

Дима, ты свои комментарии даешь - этого достаточно. Так что не тестировать. Если у нескольких человек бомбит от легких и "неинтересных" вопросов, это еще не показатель. Пакет всегда ориентируется на среднего игрока, у которого не такие изысканные предпочтения.

[Септим]

Понимаю, что тестеров много не набрать, но нужны комментарии более, чем от одного-двух людей. Неужто во всей РЧ не найти человек 5, которые хотя бы просто просмотрели пакет? Особенно, если игру проводят новички, тем более школьники. Чем больше людей хотя посмотрят, тем менее субъективной выйдет оценка.

Касательно прочих комментариев. Да, текст Андрея излишне эмоционален (или, цитируя, "бомбит"). Но многие из тех, с кем я говорил на игре говорили о том, что пакет очень неровный. Пока пакте прокомментировали три человека (из тех, кто были на игре), и все три недовольны в той или иной степени. Считаю это досаточно сильным доводом в пользу если не тестирования, то более пристального просмотра.

[Ёжкин Кот]

Шлите мне пакеты: хотя бы немного времени на комментарии я найду всегда, лишь бы это не было в последний момент перед игрой. [email protected]

Только надо согласовать общую позицию по пакетам из базы — допустимо ли редактировать вопросы?

[Smirnoff]

Готов читать и комментировать выборки. Правда, у меня вопросный вкус несколько специфический, и с реалиями студлиги я не очень хорошо знаком.

[di.sk]

допустимо ли редактировать вопросы?

Когда мы собирали пакеты из базы, мы не стеснялись менять некоторые формулировки. Ты думаешь на сколько это честно/этично?

[Stargolem]

Редактировать вопросы с базы прямо запрещает лицензия базы вопросов.
На практике собирая пакеты на школьную/студлигу/ОЧР корявые формулировки всегда чинили.
Но главное - не родить новые баги, пока чинишь старые

[VM]

Тестировать, если есть возможность, стоит. Но поскольку тест на отдельном знатоке говорит о тестирующем больше, чем о вопросах, обрабатывать такие тестирования нужно акуратно.

Не считаю, что править вопросы неэтично, но нужно хорошо уметь редактировать, чтобы какие-то вопросы сделать сильно лучше и никакие не сделать сильно хуже. :) Кажется, что проще набрать изначально хорошо сформулированные.

[kapitulsky]

Вопросы из базы нужно тестировать только в том случае, если рандом полный и абсолютный. Сами понимаете, в базе может быть всё что угодно. Такое не хотите? http://db.chgk.info/question/smcat01.1/1

Считаю, нужно перед туром делать определённые хитрые запросы:

1) Следить за возрастом вопроса: вопрос моложе 2013 года кто-то в зале может помнить по турниру, где он игрался, а вопрос старше определённого года (на мой вкус, 2006) может оказаться чрезмерно олдскульным.
2) Можно делать запрос только по определённому автору. Тогда можно будет избежать сложностей. К примеру, проводить игры только на старых вопросах конкретно Константина Науменко, Бориса Моносова, Михаила Перлина и других топов, на усмотрение команды. В базе можно задать авторство.
3) Исключать вопросы с ЧМ и прочих подобных топовых очников. Эти вопросы часто хороши, но очень уж жестоки. Разумеется, по очевидным причинам исключать пакеты Балтийского Берега и Бархатных Сезонов. Если авторы совсем уж боятся свечек, рекомендуется делать выжимку только из очных турниров (конечно, не топовых - например, различных фестивалей).
4) Для надёжности можно брать вопросы старых студенческих турниров, хотя есть риск, что какая-то из команд периодически тренируется. Тогда, очевидно, это происходит именно на этих вопросах.

Всё это можно прописать в запросе при поиске в базе. Пункт 3 самый трудный, но тоже реализуемый в запросе.

После этих простых мер можно набирать пакет даже вслепую, не опасаясь различных казусов вроде того вопроса, который я привёл выше. А увидел я его в ночь с субботы на воскресенье, ради интереса нажав "случайный пакет" в базе.

Вообще, тренеры обычно очень тщательно отбирают вопросы для тренировок. И чаще всего именно по подобным критериям. Не вижу, что может помешать таким же способом собирать пакеты чемпионата.