Словник гри: звідки беруться слова
На словнику тримається весь «Словозв'яз». Саме він визначає, які спроби гра приймає, серед яких слів шукаються сусіди відповіді й наскільки чесним здається рейтинг. У цій статті розказано, як словник збирався, за якими принципами чиститься і чому інколи гра каже «такого слова немає», хоча слово точно існує.
Скільки у грі слів і звідки вони
Робочий словник гри містить понад 31 тисячу українських лем: слів у початковій формі, як у паперовому словнику. Основою послужила лексика великих відкритих корпусів української мови, насамперед корпусу UberText, зібраного спільнотою lang-uk з новин, художньої літератури, публіцистики та енциклопедичних текстів. З повного переліку слововживань корпусу до гри потрапили лише ті леми, які трапляються достатньо часто, щоб їхні векторні координати були надійними: про те, як частота вживання впливає на якість векторів, розповідає стаття про векторні представлення.
Що відсіюється
Сирий частотний список із корпусу для гри непридатний: у ньому повно сміття й неоднозначностей. Тому словник проходить кілька фільтрів:
- технічний бруд: обірвані рядки, помилки розпізнавання текстів, латиниця впереміш із кирилицею;
- абревіатури та скорочення: вони поводяться в рейтингу непередбачувано, бо вживаються в дуже вузьких контекстах;
- більшість власних назв: гра про загальну лексику, а не про знання прізвищ і топонімів; поодинокі широковживані винятки залишаються;
- відверта лайка: гру дивляться на стрімах і грають родинами, тому вульгаризми у словник не входять;
- слова з ненадійними векторами: якщо слово трапляється в корпусі надто рідко, його координати радше шум, ніж значення.
Окремо кожне слово має внутрішню оцінку якості: наскільки осмислене його векторне сусідство. Ця оцінка впливає на добір щоденних відповідей і роботу підказок, деталі описані у методиці.
Відмінки бере на себе сервер
Українська мова морфологічно багата: у самого лише іменника «море» більше десятка форм. Вимагати від гравця називний відмінок однини було б знущанням, тому нормалізація вбудована у гру. Коли ви вводите «морями», сервер визначає лему «море», зараховує саме її і чесно повідомляє, що форму було зведено до початкової. Та сама механіка працює і для слів із чату на стрімах, де ніхто не замислюється про відмінки.
Чому мого слова немає?
Найчастіші причини, у порядку спадання ймовірності:
- це власна назва, абревіатура або вузький термін, які свідомо не входять до словника;
- слово надто рідкісне, і для нього немає надійного вектора;
- це розмовна чи діалектна форма, якої мало у писемних корпусах;
- слово новітнє і ще не встигло набрати статистики в текстах;
- рідко, але буває: слово загубилося на етапі чищення, і його справді варто додати.
Добра новина: невдала спроба не витрачається, гра просто повідомляє, що слова немає. А останній пункт списку виправляється листом: якщо ви впевнені, що поширене українське слово має бути у грі, напишіть на slovozviaz@gmail.com або через сторінку контактів. Такі звернення регулярно призводять до оновлень словника.
Секретні слова: окрема вища ліга
Те, що слово є у словнику, ще не означає, що воно колись стане відповіддю дня. До секретних слів вимоги значно жорсткіші: вони мають бути загальновідомими, однозначними і давати цікаву партію з виразною темою. З 31 тисячі лем словника цим критеріям відповідає лише невелика частка, і кожна щоденна відповідь проходить ручну перевірку: як виглядає її топ-100 сусідів, чи не заводить рейтинг у глухий кут, чи не буде слово образливим або недоречним у конкретну дату.
Словник живий
Мова змінюється, і словник гри змінюється разом із нею: додаються пропущені слова, прибираються проблемні, уточнюються оцінки якості. Якщо вам цікаво, як ці слова потім шикуються у рейтинг навколо відповіді, продовжіть читання у методиці гри, а перевірити словник на міцність можна просто у сьогоднішній партії.