Современные языковые модели заметно продвинулись в работе с редкими и малоизвестными языками. Одним из ключевых примеров стала модель Google Gemini Pro, которая показала результат более 4,5 из 5 баллов при тестировании на языке киньяруанда, используемом примерно 12 миллионами человек в Руанде, Уганде и Демократической Республике Конго.
Исследователи отмечают, что такой прогресс связан не столько с увеличением объёма данных по каждому отдельному языку, сколько с развитием способности моделей переносить знания между языковыми системами. Иными словами, ИИ использует общие закономерности грамматики и структуры, за счёт чего может «догадываться» о правилах даже при ограниченном обучающем материале. Дополнительный вклад внесли улучшения в токенизацию - механизм разбиения текста на смысловые элементы, который стал точнее и эффективнее в новых версиях моделей.
В работе также описан эффект «дрейфа бенчмарка»: при переходе между версиями ИИ его показатели могут меняться непредсказуемо. Например, более новые версии GPT в некоторых тестах уступили компактным моделям, хотя предыдущие показывали более стабильные результаты. Отдельно отмечается, что различия в токенизации между версиями могут влиять на качество обработки языков в несколько раз.
Эксперты подчёркивают, что, несмотря на высокие оценки, реальное качество владения редкими языками пока не всегда соответствует тестовым результатам. Однако общий тренд очевиден: современные ИИ постепенно уменьшают языковой барьер и расширяют поддержку малых языков.
Новости нейросетей
26.04.2026