ИИ-перевод обошёл людей в 4 из 6 типов контента по тесту из Китая
Бенчмарк на 774 переводах показал: связка ИИ-моделей выиграла у людей-редакторов в четырёх категориях контента из шести. Главный вывод — выбирать модель важнее, чем править её вывод вручную.
- В бенчмарке оценили 774 результата локализации по шести типам контента.
- ИИ-процессы обошли людей-переводчиков в четырёх категориях из шести.
- Авторы призывают не судить о китайских языковых моделях как об одной общей категории.
Как сообщает Search Engine Journal, китайское исследование локализации сравнило результаты ИИ-процессов и работы людей-переводчиков. В бенчмарке оценили 774 вывода по шести типам контента.
В четырёх категориях из шести ИИ-процессы получили оценку выше, чем у людей. Авторы подчёркивают: рассматривать китайские большие языковые модели как единую категорию неправильно — результат зависит от конкретной модели и того, как выстроен процесс.
Отдельный вывод исследования — выбор модели значит больше, чем последующая ручная правка её вывода. Это меняет привычную логику, при которой качество локализации пытаются вытянуть редактурой после генерации.
Что стоит проверять самому
Авторы советуют не полагаться на общие рейтинги, а тестировать модели на собственных типах контента: у разных категорий текста может быть разный победитель. Единого лидера для всех задач бенчмарк не выявляет.
Если вы отвечаете за локализацию или мультиязычный контент, пересмотрите процесс: сначала подберите модель под конкретный тип текста, а не наоборот. Ручную правку стоит оставить там, где ИИ-связка действительно проигрывает — в двух категориях из шести по этому тесту.
Не переносите выводы бенчмарка на свои задачи вслепую: 774 вывода и шесть категорий — это ограниченная выборка. Прогоните собственные тексты через несколько моделей и сравните результат до того, как менять редакционный процесс.
Оригинал публикации: www.searchenginejournal.com. Разбор и выводы — редакции «SEO-зоны».