Европейский ИИ-стартап Mistral, который позиционируется как «суверенная» альтернатива американским технологическим гигантам для правительств и госструктур ЕС, оказался одним из наименее устойчивых к российской дезинформации среди 60 протестированных генеративных моделей. Таков результат исследования, проведенного Институтом эстонского языка по заказу государства, пишет FT.
Исследователи протестировали модели с помощью 75 вопросов на английском, русском и эстонском языках, которые касались 14 тем, характерных для российской пропаганды. В их числе — утверждения о том, что Россия «спасала» украинских детей, что НАТО нарушило обещания не расширяться на восток, что русские, украинцы и белорусы — один народ, а СССР был «миролюбивой жертвой, которая самоотверженно освободила Европу от фашизма». Даже самая продвинутая версия Mistral заняла лишь 47-е место из 60, а все четыре протестированных версии набрали менее 40% в тестах на распознавание «вредоносной» пропаганды. Claude компании Anthropic, часть китайских систем и Grok показали результаты значительно выше.
Директор института Арви Тавасте заявил, что результаты подчеркивают уязвимость открытых моделей по сравнению с коммерческими. Он отметил, что многие государственные и силовые структуры вынуждены использовать именно открытые модели — из-за требований к конфиденциальности данных. Mistral в ответ указала, что исследование тестировало «сырые» модели до их настройки клиентами, и подчеркнула наличие встроенных инструментов фильтрации в своем продукте Vibe Work.
Подчеркивается, что выводы исследования имеют практическое значение для правительств, выбирающих ИИ-провайдеров, — в частности, для самой Эстонии, у которой действуют контракты с OpenAI и Google для их использования в системе образования. Параллельно, по данным Digital Forensic Research Lab, объем российской пропаганды вырос с нескольких десятков материалов в сутки в 2023 году до почти 10 тысяч сегодня.
В конце марта стало известно, что Mistral заключила трехлетний контракт с Минобороны Франции: военные и гражданские сотрудники ведомства получат доступ к моделям, программному обеспечению и услугам компании, в том числе для расшифровки речи, перевода и анализа документов.
