Сравнение дешевых моделей: Gemini, Claude, GPT, Qwen

Про No-Code, AI и другие технологии, которые делают нашу жизнь проще. Канал исследователя и ноукодера. Контакт для связи: @natellanur

разметка новостейgeminiclaude-haiku

На реальной продакшн задаче сравнили модели:

  • Gemini 3.1-flash-lite,
  • Claude Haiku 5.5,
  • GPT-6 Luna,
  • Qwen3.8-27B

Начну с результата:
Haiku самая четкая, Luna самая дешевая, 3.1-flash-lite самая “широко мыслящая”.

Задача и вводные:
нужно размечать новости: доставать из них сущности, делать саммари, определять индустрию, и пр. На вход: текст новости, иногда только заголовки, на выход: структурированный json с сущностями. На этой задаче исторически стояла 3.1-flash-lite - вышла она давно и с тех пор, на мой взгляд, у нее не было конкурентов по соотношению цена-качество. Но недавно вышли Хайку и Луна. Значит пора тестировать. Qwen добавили из любопытства.

Что мы сделали?
Прогнали 100 статей и сравнили их по качеству. Результаты отсматривали Opus 5.5 и Sol 6.1.

Как оценивали? По трем критериям:

  • цена
  • качество (оценка опуса и сола)
  • bias (офтоп: gemini не раз был замечен в том, что категорически блокировал статьи, наносящие урон репутации гугла. Блочил редко, только совсем критические статьи, таких будут единицы на десятки тысяч. Поэтому решили проверить не будут ли другие модели в какой-то мере приукрашать факты о своих создателях. Тем более, Опус в клоде это делает регулярно)

Интерпретация результатов:

  • Gemini 3.1-flash-lite додумывает, не такая четкая. Может добавить масштаб новости и какую-то придумать деталь, которой не было в исходнике. Короче галлюцинации +- на уровне 2025 года. При этом дороже хайку и луны
  • GPT-6 Luna. Она четче гемини, не ошибалась, но тоже иногда могла додумать детали от себя. При оценке доп сущностей, типа к какой индустрии относится новость или какие темы затрагиваются она была очень близко к гемини. Самая дешевая модель.
  • Claude Haiku 5.5 - Самая четкая, нигде не косячила, не придумывала. Любила добавлять мета-описания, типа “недостаточно данных, чтобы определить блабла” - но это как будто можно пофиксить промптом. По цене между гемини и луной.
  • Qwen3.8-27B. Самая медленная и дорогая. За такую цену нужно с другим классом моделей сравнивать.

Доп. находки:

  • Никто из них не приукрашал свои модели / компании. Мы специально нашли в выборку негативные новостий про каждую из компаний и они все честно раскрыли.
  • Гемини лучше всех определяет более широкие категории, как будто она самая умная из них. Например, выходит новость про новое криптографическое шифрование, нужно определить индустрию. Она единственная правильно определяет криптографию и безопасность. Луна пишет криптоиндустрию, а хайку - финтех.

Финал: мы выбрали Хайку за четкость
Откат финала: антропик и по апи нас забанил 🤷‍♂️

Читайте так же