Muse Ember: апдейт к тестированию дешевых моделей

Про No-Code, AI и другие технологии, которые делают нашу жизнь проще. Канал исследователя и ноукодера. Контакт для связи: @natellanur

Muse EmberLunaHaiku

С момента теста произошло две вещи:

  1. вышла модель Ember от меты - дешевая и по бенчмаркам на уровне Haiku, но дешевле.
  2. приятель подсказал, что ризонинг кратно влияет на качество Луны. Тк первый прогон был очень дешевый - имело смысл попробовать еще раз с middle reasoning (первый прогон был с low у всех моделей).

Ключевые наблюдения:

  1. Muse Ember в какой-то части нашего сравнения - тотально провалилась. Это неплохая модель, но она ужасно проваливается на классификации - совсем не может определить тип новости и какие-то категории. Нужно выбрать из списка, либо указать "other". Эмбер почти везде указывает "other", что не информативно и не помогает отбору новостей. Прикладываю скрин.
  2. Luna - действительно лучше с повышением ризонинга, а по цене остется примерно на уровне с хайку. При этом конечно работаем сильно дольше.

Вывод всегда один и тот же: тестируем на своих данных и кейсах.

Читайте так же