С момента теста произошло две вещи:
- вышла модель Ember от меты - дешевая и по бенчмаркам на уровне Haiku, но дешевле.
- приятель подсказал, что ризонинг кратно влияет на качество Луны. Тк первый прогон был очень дешевый - имело смысл попробовать еще раз с middle reasoning (первый прогон был с low у всех моделей).
Ключевые наблюдения:
- Muse Ember в какой-то части нашего сравнения - тотально провалилась. Это неплохая модель, но она ужасно проваливается на классификации - совсем не может определить тип новости и какие-то категории. Нужно выбрать из списка, либо указать "other". Эмбер почти везде указывает "other", что не информативно и не помогает отбору новостей. Прикладываю скрин.
- Luna - действительно лучше с повышением ризонинга, а по цене остется примерно на уровне с хайку. При этом конечно работаем сильно дольше.
Вывод всегда один и тот же: тестируем на своих данных и кейсах.