Гибель богов. Fable и ещё 10 LLM реорганизуют код. Сравнение.
Other languages
This article is also available in English: Twilight of the Gods.
Материалы и сырые данные
Все 11 предложений моделей, взаимные разборы, прогоны тезисов и скрипт ранжирования опубликованы здесь: Материалы и воспроизведение эксперимента.
Это подробный разбор одного эксперимента. Я взял god node из реального LangGraph агента и попросил 5 американских и 6 китайских моделей сначала предложить, как её распутать, а потом оценить предложения друг друга. Дальше тремя разными способами пытался понять, кому из них в этом деле верить.