Разбор темы
Как датасет ChartNet учит маленькие ИИ-модели понимать графики на уровне GPT-4o
Исследователи из MIT и IBM создали датасет ChartNet из 1,7 млн примеров, где визуальные данные связаны с Python-кодом их построения. Это позволило компактным моделям на 2–7 млрд параметров анализировать сложные диаграммы точнее, чем это делает GPT-4o.
Почему это цепляет
Эксперимент показал, что для понимания графиков ИИ важнее не количество картинок, а наличие точного программного кода в обучающей выборке.
Как можно раскрыть3+
Даже продвинутые модели вроде GPT-4o часто ошибаются в простых графиках, показывая точность всего 46% на задачах школьного уровня.
Главный метод ChartNet — перенос генерации данных в пространство кода: VLM восстанавливает Python-скрипт графика, что позволяет бесконечно менять его стиль и данные без потери точности.
Обучение на синтетическом коде помогает моделям лучше справляться с реальными задачами: извлечением таблиц из картинок и пошаговым рассуждением над данными.