Нейросети · IT-курсы · 4 мин чтения

Почему нейросеть ошибается при чтении графика с картинки?

Редакция Алгоса · Обновлено

Короткий ответ

Модель, принимающая изображения, может распознавать подписи, описывать объекты и рассуждать по картинке. Но это не гарантирует точного чтения каждого числа, масштаба или положения точки. Для графика сначала проверь, какие данные модель действительно прочитала, и только потом проси вычисления. Ошибка в исходном числе делает последующее аккуратное решение бесполезным.

Как это устроено

Работа с несколькими видами данных, например текстом и изображением, называется мультимодальной. Для тебя важнее практический вопрос: различимы ли нужные детали. Маленькая подпись, поворот, слабый контраст или обрезанный край могут помешать чтению. Увеличенный фрагмент помогает увидеть число, но без общего вида можно потерять название оси и единицы.

Сравни действия и их результат
ПроверкаЧто выясняем
Полный рисунокОси, единицы и условия
Увеличенный фрагментМелкие числа и подписи
Независимый расчётПравилен ли вывод из прочитанных данных

Разберём на примере

На графике расстояния вертикальная ось показывает километры, горизонтальная часы. Между подписанными делениями есть промежуточные линии. Прежде чем искать скорость, попроси перечислить подписи осей, цену деления и координаты нужных точек. Цена деления — величина, соответствующая одному шагу шкалы.

Пример по шагам

В учебном рисунке точка находится при времени 2 часа и расстоянии 60 километров. Если движение равномерное от начала координат, скорость равна 60 / 2 = 30 километров в час. Если модель прочитала 6 вместо 60, сначала исправь чтение, а не проси «решить внимательнее» поверх неверных данных.

Почему так

Модель может дать правдоподобное описание даже тогда, когда точная геометрия не распознана. Для подсчёта множества мелких объектов, измерения углов и чтения плотных таблиц нужна отдельная проверка. Иногда надёжнее передать исходные числа текстом или использовать исходную таблицу вместо фотографии экрана.

Проверь себя

У тебя есть снимок диаграммы без подписи единиц. Модель сообщает «значение равно 40 километрам». Что в этом ответе не подтверждено? Составь уточняющий запрос, который отделит видимое число от предположения о единицах. Не добавляй отсутствующую подпись только потому, что такой вариант кажется привычным.

Ответ и объяснение

Число 40 может быть видно, но километры без подписи остаются догадкой. Попроси назвать видимые обозначения и отдельно перечислить неразличимые или отсутствующие данные. Затем найди полный рисунок. Если единицы неизвестны, корректный ответ должен сохранить эту неопределённость и не превращать её в точный физический результат.

Что запомнить

Сначала проверь подписи, шкалу и числа, затем вычисляй; не достраивай невидимые данные.

Попробовать на Алгосе

Нейросети на каждый день

В курсе ты потренируешься задавать понятные запросы, уточнять ответы и проверять результат работы ИИ.

Перейти к курсу Все курсы

Источники и материалы

Разобраться дальше

Все вопросы и разборы