Это элементарно, Ватсон

Размышления о трансформерах, механизме внимания и природе выводов в нейронных сетях

"В нейронных сетях индукция неотличима от дедукции." — Насим Николас Талеб

Эта фраза Талeба натолкнула меня на неожиданную мысль. Мы привыкли думать, что искусственный интеллект основан на строгой логике — алгоритмах, правилах, вычислениях. Но если присмотреться к тому, как работает современный ИИ — особенно трансформеры, лежащие в основе моделей вроде GPT, Claude или Gemini — становится ясно: он действует скорее как Шерлок Холмс, чем как академик-логик.

Индукция, дедукция и абдукция

Три способа логических выводов:

• Дедукция — от общего к частному. Все люди смертны. Сократ — человек. Следовательно, Сократ смертен.
• Индукция — от частного к общему. Все птицы, которых я видел, летают. Значит, все птицы летают?
• Абдукция — построение наиболее вероятного объяснения фактов. На полу вода, окно открыто. Вероятно, шёл дождь.

Хотя сам Шерлок Холмс говорил о «дедуктивном методе», на деле он действовал абдуктивно — строил правдоподобные гипотезы на основе ограниченного числа улик.

Attention — это не логика, а внимание

Архитектура Transformer, описанная в статье “Attention is All You Need”, перевернула представление о нейросетях. Вместо рекурсии или свёрток она использует механизм внимания, позволяющий каждому элементу «видеть» другие элементы и решать, кто важнее — с какой долей вероятности.

Это и есть ключ: вероятность, а не правило.

Attention — это не логическая операция. Это абдукция в действии:

Что из контекста важно, чтобы угадать наилучшее продолжение?

Нейросети как абдуктивные мыслители

Во время обучения трансформеры используют индукцию — они обобщают паттерны из огромного массива данных. Но при генерации текста или ответа они действуют абдуктивно: на основе частичной информации строят наиболее вероятное объяснение или продолжение.

И вот в чём самое интересное: человеческий мозг работает точно так же. Когда мы принимаем решения, додумываем фразы, вспоминаем имена, мы не «доказываем» и не «логически выводим». Мы угадываем — с опорой на опыт, интуицию и контекст.

Разница лишь в масштабе:

у мозга меньше обучающих примеров (у нас нет доступа к миллиардам документов),

у нас ограничена кратковременная память (7±2 единицы информации — по Миллеру),

и наш опыт ограничен временем и субъективностью восприятия.

Нейросеть — это абдуктивный мыслитель, как человек, но с гиперобъёмом памяти и статистическим чутьём, натренированным на всем корпусе человеческого знания.

И тут всё становится элеме​нтарно.

Когда мы говорим, что нейросеть «думает», мы имеем в виду не цепочку доказательств, а гипотетический, вероятностный вывод. ИИ — это не калькулятор, не дедуктивная машина. Он ближе к интуиции, к догадке, к сценарию Шерлока Холмса.

ИИ — это интуиция, масштабированная до предела. Он не Эвклид. Он — Шерлок. И именно поэтому фраза «Это элементарно, Ватсон» сегодня как никогда уместна. 

моя статья на LinkedIn на аглицком