Размышления о трансформерах, механизме внимания и природе выводов в нейронных сетях

"В нейронных сетях индукция неотличима от дедукции." — Насим Николас Талеб

Эта фраза Талeба натолкнула меня на неожиданную мысль. Мы привыкли думать, что искусственный интеллект основан на строгой логике — алгоритмах, правилах, вычислениях. Но если присмотреться к тому, как работает современный ИИ — особенно трансформеры, лежащие в основе моделей вроде GPT, Claude или Gemini — становится ясно: он действует скорее как Шерлок Холмс, чем как академик-логик.

Индукция, дедукция и абдукция

Три способа логических выводов:

• Дедукция — от общего к частному. Все люди смертны. Сократ — человек. Следовательно, Сократ смертен.
• Индукция — от частного к общему. Все птицы, которых я видел, летают. Значит, все птицы летают?
• Абдукция — построение наиболее вероятного объяснения фактов. На полу вода, окно открыто. Вероятно, шёл дождь.

Хотя сам Шерлок Холмс говорил о «дедуктивном методе», на деле он действовал абдуктивно — строил правдоподобные гипотезы на основе ограниченного числа улик.

Attention — это не логика, а внимание

Архитектура Transformer, описанная в статье “Attention is All You Need”, перевернула представление о нейросетях. Вместо рекурсии или свёрток она использует механизм внимания, позволяющий каждому элементу «видеть» другие элементы и решать, кто важнее — с какой долей вероятности.

Это и есть ключ: вероятность, а не правило.

Attention — это не логическая операция. Это абдукция в действии:

Что из контекста важно, чтобы угадать наилучшее продолжение?

Нейросети как абдуктивные мыслители

Во время обучения трансформеры используют индукцию — они обобщают паттерны из огромного массива данных. Но при генерации текста или ответа они действуют абдуктивно: на основе частичной информации строят наиболее вероятное объяснение или продолжение.

И вот в чём самое интересное: человеческий мозг работает точно так же. Когда мы принимаем решения, додумываем фразы, вспоминаем имена, мы не «доказываем» и не «логически выводим». Мы угадываем — с опорой на опыт, интуицию и контекст.

Разница лишь в масштабе:

у мозга меньше обучающих примеров (у нас нет доступа к миллиардам документов),

у нас ограничена кратковременная память (7±2 единицы информации — по Миллеру),

и наш опыт ограничен временем и субъективностью восприятия.

Нейросеть — это абдуктивный мыслитель, как человек, но с гиперобъёмом памяти и статистическим чутьём, натренированным на всем корпусе человеческого знания.

И тут всё становится элеме​нтарно.

Когда мы говорим, что нейросеть «думает», мы имеем в виду не цепочку доказательств, а гипотетический, вероятностный вывод. ИИ — это не калькулятор, не дедуктивная машина. Он ближе к интуиции, к догадке, к сценарию Шерлока Холмса.

ИИ — это интуиция, масштабированная до предела. Он не Эвклид. Он — Шерлок. И именно поэтому фраза «Это элементарно, Ватсон» сегодня как никогда уместна. 

моя статья на LinkedIn на аглицком

Мои хорошие знакомые Тимур и Катя устраивают миниконференцию. Eсли вы в Германии и особенно в Берлине приглашаю присоединиться! Конференция откололась от проекта ПеределаноКонф, организаторы решили что могут все сделать сами еще круче.

Вот их новый сайт. Очень хочется чтобы мероприятие состоялось - предыдущий их ивент получился на славу!

Привет, дорогие друзья!

Мне нужна ваша помощь. Если вы пользуетесь умными часами на Android Wear OS (не Apple Watch), возможно, вы сможете мне помочь!

Я создал собственный циферблат для смарт-часов. Однако из-за новых правил Google Play перед публикацией нужно провести этап закрытого тестирования.

Я ищу как минимум 12 человек с часами на Wear OS, которые готовы установить циферблат и оставить его на устройстве минимум на 14 дней.

Идея проста: показывать новое вдохновляющее высказывание каждый день. Я верю, что у этого проекта большой потенциал.

Если вы можете помочь — пожалуйста, напишите мне на мой Telegram @maxistart. Чтобы добавить вас в закрытое тестирование, мне понадобится ваш Google-адрес электронной почты, чтобы отправить приглашение.

Спасибо за вашу поддержку!

Чтобы податься на немецкое гражданство, нужно сдать экзамен на знание немецкого языка и экзамен на знание немецких реалий. Записаться на экзамен по немецкому просто, а сдать — сложно. Записаться на экзамен по знанию немецких законов, наоборот, сложно, хотя сам экзамен простой. Экзамен принимается в отделениях Volkshochschule по всей стране, однако желающих столько, что запись можно получить в лучшем случае за полгода, а то и за год вперёд.

Я решил сломать систему и сдать экзамен в другом городе — и у меня получилось! Чтобы записаться на экзамен, я написал в VHS в Шверине, что в трёх с половиной часах на поезде от Берлина. К моему удивлению, мне перезвонили и записали на июль (дело было в апреле).

Вчера съездил и сдал экзамен. Вопросы из серии: какая система управления в Германии — с вариантами ответов типа монархия, диктатура, демократия. На ответы на 35 вопросов даётся 1 час, я уложился за 20 минут. Теперь жду результата, который должен прийти по почте через несколько недель. После этого можно будет подавать документы и запасаться терпением, ибо процесс рассмотрения документов длится годами — но тут уж ничего не поделаешь.

Хочу сегодня поставить в блог фрагмент из аниме "Меланхолия Харуки Судзумии". А что, мой блог, что хочу то и ставлю. Аниме, кстати, шикарное!

Тот случай, когда команда по озвучке продела отличную работу и перевод получился не чуть ни хуже оригинала.

Выпустил новую версию Morse Trainer На 100% технический релиз. Обновил Android SDK на версию 35, последнее время Google просит использовать только последнюю версию их SDK иначе пессимизируют в выдаче. Хоть приложение было сделано только для фана но нужно соответствовать... Завтра выйдет новый Lingvy (если получится победить сборку).

Выпустил новую версию Простого Текстового Редактора. На 90% технический релиз. Обновил Android SDK на версию 35, последнее время Google просит использовать только последнюю версию их SDK иначе пессимизируют в выдаче. Поправил баг с переключением языков - экран настроек игнорировал переключение языка в приложении.

Приехали полуторные кейкапы для моей клавиатуры. По какой-то причине дизайнер, разработавший этот корпус, хотел видеть именно клавиши полуторной ширины по бокам. На мой взгляд с практической точки зрения это имеет мало смысла, но раз художник так видит будем следовать его плану.

Вернулся из поездки в Россию. Было интересно повидать свой родной город, встретиться с родственниками, которых не видел много лет. Впечатления от поездки остались сложные. Пока я был в Саратове, в соседнем городе Энгельсе был подбит нефтеперерабатывающий завод, и полнеба было затянуто чёрным дымом. Люди при этом, как в фильме «Не смотри наверх», стараются жить своей жизнью, строить планы на будущее, делать свои повседневные дела. Интернет периодически пропадает, заблокированы YouTube, Instagram и другие сайты. Я понимаю людей, которые стараются не замечать происходящее вокруг, ведь иначе в этой стране не выжить. Власти подавляют любое проявление недовольства. Надеюсь, что те, кто довёл страну до такого состояния, когда-нибудь перестанут функционировать, ведь все войны когда-нибудь кончаются, а человек смертен. Хочется, чтобы это случилось при моей жизни.

Когда я подключил клавиатуру к телефону на Android, чтобы посмотреть как она будет с ним работать я обнаружил что не работает русская раскладка.  Подключил другую внешнюю клавиатуру - тоже самое, язык вроде бы переключается а печатает все равно по английски. Уверен, я раньше точно мог печатать по-русски — а теперь, при переключении языка, всё равно набираются английские символы.

Перепробовал всё: менял настройки, переустанавливал Gboard, сбрасывал раскладки — ничего не помогало. Казалось, клавиатура просто "забыла", что умеет русский.

И тут я решил попросить жену — она часто печатает на своем планшете и у неё на Android всё работает как надо. Она пошла в настройки и проделала ровно то же самое, что и я, но у неё всё завелось. При этом когда я делал тоже самое у меня не работало. Магия?

Нет. Просто нюанс интерфейса, о котором я не знал, даже два нюанса.

Оказывается, в Android для каждой физической клавиатуры можно отдельно настроить список языков. При этом для переключения используются два сочетания клавиш — через Ctrl + Space и Shift + Space. При этом переключают они что-то свое. Shift + Space переключает язык экранной клавиатуры при этом физическая клавиатура продолжает печатать на английском, а вот Ctrl + Space переключает язык физической клавиатуры хотя экранная показывает, что вы печатаете на другом языке.

Второй нюанс заключается в том, настроить нужные языки для физической клавиатуры не так просто. Сама форма настройки запрятана довольно глубоко в дебрях настроек, но даже если вы ее найдете то добавить язык сможете не с первого раза. Когда вы настраиваете список языков для физической клавиатуры, в списке языков рядом с каждым пунктом есть переключатель. Я всегда нажимал по нему — по ползунку справа. А вот жена нажала по названию самого языка. И только в случае тапа по названию языка Android сохраняет выбор языка. Если нажимать только по переключателю — выбранный язык не сохраняется, и после выхода из меню всё сбрасывается. Скорее всего это баг интерфейса, но он стабильно воспроизводится.

Вывод: Если на Android у вас не работает русская раскладка с внешней клавиатурой — не трогайте переключатели справа! Нажимайте именно по названию языка, чтобы он сохранился в системе.

Надеюсь, эта заметка сэкономит кому-то пару часов нервов.