В данной статье я хочу рассказать как обработать папку с текстовыми PDF документами при помощи ChatGPT.

Время от времени у меня появляется задача обработать большое количество pdf-файлов содержащих нужную мне информацию. Для того чтобы обработать все документы, необходимо каждый PDF файл открыть прочитать и понять есть ли в файле нужная мне информация. Было бы здорово если бы я мог провести предварительную автоматическую обработку файлов и сохранить результат в текстовом файле, чтобы затем обработать только те файлы которые мне интересны.

К счастью современные технологии предоставляют такую возможность. Рассмотрим это задачу на примере папки на диске с резюме различных искателей я хочу вычленить из каждого документами фамилию имя отчество, должность и сколько лет опыта у каждого.

Сначала попробуем проверить возможно ли это на примере следующего запроса к chatgpt:

я хочу чтобы ты прочитал резюме кандидата и
вычленил профессиональные качества этого человека. 
Меня интересует следующая информация: имя, профессия, сколько лет опыта, индустрия
Постарайся выбирать только факты представленные в документе с минимумом допущений. 
Результат должен быть в json формате следующего вида 
{"ФИО":"Иванов Иван Иванович", "профессия": "software injeneer", "годаОпыта": "10 лет", "индустрия": "геймдев"}
Если информации недостаточно просто оставь поле пустым.

Как мы видим робот смог вычленить нужную мне информацию и вывести ее в нужном мне виде. Значит этот процесс можно автоматизировать.

Для начала на этой странице нужно создать ключи доступа к API chatgpt, чтобы обращаться к языковой модели программно:

После этого на этой странице следует оплатить стоимость API закинув любую сумму от 5 евро на счёт. Даже если у вас уже есть платная подписка к ChatGPT пользование API в нее не входит и оплачивается отдельно. Следует обратить внимание, что не все страны доступные для пользования API. России в частности в списке разрешённых стран нет.

Убедимся что у нас установлен nodejs и npm

# should be something like v20.11.1
node --version

# should be something like 10.8.2
npm --version

Для извлечения текста из pdf установим утилиту pdf2text

# ubuntu users
sudo apt-get install poppler-utils
# mac users
brew install poppler

pdftotext -h
# Copyright 2005-2024 The Poppler Developers - http://poppler.freedesktop.org
# Copyright 1996-2011, 2022 Glyph & Cog, LLC

Клонируем git репозиторий и устанавливаем зависимости.

git clone https://github.com/maxistar/pdf-analiser.git
cd pdf-analiser

# you can also use npm but pnpm is faster but you should install it first
pnpm install

В терминале экспортируем переменную окружения с нашим openai ключом.

export OPENAI_API_KEY="sk-xxxxx...

Запускаем командой npm start чтобы обработать тестовые pdf в папке data/cvs. После запуска результат обработки будет сохранен в файле data/output/files_yyyMMMddddhhmm.csv. Файл должен выглядить примерно вот так:

File Name,Size (bytes),name,title,experience,industry
Forrest Gump.pdf,155415,"Forrest Gump","house-husband/father","43 года","IT"
Forrest_Gump-1.pdf,155415,"Forrest Gump","House-husband/father","43 года",""
Forrest_Gump.pdf,155415,"Forrest Gump","","","Разработка ПО"

После того как мы убедились что все работает копируем наши файлы которые нужно обработать в папку data/cvs и запускаем обработку еще раз. 

Мы обработали папку с PDF файлами содержащими CV соискателей и сохранили интересующие нас данные в csv файл. Следует понимать что языковые модели могут выдавать при одних и тех-же запросах разные результаты, поэтому для более предсказуемого результата можно обработать набор несколько раз и усреднить результат.

Подобным образом можно обработать любое количество документов любого типа. Указанный метод не бесплатный. Обработка сотни документов обходится примерно 2 евро. Однако обработка вручную такого количества документов может оказаться еще дороже.

GPT4All это UI клиент компании Nomic который позволяет загружать большие языковые модели от разных производителей и работать с ними полностью offline.

Загрузил новую версию GPT4All и обнаружил что в ней теперь можно загружать свои файлы которые можно использовать для запросов к большой языковой модели.

Это значит что теперь можно, например делать запросы к своим заметкам, текстам книг, технической документации и т.п. Если это действительно будет хорошо работать, то это прям здорово!

Сегодня, зайдя на GitHub, я заметил, что у моего проекта "Простой Текстовый Редактор" кто-то поставил еще одну звездочку. Вроде и проектик простой, и написан не очень, а людям он почему-то нравится. Мне этот проект тоже нравится, и это хороший знак. В багтрекере проекта полно тикетов на тему того, что можно улучшить, а значит, с направлением работы на ближайшее время я определился: буду его улучшать и развивать. Если кто-то тоже захочет мне в этом помочь, я буду только рад!

Гарвардский университет добавил в свои знаменитые лекции по Computer Science CS50 лекцию, посвященную большим языковым моделям. Лекцию читает доктор Мэтт Велш.

Лекция рассчитана на широкий круг зрителей, в ней нет ни одного сложного термина. Эта лекция будет понятна даже для вашей бабушке!

На волне хайпа эта лекция очень бысто стала популярной. Многие кинулись обсуждать некоторые выводы Мэтта, вроде того, что программирование больше никогда не будет прежним и мы перестанем писать алгоритмы, так как языковые модели будут справляться с этим лучше людей.

Однако мне, почему-то, показалось интересным другое его утверждение. Примерно на временной метке 47:19 на доске спикера написано: "Nobody understands how large AI models works" - "Никто не понимает как большие языковые модели работают". И это то, что меня больше всего поразило в этой лекции.

Я то надеялся, что здесь мне наконец объяснят как работают большие языковые модели. На каком этапе вся эта мешанина тензоров и другой страшной математики превращается в осмысленную речь, а оказалось, что никто на этой планете этого не понимает!

И вот в этой новой реальности нам теперь предстоит жить: если раньше ученые не понимали как работает, например, квантовая физика, то теперь и инженеры признают, что они не понимают как работают машины, которые они создают... Печаль...

Мои шаловливые ручки добрались до игры с динозавриком. Шаловливым ручкам было очень обидно, что игра слишком простая и совершенно бесполезная. Шаловливые ручки постоянно промахиваются по клавишам и им очень хотелось повысить точность и скорость набора на клавиатуре. Однако, специально учиться набирать на клавиатуре безумно скучно и долго, вот если бы это была игра... Но ведь такая игра уже есть! Это всем известный Дино! Простой заменой кактусов на буковки игра превращается в отличный клавиатурный тренажор!

Сказано - сделано!

Теперь динозаврик перепрыгивает не кактусы а буквы! Если при приближении к букве нажать ту же клавишу на клавиатуре, то он ее перепрыгивает. Если клавиша нажата неправильно, то игра заканчивается. Игра начинается с двух клавиш "f" и "j". По мере продвижения в игре количество используемых клавиш увеличивается, до тех пок пока пальцы на запомнят их все.

Игра пока только поддерживает первый ряд клавиш и только на немецкой клавиатуре (на ней под мизинцем правой руки расположена буква "ö"). Знаю, это жестоко, но у меня сейчас есть только такая клавиатура. Если кто-то хочет поучаствовать в разработке - велком, вот список того, что я планирую сделать. Список будет дополняться.

Для игры нужна физическая клавиатура. К сожалению, на мобильном телефоне без физической клавиатуры поиграть не получится, да это и не имеет смысла.

P.S. Клавозавр оказался отличным занятием во время длинных необязательных митингов, которые не требуют особого внимания но, на которых нужно присутствовать. Собеседники видят, что ты их внимательно слушаешь, в то время как на самом деле ты через буковки перепрыгиваешь!

Я всегда считал, что пузырьковая сортировка это такой учебный алгоритм для студентов и школьников, который на практике нигде не применяют, кроме как в учебных целях, чтобы научить как не надо сортировать массивы. Но оказывается, все это время в загрузчике FreeBSD применялась пузырьковая сортировка! И только вчера ее оттуда выпилили и заменили сортировкой слиянием. Неплохо!

Оказывается, создать кастомный циферблат для Huawei Band 7 не такая тривиальная задача как мне думалось ранее. Для создания циферблата нужно использовать не DevEco Studio а другую программу Theme Studio.

Программа довольно простая с довольно простым интерфейсом. Если что не понятно - есть довольно подробная документация на простом и понятном китайском языке - разберется любой китайский школьник!

Но при попытке загрузить сделанный циферблат на физическое устройство ожидает облом. В программе-компаньоне часов Huawei Health возможности загружать цифербалы в виде файлов нет! Вот что об этом факте говорит документация:

• You must sign in to the app using a HUAWEI ID that has passed designer certification; otherwise, you cannot add watch faces for testing.
• For details about designer certification, please refer to Registration & Certification.

Вы должны войти в приложение, используя аккаунт HUAWEI, прошедший сертификацию дизайнера; в противном случае вы не сможете добавить циферблаты для тестирования.

На страничке посвященной тому как проходить сертификацию много требований, в число которых попадает требование быть талантливым и креативным, уметь рисовать карандашем, говорить на мандарине без акцента и загрузить не менее пяти своих работ на их портал, после чего они или признают тебя достаточно хорошим для них или откажут.

"Как плавать научитесь тогда и воду в бассейн нальем..."

Upd. Возможность загрузить циферблат все-же нашлось. На сайте 4pda есть топик, посвященный этому браслету. Там же есть большое разнообразие готовых циферблатов, которые можно попробовать.

У Экслера в обзорах есть описание умного браслета Huawei Band 7. Из интересного там то, что этот браслет в качестве операционной системы использует Harmony OS и на него можно устанавливать новые скины из маркета, разработанные сторонними разработчиками. При этом, сам браслет стоит в европе около 45 евро.

Я давно интересуюсь темой разработки под носимые устройства и, появление возможности писать программы под такие супер дешевые устройства кажется мне очень интересным.

Для разработки под Harmony OS на компьютер нужно установить DevEco Studio. Дистрибутив этой программы весит около гигабайта и представляет собой среду разработки выполненную на базе IntelliJ IDEA. Установить ее можно только на Windows и MacOS, под Линукс я версии не увидел, что странно.

Пробовать создавать приложения можно сразу после установки IDE. Для публикации приложений в маркете потребуется верифицированный аккаунт. Для верификации нужно послать сканы своих документов, например, ID карту, паспорт, водительские права и банковский документ или фото пластиковой карты. Верификация, если верить сайту занимает до двух рабочих дней.

Панель разработчика очень похожа на панель разработчика Google Play Market, что не удивительно, так как она выполняет сходные функции. 

Разработка приложений осуществляется на JavaScript, TypeScript и Java. Какие приложения, помимо скинов к часам еще можно писать мне пока не очень понятно, но судя по примерам на сайте, создавать можно самые различные приложения, так же как и под Android.

Пока выглядит очень интересно. Чтобы понять, как обстоят дела на самом деле и, какие есть подводные камни будем пробовать.

Клавиша compose позволяет вводить специальные символы в Linux типа ä или á.

Для этого нужно сначала коротко нажать compose затем клавишу модификатор, например ', затем модифицируемую клавишу, например e.

Еще больше сочетаний можно найти на страничке в википедии посвященной клавише Compose.

Физически на клавиатуре нет клавиши Compose. В качестве клавиши Compose можно назначить любую клавишу по выбору. По умолчания в Linux в качестве Compose настроен правый ctrl.

Получается, с клавишей Compose для набора текстов на немецком или испанском языках специальные национальные клавиатуры становятся не нужны.

Однако, с этой клавишей есть одна существенная проблема - клавиша Compose не поддерживается из коробки в Windows но есть большое разнообразие программ для ее емуляции например WinCompose. Для Macos все сложнее, на маке используются собственные сочетания клавиш для набора специальных символов и диакритики, поэтому проектов для поддержки клавиши Compose не так много но они тоже есть.

Ребята из TON Foundation опять устраивают конкурс в денежными призами и ценными подарками. На этот раз это соревнование по написанию смарт контрактов на языке Func. 

Хотя конкурс рассчитан на новичков, хочу честно признаться - я не могу даже приблизительно понять ЧТО нужно сделать, не говоря уже о том КАК.

Например в задании 4 нужно реализовать операцию по сложению двух эллиптических кривых Curve25519.

Наверно, среди тех, кто читает эти строки найдутся те, кто складывает каждый день перед завтраком пару десятков эллиптических кривых в уме, но, лично я, совершенно не знаю пока как это делается.

Ловлю себя на мысли, что мне нравится в этом копаться. Николай Дуров проделал колоссальную работу собирая вместе эту систему. Некоторые называют TON следующим Биткойном.

Пока у меня больше вопросов чем ответов. Например, Смарт Контракты TON можно модифицировать после публикации, как при этом можно защититься от скама? Или, например кошельки в сети TON это смарт контракты, при этом часть кошельков написана на Func а часть на Fift. На сайте утверждается, что они практически идентичны, тогда почему у кошельков второй версии нет кода на Func? Это все равно как привести две программы - одну на Си а вторую на Ассемблере и сказать что они практически идентичны...

Для того чтобы понять как это работает нужно прочитать сотни страниц спецификации. Документация вроде есть, но ее нужно прочитать, а это сотни страниц. Уже есть первые Step-by-step руководства, но они, как правило поломаны из-за изменений в коде системы, и чтобы понять как их пройти, все равно приходиться читать документацию.

Если кому-то нравятся головоломки, то смело могу порекомендовать этот конкурс. Первая фаза уже прошла, для тех кого это не смущает еще есть время до 23 декабря, чтобы разобраться в теме.