09.07.24

Студенты из Новосибирска создают искусственный интеллект, способный видеть и слышать

Разработки ведутся в рамках проекта Математического центра в Академгородке «Большой математической мастерской» при содействии правительства региона.

Одной из команд предстоит поработать над созданием универсальной коммуникативной системы, приближающейся по уровню когнитивных способностей к человеку.  В результате таких доработок исследователи дополняют возможности «больших языковых моделей» не только умениями читать и писать, но и видеть, слышать, тем самым превращая модели в мультимодальные. Участникам проекта предстоит усовершенствовать систему ИИ «Менон», разрабатываемую в НГУ, путём исследования и доработки мультмодального RAG (retrieval augmented generation) — одного из подходов, позволяющих научить большую языковую модель видеть и слышать с использованием внешней базы знаний о мире. Такая система «сильного» ИИ может самообучаться, определять для себя цели и пути их достижения, может быть использована для решения сложных экономических задач, автономного вождения и управления БПЛА, автоматизации и оптимизации промышленных процессов, предотвращения аварийных ситуаций,  медицинской диагностики и научных исследований от создания новых материалов и редактирования генов при помощи вычислений до прогнозирования распространения инфекционных заболеваний и изменений климата.

— «Большая математическая мастерская» расширяется как по количеству проектов и участников, так и по географии, которую она охватывает. Только на площадку в Новосибирске в этом году приедут школьники и студенты со всей страны от Санкт-Петербурга до Камчатки. Вместе с ними будут работать и иностранные участники. Для этого одно из тематических направлений мастерской будет проходить полностью на английском языке. При этом площадка в Новосибирске — не единственная. Мастерская работает одновременно в пяти городах — ещё и в Томске, Тюмени, Майкопе и Омске, — рассказал руководитель БММ-2024, заместитель директора Математического центра в Академгородке Тимур Насыбуллов.

В дальнейшем проекты мастерской оформляются в виде научных работ, заявок на гранты, становятся основой инновационных продуктов. Среди успешных проектов БММ разных лет — нейроигра для профилактики гиперактивности у детей, цифровая лаборатория дорожного движения по оптимизации режимов светофоров и образовательные программы с использованием игровых инструментов в преподавании математики.

Фото пресс-службы миннауки НСО

back
up