Android-программа чтения с экрана отвечает на вопросы о фотографиях

Сегодня отмечается Всемирный день осведомленности о доступности (GAAD), и, как и в предыдущие годы, многие технологические компании отмечают это событие, анонсируя новые функции доступности для своих экосистем. Во вторник Apple ногами все изменилось, и теперь к ним присоединилась Google. Для начала компания создала TalkBack, программу чтения с экрана, встроенную в Android, более полезно. С одной из моделей Gemini от Google TalkBack теперь может отвечать на вопросы об изображениях, отображаемых на вашем телефоне, даже если у них нет альтернативного текста, описывающего их.

«Это означает, что в следующий раз, когда друг отправит вам фотографию своей новой гитары, вы сможете получить описание и задать дополнительные вопросы о марке и цвете, или даже о том, что еще изображено на картинке», — поясняет Google. Тот факт, что Gemini может видеть и понимать изображения, обусловлен мультимодальными возможностями, которые Google встроил в модель. Кроме того, функция вопросов и ответов работает по всему экрану. Так, например, если вы совершаете покупки в Интернете, вы можете сначала попросить свой телефон описать цвет интересующей вас одежды, а затем спросить, продается ли она по сниженной цене.

Отдельно Google запускает новую версию своих выразительных подписей. Впервые анонсированная в конце прошлого года, эта функция генерирует субтитры, которые пытаются передать эмоции того, что говорится. Например, если вы общаетесь по видеосвязи с друзьями, и один из них стонет после того, как вы неудачно пошутили, ваш телефон не только воспроизведет субтитры, но и добавит слова «[стон]» к транскрипции. С новой версией выразительных субтитров субтитры будут появляться, когда кто-то растягивает звук своих слов. Это означает, что в следующий