Microsoft запустила інструмент розпізнавання зображень, який намагається описати вміст зображення. Цей інструмент штучного інтелекту досі перебуває на стадії розробки та постійно вчиться на фотографіях, завантажених користувачами.

Що стосується точності, іноді опис досить точний, тоді як іноді CaptionBot пропонує описи, які не мають нічого спільного з тим, що зображено. Бувають також випадки, коли додаток взагалі не може надати опис через стан грубого краю.

Microsoft спроектувала CaptionBot для того, щоб вчитися з більшим досвідом, сподіваючись, що підписи з часом стануть більш точними. Чим більше фотографій завантажують користувачі, тим кращою стає програма, як описує CaptionBot:

Я можу зрозуміти зміст будь-якого зображення і спробую описати його так само, як і будь-яка людина. Я все ще вчуся, тому я буду триматися на вашій фотографії, але ніякої особистої інформації.

CaptionBot використовує три технології для опису зображеного на малюнку: Microsoft Vision, Emotion та Bing Image. API Computer Vision витягує багату інформацію із зображень для категоризації та обробки візуальних даних поряд із ідентифікацією та вилученням тексту із зображення. API Emotion, як випливає з його назви, аналізує обличчя, щоб виявити діапазон почуттів, все - від гніву, зневаги, огиди, страху, щастя, нейтралітету, смутку та здивування. Bing Image шукає в Інтернеті зображення.

Ми перевірили CaptionBot, і результати були точними у 50% випадків. Наприклад, ми завантажили дві картинки: на одній із зображенням ігрової миші, на іншій - стос карт. В обох випадках інструмент припускав, що це мобільний телефон. З іншого боку, CaptionBot точно виявив людей і обличчя.

Мабуть, CaptionBot має одержимість мобільними телефонами. Один користувач Twitter повідомив, що програма вважає, що Мішель Обама є мобільним телефоном. Щоб отримати більше підписів CaptionBot, ознайомтеся з цією сторінкою Twitter.

Ви також можете протестувати CaptionBot тут. Спробуйте: ви або допоможете інструменту вдосконалитись, або ви будете добре сміятися!