Каким будет будущее интернет-поиска? По замыслу Google, он будет больше похож на случайную беседу с другом.
Хотя поисковая система Google работает в Интернете уже более двух десятилетий, технология, на которой она основана, постоянно развивается. Недавно компания объявила о создании новой системы искусственного интеллекта под названием MUM, что расшифровывается как Multitask Unified Model. MUM призвана улавливать тонкости и нюансы человеческого языка в глобальном масштабе, что может помочь пользователям легче находить информацию, которую они ищут, или позволить им задавать более абстрактные вопросы.
Google уже использовал MUM в независимом задании, чтобы узнать больше о различных способах, которыми люди называют вакцины COVID, но говорит, что новая технология пока не является частью их поисковой системы. Хотя в настоящее время не определены сроки внедрения этой функции в живой поиск, команда активно работает над созданием других разовых задач для MUM.
Вот что нужно знать о том, что такое MUM, чем он отличается от того, что было раньше, и многое другое.
Решение проблемы с названием вакцины COVID
Когда в начале этого года вакцины стали доступны, Панду Наяк, вице-президент по поиску в Google, и его коллеги разработали "опыт", который предоставлял людям информацию о вакцинах COVID - где их можно приобрести, как они работают и где они доступны - когда пользователи искали их. Этот опыт объединил всю эту важную и релевантную информацию и поместил ее в верхней части первой страницы результатов поиска. Но сначала команде нужно было запрограммировать его так, чтобы он появлялся только в тех случаях, когда запрос касался вакцин COVID. Это может стать проблемой, поскольку люди во всем мире могут называть вакцины COVID по-разному и по-разному.
В прошлом году команда провела сотни часов, прочесывая ресурсы, чтобы определить все различные названия самого COVID. Но в этом году у них был MUM. "Мы смогли поставить очень простой эксперимент с MUM, который в течение нескольких секунд смог сгенерировать более 800 названий для 17 различных вакцин на 50 различных языках", - говорит Наяк. "У нас есть множество языковых задач, которые необходимо решить, будь то классификация, ранжирование, извлечение информации и целый ряд других. В краткосрочной перспективе мы рассчитываем использовать MUM для улучшения каждой из этих задач. Не то чтобы это привело к появлению новой функции или нового опыта, скорее, существующие функции и существующий опыт будут работать намного лучше".
Встреча с МУМ на Google I/O
Впервые мы услышали о MUM еще весной на конференции разработчиков Google I/O, когда Прабхакар Рагхаван, старший вице-президент Google, представил его.
Новая технология является естественным развитием поиска на основе машинного обучения, который Google совершенствовал и модифицировал в течение последнего десятилетия. Google утверждает, что MUM способен приобретать глубокие знания о мире, понимать язык и генерировать его, а также обучаться одновременно на 75 языках. Кроме того, в рамках внутренних пилотов тестируется возможность мультимодального поиска, то есть способность одновременно понимать различные формы информации, такие как текст, изображения и видео.
Всю эту сложность можно проиллюстрировать на простом примере, представленном на конференции и в статье в блоге. Предположим, вы спрашиваете Google: "Я ходил на гору Адамс и теперь хочу пойти на гору Фудзи следующей осенью, что я должен сделать по-другому, чтобы подготовиться?". Это тот тип поискового запроса, который большинство людей не стали бы вводить сегодня, потому что пользователи понимают, что обычно так не ищут информацию в Интернете.
"Это вопрос, который вы бы случайно задали другу, но поисковые системы сегодня не могут ответить на него напрямую, потому что он настолько разговорный и тонкий, - объяснил Рагхаван на I/O. Но в идеале MUM должен понимать, что вы хотите сравнить две горы, а также понимать, что "подготовиться" может включать такие вещи, как фитнес-тренировки для местности и туристическое снаряжение для осенней погоды. Он мог бы препарировать ваш вопрос и разбить его на набор запросов, узнать о каждом аспекте вашей проблемы, а затем собрать все воедино. Пользователи могут нажать на кнопку, чтобы узнать больше о результатах поиска, связанных с каждым аспектом вопроса, а также получить общий текст, объясняющий, как был получен ответ на первоначальный запрос.
Подобные опыты являются долгосрочной целью инженеров MUM, и время, которое потребуется для достижения этой цели, пока неясно. В среднесрочной перспективе, работая в обратном направлении, инженеры Google обучают MUM распознавать взаимосвязь между словами и изображениями, и это идет хорошо. Наяк говорит, что когда они попросили MUM сгенерировать изображение для нового фрагмента текста, который они ему скормили, например, "Сибирский хаски", он проделал "довольно замечательную работу".
Краткая история поиска
С момента своего создания в 1998 году компания Google постоянно картографирует Интернет, собирает огромное количество контента и создает индекс для упорядочивания всей информации.
Можно считать, что поисковый индекс Google работает подобно оглавлению в конце книги. В нем указаны все страницы, на которых встречается определенное слово. За исключением Интернета, есть два важных отличия. Во-первых, в книге может быть от 300 до 1000 страниц, что очень мало по сравнению с триллионами страниц в Интернете. Второе важное отличие заключается в том, что в книге с указателем на обороте вы ищете одно слово за раз, в то время как в Интернете вы ищете комбинации слов. "Мы получаем миллиарды запросов каждый день со всего мира из-за этого масштаба и из-за этого комбинаторного взрыва", - говорит Наяк. "И замечательный факт заключается в том, что 15 процентов запросов, которые мы получаем каждый день, - это запросы, которые мы никогда раньше не видели. В потоке запросов невероятное количество новизны".
Часть новизны объясняется новыми способами неправильного написания слов, добавляет Наяк, а часть - тем, что мир постоянно меняется, и появляются новые (и иногда очень специфические) вещи, о которых просят люди.
Чтобы отсеять всю возможную веб-информацию до той, которая действительно релевантна вашему запросу, Google использует алгоритм для ранжирования наиболее полезных, по его мнению, страниц в верхней части, используя такие факторы, как свежесть и местоположение, а также то, как различные страницы связаны друг с другом. "Безусловно, самый важный класс факторов связан с пониманием языка", - говорит Наяк. "Понимание языка действительно лежит в основе поиска, потому что вам нужно понимать, что означает запрос, вам нужно понимать, что означают документы, и как они сочетаются друг с другом".
Конечно, программное обеспечение не может по-настоящему понять язык так, как понимаем его мы, со всеми его тонкостями и нюансами. Но программисты могут разрабатывать различные стратегии, которые пытаются приблизить наше понимание языка. Чуть более 16 лет назад Google создал первую версию системы синонимов, которая учитывала тот факт, что разные слова имеют разные значения в разных контекстах. Так, слово "изменить" может означать "отрегулировать", когда вы говорите о яркости ноутбука. Без понимания этого многие релевантные страницы были бы исключены из результатов поиска из-за вариаций в выборе слов.
Затем, около десяти лет назад, компания создала граф знаний. Его идея заключалась в том, что слова в запросах или документах - это не просто набор символов, они могут что-то значить, если относятся к людям, местам или вещам в мире. "Если вы не понимаете, что означает та или иная строка символов, значит, вы не до конца поняли, что означает это слово", - объясняет Наяк. Такие сущности, как люди, места, вещи, компании, были помещены в базу данных, а граф знаний связывает отношения между ними. Он также составляет краткое резюме по необходимым быстрым фактам о такой сущности, как знаменитость или достопримечательность.
Например, если вы набираете в поисковике "Мария Кюри", граф знаний Google может рассказать вам, когда и где она родилась, за кем была замужем, кто ее дети, где она училась в университете и чем она была известна. Это способ удобной демонстрации информации за пределами списка результатов, который Google выводит после поиска.
Машинное обучение нагревается
Около шести лет назад компания Google запустила свою первую версию поиска на основе машинного обучения. Затем компания продолжила совершенствовать его на основе растущих исследований в сообществе глубокого обучения вокруг алгоритмов естественного языка, которые могут рассматривать контекст, в котором используется слово, чтобы понять его значение и выяснить, на какие части контекста следует обратить внимание. В 2019 году Google представил архитектуру BERT для поиска. Ее алгоритм обучения фактически представлял собой массив упражнений "заполни пробелы". Вы брали общую фразу, блокировали случайные слова и просили сеть предсказать, что это за слова. Эту модель также называют моделью языка с маской.
На такой запрос, как "можно ли получить в аптеке лекарства для кого-то", раньше поисковик получал результат о получении рецепта в аптеке. BERT понял, что речь идет не только о получении рецепта, но и о получении рецепта для кого-то другого, например, для друга или члена семьи. "Мы смогли выдать более релевантный результат, потому что он уловил некоторые тонкости в вопросе, с которыми раньше мы не могли справиться", - говорит Наяк.
В дальнейшем MUM способен не только понимать язык, как BERT, но и генерировать язык. Для сравнения, MUM намного больше, чем BERT, и имеет больше возможностей (Google утверждает, что он примерно в 1 000 раз мощнее). MUM обучается на высококачественном подмножестве публичного веб-корпуса на всех языках, которые обслуживает Google. Команда поиска удаляет низкокачественный контент, контент для взрослых, откровенный контент, язык ненависти, поэтому язык, который изучает MUM, в некотором смысле является хорошим (надеюсь). Обучаясь одновременно на всех языках одновременно, он способен обобщать информацию с языков с большим количеством данных на языки с меньшим количеством данных, что позволяет заполнить пробелы там, где для обучения доступно меньше данных.
Однако Наяк признает, что с большими языковыми моделями, такими как MUM, определенно есть проблемы, над решением которых команда активно работает. "Например, одна из них - это вопрос предвзятости. Поскольку она обучается на веб-корпусе, есть опасения, что она отражает или усиливает предубеждения, существующие в Интернете, - говорит Наяк. Наяк надеется, что тот факт, что он обучается на высококачественном подмножестве корпуса, позволит устранить некоторые из наиболее вопиющих предубеждений". Google продолжает использовать специалистов по оценке качества поиска и другие процессы оценки, чтобы проверять результаты и искать закономерности возникновения проблем. "Это не решит всех проблем, но это значительное смягчение".
MUM опирается на набор инновационных функций, с которыми экспериментирует Google, чтобы сделать поиск лучше. "Сегодня, когда люди приходят в поиск, это не значит, что они приходят с полностью сформированными запросами в голове. Они приходят в поиск с некими широкими намерениями относительно чего-то, что происходит в их жизни", - говорит Наяк. "Вы должны взять эту размытую потребность, преобразовать ее в один или несколько запросов, которые можно задать Google, узнать о различных аспектах проблемы и собрать их воедино".
Такие функции, как автозаполнение, в определенной степени пытаются облегчить процесс поиска, но MUM может открыть новые возможности. "Главный вопрос, который я задаю всем инструментам поиска, - говорит Наяк, - поскольку они являются инструментами: Даже если он не совершенен, полезен ли он?".