Маркетинговая индустрия | Расширенное SEO | ИИ и SEO
Мнения автора являются исключительно его собственными (за исключением маловероятного случая гипноза) и могут не всегда отражать точку зрения Moz.
Еще в августе 2023 года OpenAI представила свой веб-сканер GPTBot и, сделав это, позволила владельцам веб-сайтов блокировать доступ в robots.txt — подобно тому, как можно Малайзия телеграммы данные заблокировать Googlebot доступ к определенным конфиденциальным или бесполезным разделам веб-сайта. Огромное количество веб-сайтов (до 48% в некоторых сегментах) быстро взялись за это, согласно исследованиям Originality.ai и Института Рейтер в Оксфордском университете. Вскоре после этого Google объявила о своем отдельном боте «Google-Extended» , позволяющем сайтам специально блокировать инструменты ИИ Google на некоторых или всех страницах.
С тех пор идут дебаты. Дискуссия продолжается в Moz, в нашей материнской компании Ziff Davis и в SEO-индустрии в целом о том, как лучше всего использовать эту новообретенную возможность запретить доступ к (некоторым) инструментам ИИ и, действительно, имеет ли это какое-либо практическое влияние. Учитывая ограниченность информации, доступной сейчас, особенно в отношении будущего пути этих данных и этих инструментов, я не думаю, что существует уверенный ответ, подходящий всем. В этом посте я хочу изложить, какие аргументы, убеждения, предпосылки или бизнес-контексты могут заставить вас заблокировать этих ботов или нет.
Но, во-первых, имеет ли значение, чем именно вы занимаетесь?
Вы также можете оценить этический или даже юридический прецедент, созданный не давая разрешения на повторное использование вашего контента таким образом. Это выглядит как довольно отличающийся подразумеваемый контракт, нежели тот, который предлагают поисковые системы, которые отправляют гораздо больше трафика обратно на сайты, которые они сканируют, и в основном не переписывают контент без указания авторства. «Это также другой контракт, нежели тот, который предлагают такие инструменты, как Moz и наши собственные боты — опять же, мы не будем повторно использовать ваш контент».
Значимое влияние на качество ответа, предлагаемого этими инструментами, во многих случаях потребовало бы коллективных действий — не просто блокировка одного сайта, а блокировка множества или даже большинства сайтов. Однако, похоже, это происходит в некоторых вертикалях.
Тянуть время
Говоря о правовых прецедентах — сейчас ведутся различные судебные разбирательства, связанные с OpenAI, возможно, наиболее заметным из которых является иск New York Times . Это огромная угроза для многих текущих приложений этой технологии, и для OpenAI как компании это может быть экзистенциально. Некоторые издатели могут посчитать, что блокировка сейчас отсрочит угрозы, которые они ощущают, на достаточно долгий срок, чтобы увидеть введение надежных правовых (и коммерческих) рамок.
Будущие разработки
Так же, как возможно, что в будущем мы увидим больше каналов приобретения, работающих на основе этих ботов с искусственным интеллектом, также возможно, что мы увидим больше угроз, работающих на том же принципе. Глубокие подделки вашего бренда? Продукты-копии? Эти разработки кажутся более подходящими для сильных сторон этой технологии в ее нынешнем виде, и большинство брендов сделают все возможное, чтобы подорвать качество таких творений.
Случай частичной блокировки
Можно ли иметь и то, и другое?
В конце концов, это robots.txt — как специалисты по поисковой оптимизации, мы знаем, что можно очень тщательно подходить к вопросу о том, что оставить открытым, а что закрытым.
Что, если вы хотите получить выгоду — узнаваемость бренда, упоминание вашего продукта и актуальную информацию, включенную в ответы? Но вы не хотите рисков — содействия конкурентам по контенту, неверного цитирования или снижения уникальной ценности вашего сайта.
Конечно, не все так просто. Но в этом случае лучшим вариантом будет оставить открытыми разделы с продуктами на вашем сайте, но закрыть разделы с контентом (например, блог Moz) и, конечно, те же внутренние/входные страницы, которые вы, вероятно, блокируете для Googlebot.
Это не идеально — вы все равно подвергаете себя риску остаться в стороне от обсуждения и риску подпитывать конкурентов, использующих искусственный интеллект.
Лицемерно ли блокировать ботов на основе ИИ, одновременно используя генеративный ИИ?
По иронии судьбы, возможно, даже меньше, чем до того, как эти боты стали блокируемыми. В идеальном мире вы, возможно, захотите использовать LLM в своей работе, зная, что авторы и создатели, которые не хотели, чтобы их контент использовался таким образом, могли отказаться.
Реальность такова, что на данный момент вы все еще работаете в основном(?) с информацией, полученной до августа 2023 года, но со временем это изменится.
Это зависит
В конечном итоге все сводится к сочетанию того, что, по вашему мнению, принесет вам будущее, и того, что наиболее важно и оказывает наибольшее влияние на ваш бизнес.
Вам не следует блокировать ботов с искусственным интеллектом, если вы считаете, что:
Чат-боты на основе искусственного интеллекта являются или станут заметным каналом привлечения клиентов (или это сделают некоторые будущие технологии на основе степени магистра права).
И
Эти модели с большей вероятностью будут ссылаться на вашу компанию в своих ответах, если их обучающий набор или индекс будет включать контент, который вы публикуете в период с того момента по настоящее время.
Или
Лучше, чтобы модели ИИ обладали самой последней информацией о вашем бизнесе, тогда даже если они будут конкурировать с вашим сайтом за источник информации о вашем продукте, они с меньшей вероятностью будут представлять вас в ложном свете.
Вам следует заблокировать ботов с искусственным интеллектом, если вы считаете, что:
Вы увеличиваете угрозу, исходящую от чат-ботов на основе ИИ, конкурирующего контента или конкурирующих инструментов, позволяя моделям ИИ сканировать ваш последний контент.
Или