Все новости от 26 ноября 2001 г.

Поисковые машины ищут что надо и что не надо

Проблема не нова: с тех пор как поисковые роботы начали индексировать веб, администраторы веб-сайтов обнаруживают, что в результаты поиска попадают страницы, не предназначенные для широкого потребления. Однако новый инструмент, встроенный в поисковую машину Google для поиска файлов разного типа в дополнение к традиционным веб-документам, высветил эту проблему и в некоторых случаях заострил ее. С его появлением многие категории файлов, которые прежние поисковые машины игнорировали, стали легко доступны среднему серферу — а также начинающему хакеру. Это такие файлы, как Adobe PostScript; Lotus 1-2-3 и WordPro; MacWrite; Microsoft Excel, PowerPoint, Word, Works и Write, а также файлы в формате Rich Text Format.

«В целом проблема усугубилась по сравнению с тем временем, когда поисковой машине AltaVista можно было задать слово password и она находила сотни файлов с паролями, — говорит Кристофер Клаус (Christopher Klaus), основатель и главный технолог компании Internet Security Systems, производящей системы информационной безопасности. — В таких поисковых машинах, как Google, появились функции, позволяющие извлекать гораздо более богатый улов».

С тех пор как в начале этого месяца в Google появился новый инструмент, огорошенные владельцы веб-сайтов заняты тем, что вычищают или защищают конфиденциальные страницы, попадающие в результаты поиска. Google снимает с себя ответственность за проблему безопасности. В то же время компания начала давать рекомендации по вылавливанию страниц, не предназначенных для чужих глаз, до того, как они будут выставлены на всеобщее обозрение. «Наша задача — находить и индексировать открытую информацию, — сказал представитель Google Дэвид Крэйн (David Krane). — Под открытой информацией мы понимаем такую, которая опубликована в интернете и никак не защищена от поисковых машин. Основная ответственность ложится на тех людей, которые неправильно выставляют эту информацию. В то же время нам, конечно, известно о проблеме и наши разработчики занимаются поисками различных методов ее решения».

Опасность заражения
Кроме того что недобросовестные хакеры получают удобный инструмент для выуживания конфиденциальной информации или выявления уязвимых компьютеров, механизм поиска файлов разного типа Google несет в себе риск для тех, кто разыскивает файлы, более подверженные заражению вирусами и другим злокачественным кодом, чем веб-страницы. «Когда появились средства поиска файлов разного типа, я сразу подумал о проблеме безопасности, — пишет в интервью по e-mail редактор SearchEngineWatch.com Денни Салливан (Danny Sullivan). — Конечно, расширять охват поиска очень важно, но люди не всегда понимают, что, кликнув на линке, можно подхватить вирус. Раньше такой опасности не было, так как HTML-файлы довольно безопасны», хотя JavaScript все же можно использовать для некоторых атак. Пользователи Google, опасающиеся вирусов, могут выбрать режим HTML-просмотра не-HTML файлов.

Поисковые машины уже научились некоторым правилам вежливости. Например, администратору веб-сайта, чтобы отвадить такие машины, достаточно внести свои страницы в список robots.txt. В Google имеется также сайт для веб-мастеров с несколькими опциями, позволяющими отгородиться от поисковой машины или отключить ее.

Однако такой подход имеет свои ограничения. Просьба не индексировать страницы, адресованная к веб-поисковику, не делает их недоступными для внешнего мира. А файл robots.txt поможет отвадить только воспитанные поисковые машины, тогда как перед злоумышленниками двери остаются широко открытыми. К тому же знак keep out в файле robots.txt может служить сигналом для хакеров, информирующим их о наличии ценной или конфиденциальной информации.

Аналитики отмечают, что возможность злонамеренного использования поисковых машин указывает на две проблемы. Первая — это разглашение незащищенной конфиденциальной информации, такой как пароли и номера кредитных карт. Вторая — использование поисковых машин для обнаружения веб-сайтов, на которые установлены программы с известными уязвимостями, такие как CGI (common gateway interface).

Хакеры лазейку найдут
Правда, аналитики признают, что у хакеров и без Google и его аналогов есть инструменты для прочесывания веба. Последние эпидемии интернет-червей вроде Code Red и Nimda доказали, что для автоматизированных хакерских поделок обнаружение уязвимых компьютеров не составляет труда. «У злоумышленников есть собственные механизмы поиска, которые обходят средства защиты от роботов и позволяют находить и конфиденциальные документы с паролями, и скрипты CGI с известными уязвимостями, и все остальное, — говорит Клаус из Internet Security Systems. — А файл robots.txt для них просто знак, который гласит, что раз роботам сюда нельзя, значит, здесь лежит что-то интересное... Суть проблемы в том, что инфраструктура всех этих веб-сайтов не защищена».

По словам веб-мастеров, проблема защиты от чересчур усердных роботов стоит довольно остро. «Еще до начала создания веб-сайта веб-мастер должен подумать, как ему защитить свои файлы, — пишет директор компании ByteHosting Internet Services Джеймс Рено (James Reno). —Большинство проблем, связанных с поисковыми машинами, решает стандартная защита Apache — они не могут ее взломать. Максимум, что нужно сделать, это воспользоваться стандартным сервисом HTTP/1.0 Basic Authentication и проверять пароли пользователя по базе данных MySQL».

Однако другие возлагают часть вины и на Google. «Проблема в том, что люди не сами пишут для себя ПО, — говорит Гэри Макграу (Gary McGraw), главный технолог компании Cigital, специализирующейся на управлении рисками, связанными с ПО, и автор новой книги о разработке защищенного ПО. — Парни из Google довольны: „Как хорошо, что мы можем предложить это нашим пользователям”. О безопасности при этом они не думают. По-настоящему же о ней нужно было думать с самого начала, твердо придерживаясь в процессе проектирования и разработки ПО правил, препятствующих его недобросовестному использованию». 

 Предыдущие публикации:

 В продолжение темы:

Обсуждение и комментарии

	Kosta 28 Nov 2001 12:01 PM
Замечательно, что google умеет искать во множестве форматов. То, что кто-то хранит в них секретну. информацию - проблемы исключительно хранящего. Не нравится - пусть убирает сам.