Сайт машина времени интернета: Internet Archive 25th Anniversary – Universal Access to All Knowledge

Содержание

как пользоваться, чем полезен [Инструкция]

Интернет в привычном для нас виде появился 36 лет назад — за это время он развивался семимильными шагами, а сайты тысячи раз меняли свой дизайн и контент. Web archive представляет собой своеобразную машину времени, которой может воспользоваться каждый пользователь.

Что такое Web Archive?

Это бесплатный сервис, где собраны истории многих интернет ресурсов — их архивные копии. Причем речь идет не о скриншотах, а о полноценных страницах с изображениями, рабочими ссылками и стилевым оформлением.

Получение информации о том или ином домене предполагает не только интересное времяпровождение с отслеживанием эволюции веб-проекта, но еще и возможность:

узнать тематику сайта — архив интернета демонстрирует содержимое, благодаря чему легко определить нишу проекта;
посмотреть, как выглядел сайт раньше — это находка для охотников за б/у доменами;
определить, регистрировался ли до этого анализируемый домен — полезный инструмент для тех, кому принципиальна «стерильность» домена или для того чтобы избежать санкций поисковиков;
восстановить свой сайт, если вы почему-то не сделали резервное копирование.
отыскать уникальный контент — трудоемкая задача, которая может подарить вам десятки бесплатных статей;
увидеть удаленный текст из закладок — шансы найти нужную страницу достаточно высоки.

История создания архива интернета

Wayback Machine является одним из двух главных проектов archive.org. Этот некоммерческий сервис был создан в 1996 году Брюстером Кейлом. Машина времени сайтов имеет четкую цель: сбор и хранение копий ресурсов вместе со всем контентом для возможности свободного просмотра несуществующих или неподдерживающихся страниц в будущем. С 1999-го робот стал фиксировать еще и аудио, видео, иллюстрации, программное обеспечение.

База современного архива собиралась в течение 20 лет, у нее не существует аналогов. Статистика впечатляет: на сегодняшний день в сервисе находится 279 миллиардов страниц, 11 миллионов книг и статей, 100 тысяч программ и миллион картинок.

А знаете ли вы? Веб-архив сайтов часто имеет проблемы на законодательном уровне из-за нарушения авторских прав. По требованию правообладателей библиотека удаляет материалы из публичного доступа.

Как пользоваться веб-архивом?

Сервис очень удобный в применении. Пошаговая инструкция такова:

Зайдите на главную страницу платформы.
Введите в поле название интересующего вас сайта и нажмите Enter (в нашем случае это https://livepage.pro).
Под указанным доменным именем демонстрируется основная информация: когда начинается история проекта, сколько слепков имеет сайт. В примере видно, что ресурс был впервые архивирован 30 сентября 2017 года, библиотека хранит его 43 архивные копии.
Дальше мы обращаем внимание на календарь — голубым цветом в нем отмечены даты создания слепков.Каждый из них доступен для просмотра: нужно лишь выбрать год, месяц и день сохранения. Мы хотим посмотреть, как выглядел сайт раньше: допустим, 3 февраля текущего года. Наводим курсор на голубой кружок и жмем на время сохранения. Проще не бывает!
При желании можно получить общие данные о web-проекте — надо нажать на кнопку Summary над хронологической таблицей и календарем или же ознакомиться с картой сайта (кнопка Site Map).

Алгоритм действий можно сократить. Для работы с сервисом напрямую, введите в строке своего браузера

http://web.archive.org/web/*/http://url.

В нашем случае это

http://web.archive.org/web/*/https://livepage.pro.

Как восстановить сайт из веб-архива?

Плохая новость для тех, кто планирует просто найти архив сайта и скачать его привычным способом: страницы имеют вид статических html-файлов, к тому же их слишком много для того, чтобы заниматься этим вручную. Решить проблему можно при помощи специальных программ, к примеру, приложения на ruby. Необходимо лишь установить все на сервер и запустить восстановление страниц.

Установите «Руби».

apt-get install ruby

Добавьте саму программу, необходимую для работы.

gem install wayback_machine_downloader

Запустите выкачивание сайта из web archive.

wayback_machine_downloader http://www.site.ru -timestamp 20131209110704

Для удобства можно указать отметку снапшота — утилита определит число страниц и выведет выкачиваемые файлы на консоль. После скачивания и сохранения мы получим набор статических данных.

Разместите файлы в выбранной папке. Подойдет rsync:

rsync -avh./websites/www.site.com/ /var/www/site.com/

Создайте конфигурацию в nginx и дождитесь обновления dns. На этом все!

Как восстановить сайт без бэкапа?

Вернуть ресурс из небытия можно даже без резервного копирования.

Как уже говорилось раньше, можно восстановить сайт из веб-архива https://archive.org. Чтобы получить все страницы, введите в специальное поле имя ресурса с добавлением /* (https://livepage.pro/*). Здесь же предусмотрена возможность фильтрации файлов по подстроке в URL. Для скачивания файлов подойдут многие программы, например, Teleport Pro.
Страницы интернет-проектов часто хранятся в кэше поисковых систем. По причине того что у каждого поисковика свои параметры, для лучшего эффекта промониторьте не только Google и Яндекс, но и Bing, Rambler:

http://www.google.ru/advanced_search
http://yandex.ru/search/advanced
http://www.bing.com/
http://nova.rambler.ru/srch/advanced

Войдите в режим расширенного поиска и укажите имя сайта. Получив результаты, кликайте по ссылкам «cached» или «копия».

Если вы отдаете полный RSS, тогда стоит проверить еще и ридеры, агрегаторы.

Учтите!

Нужный вам проект может и не входить в архив сайтов интернета. Если вы его не нашли в библиотеке — значит, правообладатель потребовал удаления копий или же ресурс закрыли в соответствии с законом о защите интеллектуальной собственности. Возможен и другой вариант: через файл robots.txt был банально внесен соответствующий запрет.

Как найти уникальный контент из веб-архива для вашего сайта?

Статьи, расположенные на заброшенных ресурсах, обычно не представляют никакой ценности для их бывших владельцев. А ведь в мир иной ежедневно уходят десятки сайтов. И среди кучи хлама, выброшенного на помойку истории, можно найти настоящие самородки — приличные тексты, которые достанутся вам бесплатно.

Поисковики хорошо относятся к любому актуальному и уникальному контенту — можно не бояться попасть в их немилость только из-за того, что статьи взяты из веб-архива чужого сайта.

Итак, последовательность действий следующая:

Найдите подходящие вам блоги. Для этого следует зайти на Reg.ru и скачать оттуда список недавно освободившихся доменов.
Посетите архив интернета с целью поиска сохраненных копий.
Проверьте понравившиеся тексты через антиплагиат (контент может быть уже скопирован на другие сайты).
Опубликуйте уникальные статьи на своем ресурсе.

При разумном подходе такой способ пополнения сайта контентом можно поставить на поток. Поиски материалов на мертвых блогах оправданы экономией времени на написание текстов и денег, которые бы вам пришлось заплатить авторам.

Как сделать так, чтобы сайт не попал в библиотеку веб-архива?

Если вы дорожите контентом и не хотите видеть свою онлайн-площадку в электронной библиотеке, пропишите запретную директиву в файле robots.txt:

User-agent: ia_archiver
Disallow: /

User-agent: ia_archiver-web.archive.org
Disallow: /

После изменения в настройках веб-сканер перестанет создавать архивные копии вашего сайта, к тому же удалит уже сделанные слепки. Однако учтите, что ваш запрет действует лишь до тех пор, пока доступен robots.txt — когда закончится срок регистрации доменного имени, машина времени сайтов станет демонстрировать статьи всем желающим.

Важно! Если вы, наоборот, желаете активно пользоваться веб-архивом, введите соответствующий запрос на главной странице сервиса. Просто укажите адрес проекта в разделе Save Page Now, после чего нажмите кнопку Save Page. Повторяйте процедуру после внесения любых правок.

Аналоги Webarchive

Альтернативой рассматриваемой в обзоре электронной библиотеке может стать:

Принцип работы тот же, как и у archive.org.

Найден способ сделать сайт в интернете полностью «неубиваемыми» и вечными

18 Сентября 2020 13:4018 Сен 2020 13:40

Провайдер услуг сетевой безопасности Cloudflare позволил клиентам в автоматическом режиме синхронизировать свои сайты с базой данных проекта «Архив интернета». Благодаря этому интернет-ресурсы, защищенные с помощью сервиса Cloudflare Always Online, будут в том или ином виде всегда доступны посетителям, невзирая на сбои систем хостинг-провайдеров.

Интеграция Cloudflare Always Online с Internet Archive

Американская некоммерческая организация Internet Archive («Архив интернета») и провайдер услуг сетевой безопасности Cloudflare нашли способ наладить непрерывную работу интернет-сайтов даже в случае полного отказа обеспечивающей их работу инфраструктуры. Об этом сообщило издание ZDNet.

Пользователи услуги Cloudflare Always Online смогут настроить автоматическую отправку имени хоста и адресов страниц своего сайта в Internet Archive для их последующей архивации. Последний, в свою очередь, обеспечит выдачу самой последней сохраненной копии сайта в ситуации, когда серверы владельца веб-ресурса окажутся недоступны. Таким образом, посетители сайта всегда будут иметь доступ к одной из последних его версий, несмотря на проблемы у хостинг-провайдера.

Важно отметить, что восстановленная копия «сложного» сайта, вероятнее всего, не будет полностью функциональной, поскольку в архив попадают только статические версии составляющих его страниц, то есть не подгружающие дополнительное содержимое при взаимодействии с ним пользователя.

«Машину времени» настроили работать на благо стабильности интернет-ресурсов

Internet Archive – это универсальная электронная библиотека, которая занимается сбором и хранением старых версий различных сайтов. На основе данных архива действует сервис «Машина времени» (Wayback Machine). Он позволяет увидеть, как в разное время выглядел тот или иной веб-ресурс, даже если он уже удален к моменту просмотра.

Cloudflare – это американская компания, предоставляющая услуги сети доставки содержимого (Content Delivery Network, CDN), защиту от DDoS-атак, безопасный доступ к ресурсам и серверы доменных имен (DNS).

Как работает Always Online

Always Online («Всегда онлайн») – это услуга, в рамках которой Cloudflare создает копии статических версий страниц сайта на тот случай, если отвечающий за его работу сервер по той или иной причине станет недоступен. В таком случае Cloudflare будет показывать посетителям ранее сохраненную на своих серверах копию сайта, а точнее его наиболее популярные страницы, до тех пор, пока сервер вновь не вернется к нормальной работе.

При отключенной опции интеграции с Internet Archive частота обновления кэша сайта может варьироваться от одного до семи дней, в зависимости выбранного владельцем плана. Включение функции позволит активировать дополнительный слой резервирования – синхронизация с Internet Archive будет производиться с периодичностью 5-30 дней.

История Internet Archive

Internet Archive был основан Брюстером Кейлом (Brewster Kahle) в Сан-Франциско в 1996 г. и до 1999 г. там хранились только копии веб-страниц, однако впоследствии были добавлены графические объекты, видео- и аудиоматериалы, ПО и т. д. Также сегодня Internet Archive располагает большой библиотекой публикаций и видеозаписей политического характера Political TV Ad Archive.

Композитный ИИ: что это такое и зачем он нужен?

Искусственный интеллект

Материалы хранятся в архиве длительное время, доступ к ним бесплатный. По состоянию на сентябрь 2020 г. в Internet Archive насчитывается 330 млрд копий различных веб-страниц. Число зарегистрированных пользователей сервиса превышает 10 млн человек. Его поддержкой занимается команда из 150 человек. Организация гарантирует посетителям сайта приватность и, в частности, не применяет механизмы отслеживания поведения пользователя и не собирает IP-адреса.

До 2001 г. собранные копии сайтов в Internet Archive не были доступны широкой аудитории, но ситуация изменилась после запуска Wayback Machine.

В ряде случаев Wayback Machine дает возможность просмотреть материалы, доступ к которым, например, был ограничен на исходном сайте каким-либо регулятором. Обычно Internet Archive удаляет такие материалы по требованию правообладателей или владельцев ресурса-источника. Однако в октябре 2014 г. ресурс не прислушался к требованию Роскомнадзора удалить ролик экстремистского содержания, за что был на некоторое время заблокирован на территории России.

В 2016 г. организация Internet Archive решила сделать копию содержимого своего архива в Канаде, опасаясь последствий избрания Дональда Трампа президентом США.

В августе 2019 г. CNews писал о новой угрозе блокировки Internet Archive – на этот раз со стороны Ассоциации по защите авторских прав в интернете (АЗАПИ). Причина – присутствие в контенте ресурса копий аудиокниг российских авторов Дмитрия Глуховского (вселенная «Метро 2033») и Дарьи Донцовой.

В июне 2020 г. четыре западных издателя подали в суд на «Архив интернета» в ответ на запуск им онлайн-библиотеки в помощь учащимся, лишенным доступа к обычным библиотекам из-за коронавируса.

Дмитрий Степанов

Webarchive — веб-архив всего интернета и сайтов или машина времени на archive.org

Обновлено 3 января 2021

Как можно использовать архив сайтов интернета?
Условия попадания сайта в archive.org
Как найти нужный веб-архив и восстановить из него сайт?
Как вытянуть из Webarchive уникальный контент?

Здравствуйте, уважаемые читатели блога KtoNaNovenkogo.ru. Не так давно я писал про то, что такое народная энциклопедия Википедия, которая безусловно заслуживает всяких лестных эпитетов, несмотря на присущие ей небольшие недостатки и критику ее статей со стороны научного сообщества.

Сам факт того, что некоммерческий проект уже не одно десятилетие трудится на благо всего интернет сообщества, заслуживает огромного уважения. Но в сети есть еще подобный масштабный проект, который не получая с этого дохода выполняет очень важную роль — сохраняет архивы сайтов, видео, аудио и печатной продукции.

Я говорю, конечно же, про web.archive.org — глобальный проект с казалось бы невыполнимой миссией — создание архива всех сайтов, когда либо размещенных в интернете. Причем, сайты сохраняются не в виде скриншотов, а в виде полноценно работающих веб-страниц со всеми ссылками, картинками и стилевым оформлением (CSS). Причем, для каждого сайта за время его существования в сети в этом архиве может накопиться и по несколько сотен копий, датированных разными этапами жизни ресурса.

Как можно использовать архив сайтов интернета

Чем же может быть полезен данный webarchive?

Ну, во-первых, вы можете погрузиться в приятную ностальгию путешествуя по вашему сайту многолетней давности. Проследить историю изменений можно будет для любого другого ресурса интернета (например, я брал скриншоты для статей про уже умерший Апорт именно из это вебархива, да и скриншоты, иллюстрирующие эволюцию главной страницы Яндекса, имеют тоже самое происхождение).
Но это не все. Если страница добавленного вами в закладки сайта не открывается, то вы, конечно же, можете попробовать вытащить ее из кеша Яндекса или Гугла (читайте подробнее про то, как лучше искать в Google). Но если ресурс недоступен уже очень давно, то такие мертвые ссылки нигде кроме archive.org открыть уже будет не возможно (правда, и там его может не оказаться по описанным чуть ниже причинам).
Так же, если вы по каким-либо форс-мажорным обстоятельствам не делали бэкап (резервное копирование) вашего сайта, то данный web archive будет единственной возможностью восстановить свой сайт. Имеется возможность очистить все ссылки от привязки к web.archive.org и сделать их прямыми именно для вашего ресурса (читайте об этом ниже).
Ну, и последнее, что приходит в голову — поиск уникального контента. Если вы не способны сами создавать уникальный контента для сайта (писать статьи), то здесь вы сможете ими разжиться, правда, усилия приложить все равно придется. Суть такова, что многие сайты умирают и становятся недоступны вместе с имеющимся на них контентом.
Отыскав такие ресурсы вы сможете вытащить тексты из интернет-архива и разместить их у себя, предварительно проверив их на уникальность. Таким образом вы не занимаетесь плагиатом и не нарушаете авторские права (копирайт), но искать в вебархиве многим может показаться очень уж трудоемкой задачей.

Онлайн сервис Webarchive ведет свою историю аж с 1996 года. Поставленная перед проектом задача казалась невыполнимой даже с учетом того, что сайтов на то время в интернете было значительно меньше, чем сейчас (на несколько порядков). По началу, сайты архивировались не очень часто, но со временем, повышая мощности хранилищ, Веб-архив стал делать все больше и больше слепков сайтов.

Сам себя этот веб архив занес в базу лишь в 1997 году и выглядела его главная страница тогда так:

Сейчас на все про все (включая аудио, видео и отсканированные книги) у этой некоммерческой организации задействовано дисковое пространство чудовищных размеров, измеряемое десяткой с пятнадцатью нулями байт. Сайт имеет зеркала в различных дата центрах, а сам проект с недавних пор получил официальный статус библиотеки. Если рассматривать только архив страниц сайтов, то их уже там насчитывается около ста миллиардов (тут учитываются все слепки страниц когда-либо снятые и сохраненные).

На главной странице доступен не только архив страниц интернета Wayback Machine, но и архивы различных кинохроник, телепередач, аудио записей и отсканированных в различных библиотеках книг:

Но нас интересует именно область WEB с логотипом Wayback Machine. В расположенную там форму можно ввести URL или доменное имя интересующего вас сайта (читайте про то, что такое домен и чем он отличается от URL), чтобы попасть на страницу с календарем:

Из приведенного примера видно, что мой блог был впервые архивирован 27 августа 2009 года (через пять дней после регистрации (покупки) домена ktonanovenkogo.ru). За прошедший интервал времени было создано 125 архивных копий сайта, каждую из которым можно будет посмотреть и потрогать руками (осуществляя переходы по внутренним ссылкам).

Открытие мертвых ссылок и условия попадания сайта в archive.org

В календаре голубыми кружочками отмечены даты, в которые был создан слепок (вебархив) данного сайта. Естественно, что моменты снятия слепка никак не будет коррелироваться с производимыми на вашем ресурсе изменениями, и их время Webarchive определяет строго исходя из своих внутренних алгоритмов и таймеров.

Поэтому использовать архив интернета, как инструмент для открытия временно недоступных сайтов, наверное, не всегда будет резонным. Для этого у Яндекса имеется возможность просмотра архивной копии документа:

Да, и в Google можно всегда посмотреть сохраненную копию веб-страницы:

Данный же онлайн сервис понадобится в особо тяжелых случаях, когда искомая страница уже не существует и вряд ли уже будет существовать в реальном интернете, но зато она по прежнему будет доступна в машине времени.

Правда, тут должно быть соблюдено несколько условий того, чтобы сайт попал в archive.org:

Он не должен содержать в своем файле robots.txt запрет для его индексации роботом с web.archive.org. Такой запрет, обычно выглядит так:
```
User-agent: ia_archiver
 Disallow: /
```
Когда я писал статью про электронную почту mail.ru, то не смог найти в Архиве Интернета сохраненных копий сайта mail.ru, т.к. его файл robots.txt содержал в себе похожий запрет:
Некоторые сайты Вебархив по каким-либо причинам банально не нашел. Вероятность попадания ресурса в базу повышается, если он будет добавлен в каталог Dmoz или же если на него будут проставлены ссылки с других популярных ресурсов, которые в Webarchive уже находятся. В общем то, даже простой запрос через форму на главной странице этого сервиса может послужить толчком к привлечению внимания этого архиватора к вашему ресурсу.

Как найти нужный веб-архив и восстановить сайт без бекапа

По архивам можно перемещаться и с помощью временной шкалы расположенной вверху страницы, где вертикальными черными черточками отмечены имеющиеся для этого сайта слепки. Иногда, веб-архивы могут быть битыми, тогда придется открыть ближайший к нему слепок.

Щелкнув по голубому кружочку мы можем увидеть ссылки на несколько архивов, отличающихся временем их снятия.

Возможно, что это делается во избежании потери данных за счет неизбежной порчи жестких дисков в хранилищах. Перейдя к просмотру одного из веб-архивов, вы увидите копию своего (в данном примере моего) сайта с работающими внутренними ссылками и подключенным стилевым оформлением. Правда, не идеально работающим.

Например, кое-что из дизайна у меня все же перекосило и боковое меню работающее на ДжаваСкрипте полностью исчезло:

Но это не столь важно, ибо в исходном коде страницы с web.archive.org это меню, естественно, присутствует. Однако, просто так скопировать текст этой страницы к себе на сайт взамен утерянной не получится. Почему? Да потому что путешествие внутри сайта из прошлого будет возможно лишь в случае замены всех внутренних ссылок на те, что генерит Webarchive (в противном случае вас перебросило бы на современную версию ресурса).

Выглядят эти ссылки примерно так:

http://web.archive.org/web/20111013120145/https://ktonanovenkogo.ru/seo/search/samostoyatelnoe-prodvizhenie-sajta-kak-prodvigat-samomu-vnutrennej-optimizaciej.html

Понятно, что можно будет вручную отсечь вступительную часть ссылок (http://web.archive.org/web/20111013120145/), получив таким образом рабочий вариант. Можно этот процесс даже автоматизировать с помощью инструмента поиска и замены редактора Notepad, но еще проще будет воспользоваться встроенной в этот сервис возможностью замены внутренних ссылок на оригинальные.

Для этого копируете адрес страницы с нужным слепком вашего сайта (из адресной строки браузера — начинается с http://web.archive.org/). Он будет иметь примерно такой вид:

http://web.archive.org/web/20111013120145/https://ktonanovenkogo.ru/

И вставляете в него конструкцию «id_» в конце даты (20111013120145), чтобы получилось так:

http://web.archive.org/web/20111013120145id_/https://ktonanovenkogo.ru/

Теперь измененный адрес обратно возвращаете в адресную строку браузера и жмете на Enter. После этого страница c архивом вашего сайта обновится и все внутренние ссылки станут прямыми. Можно будет копировать текст статьи из исходного кода вебархива.

Понятно, что восстановление таким образом огромного сайта займет чудовищное количество времени, но когда другого варианта нет, то и такой покажется манной небесной. К тому же, страдают невозвратной потерей контента обычно только начинающие вебмастера, у которых этого самого контента было мало, а более-менее опытные сайтовладельцы, уж не раз обжигавшиеся на подобных вещах, делают бэкапы файлов и базы по пять раз на дню.

Если вы захотите увидеть все страницы вашего (или чужого) сайта, которые содержатся в недрах этого мастодонта, то вам нужно будет вставить в адресную строку браузера следующий адрес и нажать Enter:

http://wayback.archive.org/web/*/ktonanovenkogo.ru*

Вместо моего домена можно использовать свой. На открывшейся странице вы получите возможность наложить фильтр в предназначенной для этого форме:

Например, я захотел увидеть лишь текстовые файлы своего блога, которые заглотил Web Archive. Зачем — не знаю, но захотел.

Как вытянуть из Webarchive уникальный контент для сайта

Описанный ниже способ лично я не использовал, но чисто теоретически все должно работать. Саму идею я почерпнул на этом молодом ресурсе, где и были описаны все шаги. Принцип метода состоит в том, что каждый день умирают и никогда не возрождаются десятки сайтов.

Причин этому может быть много и большинство из почивших в бозе ресурсов никакой особой ценности в плане контента никогда и не представляли. Но из всякого правила бывают исключения и нужно будет всего-навсего отделить зерна от плевел. Главное чтобы исчезнувшие сайты с более-менее удобоваримым контентом были бы представлены в Web Archive, хотя бы одной копией.

Т.к. после смерти контент этих сайтов постепенно выпадет из индекса поисковых систем, то взяв его из интернет-архива вы, по идее, станете его законным владельцем и первоисточником для поисковых систем. Замечательно, если будет именно так (есть вариант, что еще при жизни ресурса его нещадно могли откопипастить). Но кроме проблемы уникальности текстов, существует проблема их отыскания.

Во-первых, нам нужен список сайтов, которые скоро умрут или уже померли. Автор метода предлагает скачать с сайта регистратора доменных имен Nic.ru список освобождающихся или уже освободившихся доменов.

Что примечательно, в последней колонке этого списка (его можно открыть в Excel) будет отображаться количество архивов, созданных для каждого сайта в Web Archive (правда, проверить наличие домена в веб-архиве можно и в ряде онлайн сервисов).

Список буржуйских доменных имен, освобождающихся или уже освободившихся, предлагается скачать по этой ссылке. Ну, а дальше просматриваем содержимое сайтов, которое сохранил Web Archive и пытаемся найти что-то стоящее. Потом проверяем уникальность этих материалов (ссылку приводил чуть выше) и в случае удачи публикуем их на своем ресурсе, либо продаем в какой-нибудь бирже контента.

Да, способ муторный и мною лично не проверенный. Но, думаю, что при некоторой степени автоматизации и обмозговывания он может давать неплохой выхлоп. Наверное, кто-нибудь уже это поставил на поток. А вы как думаете?

Удачи вам! До скорых встреч на страницах блога KtoNaNovenkogo.ru

Архив сайтов Internet Archive Wayback Machine. Интернет-разведка [Руководство к действию]

Что такое Веб-архив (Web Archive) и как его использовать

Веб-архив сайтов — это сервис, который собирает и хранит копии сайтов. Это своего рода машина времени интернета, которая позволяет отследить развитие веб-ресурса с начала его создания, просмотреть уже несуществующий сайт, а также восстановить его даже при отсутствии резервной копии.

В этой статье вы найдете обзор базовых возможностей веб-архива сайтов и детальные инструкции по использованию сервиса.

Что такое Web Archive и зачем он нужен

Архив интернета — это некоммерческая библиотека книг, программного обеспечения, сайтов, аудио- и видеозаписей. Наиболее популярным проектом — Wayback Machine, также известный как веб-архив сайтов.

Это бесплатный сервис, где собраны архивные копии веб-ресурсов за разные даты. Копии появляются при сохранении вручную, а также когда веб-краулеры посещают сайт.

Веб-краулер, он же паук или бот — это программа, которая посещает сайты, оценивает содержимое, а затем переносит их в базу поисковых систем или веб-архива, как в нашем случае.

С помощью интернет-архива можно узнать, как выглядел сайт раньше: месяц или несколько лет назад.

Копия сайта hostiq.ua в Wayback Machine за 24 февраля 2018

Именно это и было изначальной целью проекта. Однако за последнее время функций у машины времени сайтов стало больше.

Веб-архив сайтов используют, чтобы:

просмотреть, как сайт выглядел раньше;
восстановить сайт, даже если у вас нет резервной копии;
проанализировать изменения ресурса в определенный период;
найти уникальную информацию, которую удалили;
проверить репутацию доменного имени перед регистрацией — если ранее его использовали для размещения сомнительного контента, могут возникнуть трудности и сейчас.

Как пользоваться веб-архивом

Интерфейс веб-архива сайтов интуитивный в использовании.

Перейдите на страницу машины времени сайтов, укажите URL-адрес и нажмите «BROWSE HISTORY»:

Как найти веб-страницу в Wayback Machine

По умолчанию веб-архив подгружает секцию «Calendar», где можно посмотреть старые версии нужного сайта:

Секция «Calendar» в Wayback Machine

После обработки запроса вы сразу же увидите общую информацию о веб-странице: количество сгенерированных архивов и шкалу времени, начиная с первой копии по текущий момент:

Общая информация о веб-странице в Wayback Machine

Выберите год на шкале времени. Ниже вы увидите календарь, где цветными маркерами обозначены даты, когда веб-краулеры интернет-архива сканировали страницу:

Календарь копий веб-ресурса в Wayback Machine

Маркеры отмечены одним из четырех цветов:

Синий значит, что веб-краулер получил в ответ код со статусом 200 OK, то есть сайт стабильно работал.
Зеленый соответствует коду 3хх — в тот момент создания копии на сайте был настроен редирект.
Оранжевый и красный цвета значат, что веб-ресурс был недоступен, и веб-краулер получил код ошибки 4хх и 5хх.

Диаметр круга зависит от количества обращений робота веб-архива к странице в этот день. Чем больше круг, тем больше копий за этот день создал веб-краулер.

Попробуйте хостинг с кучей плюшек: автоустановщиком 330 движков, конструктором сайтов и теплой поддержкой 24/7!

Выбрав дату, наведите курсор на нее и нажмите на время сохранения:

Время сохранения копии веб-ресурса в Wayback Machine

Вы увидите желаемую версию веб-страницы.

Бывают ситуации, когда в интернет-архиве нет старых версий ресурса: правообладатель потребовал удалить принадлежащий ему контент или сайт закрыт из-за нарушения закона о защите интеллектуальной собственности. Дополнительно, на сайте могут быть настройки, которые ограничивают работу веб-краулеров. Таким образом, боты его не сканируют.

Иногда нужный ресурс доступен, но в копии нет картинок или части контента. Это происходит, если сайт был не полностью заархивирован Wayback Machine. В таком случае попробуйте открыть версию сайта за другой день.

Дополнительную информацию о сайте можно найти в секциях «Summary» и «Site Map»:

Секции «Summary» и «Site Map» в Wayback Machine

В секции «Summary» собрана статистика по типу файлов, например HTML, CSS, PNG, на вашем сайте.

Функционал секции «Site Map» группирует все архивы нужного ресурса по годам, а затем строит визуальную карту сайта — радиальную диаграмму. Центральный круг — это «корень» сайта, его главная страница. Следующие кольца — остальные страницы. При наведении курсора на кольца и ячейки обратите внимание, что URL-адреса вверху меняются. Вы можете выбрать страницу, чтобы перейти к архиву этого URL-адреса.

Чтобы выявить и отобразить изменения в содержимом архивов, используйте секцию «Changes»:

Секция «Changes» в Wayback Machine

Выберите две даты и нажмите кнопку «Compare»:

Как сравнить две версии веб-страницы в Wayback Machine

На новой странице появятся две версии сайта. Удаленный контент окрашен в желтый цвет. Синий указывает на добавление содержимого.

Как сохранить текущую версию сайта в веб-архиве

Копии сайтов попадают в веб-архив благодаря веб-краулерам, которые их сканируют. Однако это не единственный способ. Просканировать сайт можно самостоятельно.

Чтобы создать копию одного URL-адреса, найдите опцию «Save page now» на главной странице Wayback Machine, введите ссылку и нажмите «Save page»:

Как сохранить текущую версию веб-ресурса в Wayback Machine

Таким образом, в веб-архив сайтов добавится текущая версия заданного URL-адреса.

Повторяйте это действие перед важными изменениями на сайте и после них. В случае поломки или утери данных вы всегда сможете восстановить сайт через веб-архив.

Создавать копию всего сайта постранично трудоемко. Интернет-архив предоставляет платный сервис, который архивирует сайт в несколько кликов — Archive It.

Статья по теме:

Как запретить добавление сайта в веб-архив

Запретите добавление веб-ресурса в Wayback Machine, если вы:

дорожите уникальностью контента и не хотите, чтобы его использовали даже после удаления сайта;
планируете продать доменное имя и не хотите, чтобы ваш контент ассоциировался с новым владельцем;
хотите удалить личную информацию из открытого доступа.

Запретить добавление сайта в архив интернета можно двумя способами:

обратиться в поддержку веб-архива;
использовать файл robots.txt.

Если вы обратитесь в поддержку, вся существующая информация о сайте будет удалена из архива интернета. Дополнительно, веб-краулеры не будут сканировать сайт в будущем.

Чтобы запросить полное удаление вашего сайта из веб-архива, напишите на адрес [email protected], указав доменное имя в тексте сообщения.

Файл robots.txt позволяет лишь заблокировать доступ для веб-краулеров. После этого они не будут сканировать сайт, и информация о нем не попадет в архив интернета. Но весь предыдущий материал будет доступен в Wayback Machine. То есть пользователи смогут посмотреть, как сайт выглядел раньше.

Для запрета доступа добавьте в файл robots.txt директиву:

User-agent: ia_archiver Disallow: /

User-agent: ia_archiver-web.archive.org Disallow: /

Важно, чтобы файл robots.txt был в корневом каталоге для вашего домена.

Также веб-краулеры не посещают сайты, которые защищены паролем.

Как восстановить сайт из веб-архива

Если сайт был утерян или взломан, а резервной копии нет, попробуйте восстановить контент с Wayback Machine. Вот несколько вариантов, как это можно сделать:

скопировать контент вручную;
скопировать контент с помощью скрипта;
обратиться к сторонним службам.

Первый способ лучше использовать, если вам нужна копия всего одной или нескольких страниц. Второй и третий подойдет тем, кто хочет скопировать контент всего сайта.

Пробуйте надежный хостинг с автоматическими бэкапами и аптаймом 99,5%!
Наша теплая поддержка на связи 24/7

Скопируйте контент вручную

У веб-архива сайтов нет услуг по хранению резервных копий и восстановлению работы веб-ресурсов. Потому встроенного функционала, который позволит в несколько кликов получить архив всего сайта, нет. Однако вы можете вручную скопировать текст и код страниц, а также сохранить картинки.

Чтобы скопировать код страницы, перейдите на нее в Wayback Machine, кликните правой кнопкой мыши и выберите «View page source». Скопируйте код и вставьте его в текстовый редактор, где вы можете сохранить его как HTML-файл.

Скопируйте контент с помощью скрипта

Восстановление каждой отдельной HTML-страницы проекта слишком трудоемко, поэтому вы можете использовать специальные скрипты. Они позволяют извлечь все содержимое сайта за один раз.

Некоторые из наиболее популярных вариантов:

Обратитесь к сторонним службам

Существует множество сторонних служб, которые помогают с восстановлением сайта из веб-архива. Цены за услуги будут отличаться в зависимости от объема сайта.

Однако большинство служб дают протестировать их работу бесплатно.

Перечень служб, которые могут помочь с восстановлением сайта:

Что запомнить о веб-архиве

Интернет-архив сайтов — бесплатный проект, цель которого сохранить весь размещенный в интернете контент.
Наиболее популярный инструмент проекта — Wayback Machine. Это своеобразная машина времени, которая позволяет посмотреть, как сайт выглядел раньше.
Веб-архив полезен для анализа сайтов, отслеживания изменений и составления статистики, проверки доменов перед покупкой.
Веб-архив — это запасной вариант по восстановлению сайта при отсутствии резервной копии.

Надеемся, что эта информация и практические советы по использованию архива интернета были полезны для вас. Пишите в комментариях, работали ли вы с веб-архивом сайтов или его аналогами.

Нужен сайт?
Сделать сайт самому для бизнеса или хобби с нашими готовыми решениями легко как раз-два-три. Бесплатный тест 30 дней!

Как работать с WebArchive: инструкция

Интернет появился около 37 лет назад, за этот период он все время менялся — что-то совершенствовалось, что-то убиралось, а что-то наоборот появлялось. Сайты постоянно меняли оформление, контент, кнопки и т.д. Для того, чтобы отследить эти изменения в целом или же какой-то конкретной нише, просмотреть сайт конкурентов, который уже не ведется или просмотреть историю интересующего вас сайта/домена — существует Web Archive.

Что такое Web Archive

WebArchive — бесплатный сервис, так называемая машина времени, которая ориентирована исключительно на сайты. Данный сервис хранит архивные данные с историей каждого ресурса, которые включают в себя целые страницы с контентом, заголовками, ссылками, изображениями и т.д.

Отслеживание истории домена необходимо не только в целях интересного времяпровождения, но и позволит вам узнать необходимую для продвижения вашего сайта информацию, такую как:

Возраст домена, здесь мы уже описывали зачем вам нужны эти данные;
Тематичность домена — WebArchive позволит вам узнать, не менялась ли тематика данного домена за время его существования, а если менялась, то когда и на какую;
Увидеть, как сайт выглядел раньше — такая информация будет полезна при покупке б/у доменов;
Просмотреть удаленный контент на сайте;
Проверить домен на “чистоту” перед покупкой;
Восстановить сайт, если до этого вы не сделали резервную копию;
Отыскать уникальный контент с ресурсов в необходимой для вас нише.

Машина времени сайтов (англ. Wayback Machine) — один из главных проектов archive.org. Данный сервис не является коммерческим и был создан в 1996 году американским программистом Брюстером Кейлом. Архив сайтов имеет четкую цель — искать и собирать копии ресурсов вместе с изображениями, ссылками и контентом для дальнейшей возможности свободного просматривания информации любыми пользователями.

База web archive собиралась на протяжении 20 лет, в ней находится 280 миллиардов страницы, 12 миллионов статей и книг, миллион картинок, а также 100 тысяч программ.

Как пользоваться WebArchive

Сервис крайне прост и удобен в использовании. Приведем пошаговую инструкцию:

1. Заходим на главную страницу сайта — https://web.archive.org/

2. Введите в поиск интересующий вас сайт или же ключевое слово в нужном вам нише и нажмите Enter(подойдет для тех, кто хочет просмотреть все сайты, которые подходят для введенного КС)

3. Появится информация о ресурсе: сколько было сделано резервных копий сайта и с какой даты хранится информация о данном сайте

4. Внизу также будет календарь с отметками по годам, вы можете выбрать интересующий вас год

После этого на календаре голубым цветом будут выделены отметки, которые указывают на создание копий, вы можете выбрать любую из этих отметок.

5. После выбора отметки вас перебросит на копию сайта в выбранную вами дату. Например, вот так выглядел ресурс Liveinternet 27 марта 2012 года

6. Также вы можете получить общие статистические данные о нужном вам проекте. Для этого под строкой ввода нужно нажать Summary of

7. Еще вы можете ознакомиться с картой сайта, для этого необходимо нажать на кнопку Site Map под строкой ввода сайта

Алгоритм действий прост, а работа с сайтом не займет более 10-ти минут.

Как исключить свой сайт из WebArchive

Если вы по определенным причинам не хотите, чтобы ваш сайт попал в веб архив, то можно прописать запретную директиву в robots.txt вашего сайта, она должна выглядеть так:

User-agent: ia_archiver

Disallow: /

User-agent: ia_archiver-web.archive.org

Disallow: /

После изменений в robots.txt машина времени перестанет делать резервные копии на ваш сайт, а уже имеющиеся сохранения будут удалены. Однако не забывайте, что данные изменения работают только тогда, когда есть доступ к robots.txt вашего сайта и если вы не будете продлевать использование вашего домена, то все изменения будут аннулированы и ваш сайт снова появится на WebArchive для просмотра всех желающих.

Что такое Web Archive и как им пользоваться

Что такое Web Archive

В 1996 году американский предприниматель и активист Брюстер Кейл основал некоммерческую организацию Internet Archive («Архив интернета»). С тех пор она создаёт и хранит копии сайтов, а также книг, изображений и другого контента, который публикуется на открытых ресурсах Сети. Таким образом учредитель намерен сберечь международное культурное наследие.

Архив пополняют боты, сканирующие веб. Им помогают сотрудники и партнёры организации, среди которых множество библиотек и университетов. Кроме того, любой пользователь может загружать контент на серверы через официальный сайт организации. Содержимое архива доступно здесь же — бесплатно и для всех желающих.

Web Archive, также известный как Wayback Machine («Машина времени»), — это один из разделов на сайте Internet Archive. Здесь можно добавить новые или просмотреть уже загруженные копии веб-страниц.

Боты периодически обновляют данные. Но каждая очередная копия страницы не перезаписывает предыдущую, а сохраняется отдельно с указанием даты добавления. Поэтому с помощью Internet Archive можно посмотреть, как со временем менялись дизайн и наполнение выбранного сайта.

Копия сайта Google, созданная 3 декабря 2000 года

Более того, сохранённые копии остаются доступными, даже если оригинал исчезает из Сети. По этой причине Web Archive часто используют, чтобы просмотреть опубликованную информацию, которую пытаются стереть, или получить доступ к старым и уже неработающим сайтам.

С сервисом можно работать через сайт и официальное приложение Wayback Machine для iOS и Android.

Сейчас читают 🔥

Как посмотреть архивные копии страницы в Web Archive

Откройте сайт Web Archive или приложение сервиса. Если используете последнее, сразу после запуска создайте аккаунт.

Вставьте ссылку на нужную страницу и нажмите Enter (на сайте) или Overview of All Archives (в приложении).

Пролистайте календарь, чтобы найти подходящие копии. Дни, в которые бот создавал дубликаты страницы, отмечены кружками.

Нажмите на подходящую дату, чтобы просмотреть архивную копию.

Сайт также позволяет сравнивать две копии. Для этого на странице с календарём нажмите Changes, отметьте две даты и кликните Compare.

В результате Web Archive отобразит копии рядом и выделит несовпадения.

Как удалить копии ваших страниц из Web Archive или запретить их добавление

Если вы не желаете, чтобы копии вашего ресурса были в архиве, сообщите об этом администрации Internet Archive. Согласно официальной справке, для этого нужно отправить письмо на ящик [email protected], указав ссылку на свой сайт.

Скорее всего, вас попросят доказать факт владения ресурсом и объяснить причину удаления или запрета на добавление в архив. И да, писать лучше на английском.

Как добавить копию страницы в Web Archive

Чтобы не дожидаться, пока бот найдёт и сохранит нужную вам страницу, можете добавить её вручную.

Если используете сайт, перейдите в специальный подраздел. Вставьте ссылку на сохраняемую страницу и нажмите Save Page. Отметьте пункт Save error pages, если хотите, чтобы система архивировала в том числе страницы, которые не открываются из-за ошибок.

Если используете приложение, вставьте ссылку на нужную страницу и нажмите Archive Page Now.

Для быстрого добавления страниц можно также использовать расширения для десктопных браузеров. После установки достаточно открыть в браузере нужную ссылку, нажать на кнопку плагина и выбрать Save Page Now.

7 ЛУЧШАЯ альтернатива Wayback Machine (веб-сайт интернет-архива)

Wayback Machine архивирует информацию, доступную в WWW (World Wide Web). Он широко используется исследователями и историками для сохранения цифровых артефактов. Однако у Wayback Machine есть некоторые ограничения, например, она очень медленная и не отвечает на многих сканируемых веб-сайтах.

Вот тщательно подобранный список лучших приложений, способных заменить Wayback Machine. Список содержит как программное обеспечение с открытым исходным кодом (бесплатное), так и коммерческое (платное).

Лучшие сайты, такие как Wayback Machine (сайты веб-архивов)

1) Визуализация

Visualping — это ведущий инструмент обнаружения изменений веб-сайтов, который представляет собой отличную альтернативу веб-сайтам архивов в Интернете.

Характеристики:

Этот инструмент отправляет вам по электронной почте уведомления об изменениях на страницах, которые вы отслеживаете.
Вы будете первым, кто узнает, когда товары появятся на складе, цены упадут или появятся билеты на мероприятия.Вы также можете использовать его для мониторинга веб-сайта вашего конкурента или профилей в социальных сетях.
Это программное обеспечение очень интуитивно понятное и простое в использовании.
Введите URL-адрес, который вы хотите отслеживать, выберите интересующую область, частоту проверок и свой адрес электронной почты.
Используйте расширенные настройки для персонализации поиска.

2) Archive.fo

Archive.fo — это онлайн-инструмент, который поможет вам создать копию веб-страницы. Эта копия останется в сети, даже если исходная страница будет удалена.

Характеристики:

Это приложение сохраняет текст и графическую копию страницы для большей точности.
Это одна из лучших альтернатив Wayback Machine, которая дает короткую ссылку на неизменяемую запись любой веб-страницы.
Этот инструмент позволяет отслеживать изменения на веб-сайте, содержащем предложения о работе, прайс-лист, сообщение в блоге, список объектов недвижимости и т. Д.
Сохраненные страницы не содержат вредоносных программ и всплывающих окон.

Ссылка: https: // архив.fo /

3) Perma.cc

Perma.cc — это приложение для веб-архивирования, разработанное и поддерживаемое библиотекой Гарвардской школы права. Это помогает вам создавать постоянные записи о веб-сайтах.

Характеристики:

Вы можете удалить ссылки в течение 24 часов после создания.
Это помогает вам просматривать архивные записи через ссылку Perma.cc
URL-адресов могут быть вставлены через блог или бумажные статьи.
Эта альтернатива Wayback Machine позволяет вам создать Parma, который посещает веб-сайт, и записывать содержимое этого веб-сайта.
Если сохранение не удалось, это приложение предложит вам варианты загрузки PDF-файла или изображения.
Физические лица могут получить доступ к постоянным ссылкам через многоуровневую подписку.
Вы можете назначить пользователей в любую организацию, просто отправив адрес электронной почты пользователя в эту облачную программу.

Ссылка: https://perma.cc

4) Заморозка страниц

PageFreezer — это сервис SaaS, который обеспечивает архивирование блогов, веб-сайтов и социальных сетей.Он помогает фирмам и предприятиям, предоставляющим финансовые услуги, записывать онлайн-разговоры, обеспечивает отслеживание рисков.

Характеристики:

Это онлайн-приложение проверяет подлинность и целостность ваших записей.
Эта альтернатива Wayback Machine может собирать динамический веб-контент в реальном времени.
PageFreezer может захватывать внутренние социальные сети.
Он может записывать разговоры в корпоративном чате и отслеживать активность на предмет потенциальных рисков.
Вы можете архивировать SMS или текстовые сообщения.
Помогает собирать онлайн-контент и управлять им.
Вы можете получить доступ к прошлой сети по запросу.

Ссылка: https://www.pagefreezer.com

5) Действие

Приложение

Actiance помогает организациям записывать и архивировать электронные сообщения. Это один из таких сайтов, как Wayback Machine, который поддерживает более 80 каналов.

Характеристики:

Захват всех необходимых сообщений.
Вы можете выявлять риски и управлять ими, а также извлекать выгоду из своих данных для бизнеса.
Он позволяет создавать, упаковывать и доставлять контент по запросу.
Это облачное приложение предоставляет аналитическую панель инструментов для лучшей визуализации данных.
Это один из лучших архивных веб-сайтов, который включает как расширенный, так и близкий поиск по всем каналам.
Он предлагает исчерпывающую и настраиваемую отчетность.

Ссылка: https: // www.smarsh.com

6) Стиллио

Stillio — это инструмент, который автоматически делает снимки веб-сайтов, архивирует и делится ими с другими пользователями. Вы можете управлять историей своего сайта и сэкономить много времени.

Характеристики:

Вы можете установить частоту скриншотов в соответствии с вашей индивидуальной продолжительностью
Вы можете добавить сразу несколько URL.
Вы можете сохранить снимок экрана в Dropbox.
Он поддерживает совместное использование URL.
Это один из лучших сайтов веб-архивов, который позволяет фильтровать URL-адреса по домену.
Вы можете использовать собственные заголовки, чтобы все было организовано.

Машина времени веб-сайта

Stillio помогает сделать снимок экрана с географическим местоположением веб-сайта, указав его IP-адрес.
Вы можете скрыть нежелательные элементы, такие как оверлеи, баннеры или всплывающие окна файлов cookie.

Ссылка: https://www.stillio.com

7) Веб-архив Великобритании

UK Web Archive ежегодно собирает сведения о многочисленных сайтах и сохраняет их на будущее.Это один из лучших сайтов веб-архивов, посвященный теме, событию или интересующим областям, а также социальным сетям для архивирования.

Характеристики:

Вы можете использовать этот веб-сайт для поиска в веб-архивах Великобритании.
Это позволяет вам открывать для себя веб-сайт по различным темам и темам.
Это приложение собирает изображения, видео, HTML-страницы, PDF-файлы и т. Д.
Это один из лучших Интернет-архивов, который выполняет автоматизированный сбор информации о британских веб-сайтах за один год.

Ссылка: https://www.webarchive.org.uk/ukwa/

8) Memento Time Travel

Memento time travel поможет вам искать и просматривать версии веб-страниц, которые существовали в прошлом. Это один из лучших архивов веб-сайтов, который поддерживает поиск сувениров в веб-архивах.

Характеристики:

Проверяет весь спектр серверов для поиска веб-страниц.
Этот веб-сайт отображает компоненты веб-страницы в зависимости от запрошенного вами времени.
Самоархивирует содержимое веб-сервера.
Он ориентирован на различные компоненты, такие как HTML, таблицы стилей, изображения и т. Д.
Распределение архивных данных DateTime можно увидеть на временной шкале.
Эта машина времени в Интернете предоставляет гистограмму, показывающую проверенные и отсутствующие компоненты.

Ссылка: http://timetravel.mementoweb.org/

FAQ

❓ Что такое Wayback Machine?

Wayback Machine — это служба, которая архивирует информацию, доступную в WWW (World Wide Web).Это позволяет пользователям увидеть, как раньше выглядели веб-сайты. Многие исследователи и историки широко используют его для сохранения цифровых артефактов. Однако у Wayback Machine есть некоторые ограничения, например, он очень медленный и не отвечает на многие сканируемые веб-сайты.

🏅 Как пользоваться Wayback Machine?

Чтобы использовать Wayback Machine для просмотра архива веб-сайта, выполните следующие действия:

Шаг 1) Откройте эту ссылку в веб-браузере
Шаг 2) Введите URL-адрес сайта, который вы хотите сохранить, в поле «Введите URL-адрес или слова, относящиеся к домашней странице сайта».
Шаг 3) Нажмите кнопку «Enter»
Шаг 4) Выберите год на гистограмме
Шаг 5) Выберите дату
Шаг 6) Просмотрите различные архивные версии сайта

❗ Какие сайты самые лучшие, такие как Wayback Machine?

Ниже приведены некоторые из лучших сайтов, таких как Wayback machine:

архив.сегодня
Perma.cc
Заморозка страниц
Акция
Stillio
Веб-архив Великобритании
Памятник о путешествии во времени

Альтернативы машинам с обратным ходом 10 — Цифровой траулер

Интернет — обширное и сложное место. Средняя продолжительность жизни веб-страницы составляет около 100 дней до ее редактирования или удаления (1). Чтобы идти в ногу со временем, ваш сайт должен постоянно развиваться. Хороший способ продвинуться вперед — изучить успешные страницы, которые были до вас.WayBack Machine — это платформа, которая делает возможным доступ к архивной веб-информации, однако в зависимости от ваших целей вы можете рассмотреть более эффективные альтернативы. Ниже мы рассмотрим преимущества использования альтернатив WayBack Machine.

Содержание

Что такое машина WayBack?
Список альтернатив
- Time Travel
- Archive.today
- Stillio
- Page Freezer
- Alexa
- WebCite
- Perma.cc
- Активность
- Кэшированный вид
- Восстановить страницы
Заключение
Ресурсы

Что такое WayBack Machine?

WayBack Machine работает как интернет-архив. Это онлайн-платформа, которая позволяет пользователям получать доступ к контенту, который был опубликован в сети и больше не доступен. Люди обычно обращаются к WayBack Machine с целью изучения конкурирующих бизнес-методов и стратегий.Если вы создаете новый веб-сайт и хотите исследовать популярные веб-сайты прошлого для дизайна, навигации и эстетического вдохновения, WayBack Machine — очень полезный инструмент. Знание того, что сработало для другого бизнеса, тоже может помочь вам!

WayBack Machine дает представление об истории веб-сайтов, способах их создания и их функциях. Проще говоря, это архив истории веб-сайтов. Благодаря WayBack Machine люди могут получить доступ к контенту, который был изменен или удален с исходного сайта.

Использование единого веб-сайта для доступа к истории Интернета с 1996 года — сомнительное решение. Вот почему мы рассмотрим плюсы и минусы 10 лучших альтернатив WayBack Machine в этой статье, чтобы найти наиболее подходящую для ваших целей. Если WayBack Machine не работает, вам нужна альтернатива, готовая к принятию важных решений. Помимо этого, некоторые из альтернатив предлагают различные возможности, которые могут помочь вам по-разному. Давайте рассмотрим особенности, цены, преимущества и недостатки альтернатив.

Список альтернатив

Time Travel — отличная альтернатива WayBack Machine, поскольку она бесплатна и проста в использовании. Как следует из названия, этот инструмент позволяет вам путешествовать во времени, чтобы посетить веб-сайт в определенный момент времени. Этот инструмент построен с использованием API archive.today, который мы рассмотрим более подробно позже. Преимущество этого заключается в том, что он позволяет пользователю выбирать из любого веб-архива, а это означает, что ваши предпочтения будут учтены.

Различия между WayBack Machine и Time Travel очень важны.Time Travel позволяет пользователям посещать веб-страницы со сложной визуализацией. Это означает, что вы можете посещать заархивированные сайты, на которых есть другие вещи, кроме текста, изображений и таблиц стилей. Time Travel — отличная простая альтернатива WayBack Machine, если вы хотите посетить предыдущие версии сайтов.

Подобно WayBack Machine и Time Travel, Archive.today — это бесплатный онлайн-инструмент со сложной базой данных и системой индексации. Его популярность выросла из-за его доступности и простых в навигации функций.Он имеет функцию закладок, которая позволяет пользователям легко переходить на страницу и делать снимки экрана. Archive.today хранит скриншоты популярных веб-страниц и позволяет пользователям получать доступ к одной странице за раз, если она не превышает 50 МБ. Эти повторяющиеся страницы остаются в сети независимо от того, удалены ли оригиналы. В Archive.today есть поисковик URL, аналогичный WayBack Machine, но он работает как на Google, так и на Яндексе, а это означает, что если Google не возвращает результат поиска, он автоматически переключается на Яндекс.

Преимущество использования Archive.today перед WayBack Machine заключается в том, что он может поддерживать сайты, которые в значительной степени полагаются на Javascript, визуальные эффекты и даже приложения социальных сетей, такие как Twitter. Это огромное преимущество использования этой платформы, поскольку она позволяет пользователям иметь всю необходимую информацию практически на любом веб-сайте, который они хотят. Еще одним преимуществом этой платформы является то, что она хранит две копии каждой страницы: одну статическую и одну, содержащую ссылки на страницы. В отличие от WayBack Machine, Archive.today не использует роботов.txt, которые в прошлом приводили к потере данных.

Уникальным преимуществом Stillio является то, что он может периодически делать снимки веб-сайтов с помощью снимков экрана. Он работает, делая скриншоты через регулярные промежутки времени, то есть ежечасно, ежедневно, еженедельно или в зависимости от того, какой интервал вам подходит. Stillio — хорошая альтернатива WayBack Machine, поскольку она дает пользователю больше контроля, когда дело доходит до показателей веб-сайта, таких как усложнение поисковой системы и ранжирование SEO.

Stillio также может интерпретировать изображения и HTML, с которыми борется WayBack Machine.Он захватывает файлы PNG веб-страниц, что означает, что он точно отображает изображения, графики, текст и все другие компоненты веб-страницы. В этом большая разница между двумя сервисами, поскольку WayBack Machine захватывает только CSS страницы и изображения. Он не обрабатывает Javascript или другие элементы сайта точно. Это может привести к неработающим ссылкам или повреждению графики. Файлы Stillio PNG можно хранить удаленно, поскольку платформа поддерживает удаленное хранилище, такое как Google Диск и другие облачные сервисы.Stillio также не требует, чтобы вы регулярно посещали сайт конкурентов; проверив свою панель управления, вы можете сразу увидеть всю необходимую информацию.

Stillio работает по подписке и колеблется от 29 до 299 долларов в месяц в зависимости от выбранного вами плана. Каждый план позволяет вам создать бесплатную учетную запись и исследовать возможности Stillio в течение 14 дней.

Самая интересная особенность онлайн-платформы Pagefreezer заключается в том, что она использует облачные технологии. Он специализируется на упрощении архивирования в Интернете и социальных сетях.Это отличный выбор для бизнеса или организации любого размера, которые хотят надежно защитить свой контент в формате наилучшего качества. Pagefreezer особенно подходит для таких отраслей, как образование, финансы и розничная торговля.

Pagefreezer — это один из самых простых инструментов для архивирования материалов, поскольку он функционирует из единого портала. Он может архивировать контент для нескольких сайтов, включая учетные записи в социальных сетях, с помощью только одного входа в систему. Это универсальный магазин для всех ваших архивных нужд.Pagefreezer похож на WayBack Machine, поскольку использует технологию сканирования. Это означает, что ваш процесс архивирования полностью автоматизирован без необходимости установки программного обеспечения. Основным преимуществом использования этого инструмента является то, что при хранении материалов он аутентифицирует их, включая отметку времени и цифровую подпись, что обеспечивает соответствие FRE и FRCP. Это означает, что ваш контент может быть предоставлен аудитору в случае необходимости. Pagefreezer, к сожалению, не самый доступный вариант за 99 долларов в месяц, но он того стоит, если вы ищете надежную платформу.

Это имя, которое многие люди уже признали принадлежащим к семье Amazon. Что касается архивирования интернет-материалов, Alexa предоставляет информацию о просмотрах веб-сайта и полную историю. Alexa — очень популярный выбор среди инструментов исследования и в основном используется для анализа информации о конкурентах. Основное преимущество заключается в том, что вы можете проводить исследование ключевых слов и проверять эффективность сайта. Сюда входят продолжительность, частота и шаблоны посещений пользователей.

Различия между Alexa и WayBack Machine многочисленны.Хотя оба они немного устарели, Alexa предлагает больше функций. Alexa предоставляет индексы трафика и рейтинг, чего нет у WayBack Machine. Многие компании очень верят в свой «рейтинг Alexa». Хотя Alexa не является обычным архивным сайтом, это отличный выбор для компаний, которые хотят проводить исследования ключевых слов или отслеживать шаблоны сайтов своих конкурентов. Alexa основывается на подписке и начинается от 149 долларов в месяц.

WebCite — это бесплатный веб-сайт-архив, который используется для постоянного хранения веб-сайтов.Это отличается от сайтов, которые мы обсуждали ранее, поскольку он в основном используется для академических кругов, авторов, редакторов и издателей. Основная функция WebCite — сохранить учебные материалы для доступа в будущем.

В отличие от WayBack Machine, но аналогично другим альтернативам, WebCite поддерживает ряд форматов, включая HTML, файлы PDF, изображения и страницы, управляемые CSS. Однако он не использует сканирование в Интернете. Обычная ссылка на веб-сайт состоит из имени автора, названия работы, а также исходного URL-адреса и URL-адреса веб-сайта.Это обеспечивает постоянную доступность. Доступ к материалам WebCite легко получить через эти URL-адреса, что делает платформу удобной для навигации.

WebCite состоит из двух разных форматов: непрозрачного и прозрачного. Непрозрачный может быть добавлен к указанному URL-адресу, в то время как прозрачный заменяет исходный URL-адрес. Можно вручную включить цитату в документ или загрузить контент на платформу, что позволит программному обеспечению WebCite изучить документ и заменить URL-адреса, которые затем будут постоянно заархивированы на платформе.

Успешно, вы получите электронное письмо с доступом.

Perma.cc сильно отличается от инструментов, которые мы обсуждали до сих пор. Это приложение было разработано библиотекой Гарвардской школы права. Функция инструмента — помочь пользователям создавать постоянные записи о веб-сайтах. Он имеет ряд функций, которые отличаются от WayBack Machine, что делает его интересной альтернативой.

Во-первых, URL-адреса могут быть вставлены через блог или бумажные статьи, аналогично WebCite.Ссылки могут быть удалены в течение 24 часов с момента их создания. Одним из больших преимуществ является то, что вы можете добавлять пользователей в любую организацию, отправив их адреса электронной почты в облачную программу. Основная цель этой альтернативы остается прежней: она позволяет вам посещать веб-сайты и создавать записи о содержании на этом сайте. Если сохранить не удалось, приложение также позволяет пользователям создавать PDF-файлы или файлы изображений. Доступ к этой услуге можно получить через многоуровневую модель подписки.

Actiance — еще одна отличная альтернатива WayBack Machine.Это приложение, которое позволяет пользователям записывать и архивировать сообщения и поддерживает более 80 каналов. Преимущества Actiance заключаются в том, что он фиксирует релевантные сообщения и позволяет вам сохранять и просматривать этот контент по запросу. Поскольку это облачное приложение, в нем легко ориентироваться. Панель инструментов предоставляет аналитику в виде визуализированных данных. Это позволяет выявлять риски и управлять стоимостью данных вашего бизнеса. Основное преимущество Actiance заключается в том, что он предлагает настраиваемые отчеты. Это хороший вариант для предприятий, которым нравится, чтобы их данные интерпретировались в удобной для чтения форме.Это лучший архивный сервис, предлагающий расширенный поиск по каналам.

CacheView — уникальная альтернатива WayBack Machine, поскольку она позволяет пользователям получать доступ к сайтам из Google Cache, Coral Content Distribution Network и интернет-архива на единой платформе. Это лучший ресурс для компаний, которые предпочитают инструмент для архивирования веб-сайтов из разных источников. CacheView можно использовать бесплатно, и в нем есть приложение Google Chrome, которое позволяет вам читать папку кэша браузера Chrome, представляя файлы, которые находятся в кеше.Именно эта особенность дала ему название. Файлы кэша обычно содержат информацию о типах контента, имени сервера, ответе сервера и URL-адресах.

Как и CacheView, Resurrect Pages оправдывает свое название. Этот инструмент использует archive.org, а также другие страницы, чтобы оживить мертвые страницы веб-сайта. Сюда входят удаленные страницы и неработающие ссылки. Этот инструмент позволяет пользователям просматривать старые версии веб-сайтов конкурентов, а также контент Google Cache, контент WebCite и контент со многих других архивных сайтов.

Основным недостатком использования Resurrect Pages является то, что это надстройка Firefox, что означает, что она совместима только с поисковой системой Firefox. Хотя Resurrect Pages бесплатен, его качество зависит от архива, к которому вы получаете доступ через него. Хотя это может показаться отличным местом для доступа к множеству различных материалов, трудно судить о нем индивидуально, поскольку это связано с происхождением этих материалов.

Заключение

В этой статье мы рассмотрели множество альтернатив WayBack Machine.Знание преимуществ и недостатков каждого инструмента может помочь вам выбрать подходящую платформу для ваших нужд. Хотя каждый вариант различается по функциям, надежности, цене и доступности, все они являются надежными вариантами, когда речь идет об альтернативах WayBack Machine.

Успешно, вы получите электронное письмо с доступом.

Ресурсы

https://www.theatlantic.com/technology/archive/2015/09/how-many-websites-are-there/408151/

Сколько Интернета выполняет обратную связь Действительно архив?

Интернет-архиву в следующем году исполнится 20 лет, в нем собраны почти два десятилетия и 23 петабайта эволюции Всемирной паутины.Тем не менее, на удивление мало известно о том, что именно находится в хваленой Wayback Machine Архива. Помимо того, что он заархивировал более 445 миллиардов веб-страниц, Архив никогда не публиковал инвентарь веб-сайтов, которые он архивирует, или алгоритмов, которые он использует для определения того, что и когда захватывать. Учитывая недавние объявления Архива о новых попытках сделать свой веб-архив доступным для научных исследований, критически важно понять, что именно составляет этот архив на 445 миллиардов страниц и как этот состав может повлиять на те виды исследований, которые ученые могут с ним проводить. .

Постоянные пользователи Wayback Machine знакомы с бесчисленным множеством странностей, которые хранятся в ней. Например, несмотря на запуск CNN.com в сентябре 1995 года, первый снимок архива его домашней страницы не появится до июня 2000 года. В отличие от этого, веб-сайт BBC был заархивирован с декабря 1996 года, но количество снимков уменьшалось и текло скачкообразно. 2012. Совершенно очевидно, что для того, чтобы по-настоящему понять Архив, мы должны перейти от случайных анекдотов к систематической оценке фондов коллекции.

Поскольку Архив не публикует главную инвентаризацию доменов, сохраненных в Wayback Machine, был использован рейтинг Alexa одного миллиона самых популярных веб-сайтов в мире, который составлен на основе активности просмотра в более чем 70 странах. Полная история всех снимков, когда-либо записанных Архивом для домашней страницы каждого веб-сайта, была запрошена с помощью API-интерфейса Wayback CDX Server до 5 ноября 2015 года. Хотя это отражает только снимки домашних страниц, а не сайтов в целом, тем не менее ключевой показатель того, как часто Архив просматривает каждый сайт.

В этих данных можно увидеть огромные технические ресурсы, необходимые для сканирования и архивирования открытого Интернета. В целом, с 1996 года интернет-архив делал снимки домашних страниц одного миллиона самых популярных сайтов Alexa более чем 240 миллионов раз. На загрузку этих домашних страниц было израсходовано чуть более 2 терабайт полосы пропускания, причем только в 2015 году потребовалось более 307 гигабайт.

В 2015 году в топ-15 сайтов с наибольшим количеством снимков вошли seriesyonkis.sx (испанский сайт, предлагающий бесплатный доступ к телепрограммам и фильмам, который Chrome в настоящее время блокирует из-за угроз безопасности и который ранее был закрыт из-за предполагаемого пиратства фильмов), автозапчасти .ru (российский сайт автозапчастей), savy.lt (литовский сайт займов), videox-amateur.org (порнографический сайт), most.bg (болгарский сайт компьютерных запчастей), fastpic.ru (российский сайт размещения изображений, по всей видимости, содержит большое количество порнографии), royalkona.com (гавайский курортный отель), trampolinepartsandsupply.com (веб-сайт запчастей для батутов), radikal.ru (еще один российский сайт размещения изображений), youtube.com, zohraa.com (индийский сайт женской моды), arcelikal.com (турецкий сайт бытовой техники и электроники), localiser-ip.com (поиск IP-адресов), jobsalibaba.com (веб-сайт вакансий в Интернете) и myspace.com.

Таким образом, из 15 веб-сайтов с наибольшим количеством снимков, сделанных Архивом на данный момент в этом году, один является предполагаемым сайтом с пиратством фильмов, один — гавайской гостиницей, два — порнографическими сайтами и пять — сайтами онлайн-покупок. Вторая по количеству снимков домашняя страница — это сайт российских автозапчастей, а восьмое место по количеству снимков — поставщик запчастей для батутов.

Более подробно смотрите в архиве литовских кредитов «Wayback» savy.Видно, что Архив периодически сканировал сайт с января 1999 года по май 2003 года, а затем не возвращался более десяти лет. В 2015 году он сильно обходился в конце марта и апреле, а затем очень сильно в мае и июне, несколько раз 1 июля и никогда больше в следующие четыре месяца. В общей сложности поисковые роботы Архива обращались к savy.lt в общей сложности 203 945 раз за этот период, в основном за один массивный цикл сканирования. Тем не менее, в общедоступном профиле сайта Wayback утверждается, что он был просканирован всего 868 раз.

Причина этого в том, что общедоступный веб-сайт Wayback сообщает количество часов с хотя бы одним снимком, а не фактическое общее количество снимков, поэтому он сообщает максимум о 24 снимках в день, а не о тысячах. захватов в день он действительно видит для некоторых веб-сайтов. К сожалению, Архив не разъясняет это на своем веб-сайте, вместо этого случайно ссылаясь на это глубоко в технической документации для своего API сервера CDX на GitHub.

Повторно ранжируя один миллион сайтов по количеству часов с хотя бы одним моментальным снимком за этот час и вычисляя процент часов с 00:01 1 января 2015 года, есть моментальный снимок, 15 лучших сайтов — это myspace.com (93%), yahoo.com (86%), cnn.com (80%), youtube.com (78%), msn.com (76%), twitter.com (76%), facebook.com ( 72%), msnbc.com (70%), abcnews.go.com (70%), today.com (69%), nbcnews.com (67%), cbsnews.com (65%), infoseek.co. jp (65%), cnbc.com (63%) и tinypic.com (58%). Девять из 15 веб-сайтов с почасовыми снимками являются новостными, предлагая более разумный рейтинг. Действительно, новостные веб-сайты составляют многие из топ-50 доменов.

Тем не менее, более пристальный взгляд на этот рейтинг также обнаруживает ряд аномалий.Сайт walb.com имеет рейтинг Alexa 100 803, но занимает 24-е место по количеству часов с моментальными снимками, в то время как mountvernonnews.com занимает 363 013 место в Alexa и 43-е место по часам создания моментальных снимков. Это, по-видимому, общая тенденция, без заметной связи между рейтингом Alexa и количеством раз или часов, в течение которых домашняя страница веб-сайта была сделана.

На самом деле, общее количество снимков и общее количество часов с хотя бы одним снимком слабо коррелируют при r = 0,35. Рейтинг Alexa и количество снимков значимо не коррелируют при r = -0.03, в то время как рейтинг Alexa и количество отдельных часов со снимками обратно коррелированы при r = -0,15. Проще говоря, эти цифры означают, что количество снимков и количество часов с хотя бы одним снимком в значительной степени не связаны с его рейтингом Alexa. У более популярных сайтов не больше снимков, чем у менее популярных сайтов. С одной стороны, это может иметь смысл, поскольку популярность сайта не обязательно указывает на то, как часто он обновляется. Тем не менее, в Интернете примерно в 2015 году очень популярные сайты, как правило, постоянно обновляются новым контентом — сайт, который обновляется раз в несколько лет, скорее всего, будет привлекать мало трафика.Таким образом, можно утверждать, что скорость обновления контента сайта и его популярность, по крайней мере, в некоторой степени связаны.

По годам, корреляция рейтинга Alexa с часами и снимками удивительно стабильна с 2013 по 2015 год, варьируя от -0,15 до -0,17 для часов и от -0,03 до -0,04 для снимков. Тем не менее, корреляция между часами и снимками значительно варьируется: от 0,35 в 2015 году до 0,29 в 2014 году до 0,46 в 2013 году до 0,38 в 2012 году. Тот факт, что корреляция снимков с рейтингом Alexa остается постоянным в течение последних трех лет, предполагает, что Архив действительно не учитывать популярность при сканировании.С другой стороны, значительное изменение корреляции общего количества снимков с часами привязки предполагает, что поведение повторного сканирования Архива постоянно меняется, что окажет глубокое влияние на исследования, использующие Архив в качестве набора данных для изучения эволюции Интернета.

Новостные агентства представляют собой особый вид веб-сайта, который сочетает в себе высокую скорость обновления нового контента и значительную социальную значимость с точки зрения архивирования. Чтобы проверить, насколько хорошо Архив хранит онлайн-новости, были отобраны 20 000 лучших новостных веб-сайтов по объему, отслеживаемого проектом GDELT, и указана страна происхождения для каждого источника.Общее количество часов моментальных снимков было суммировано для всех новостных агентств из каждой страны за 2013, 2014 и 2015 годы и разделено на общее количество отслеживаемых агентств из каждой страны, в результате чего были получены следующие карты среднего количества часов моментальных снимков для каждого новостного агентства. в каждой стране по годам.

Среднее количество часов с хотя бы одним снимком по СМИ для новостных онлайн-агентств по странам в … [+] 2013 г. (Источник: Kalev Leetaru)

Среднее количество часов, в течение которых создается хотя бы один снимок для новостных онлайн-агентств по странам в… [+] 2014 г. (Источник: Калев Литару)

Среднее количество часов с хотя бы одним снимком по СМИ для новостных онлайн-агентств по странам в … [+] 2015 г. (Источник: Kalev Leetaru)

В этой последовательности карт отчетливо видна сильная централизация поисковых ресурсов Архива в отношении относительно небольшого числа стран с точки зрения часов создания моментальных снимков. В 2013 году было всего несколько выбросов, при этом в большинстве стран часы работы каждой торговой точки были относительно одинаковыми.В течение трех лет наблюдается неуклонная переориентация в сторону более неравномерного распределения архивных ресурсов. Значительное географическое изменение с течением времени является дополнительным свидетельством того, что поведение поисковых роботов Архива постоянно меняется в корне и не задокументировано.

Взятые вместе, эти результаты предполагают, что требуется гораздо большее понимание машины обратного пути Интернет-архива, прежде чем ее можно будет использовать для надежных научных исследований эволюции Интернета.Историческая документация по алгоритмам и входным данным его поисковых роботов абсолютно необходима, особенно по рабочим процессам и эвристикам, которые сегодня контролируют его архивирование. Одна из возможностей заключается в том, что Архив может создать исторический архив, в котором он сохраняет каждую копию кода и рабочие процессы, приводящие в действие Wayback Machine с течением времени, что дает возможность взглянуть на поисковые роботы 1997 года и сравнить их с 2007 и 2015 годами.

Более подробные данные регистрации также явно необходимы, особенно для тех решений, которые приводят к таким ситуациям, как чрезвычайно прерывистое архивирование savy.Это или почему домашняя страница CNN.com не была заархивирована до 2000 года. Если Архив просто открывает свои двери и выпускает инструменты, позволяющие анализировать данные своего веб-архива без проведения такого рода исследований предвзятости коллекции, очевидно, что выводы, которые результат будет сильно искажен и во многих случаях не сможет точно отразить изучаемые явления.

Что мы можем извлечь из всего этого? Возможно, самый важный урок заключается в том, что, как и многие массивные архивы данных, которые определяют мир «больших данных», мы очень мало понимаем, что на самом деле содержится в данных, которые мы используем.Немногие исследователи останавливаются, чтобы задать вопросы, рассматриваемые здесь, и еще меньше архивов предоставляют подробную статистику о своих фондах. Вместо этого, эра «больших данных», к сожалению, все чаще определяется сенсационными результатами, полученными на основе наборов данных, взятых с полки без особых попыток понять их внутренние предубеждения.

Еще одна тема — неожиданные открытия. Первоначально этот анализ начинался как исследование практики архивирования новостей в Интернете в Интернет-архиве с целью выяснить, архивирует ли он западные СМИ чаще, чем в других странах.Первоначально ожидалось, что фонды Архива будут отражать популярность и скорость изменений, при этом язык и географическое положение будут основными отличительными чертами. Однако, как только данные были изучены, стало ясно, что архивный ландшафт Wayback Machine был намного сложнее.

Интерфейсы, которые мы используем для доступа к этим обширным архивам, часто незаметно трансформируют их способами, которые не очевидны или явно не задокументированы, но могут оказать глубокое влияние на наше понимание результатов, которые мы получаем от них.Например, ни домашняя страница Wayback, ни подробный FAQ не информируют пользователей о том, что количество снимков в веб-интерфейсе сообщает количество отдельных часов с хотя бы одним снимком, а не фактическое количество сканирований страницы Архивом. Этот факт доступен только на странице технической справки по API на Github.

В своем вступительном программном выступлении на Генеральной ассамблее IIPC 2012 года в Библиотеке Конгресса я отметил, что для того, чтобы ученые могли использовать веб-архивы для исследований, нам необходимо гораздо больше информации о том, как эти архивы создавались.Три с половиной года спустя несколько крупных веб-архивов выпустили такую документацию, особенно касающуюся алгоритмов, которые контролируют, какие веб-сайты посещают их сканеры, как они просматривают эти веб-сайты и как они решают, какие части бесконечной сети сохранить с их ограниченными ресурсами. . Фактически, совершенно неясно, как была построена Wayback Machine, учитывая невероятно неровный ландшафт, который она предлагает среди миллиона лучших веб-сайтов даже за последний год.

Приведенные выше результаты демонстрируют, насколько важен такой вид понимания.При архивировании бесконечной сети с ограниченными ресурсами необходимо принимать бесчисленное количество решений относительно того, какие узкие фрагменты сети сохранить. На самом базовом уровне можно выбрать либо полностью случайное архивирование (выбор страниц без учета каких-либо других факторов), либо архивирование с приоритетом по скорости изменения (более частое архивирование страниц, которые изменяются чаще — хотя это имеет тенденцию подчеркивать динамически генерируемые сайты) или архивирование с приоритетом популярности (это подчеркивает страницы, которые сегодня использует большинство людей, но рискует не сохранить относительно неизвестные страницы, которые могут стать важными в будущем).Человеческий ввод также может сыграть решающую роль, как и в случае со специализированной программой Archive-It.

У каждого подхода есть свои преимущества и риски. Возникает резонный вопрос: через 20 лет, на что мы с большей вероятностью захотим оглянуться, литовский веб-сайт ссуды, поставщик запчастей для батутов или домашнюю страницу главных новостей, таких как CNN? Такие важные решения, как то, что сохранить для будущего, требуют гораздо большего участия сообщества, особенно ученых, которые полагаются на эти коллекции.Учитывая текущее состояние архивов, становится ясно, что их алгоритмы требуют гораздо большей прозрачности и критического взаимодействия с более широким научным сообществом. Мы просто не можем оставить такую важную вещь, как сохранение онлайн-мира, на усмотрение слепых алгоритмов, которым мы не понимаем, как они работают.

Действительно, точно так же, как библиотеки формализовали за тысячи лет, как они принимают решения о приобретении и сборе информации на основе взаимодействия с сообществом, очевидно, что веб-архивы должны применять аналогичные процессы и сотрудничать с широким кругом организаций, чтобы помочь им в этом.Учитывая, что до 14% всех онлайн-новостей, отслеживаемых проектом GDELT, больше не доступны по прошествии двух месяцев, очевидно, что Интернет исчезает на наших глазах, и поэтому крайне важно, чтобы мы лучше делали архивирование онлайн-новостей. world и сделайте это до того, как этот материал будет потерян навсегда.

В сети: The Wayback Machine: Архив Интернета

С печатными публикациями,
библиотеки и архивы мира приложили немало усилий, чтобы собрать
и сохранить элементы печати.Но появление Интернета было настолько внезапным и созданным
совершенно новый набор задач для каталогизации, хранения и поиска,
что несколько библиотек активно собирают копии веб-страниц. Пока библиотека
профессия усердно работала над поиском решений доступной стороны
проблемы, веб-страницы были созданы, изменены и умерли без каких-либо записей
тех страниц, которые будут сохранены.

К счастью, Брюстер
Alexa Internet компании Kahle и ее дочерняя компания, Internet Archive, имеют
проделана огромная коллекторская работа.С 1996 года Интернет
Архив хранит веб-страницы, включая графические файлы, из общедоступных
доступные веб-сайты, просканированные Alexa. С запуском в октябре 2001 г.
машины Wayback Machine, этот огромный архив теперь находится в свободном доступе для
Интернет-публикация.

НАЗАД
ДЕЛАЕТ

Машина обратного пути
— это интерфейс к коллекции общедоступных веб-страниц Интернет-архива.
Включает в себя более 100 терабайт данных — огромная коллекция с огромными
требования к хранению.Wayback Machine открывает доступ к этому богатству
данных по URL. Это не поиск по тексту, пользователь должен знать точную
URL-адрес конкретной веб-страницы или, по крайней мере, веб-сайта, чтобы иметь возможность войти
архив.

При входе в
Адрес в Интернете, Wayback Machine представляет список дат с указанием
когда эта конкретная страница была заархивирована. Проверка на домашней странице для
Библиотека Конгресса находит заархивированные страницы с 9 ноября 1996 г.
вчера.В 1996, 1997, 1998 и 1999 годах страниц намного меньше.
архивы. В 2001 году был экземпляр почти через день.

Щелкните по одному из
отображаемые даты, чтобы увидеть заархивированную страницу. Звездочка после некоторых из
даты используются для обозначения того, когда Интернет-архив обнаружил изменение
на странице. Предположительно, все эти списки без звездочки должны
быть точно таким же, как первая перед ними страница, отмеченная звездочкой.

Обратите внимание, что URL
для заархивированной страницы начинается с web.archive.org. В отличие от кешированных файлов
в Google Wayback Machine также включает в себя большинство файлов изображений в архиве.
Таким образом, изображения берутся не с текущего сервера, а с
Интернет-архив. Это означает, что на заархивированной странице будет отображаться
гораздо более точно, как страница выглядела в этот конкретный день.

Кроме того, все
ссылки на заархивированной странице указывают не на исходное местоположение ссылки,
но на другие страницы Интернет-архива.Итак, пока Wayback Machine
недоступен для поиска, его можно просматривать. Найдите заархивированную страницу 1997 года,
нажмите на любую ссылку на этой странице, и Wayback Machine примет
вы перейдете к ближайшему (по дате) архиву доступной страницы. В
таким образом, пользователь может просматривать веб-сайт в том виде, в каком он появился в определенном
временной период.

Расположение
сам Wayback Machine переместился между несколькими URL-адресами во время
первые несколько месяцев. Оба http: // web.archive.com
и http://archive.alexa.com
работали раньше, но на данный момент все они перенаправляют на www.archive.org ,
дом самого Интернет-архива.

ПОЧЕМУ НАЗАД

Есть много
использует для невероятного архива от Wayback Machine. На очень простом
уровне, это отличный источник для поиска информации на страницах, когда страница
или сам хост недоступен.Когда вы сталкиваетесь с ошибкой «404 не найден» или
похожее сообщение в Интернете, просто проверьте Wayback Machine, чтобы найти
копия страницы в том виде, в котором она выглядела раньше. Кеш Google был единственным
вариант для этой функции, но кешированные страницы ограничены отсутствием
любой записи о дате, когда они были кэшированы. Wayback Machine делает
это намного проще, если четко указать дату, когда страница была заархивирована.

Исторический
Значение Wayback Machine огромно.Исторические исследователи
теперь может просматривать значительную часть Интернета, существовавшую в разное время.
с 1996 г. по настоящее время. Исторические преимущества выходят далеко за рамки
чисто историческое исследование. Специалисты по поиску патентов могут проверить уровень техники. Бизнес
эксперты могут ознакомиться с бизнес-планами несостоявшихся компаний. Работодатели могут расследовать
студенческие веб-страницы соискателей вакансий. Источники потеряны из-за сложного URL
переключение можно найти по их старому URL-адресу на Wayback Machine.

Возможность
просматривать диапазон версий конкретной страницы и просматривать заархивированные
сам сайт предлагает множество вариантов использования.Новый веб-дизайнер может посмотреть предыдущие
воплощения сайта, даже если сама организация никогда не архивировала
различные версии. Новый бизнес может взглянуть на своих конкурентов на раннем этапе
конструкции и избегайте тех же ошибок. И исследователь, который пытается
отследить онлайн-ресурсы из библиографии четырехлетнего ребенка
бумага может найти их в архиве, даже если они иным образом исчезли
из текущего Интернета.

Для учреждений,
Интернет-архив приветствует совместные усилия по созданию специальных тематических
коллекции.Уже доступны три коллекции: Сентябрь.
11, сборник 2001 г., Web Pioneers и Election 2000. В качестве дополнительных сборников
созданы, они могут быть особенно полезны для более глубокого исследования
по этим темам.

РАСШИРЕННАЯ ФОРМА

Базовый доступ к
архив находится по одному URL-адресу, но Wayback Machine также имеет расширенный
форма поиска. На него нет ссылок на главной странице, но он доступен как
ссылку мелким шрифтом в верхней части формы поиска, которая появляется с
результаты после ввода поиска.Посмотрите вправо от «Take
Me Back »на страницах из архива Библиотеки Конгресса США.
также доступен напрямую (http://web.archive.org/collections/web/advanced.html) .

Пока есть
по-прежнему нет возможности текстового поиска в форме расширенного поиска, она делает
предлагает ряд вариантов помимо простого поля на домашней странице. Например,
расширенная форма позволяет использовать два типа URL Matching «Получить страницу, которая
наиболее точно соответствует критериям поиска »и« Перечислить все страницы, соответствующие поиску.
критерии.»Последний вариант используется по умолчанию в простой форме и вызывает
список совпадений дат. Первый вариант ведет пользователя непосредственно к наиболее

последняя копия заархивированной страницы.

Расширенный поиск
форма также дает возможность ограничить результаты определенным диапазоном дат.
Отдельные заархивированные страницы имеют URL-адреса, на которые можно напрямую ссылаться.
На странице расширенного поиска также объясняется синтаксис. Например, URL
web.archive.org/20011230221317/http:// www.site.net будет www. site.net
страничный архив 30 декабря 2001 г., 22:13. и 17 секунд. В других
слова, длинный список чисел после части archive.org представляет
год, месяц, день, час, минута и секунда, когда страница была заархивирована в
форма ГГГГММДДччммсс.

В дополнение к
заданные в сценарии ограничения даты, доступные в расширенной форме, звездочка может
также использоваться как символ усечения в URL-адресе. Итак, http: //web.archive.org / 200112 * / http: //www.site.net
получит список всех заархивированных страниц с декабря 2001 года.
звездочку, и Wayback Machine автоматически найдет
страница, ближайшая к середине месяца. Символ усечения также может
использоваться для поиска всех страниц сайта за определенную дату. В других
слов, web.archive.org/1997*/http://www.site.net* находит все
URL-адреса сайтов (страниц и изображений) в архиве с 1997 года.

ФОРМАТЫ ФАЙЛОВ
И НИКНЕЙМЫ

Расширенный поиск
форма также указывает на то, что Wayback Machine обеспечивает доступ к более чем
просто веб-страницы.Ограничение типов файлов включает шесть форматов: изображения, аудио,
Видео, двоичный, текстовый и PDF. Выбрав один из этих типов файлов, а затем
вводя только корневой URL (с полным именем хоста), результаты будут
включить в архив все типы файлов этого формата с этого хоста.
Каждая запись отдельного типа файла имеет уникальный URL-адрес, но если поисковик
не знает полного URL-адреса, это ограничение помогает их идентифицировать. Кроме того,
его можно использовать как инструмент для подсчета количества файлов определенного типа на
конкретный сервер.

Псевдонимы
еще одна приятная функция по расширенному поиску. Многие веб-сайты имеют несколько
способы написания URL-адреса, который приведет к одной и той же странице, особенно
на главной странице. Раздел «Псевдонимы» расширенного поиска дает три
параметры. По умолчанию все псевдонимы имен хостов группируются вместе, для большей части
комплексный поиск. Однако есть второй вариант «Показать псевдонимы отдельно»
даст точные совпадения только для URL, введенного со списком
другие псевдонимы, в то время как «Не показывать псевдонимы» будут давать только точные совпадения.

ОГРАНИЧЕНИЯ

Признавая
значительным достижением Wayback Machine, у нее действительно есть
ограничения. Даже со 100 терабайтами данных многого не хватает.
Интернет-архив включает лишь небольшое количество материалов за 1996 год,
и Интернет определенно предшествует этому. Кроме того, более старый контент суслика
и другие файлы, не относящиеся к Интернету, недоступны.

Более значительные
являются организованными исключениями.Кто угодно может исключить свои страницы с помощью
использование роботов. txt на своем сервере. Если Интернет-архив включает
ваши веб-страницы, и вы хотите, чтобы они были исключены, просто добавьте файл robots.txt в
исключить их поискового робота. При следующем сканировании вашей страницы все старые
страницы в архиве также будут исключены. См. Www.archive.org/internet/remove.
html для получения более подробной информации.

К сожалению,
слишком много сайтов имеют файл robots.txt, исключая сканирование или архивирование.По крайней мере, когда пользователь запрашивает страницу, которая была исключена из-за файла robots.txt.
файла Wayback Machine объясняет, почему страница была
исключено и ссылается на архивную копию файла robots.txt сайта.

Процесс архивирования
есть некоторые проблемы. Большинство изображений заархивированы, но некоторые по-прежнему указывают
на исходный источник и, таким образом, могут оказаться мертвыми ссылками или измененным изображением
файлы. Другие изображения или объекты на веб-странице, особенно при высокой посещаемости
сайты, могут быть связаны с версией сетевого кэширования с URL-адресом на Akamai
хост, например.Таким образом, некоторые изображения на некоторых страницах будут отсутствовать.

И обратный путь не будет
Машина всегда будет в наличии. После первого запуска часто появлялось сообщение
заявляя, что из-за «большего, чем ожидалось, количества запросов» Wayback
Машина вышла из строя. В других случаях вы можете встретить «Этот Интернет-архив
сайт в настоящее время закрыт на техническое обслуживание ».

Учитывая огромную
размер архива, еще одна проблема — долгосрочная финансовая жизнеспособность
машины Wayback.Кроме кнопки Amazon для пожертвований, есть
не размещают рекламу на сайте, и Alexa не поддерживает это финансово. Согласно
Брюстеру Кале, частному сбору средств, фондам и грантам в настоящее время
поддержите это. Кале говорит, что у них «достаточно, чтобы поддерживать Wayback Machine,
но этот рост будет зависеть от финансовой поддержки через совместные проекты ».

Кале должна быть
хвалили за попытку поддержать Wayback Machine, больше похожую на традиционную
библиотека или архив, в отличие от типичного коммерческого веб-проекта.В
на главной странице перечислены несколько доноров, включая AT&T Research, Compaq, Prelinger
Архивы, QuantumDLT и Xerox PARC. В конце концов, Кале надеется, что Интернет
Архив может «обеспечить всеобщий доступ к человеческим знаниям. Это наша цель.
в жизни.»

Замечательный
и достойная цель. И хотя Wayback Machine имеет множество ограничений и
исключает огромное количество как онлайн, так и печатных знаний, это, безусловно,
важный шаг вперед в обеспечении доступа к большой части этих знаний
который находится во всемирной паутине.

Грег
Р. Нотесс ( [email protected] ;
www.notess.com/ )
является справочным библиотекарем в Государственном университете Монтаны и основателем SearchEngineShowdown.com .

Комментарии? Эл. адрес
редактор [email protected] .

Интернет-архив уже 25 лет борется за то, чтобы все, что есть в сети, не исчезло — и вы можете помочь

В этом году Интернет-архиву исполняется 25 лет.Он наиболее известен своей новаторской ролью в архивировании Интернета с помощью Wayback Machine, которая позволяет пользователям видеть, как веб-сайты выглядели в прошлом.

Все чаще большая часть повседневной жизни проводится в Интернете. Учеба, работа, общение с друзьями и семьей, а также новости и изображения доступны через множество веб-сайтов. Информация, которая когда-то была распечатана, отправлена по почте или хранилась в фотоальбомах и записных книжках, теперь может быть доступна только в Интернете. Пандемия COVID-19 подтолкнула к еще большему количеству пользователей Интернета.

Вы можете не осознавать, что некоторые части Интернета постоянно исчезают. Как библиотекари и архивисты, мы укрепляем коллективную память, сохраняя материалы, которые документируют культурное наследие общества, в том числе в Интернете. Вы также можете помочь нам спасти Интернет как гражданский архивист.

Акт исчезновения

Люди и организации удаляют контент из Интернета по разным причинам. Иногда это результат изменения культуры Интернета, например недавнего закрытия Yahoo Answers.

Это также может быть результатом следования передовым методам разработки веб-сайтов. Например, при обновлении веб-сайта предыдущая версия перезаписывается — если она не была заархивирована.

Веб-архивирование — это процесс сбора, сохранения и обеспечения постоянного доступа к информации в Интернете. Часто эта работа выполняется библиотекарями и архивариусами с помощью автоматизированных технологий, таких как поисковые роботы.

Поисковые роботы

— это программы, которые индексируют веб-страницы, чтобы сделать их доступными через поисковые системы или для долгосрочного хранения.Некоммерческая организация Internet Archive использует тысячи компьютерных серверов для сохранения нескольких цифровых копий этих страниц, требующих более 70 петабайт данных. Он финансируется за счет пожертвований, грантов и платежей за услуги по оцифровке. Ежедневно с помощью Wayback Machine Интернет-архива фиксируется более 750 миллионов веб-страниц.

Зачем архивировать?

В 2018 году президент Дональд Трамп ошибочно заявил через Twitter, что Google продвигал на своей домашней странице обращение президента Барака Обамы о положении в стране, но не его собственное.Архивные версии домашней страницы Google доказали, что Google на самом деле таким же образом осветил адрес Трампа в государстве. Несколько новостных агентств используют Wayback Machine Интернет-архива в качестве источника для проверки этих типов заявлений, поскольку сами по себе снимки экрана можно легко изменить.

В отчете Центра цифровой журналистики Tow за 2019 год были рассмотрены методы и политика цифрового архивирования газет, журналов и других производителей новостей. Интервью показали, что многие сотрудники средств массовой информации либо не имеют ресурсов для архивирования своей работы, либо неправильно понимают цифровое архивирование, приравнивая его к резервной версии.

Когда новость исчезла с веб-сайта Gawker через год после закрытия публикации, Фонд свободы прессы был обеспокоен тем, что может произойти, когда богатые люди покупают веб-сайты с намерением удалить или подвергнуть цензуре архивы. Он сотрудничал с Internet Archive, чтобы запустить коллекцию веб-архивов, ориентированную на сохранение веб-архивов уязвимых новостных агентств, и отговорить миллиардеров от покупки таких материалов для цензуры.

Интернет ползет в поисках черной жизни.com в Wayback Machine в Интернет-архиве.
Интернет-архив Wayback Machine

Архивирование веб-сайтов, которые документируют проблемы социальной справедливости, такие как Black Lives Matter, помогает объяснить эти движения людям настоящего и будущего.

Архивирование государственных веб-сайтов способствует прозрачности и подотчетности. Правительственные веб-сайты, особенно в переходный период, уязвимы для удаления при смене политических партий.

В 2017 году Библиотека Конгресса объявила, что больше не будет архивировать каждый твит, поскольку Twitter становится все более популярным средством коммуникации.Twitter поставляет в Библиотеку Конгресса тексты твитов, а не изображения и видео, которыми делились. Вместо всеобъемлющего сбора данных Библиотека Конгресса теперь архивирует только твиты, имеющие важное национальное значение.

Снимок экрана от 18 декабря 1996 г., архивная версия веб-сайта Ty, создателя.
Beanie Babies, в Wayback Machine Интернет-архива.
Интернет-архив Wayback Machine

Архивированные веб-сайты, которые документируют культуру и историю Интернета, такие как Галерея Geocities, не только интересны, но и иллюстрируют способы создания и использования ранних веб-сайтов отдельными людьми.

Гражданские архивисты

Архивирование Интернета — это грандиозная задача, с которой библиотекари и архивисты не могут справиться в одиночку. Кто угодно может быть гражданским архивистом и сохранять историю с помощью Wayback Machine Интернет-архива. Функция «Сохранить страницу сейчас» позволяет любому желающему бесплатно архивировать отдельную общедоступную страницу веб-сайта. Имейте в виду, что некоторые веб-сайты предотвращают сканирование и архивирование с помощью специального кода или требования входа на сайт. Это может быть связано с конфиденциальным содержанием или личными предпочтениями веб-разработчика.

Местные учреждения культурного наследия, такие как библиотеки, архивы и музеи, также активно архивируют Интернет. Более 800 учреждений используют Archive-It, инструмент из Интернет-архива, для создания архивных веб-коллекций. В Дейтонском университете мы собираем коллекции, связанные с нашим католическим и марианистским наследием, от католических блогов до рассказов о Деве Марии в новостях.

Через свои коллекции спонтанных событий Archive-It в партнерстве с организациями и отдельными лицами создает коллекции «веб-контента, относящегося к конкретному событию, фиксируя контент, подверженный риску во время кризиса.”

Точно так же он создал программу Community Webs в партнерстве с Институтом музейных и библиотечных услуг, чтобы помочь публичным библиотекам создавать коллекции архивного веб-контента, актуального для местных сообществ.

Сегодняшние веб-сайты — это историческое свидетельство завтрашнего дня, но только если они заархивированы. Если они будут потеряны, мы потеряем важную информацию о корпоративных и правительственных решениях, современных методах коммуникации, таких как социальные сети, и социальных движениях со значительным присутствием в Интернете, таких как Black Lives Matter и #MeToo.

Вместе с библиотекарями и архивариусами вы можете помочь сохранить эти доказательства и сохранить историю Интернета.

советов по использованию машины обратного пути Интернет-архива в вашем следующем расследовании

Интернет-архив и его обратная машина — бесценные инструменты для журналистов-расследователей. Изображение: Shutterstock

The Internet Archive — это некоммерческая библиотека, которая в этом году отмечает 25-летие реализации миссии «всеобщего доступа ко всем знаниям.Он наиболее известен благодаря Wayback Machine — службе, которой я сейчас управляю, — которая архивирует и делает доступной большую часть общедоступной сети со скоростью более 1 миллиарда заархивированных URL-адресов в день.

Заинтересованы в дополнительных советах и инструментах для расследования? Обязательно посетите ресурсный центр GIJN.

Есть много способов, которыми журналисты, исследователи, специалисты по проверке фактов, активисты и широкая общественность ежедневно получают доступ к бесплатной Wayback Machine. О нас написано несколько тысяч статей или есть ссылки на наши услуги.Фактически, в серии статей GIJN «Мои любимые инструменты» на 2020 год несколько ведущих журналистов-расследователей определили ее как основу своей работы.

Ниже приводится введение для репортеров, заинтересованных в испытании Wayback Machine для их следующего расследования.

URL-адреса архивации

Если вы публикуете статью, в которой упоминается веб-сайт, и владельцы этого сайта удаляют ключевые страницы или сам сайт, они могут быть потеряны навсегда, если не были заархивированы. Не позволяйте этому случиться с вами!

Десятки миллионов URL-адресов ежедневно архивируются пользователями с помощью службы Wayback Machine «Сохранить страницу сейчас».Любой может отправить URL-адреса, и, если вы вошли в систему с бесплатной учетной записью архива, вы также можете попросить заархивировать любые «исходящие ссылки» — внешние ссылки на исходной странице, которые вы хотите захватить, — и получить обзорный отчет об этом процессе захвата. отправлено вам по электронной почте.

Вот технический момент: если у вас есть список URL-адресов, которые вы хотите заархивировать, добавьте их в «столбец A» таблицы Google и отправьте через службу Google Sheets «Сохранить страницу сейчас», которую вы можете найти здесь. Столбцы B, C и D будут заполнены кодом состояния, заархивированным URL-адресом и флагом, если URL-адрес был ранее заархивирован Wayback Machine.

Другой вариант — отправить один URL-адрес, отправив его по электронной почте на «[email protected]», и, если вы добавите «исходящие ссылки для захвата» в строку темы, они также будут сохранены. Опять же, вы получите отчет по электронной почте, когда процесс будет завершен.

Наконец, для более опытных в техническом плане Wayback Machine предоставляет API или программный интерфейс, который позволит интегрироваться в существующие рабочие процессы программного обеспечения или при создании новых приложений, чтобы помочь автоматизировать вашу работу.Примером этого является то, как Meedan — технологическая некоммерческая организация из Сан-Франциско, которая занимается разработкой программного обеспечения и инициативами по укреплению глобальной журналистики, — интегрировала свою услугу «Проверка» с Wayback Machine.

Сравнить изменения в разных заархивированных версиях

Вы когда-нибудь хотели обнаружить и отобразить разницу между двумя версиями одной и той же веб-страницы — возможно, чтобы увидеть, как компания или частное лицо изменили свой сайт или адаптировали формулировки на своей странице? Вы можете сделать это с помощью функции «Изменения».

Чтобы попробовать это, введите любой заархивированный URL-адрес в функцию поиска на домашней странице Wayback Machine. Затем выберите опцию «Изменить».

Вам будет показан список архивных версий различных дат и времени; эти изменения имеют цветовую кодировку, чтобы представить степень изменения от одного заархивированного URL к другому.

Затем выберите любые две версии URL-адреса с отметкой времени, и они будут отображаться рядом, а различия в тексте будут выделены синим и желтым текстом.Эта функция использовалась, чтобы показать, как британский блогер и политический советник пытался переписать историю, и это показано на скриншоте ниже.

В рубрике «Изменения» Wayback Machine запечатлено, как Доминик Каммингс, бывший главный советник британского премьер-министра, вносил скрытые дополнения (синим цветом справа) в свой исходный пост в блоге (слева). Изображение: снимок экрана

Более глубокий поиск в архиве

Поскольку текст, относящийся к заархивированным URL-адресам в Wayback Machine, не индексируется, служба еще не может предложить интерфейс полнотекстового поиска.Это означает, что пользователи должны знать URL-адрес, который они ищут, чтобы найти архивы страницы. Но инженеры Wayback Machine находятся в процессе индексации множества метаданных, относящихся к веб-страницам, для конкретных коллекций архивов. (Подробнее об услугах, доступных для коллекций, можно узнать на домашней странице Интернет-архива.)

Использование API с Wayback Machine

Помимо API для поддержки архивирования через службу «Сохранить страницу сейчас», существуют также API, которые можно использовать для запроса Wayback Machine, чтобы узнать, были ли заархивированы определенные URL-адреса.Вы можете прочитать о них здесь.

Как и большинство своих сервисов, Wayback не накладывает официальных ограничений на частоту использования своих API. Однако время от времени он может применять меры регулирования. Если вы столкнетесь с какими-либо проблемами, связанными с использованием Wayback Machine, отправьте нам электронное письмо или напишите нам в Twitter; поддержка журналистов является для нас приоритетной задачей.

Добавление контекста к заархивированным страницам

Мы понимаем, что контекст и происхождение жизненно важны для более полного понимания любого архива.Имея это в виду, мы начали добавлять контекстные баннеры, чтобы помочь посетителям лучше понять наши заархивированные ресурсы. Эти типы баннеров могут использоваться, когда заархивированная веб-страница была удалена или когда страница была написана известной исследовательской организацией.

The Wayback Machine включает желтые заголовки, которые ссылаются на внешнее использование заархивированных страниц, и имеет вкладку «Об этом захвате», которая предоставляет дополнительный исторический контекст о странице. Изображение: снимок экрана

Происхождение каждого из заархивированных URL-адресов, составляющих веб-страницу, может иметь решающее значение для понимания этой страницы.Например, были ли определенные изображения на заархивированной веб-странице захвачены в то же время и в тот же день, что и другие элементы на странице? Вы можете увидеть эту информацию, щелкнув ссылку «Об этом захвате» в правом верхнем углу каждой страницы воспроизведения заархивированного URL.

Забота и внимание, которые мы уделяли целостности наших архивов, а также прозрачность, которую мы вносим в их происхождение на протяжении многих лет, способствовали общему доверию людей к Wayback Machine, поэтому доказательства, хранящиеся на Wayback Machine, имеют был принят несколькими судами по всему миру.

Если вы хотите, чтобы мы рассмотрели возможность добавления контекста в архивы, которые вы создали с помощью функции «Сохранить страницу сейчас», свяжитесь с нами.

Расширения браузера

Как и следовало ожидать, у нас есть расширения для браузеров Safari, Firefox и Chrome, а также собственные мобильные приложения для iOS и Android. И, в качестве особого удовольствия, мы в партнерстве с поисковой системой Brave создали встроенное средство обнаружения ошибок 404 (и других ошибок) прямо в их браузере для сверхлегкой поддержки Wayback Machine для веб-навигации.

Прежде всего, пожалуйста, знайте, что поддержка Internet Archive и Wayback Machine — это просто электронная почта или Twitter DM. Поделитесь своими вопросами, запросами, отчетами об ошибках и историями успеха. Мы особенно хотим услышать, что вам не нравится в наших услугах или какие функции, по вашему мнению, нам следует улучшить или добавить. Таким образом, мы сможем лучше удовлетворять потребности и желания журналистов.

Но подождите! Есть еще…

В дополнение к архивированию большей части общедоступной сети Интернет-архив сохраняет и делает доступными другие коллекции материалов, в том числе более 25 миллионов научных статей в открытом доступе через нашу службу Интернет-архива для ученых; почти 30 миллионов электронных книг и текстов, которые можно просмотреть, взять напрокат или загрузить; и миллионы часов архивных телевизионных новостей (десятки станций в течение большей части 10 лет) доступны для поиска с помощью полнотекстовой индексации соответствующих скрытых субтитров.

Чтобы быть в курсе проектов и услуг Internet Archive и Wayback Machine, подписывайтесь на нас в Twitter @internetarchive и @waybackmachine и читайте наши сообщения в блоге.

Дополнительные ресурсы

Что такое Интернет-архив и что в нем можно найти?

Как использовать обратную машину Интернет-архива

Использование Archive.org для расследований OSINT

Вебинар GIJN: Использование информации из открытых источников для создания отчетов из дома

Марк Грэм руководит Wayback Machine более пяти лет.До этого он был старшим вице-президентом NBC News Digital. Грэм также помог запустить первую советско-американскую службу электронной почты; начал проект по созданию первого веб-интерфейса для онлайн-дискуссионной системы; и помог запустить iVillage, ранний онлайн-сервис для женщин.

Как найти старый веб-сайт: Internet Time Machine

Вот сценарий, с которым мы постоянно сталкиваемся… несколько месяцев назад вы действительно проявили амбициозность и внесли несколько больших изменений, чтобы улучшить контент своего веб-сайта, и, возможно, даже попытались провести старомодное доброе SEO.Это круто, но проблема в том, что вы не помните, какие изменения вы внесли в контент, и действительно хотите взять несколько предложений или изображение из того старого дизайна веб-сайта, который существовал еще в прошлом.

ИЛИ, возможно, вы готовите презентацию для генерального директора, чтобы продемонстрировать свой новый дизайн веб-сайта, запущенного ранее в этом году, и вы хотите показать снимок экрана до и после, но, конечно, вы забыли сделать снимок экрана с старый сайт!

Как найти старый контент?

Вам нужна машина времени, а еще лучше машина времени в Интернете, знаете ли….Настоящая, честно говоря, машина времени в стиле Марти МакФлая / «Назад в будущее», чтобы вы могли вернуться в прошлое и найти тот старый веб-сайт.

Что ж, вы будете рады узнать, что не все потеряно из-за этих усилий. Я здесь, чтобы сообщить вам, что лучший бесплатный инструмент, который я нашел для поиска в архивах в Интернете, — это The Wayback Machine от Archive.com. Этот инструмент предоставляет пользователям возможность указать любой URL-адрес и диапазон дат для выбора в зависимости от того, что вы ищете.

Доступные даты, когда ваш сайт может быть просмотрен, для удобства выделены синим цветом.Выбрав дату, вы можете просмотреть сайт в том виде, в каком он существовал в то время. Итак, ваша персональная машина времени готова к использованию!

Преимущество состоит в том, что весь контент, включая основной текст, заголовок страницы, альтернативные теги и теги заголовка, можно просматривать и возвращать в будущее для вас и всех вас, изменяя цели и маркетинговые потребности. Во многих случаях старый внешний вид вашего веб-сайта также может быть изменен. Я скажу вам, что один недостаток, который я обнаружил у этого инструмента, — это частота его индексации.Иногда это может быть от 1 недели до 3 месяцев. Все это в стороне, учитывая, что это бесплатный инструмент веб-архивирования, делает этот небольшой недостаток не таким уж большим.

Ваш веб-сайт застрял в прошлом?

Если вы находитесь на противоположной стороне медали и знаете, что ваш сайт нуждается в некоторых улучшениях, запланируйте SEO-аудит с помощью девятого тома, чтобы увидеть, с чего вам следует начать! От этого зависит будущее успеха вашего сайта!

Сайт машина времени интернета: Internet Archive 25th Anniversary – Universal Access to All Knowledge

как пользоваться, чем полезен [Инструкция]

Что такое Web Archive?

История создания архива интернета

Как пользоваться веб-архивом?

Как восстановить сайт из веб-архива?

Как восстановить сайт без бэкапа?

Как найти уникальный контент из веб-архива для вашего сайта?

Как сделать так, чтобы сайт не попал в библиотеку веб-архива?

Аналоги Webarchive

Найден способ сделать сайт в интернете полностью «неубиваемыми» и вечными

Интеграция Cloudflare Always Online с Internet Archive

Как работает Always Online

История Internet Archive

Webarchive — веб-архив всего интернета и сайтов или машина времени на archive.org

Как можно использовать архив сайтов интернета

Открытие мертвых ссылок и условия попадания сайта в archive.org

Как найти нужный веб-архив и восстановить сайт без бекапа

Как вытянуть из Webarchive уникальный контент для сайта

Архив сайтов Internet Archive Wayback Machine. Интернет-разведка [Руководство к действию]

Читайте также

Список сайтов

Архив Интернета

Просмотр архива сайтов (Cache > Internet Archive)

Информационно-аналитическая система «Семантический архив»

Архив сайтов Internet Archive Wayback Machine

3. Виды сайтов

Список Web-сайтов

Веб-страницы не горят! Чем обернётся пожар в здании Internet Archive Андрей Васильков

Что такое архив?

Кивино гнездо: Архив-Шнархив Берд Киви

4.9. Резервное копирование с помощью Time Machine

4.9.2. Создание первой резервной копии с помощью Time Machine

4.9.4. Использование Time Machine

Архив сертификатов

Физически защищенный архив

Что такое Веб-архив (Web Archive) и как его использовать

Что такое Web Archive и зачем он нужен

Как пользоваться веб-архивом

Как сохранить текущую версию сайта в веб-архиве

Статья по теме:

Как запретить добавление сайта в веб-архив

Как восстановить сайт из веб-архива

Скопируйте контент вручную

Скопируйте контент с помощью скрипта

Обратитесь к сторонним службам

Что запомнить о веб-архиве

Как работать с WebArchive: инструкция

Что такое Web Archive

Как пользоваться WebArchive

Как исключить свой сайт из WebArchive

Что такое Web Archive и как им пользоваться

Что такое Web Archive

Как посмотреть архивные копии страницы в Web Archive

Как удалить копии ваших страниц из Web Archive или запретить их добавление

Как добавить копию страницы в Web Archive

7 ЛУЧШАЯ альтернатива Wayback Machine (веб-сайт интернет-архива)

Лучшие сайты, такие как Wayback Machine (сайты веб-архивов)

1) Визуализация

2) Archive.fo

3) Perma.cc

4) Заморозка страниц

5) Действие

6) Стиллио

7) Веб-архив Великобритании

8) Memento Time Travel

FAQ

❓ Что такое Wayback Machine?

🏅 Как пользоваться Wayback Machine?

❗ Какие сайты самые лучшие, такие как Wayback Machine?

Альтернативы машинам с обратным ходом 10 — Цифровой траулер

Успешно, вы получите электронное письмо с доступом.

Успешно, вы получите электронное письмо с доступом.

Сколько Интернета выполняет обратную связь Действительно архив?

В сети: The Wayback Machine: Архив Интернета

Интернет-архив уже 25 лет борется за то, чтобы все, что есть в сети, не исчезло — и вы можете помочь

Акт исчезновения

Зачем архивировать?

Гражданские архивисты

советов по использованию машины обратного пути Интернет-архива в вашем следующем расследовании