Архивируем Интернет-СНГ, и не только.
You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 
abslimit 901d1ef73d dos2unix 2 years ago
aux dos2unix 2 years ago
mirroring dos2unix 2 years ago
README.md upload 2 years ago
coll-to-ipfs.sh upload 2 years ago
config upload 2 years ago
config.sh upload 2 years ago
multi-warchiver.sh upload 2 years ago
warchiver.sh upload 2 years ago

README.md

Набор скриптов, списков сайтов, и прочего для веб-архива arc.netwhood.online

Скрипты:

  • warchiver.sh - делает архив сайта(-ов) в формате WARC. По списку, либо отдельного сайта.
  • multi-warchiver.sh - Запускает несколько параллельных warchiver.sh для списка сайтов.
  • config - общая разделяемая конфигурация для скриптов.

Для запуска в фоне можно использовать nohup. Для записи лога в файл используйте перенаправление stdout.

Данные:

  • mirroring - данные, связанные с архивацией хостингов.