wget

  • 506 рейтинг
    5 ответов
    Как указать местоположение с помощью wget?

    Мне нужны файлы для загрузки в / tmp / cron_test /. Мой код Wget

    wget --random-wait -r -p -nd -e robots=off -A".pdf" -U mozilla http://math.stanford.edu/undergrad/
    

    Так есть ли какой-либо параметр для указания каталога?

  • 465 рейтинг
    12 ответов
    Использование wget для рекурсивного извлечения каталога с произвольными файлами в нем

    У меня есть веб-каталог, где я храню некоторые файлы конфигурации. Я хотел бы использовать wget, чтобы вытащить эти файлы и сохранить их текущую структуру. Например, удаленный каталог выглядит так:

    http://mysite.com/configs/.vim/
    

    . vim содержит несколько файлов и каталогов. Я хочу воспроизвести

    ...
  • 168 рейтинг
    13 ответов
    Wget скачать с несколькими одновременными подключениями

    Я использую wget для загрузки содержимого сайта, но wget загружает файлы один за другим.

    Как сделать загрузку wget с использованием 4 одновременных подключений?

  • 149 рейтинг
    4 ответов
    Пропустить загрузку, если файлы существуют в wget?

    Это самый простой пример запуска wget:

    wget http://www.example.com/images/misc/pic.png
    

    а как заставить wget пропустить загрузку, если pic.png уже доступен?

  • 120 рейтинг
    4 ответов
    Что лучше, завиток или wget?

    Они одинаковы или нет? Могут ли определенные вещи быть выполнены с одним, но не с другим? Что это такое? Или это, в конце концов, дело фамильярности?

  • 69 рейтинг
    8 ответов
    Получить URL после того, как curl перенаправлен

    Мне нужно получить окончательный URL после перенаправления страницы предпочтительно с помощью curl или wget.

    Например, http: // google. com может перенаправить на http: // www. Google. com .

    Содержимое легко получить (напр. curl --max-redirs 10 http://google.com -L), но меня

    ...
  • 65 рейтинг
    4 ответов
    Время ожидания WGET?

    Я запускаю скрипт PHP через cron, используя Wget, с помощью следующей команды:

    wget -O - -q -t 1 http://www.example.com/cron/run
    

    Сценарию потребуется максимум 5-6 минут для его обработки. Будет ли WGet ждать этого и давать ему столько времени, сколько ему нужно,

    ...
  • 50 рейтинг
    9 ответов
    Как показать только прогресс-бар wget?

    Например:

    wget http://somesite.com/TheFile.jpeg

    downloading: TheFile.tar.gz ...
    --09:30:42--  http://somesite.com/TheFile.jpeg
               => `/home/me/Downloads/TheFile.jpeg'
    Resolving somesite.co... xxx.xxx.xxx.xxx.
    Connecting to somesite.co|xxx.xxx.xxx.xxx|:80... connected.
    HTTP request sent, awaiting response... 200 OK
    Length: 1,614,820 (1.5M) [image/jpeg]
    
    25% [======>                              ] 614,424      173.62K/s    ETA 00:14
    

    Как мне сделать так, чтобы

    ...
  • 39 рейтинг
    11 ответов
    Скрипт BASH: загрузка последовательных пронумерованных файлов с помощью wget

    У меня есть веб-сервер, который сохраняет файлы журналов пронумерованных веб-приложений. Пример имени файла для этого будет:

    dbsclog01s001.log
    dbsclog01s002.log
    dbsclog01s003.log
    

    Последние 3 цифры являются счетчиком, и они могут иногда достигать 100.

    Я обычно открываю веб-браузер, просматриваю файл как:

    http://someaddress.com/logs/dbsclog01s001.log
    

    и сохраните

    ...
  • 34 рейтинг
    4 ответов
    Использование WGET для запуска cronjob PHP

    Я пытался сделать cron и запустить URL каждые 5 минут.

    Я пытался использовать WGET, однако я не хочу загружать файлы на сервер, все, что я хочу, это просто запустить его.

    Вот что я использовал (crontab):

    */5 * * * *
    ...
  • 16 рейтинг
    5 ответов
    использование wget против защищенного сайта с NTLM

    Попытка отразить сайт локальной интрасети и найти предыдущие вопросы, используя 'wget'. Он отлично работает с сайтами, которые являются анонимными, но я не смог использовать его против сайта, который ожидает имя пользователя \ пароль (IIS с встроенной аутентификацией Windows).

    Вот что

    ...
  • 15 рейтинг
    5 ответов
    Есть ли опция curl / wget, которая запрещает сохранять файлы при ошибках http?

    Я хочу загрузить много URL-адресов в сценарии, но я не хочу сохранять те, которые приводят к ошибкам HTTP.

    Насколько я могу судить по справочным страницам, ни curl, ни wget не предоставляют такой функциональности. Кто-нибудь знает о другом загрузчике, который

    ...
  • 12 рейтинг
    3 ответов
    WGET без файла журнала

    Каждый раз, когда я использую wget http: // www. домен. com a Файл журнала автоматически сохраняется на моем сервере. есть ли способ запустить эту команду без регистрации?

    Спасибо,

    Джоэл

  • 11 рейтинг
    5 ответов
    Получение списка каталогов по http

    Существует каталог, который обслуживается через сеть, который я заинтересован в мониторинге. Его содержимым являются различные версии программного обеспечения, которое я использую, и я хотел бы написать сценарий, который я мог бы запустить, который проверяет, что там есть, и загружает все,

    ...
  • 11 рейтинг
    4 ответов
    Каков наилучший способ сохранить полную веб-страницу на сервере Linux?

    Мне нужно заархивировать полные страницы, включая любые связанные изображения и т. Д. на моем сервере Linux. Ищете лучшее решение. Есть ли способ сохранить все активы и затем связать их все для работы в одном каталоге?

    Я думал об использовании curl,

    ...
  • 10 рейтинг
    5 ответов
    разобрать http заголовок ответа от wget

    Я пытаюсь извлечь строку из результата wget, но у меня возникли проблемы с ней. Это мой вызов wget:

    $ wget -SO- -T 1 -t 1 http://myurl.com:15000/myhtml.html
    

    Выход:

    --18:24:12--  http://xxx.xxxx.xxxx:15000/myhtml.html
               => `-'
    Resolving xxx.xxxx.xxxx... xxx.xxxx.xxxx
    Connecting to xxx.xxxx.xxxx|xxx.xxxx.xxxx|:15000... connected.
    HTTP request
    ...
  • 9 рейтинг
    3 ответов
    как прервать Wget?

    Иногда, когда я использую wget для рекурсивной загрузки сайта, я сделал ошибку и хочу сделать аборт.

    Я искал снова и снова и не повезло

  • 8 рейтинг
    4 ответов
    Почему wget не принимает мой логин / пароль?

    Я пробовал оба

    wget --user=myuser --password=mypassword myfile
    

    и

    wget --ftp-user=myuser --ftp-password=mypassword myfile
    

    но я получаю ошибку

    HTTP request sent, awaiting response... 401 Authorization Required
    Authorization failed.
    

    Я знаю, что файл там, и я знаю, что имя пользователя / пароль верны

    ...
  • 8 рейтинг
    10 ответов
    Wget Vs urlretrieve из Python

    У меня есть задача загрузить Gbs данных с веб-сайта. Данные в форме. GZ файлы, каждый файл размером 45 МБ.

    Самый простой способ получить файлы - использовать «wget -r -np -A files url». Это загрузит данные в рекурсивном формате и отразит

    ...
  • 8 рейтинг
    2 ответов
    Могу ли я использовать WGET для создания карты сайта с учетом его URL?

    Мне нужен скрипт, который может сделать паук на сайте и вернуть список всех просканированных страниц в текстовом или аналогичном формате; который я представлю поисковым системам как карту сайта. Могу ли я использовать WGET для создания карты сайта? Или есть сценарий

    ...