Закачка больших файлов Опции Поделиться

[ИВК]

Какой программой лучше всего пользоваться, когда нужно закачать из инета нечто увесистое? Особенно важны, конечно, возможность качать в несколько потоков и - самое главное - надёжность докачки при многократных обрывах связи. Поделитесь опытом, пожалуйста.

[Drool]

Какой программой лучше всего пользоваться, когда нужно закачать из инета нечто увесистое? Особенно важны, конечно, возможность качать в несколько потоков и - самое главное - надёжность докачки при многократных обрывах связи. Поделитесь опытом, пожалуйста.

Закачка в несколько потоков есть большое зло и от лукавого. Могу аргументировать. А вообще-то - круче wget-та не знаю.

[ИВК]

Закачка в несколько потоков есть большое зло и от лукавого. Могу аргументировать

Да, конечно, аргументируйте. А то плюсы очевидны, а минусы.... любопытно и полезно будет узнать.

А вообще-то - круче wget-та не знаю.

Припоминается, у меня в нём что-то бывало не так с докачкой (причём, по-моему, именно в Альте); но, возможно, настройки не в порядке (я там ничего не менял, только свой прокси прописал).

[Drool]

Да, конечно, аргументируйте. А то плюсы очевидны, а минусы.... любопытно и полезно будет узнать.

А вот мне плюсы до сих пор так и не известны. Допустим, провайдер выдает мне полосу пропускания до скорости, скажем, 100 килобайт/секунду. И количество потоков мне ничем не помогут, хоть в двести потоков - они не прыгнут выше выдаваемой мне полосы. А при реально большом количестве потоков возможно даже снижение скорости закачки, т.к. информацию о потоках, кусках скачиваемого файла, положении потока в удаленном файле (не говоря уже о банальных стробирующих импульсах) тоже нужно проталкивать в фиксированный канал. Но это моменты, касаемые качающего, а теперь коснемся моментов сервера, с которого идет скачивание. Многопоточная закачка повышает нагрузку на винт отдающего сервера, причем в разы. Мало того, что головки должны во много раз сделать больше движений (кратно количеству закачек) над поверхностью блина, разрываясь над отдачей, вместо линейного считывания файла, нагрузка также многократно возрастает на шпиндель двигателя и на двигатель блока головок, ускоряя механический износ самого винчестера. Практика показывает, что многопоточные раздачи убивают винты в разы быстрее, и грамотные админы блокируют такие вещи. На fly.osdn.org.ua многопоточка блокируется, особенно настырные могут схлопотать бессрочный DROP по IP до личного обращения к Михаилу Шигорину, владеющего этим сервером.

Припоминается, у меня в нём что-то бывало не так с докачкой (причём, по-моему, именно в Альте); но, возможно, настройки не в порядке (я там ничего не менял, только свой прокси прописал).

Через прокси мне не доводилось работать с wget, поэтому я никогда его не настраивал, вообще. Однажды наткнулся на просто потрясающую статью про wget под названием "WGET - насос для интернета".

[ИВК]

Я в винде качал ФлешГетом, закачка в 4-5 потоков могла сильно ускорять дело. Но тут ведь всё зависит от соотношения между скоростью моего входящего канала и скоростью, с которой сервер может отдавать информацию. Если первая намного выше второй, то есть смысл качать файл кусками с нескольких серверов одновременно.
А вот насчёт винчестеров на серверах - да, тут нечего возразить. Причём даже если качаешь с каждого сервера только по одному куску файла, то, если поразмыслить, это не так уж сильно меняет дело, поскольку винчестеру не всё равно, отдать файл 1 гигабайт целиком или 10 кусков файла по 100 мегабайт разным юзерам.
Спасибо за информацию : теперь я смог взглянуть на многопоточную закачку с другой стороны.

[AIL]

Если закачка с одного сервера по нескольким потокам не руль, то вот закачка с нескольких зеркал одновременно действительно дельная вещь. Это наоборот снижает нагрузку на серверы. Многие разработчики размещают файлы на нескольких серверах. Но не все загрузчики поддерживают одновременную закачку с нескольких зеркал.


Сообщение отредактировал AIL - 4.8.2010, 11:54

[ИВК]

Вот, допустим, 10 серверов, на каждом один и тот же файл в 1 гигабайт, который желают скачать 10 человек.
При однопоточном скачивании каждый качает этот файл с одного сервера. При 10-поточном каждый качает его сразу со всех серверов, кусками по 100 мегабайт с каждого. В итоге получается тот самый многократный рост нагрузки на винчестеры серверов, о которой тут говорилось выше.
Кстати, если подумать, то и увеличение скорости закачки при многопоточном скачивании достигается в значительной мере за счёт тех юзеров, которые качают в один поток : у них скорость закачки падает из-за того, что "многопоточники" создают лишнюю нагрузку не только на винты серверов, но и на каналы связи.

[Balbes]

Если скорость отдачи ограничена на стороне сервера и она меньше возможной скорости канала, то наличие зеркал может дать прирост, а если скорость отдачи выше возможностей канала - использование зеркал только снизит общую скорость, системе придется тратить лишнее время на утряску и согласование + лишний управляющий трафик (например на служебные пакеты, подтверждающие правильность получения кадра и т.п.). ИМХО лучше найти одно зеркало у которого отдача выше канала.
Кстати, многие часто отождествляют скорость канала с цифирками, что им дал провайдер или что они видят при тестировании на специально кэшируемых провайдером страницах\сайтах. Реальная скорость может сильно меняться в зависимости от полной цепочки точек на пути от машины пользователя, до самого хоста отдающего контент.
При использовании разных зеркал, если это на самом деле разные физические сервера, нагрузка на винчестеры и вообще на само железо серверов при многопотоковой закачке не перегружает их. Типа это как простая одновременная закачка отдельных кусков (условно отдельных файлов) с разных источников и слияние с помощь софта на пользовательской машине в одно целое. И не забываем, что современные сервера (железо) уже давно работают не на прямую с винта, а через многоуровневый кэш и если к файлу, пусть и большому идет интенсивное обращение от многих точек, то система его будет отдавать из кэша и винты тут мало нагружаются + сами винты имеют оптимизацию - инфа пишется сразу сквозным потоком по всем цилиндрам одновременно не заставляя головки скакать по соседним. Чем больше рабочих поверхностей, тем больше одновременно считываемый в кэш винта блок.

Сообщение отредактировал Balbes - 4.8.2010, 21:03

[ИВК]

В серверах не разбираюсь, так что спорить не буду. Замечу только, что если всё кэшировать - оперативки (и флэш-памяти - тоже, наверное, используется) не напасёшься. Во всяком случае, если спросом пользуется значительная часть имеющихся на сервере файлов, а не немногие, которые можно постоянно держать в кэше.

[Drool]

Перенесено из темы "Юлинукс"


Самая надежная качалка, виденная мною когда-либо - консольный wget:

Код

wget -c http://адрес/файл

Скачает в ту же директорию, где был запущен.

[ИВК]

И при остановке закачки он так или иначе сам её возобновит, насколько могу судить по своему опыту.

[Drool]

И при остановке закачки он так или иначе сам её возобновит, насколько могу судить по своему опыту.

Ключик "-c" означает "continue", так что если его не забыть - закачка будет именно продолжена.

[komcumir]

Ключик "-c" означает "continue", так что если его не забыть - закачка будет именно продолжена.

вот сколько не юзал wget в альте он и без ключика делает докачку...

[ИВК]

Ключик - для гарантии

[squire]

Ключик - для гарантии

man wget

-c
--continue
Возобновление загрузки файла. Используется если загрузка файла была
прервана. Например:

wget -c ftp://sunsite.doc.ic.ac.uk/ls-lR.Z

Если в текущем каталоге есть файл с именем ls-lR.Z, Wget проверит, соответствует ли данный файл загружаемому (не по размеру!), и, если это так, отправит запрос на сервер на продолжение загрузки файла с того же места, где оборвалась загрузка в прошлый раз.

Помните, что при обрыве связи Wget повторяет попытки самостоятельно и без -c, и только когда он "сдастся" и закончит работу, для возобновления будет нужен этот параметр.

Без опции -c, предыдущий пример приведёт к загрузке указанного файла заново с конечным именем ls-lR.Z.1, не трогая ls-lR.Z

Чтобы не было непредвиденных ситуаций, лучше всегда использовать параметр -с

[Drool]

У меня "-c" уже на автомате, словно это одна команда - "wget -c".