Fandaal

Очень большой объём. Удалил всё.

Я простой пользователь, кинопоиск 2.0 поднимать не буду, да и незаконно.

Но структуру сайта хорошо изучил =)

В общем попытка номер 2 ))

Качаю весь сайт, кроме профилей пользоватей и аудио-видео.

Качать буду до упора, в 1ТБ уложусь же наверно. Сколько времени займёт не представляю.

Естественно, скачанные ссылки открываются оффлайн, в этом и суть. То есть сёрфишь по сайту без интернета, работает и поиск.

Объём скачанного десяток ГБ, в основном то текст - он килобайты весит. Фото побольше конечно, но тоже мелочь.

Скорость тут не очень принципиальна, тут дело в скорости запросов и ответов от сервера, а тут выше головы не прыгнешь. За ночь я вытянул где-то сотню тысяч ссылок, но на этом сайте это капля в море, уже писал про миллионы их.

Если решите качать, советую серьёзно к фильтру URL подойти, отсечь /user, например и т.д., а то потянутся миллионы профилей пользоватей и дальше ещё миллионы веток ссылок.

Я когда посмотрел на структуру сайта, маленько опупел.

Скачал 200 с лишним тысяч файлов за сутки и плюнул пока на это дело. Там миллионы ссылок.

С учётом того, что откинул ссылки на пользователей, новости, блоги, видео и т.п. С этим было бы десятки миллионов.

Не сталкивался раньше с такими монструозными сайтами... По объёму занимаемой памяти всё терпимо, однако. Попробую позже скачать хотя бы разделы /film, /name и оценить результат. Но там куча внешних ссылок...

Задача оказалось очень масштабной, если бы мог под неё выделить отдельный комп, то было бы полное зеркало, но такой возможности нет.