Причины долгого закрытия форума с 21.03.2013 до 22.03.2013

Здравствуйте, уважаемые пользователи.

Хочу поделиться информацией о причинах столь продолжительного закрытия форума, которое произошло этой ночью до 20:43 по МСК 22.03.2013

В связи с тем, что сервис *********** находится в чёрном списке нашего форума (картинки которые размещены на *********** заблокированы на этом форуме, другими словами - они не отображались на нашем форуме), по той причине, что этот сервис стал рассадником троянов, мы провели процедуру переноса картинок с радикала на наш сервер.

Всего было обработано около 21 000 сообщений в которых были размещены радикаловские ссылки.
Средний вес всех радикаловских картинок: более 1 ГБ.

Возможно многих интересует вопрос: "Почему так долго происходил этот процесс?". Если вам интересн ответ, то я постараюсь ниже написать подробный ответ.

1. Все картинки были перенесены в систему вложений. Что это значит? Мы не просто перенесли картинки, эти картинки являются вложениями.. то есть каждая картинка размещённая определённым пользователем была подвязана к этому пользователю и сообщению в котором были размещены картинки с радикала. Этим и отличается система вложений от простых ссылок на картинку.
Эта задача достаточно сложная, поэтому на выполнение привязывания картинок затрачивалось определённое время.

2. Почему форум пришлось отключать?
Форум пришлось отключать по простой причине - скрипт сначала проводит индексацию всех сообщений (более 1 000 000 000) форума, затем определяет в каких сообщениях есть радикаловские ссылки, а затем делает перенос картинок. Если бы мы не отключили форум, а кто-то бы изменил радикаловскую ссылку в сообщении, то произошёл бы некий сбой в работе скрипта, и нам, возможно, пришлось бы начинать процедуру сначала. А процедура эта проводилась около 18 часов.

3. Почему так долго осуществлялся перенос?
Плюс ко всем вышеперечисленным причинам - скрипт производил обработку сообщения, потом делал запрос на радикал и проверял физическую доступность картинки. Бывало такое что картинка есть на сервере радикала, но радикал в это время мог не "отдать" картинку, то есть не показать нам, поэтому скрипт получал ложный ответ от радикала что картинки якобы нет на сервере радикала, но это ведь не так. Вот чтобы предотвратить такие случаи, скрипт был написан так, что он проводил цикл в 6 шагов проверки доступности картинки. Если при первом запросе радикал не отдал картинку, делается второй, третий, четвёртый, пятый, шестой запросы.. и если после шестого запроса радикал не отдал картинку, то это с большой вероятностью говорило о том, что такой картинки уже не существует на радикале. В случае этого радикаловская ссылка вырезалась из сообщения пользователя. Ведь зачем этот мусор в сообщении, если ссылка на картинку является "мёртвой".
Я сам планировал что скрипт управится за ночь, но радикал не всегда хотел отдавать картинки с первого шага.

4. При переносе учитывался весь контент (личные сообщения, публичные сообщения, сообщения и т.д.). Это сделано для того чтобы максимально обезопасить вас от заражения вирусами, троянами которые можно подхватить на сайте радикала.

Несколько скриншотов как это выглядело

Скрипт не может получить ответ от радикала касательно картинок в нескольких сообщениях форума


Потом он делает ещё одну попытку (второй шаг из шести) и получает картинку


А так выглядела обработка личных сообщений в которых были радикаловские ссылки


На данный момент обработаны все радикаловские ссылки, и все картинки которые были размещены на радикале - перемещены на наш сервер.
У кого в сообщениях были ссылки на личные галереи, которые расположены на *********** - покажите содержимое этих галерей другим способом.

---
Внимание!
В скором времени будет запрещено вставлять в сообщения картинки которые хранятся на внешних хостингах картинок. Картинки/фотографии надо будет заливать на наш сервер посредством вложений (кнопка Мультизагрузка вложений на нашем форуме).

Приносим свои извинения за столь длительное отключение форума.

Спасибо! Большое дело сделали!

Давно пора этот радиКАЛ отправить в отстой. Молодцы.

Спасибо от всех компов и антивирусных программ.С уважением к Вашей работе.

Сообщение от DIO Ronny

Давно пора этот радиКАЛ отправить в отстой. Молодцы.

+100500

Молодцы !!! Все правильно сделали...Да работу провели СЕРЕЗНУЮ !!!

согласен. радигал г.., т.е. плохо

Присоединюсь. Дело нужное..

добавлю: все свое ношу с...(умные продолжат)

Сообщение от Винтаж

добавлю: все свое ношу с...(умные продолжат)

Как я рад!!! Сам бы себе + поставил!!!. дайте мне что нибудь купить .... или продать!!! Я так рад))))))))))