Цифровой мусор: оптимизация, архивация и удаление

В среднем каждую секунду человек производит 1,7 МБ данных, а это свыше 7600 ТБ информации в рамках всего интернет-общества, все это добро необходимо хранить, с чем пока еще справляются дата-центры.

Ежегодно количество пользователей Интернета и социальных сетей увеличивается на несколько сотен миллионов человек, сейчас более 60% всего населения Земли находится в сети, и все эти 4,5 миллиарда человек беспрерывно генерируют новый контент. Фотографии, видеоролики, документы и даже банальная переписка с друзьями в соцсетях занимает немало места в цифровом пространстве.

Значительная часть генерируемых данных является ничем иным, как «цифровым мусором». Забытые в облаке данные, многочисленные копии файлов, кэш приложений и т.п. Объем цифрового мусора постоянно растет, причем не только за счет новых пользователей, но и ввиду утяжеления самой информации. Самый простой пример: 20 лет назад фото весили около 1 МБ, сейчас же средний показатель равняется 3,5 МБ. Рост блогерского сообщества, улучшение качества фото- и видеоконтента, бесконечное копирование одного и того же текстового материала, переписки, сториз и т.д. — рано или поздно хранилища переполнятся.

Данные растут, а объем накопителей практически нет. Закон Мура, сформулированный в 1968 году, гласящий о ежегодном двукратном приросте объема памяти, перестал работать в 2007 году. Сейчас HDD диск на 20 ТБ является пределом для потребителей, а стоимость такого накопителя в российских реалиях превышает 50 000 рублей. Планы Seagate и Western Digital выпустить 50 ТБ жесткие диски не ранее 2026 года еще раз подтверждают несостоятельность закона Мура. С SSD ситуация не лучше — эти накопители хоть и могут конкурировать с HDD, предлагая до 100 ТБ места, но стоимость их просто космическая.

Все больше информации переходит с домашнего хранения в облако, вес данных растет, а значит неизбежен коллапс дата-центров, если не принять меры, построить новый центр обработки данных (ЦОД) — это не одного дня дело, да и подобные мероприятия не дешевые, а в некоторых местах и вовсе стоят заоблачных денег.

В цифровой индустрии применимы как хардверные, так и софтверные решения проблемы. Вместо возведения новых ЦОД куда проще разработать новые алгоритмы сжатия данных, в этом направлении активно работают IT-гиганты, оптимизируя и создавая новые алгоритмы кодирования файлов для снижения их веса.

Сервис потокового видео YouTube решил отойти от политики доступа к старым видео в низком разрешении, новые видеоролики сразу доступны во всех разрешениях, начиная от 144p, то старые хранятся на сервисе только в оригинале. Но если появится запрос на выведение картинки устаревших роликов в отличном от оригинала разрешении, алгоритмы сервиса моментально предоставят такую возможность (затем сжатое видео вновь удаляется). Также внедряются новые кодеки, и если лет 5 назад доминировал H.264, то сейчас на YouTube главенствует VP, в 5 раз более эффективный по сжатию относительно предшественника.