++Highload: Foo & Bar

Традиционно продолжаем освещать конференцию Highload. Некоторая задержка нынешнего репортажа связана с глубокими раздумьями после этого неординарного мероприятия. Но лучше поздно, чем совсем.

Что произошло за год? Кризис смешал все чаяния организаторов разных конференций. Весной этого года не только не возникло ожидавшейся «войны клонов» относительно РИТ (Российские Интернет Технологии) – конференция, сначала перенесённая на осень, попросту не состоялась.

Зато появился RootConf – конференция, ориентированная на админов (также известных как системные администраторы). RootConf вполне себе удался, с плотной программой докладов и без особого засилья вендоров, а слово «антикризисный» впервые просочилось даже на столь тематическую конференцию (см. доклад Игоря Сысоева «Антикризисная настройка FreeBSD 7 для нагруженного веб-сервера»). Отличной была идея отметить закрытие пивом с фисташками для участников, но совершенно обескураживающий шансон в виде финальной музыкальной программы смазал впечатление.

Однако несостоявшийся РИТ оставил некоторую дыру. Само позиционирование «Highload – это про высокие нагрузки» оказалось слишком узким. Нагрузки – это далеко не самое страшное, что может быть. Да рассказывают в целом именно про большие и сложные системы, распределённые и требующие масштабирования и, главное, высокой надёжности. Но оказалось, что даже в такой постановке рамок и тематики докладов людям есть что рассказать.

Ну а теперь, собственно, амбула (запасайтесь печеньем).

День первый

Как обычно, программа строилась по категориям: Архитектуры, Менеджмент, Хранение/базы данных, Смежные технологии (что бы это ни значило), Системное администрирование, Тестирование. Но – всё вперемешку.

Классическая секция про базы данных в первый день не менее классично была представлена MySQL и PostgreSQL.

Morgan Tocker из компании Percona (полу-русской по составу, полу-западной по сути) рассказывал про «MySQL Performance Tuning» и «Quick Wins with Third Party Patches». Что однозначно можно было из этого вынести: MySQL - до сих пор сложный и капризный в настройке зверь, который требует наложения рук (некривых и заточенных) для его нормальной работы.

Magnus Hagander рассказал, что есть нового в PostgreSQL 8.4 в плане производительности. Изменения скорее этапные, нежели значимые (многие путают эти понятия). Безусловно полезный доклад – мало кто вдумчиво читает Changelog, а послушать доступный и сжатый рассказ о новинках – полезно как для адептов, так и для неофитов.

Дмитрий Зенович в докладе «Тестирование в компании Бегун» рассказывал про subj. Медленно и дотошно – что, как я заметил на протяжении более чем трёх конференций, является характеристикой всех тестеров – повествовал как о деталях, так и о процессе тестирования. Забавно, что часто упоминаемое (фирменное?) слово «демонА» (ударение на «а») пришло в Begun из Spylog’а вместе с первым поколением программистов, а теперь ещё и инфицирует Mail.Ru.

Юрий Ковалев из «Performance Lab» рассказывал про «Capacity Management». Совсем не про Интернет (как кто-то ожидал), скорее про корпоративные проблемы. Изложено в доступнейшем из стилей и адаптированной лексике: «раз – и чё-то все задеградировало», «проинжинирить».

Сергей Рыжиков в своём докладе как обычно подводил к мысли о том, что «Битрикс» – это очень даже быстро и хорошо (и почему весь интернет считает иначе? …). А если и кто виноват в небыстроте работы – так это, скорее всего, вовсе не CMS, а нечто иное (или некто). Был убедителен в примерах. Интересно, кстати, что «Битрикс» теперь можно запускать в VMware – есть вариант со специально подготовленным образом. Курс на использование виртуальных машин в хостинге – это всё-таки неизбежный и закономерный тренд.

Примечательна была секция про «манагемент». Михаил Токовинин в докладе «Какой логикой руководствуются владельцы коммерческих ресурсов» сначала уязвил, а после убил присутствующих своим циничным подходом к производительности – подходом, который следует признать практичным и разумным. По его мнению, рискам по производительности и превентивной борьбе с ними уделяют излишнее внимание и время - в то время как рыночные и продуктовые риски куда более высоки. Идея эта вызвала кипеж и возмущение. Действительно, рассказывать об этом людям, которых интересует скорее процесс, нежели результат – было неосторожно. «Ремесленник я иль высоким искусством занимаюсь?» Менеджеры ищут первое, исполнители мечтают о втором. Аналогичным было и противопоставление «дизайна ради дизайна» и реальных нужд продукта. Провокация удалась, практическая значимость этой антикризисной темы была налицо.

Владимир Габриелян (технический директор Mail.Ru) рассказывал про «Управление разработкой высоконагруженных проектов». Как обычно, доклад топового представителя одной из «больших кнопок» Рунета вызвал ажиотаж сам по себе, и этот аншлаг тут же продемонстрировал, что помещения «Инфопространства» уже не очень подходят для нынешнего числа участников конференции. Интерес публики был примерно сравним с рассказом Ашманова на РИТ-2007 про его house rules – схожесть была и в восторженном внимании публики к авторитетам.

Доклад в целом продавал «Mail.Ru с человеческим лицом» – приходите к нам работать, у нас хорошо. Конечно же, корпоративная реальность отлична от нарисованной картинки – изнутри всё рисуют несколько не так. Было в докладе и несколько откровений. Например, оказывается признание и похвала для разработчика важнее зарплаты, а R&D расшифровывается как «Result & Development». Так-то!

Такое активное продвижение Mail.Ru как работодателя, вкупе с летним массовым, по площадям бьющим hunting’ом технарей и не только их (вспомните недавние осенние вливания в менеджмент, хотя и исходы тоже есть) заставляет тусовку делать простой вывод – компания готовится к IPO, и старательно рисует картину безусловного и категорического благополучия и основательности.

Wade Hilmo из Microsoft рассказывал про IIS. Дважды: про внутренности и за производительность. В целом, было достаточно уныло-шаблонно. Классические для Microsoft-докладчиков вопросы в зал в стиле «поднимите руку». И в общем-то не слишком глубоко – можно было бы и лучше.

Отличными, просто безупречными были доклады от Tim Bunce – известного Perl-гуру, создателя DBI и вообще выдающегося человека. Хороший темп, правильная подача, чёткий (пусть и английский, это мы простим) язык, прекрасное чувство юмора и умение наладить контакт с залом (но без шаблонных приёмчиков) – просто образец для обучения большинства докладчиков – мямлящих, без чувства времени, да и вообще теряющихся перед микрофоном и публикой.

Tim рассказывал про профилирование и оптимизацию Perl-приложений – как общие принципы и практики, так и про свой инструментарий – Devel::NYTProf и DashProfiler. Чего только стоит озвученное первое правило оптимизации: «Don’t do it.». В общем, интересно было и hacker-level программистам, так и всем остальным. В конце дня также была проведена открытая встреча с Tim'ом, где он также прочёл свой доклад «Perl Myths».

Александр Яковлев из «РБК/Медиа-мир» в докладе «Новый подход к хранению почты» рассказывал… о чём бы вы думали? О том, как они сделали де-факто свою DFS, заточенную под конкретную задачу. Смешанные чувства овладевают в таких случаях. Мнится бесконечная вереница велосипедов, созданная человечеством для разных – разумеется, исключительно из-за благих намерений! – ведь существующими вариантами обойтись нельзя никак, нужно своё, лично выпестованное в редакторе, вымученное в дебаггере. Платоновская идея велосипеда – вот страшнейший ночной кошмар для любого зрелого технического руководителя.

Однако в данном случае сделанный выбор нельзя назвать совсем уж неоправданным. Использование для почты application-level DFS (типа Google FS или Hadoop HDFS) логичен, жаль что в докладе не было обоснования создания in-house разработки – например, рассмотрения существующих реализаций (в т.ч и DFS поддерживающих Posix интерфейс, типа GlusterFS или Lustre) и их применимости. Это, увы, печать, свойственная многим докладчикам – рассказать «что» в итоге сделали, не упоминая про «почему» и «зачем».

Отблеск чего-то подобного виделся и в следующем докладе Андрея Шетухина «Архитектура новой почтовой системы Рамблера», где он отчитался, что они сделали нового за этот год. Откровенно говоря, с точки зрения сравнения с конкурентами (например, Яндекс-Почтой, не говоря уже о GMail) темп технологического и интерфейсного развития почты Рамблера весьма слаб, и как минимум вторая производная этого темпа уже отрицательна. Будущие технологические планы докладчик наотрез отказался озвучить, ссылаясь на высшие силы (руководство). Это отчасти понятно – public company такая public.

Новинок и решений было представлено немного. Но прозвучало лишь одно слово про открытый в open-source проект антиспам фильтра rspamd – его цинично использовали как приманку на новый сайт разработки Рамблера. Велосипедный вопрос всё-таки мучал меня. И если по применению шаблонизатора CTPP (любовно разрабатываемого Андреем ещё со времён его работы в Mail.Ru и активно внедряемого им сначала в SUP/LiveJournal, а теперь и в Рамблер-Почте) аргументация была (скорость deployment’а и, хм, benchmark’и), то чем локальная разработка «SQL Proxy» (неоткрытая, кстати) лучше давно существующего SQL Relay – осталось неясно. Хотя это ещё один очевидный пример, когда PostgreSQL (+pgbouncer) выглядит привлекательнее MySQL. Пока же остаётся верить, что хотя бы почта Рамблера не умрёт – на поиск-то надежд уже нет.

О делах вечноживого Рамблера (каковой некоторые уже считают синонимом слова «кризис») продолжил Антон Горохов в рассказе про Рамблер Топ100 – как они (фактически – он), приводили систему в поддерживаемое и состояние. Тема интернет-статистики уже была на Highload'е в прошлом году, когда Spylog рассказывал, как переделал систему, и чуть было не случилась дважды в этом году – некий анонимус хотел (но таки не смог) сделать доклад «Зачем Рунету ещё один счётчик».

Вкратце – сделали архитектуру Топ100 менее сильносвязанной, почти добились нормальной надёжности. Некоторые решения (типа синхронизации bdb по SMTP) вызвали спонтанное челюстеотпадание. Интересно, что счётчиков с цифирками на картинке всего 3% – тенденция, однако. Резюме: прорыва нет, но не исключено, что проделанная работа позволит в будущем хоть как-то сократить отставание Топ100 от конкурентов.

Дмитрий Лоханский из «Оверсан-Скалакси» (ранее, видимо, ZSupport) в докладе со скромным названием «Как мы делаем лучшую хостинговую платформу» (в мире?) рассказывал как они строят свой cloud computing (с преферансом и девками). Коротко: Xen, Infiniband, GPFS; WebDAV, nginx, F5; REST, мегаотказоустойчивость, гипертрафик. Проект с высокими амбициями и не очень продуктово понятный – складывается впечатление, что применён подход «давайте сделаем уникальную мега-технологию, а прибыльность придёт тут же сама». Всяческих ресурсов уходит немеряно, и говорят, что в этом декабре должны запустить нечто великое – вот и увидим, будет это Epic Win или Epic Fail.

Кроме такой актуальной модной темы как cloud computing, вспомнили и про не менее горячий grid computing. Алексей Харламов из «GRID Dynamics» в докладе «Использование IMDG в высоконагруженных системах» рассказал, что же такое In-Memory Data Grids и как его применять практически.

Доклад «Архитектурные особенности систем обработки коротких сообщений» Александра Еремкина из CBOSS напомнил всем, на примере обработки SMS’ок, что высокие нагрузки – это не обязательно Интернет (как можно было бы подумать), но в первую (не только историческую) очередь телеком.

Андрей Пантюхин в докладе «p2p & edge-to-edge: разоблачая необходимость высоких нагрузок» говорил концептуально и, прямо скажем неформатно – поскольку делился достаточно отвлечёнными размышлениями и рассуждениями, весьма располагающими для раздумий – на тему нынешнего интернета, неуместной фиксации на серверной части и неизбежном сдвиге в peer-to-peer. Ну и так далее.

Традиционные блиц-доклады неизбежно вёл Алексей Капранов (да, это его крест). Его же блиц и был самым забавным – с полусерьёзными bechmark'ами эволюционно разных способов выдать «Hello world» на Perl и фразой «сервер nginx, которому посвящена эта конференция». Также в блицах было:

* Почему Python (и видимо иные динамические языки) лососят при высоких нагрузках
* Как быстренько пропатчить Apache для виртуального хостинга
* Как использовать nginx для использования геоинформации в PHP
* AnyEvent – кошерный (один из) способ асинхронного программирования под Perl’ом
* Весело про Perl 6
* Как поменяли strtr() в PHP (и к чему всё это было)
* О, сколь же полезен PowerDNS

Вообще, на конференции было достаточно много про расово верные nginx, FreeBSD, Perl. Это радует.

День второй

День второй начался опять с баз данных, но вместо opensource были вендоры.

Как всегда, неизбежный Microsoft в лице Дмитрия Артемова внушал про нужность и нестрашность миграции на MS SQL Server 2008.

И, столь же предсказуемо, Oracle рассказывал про Oracle RAC (Real Application Clusters). В целом, если не считать приличнейших индексов (до которых opensource RDBMS, увы, ещё далеко) и малополезной поддержки нереально большого числа платформ (в России вещь несильно востребованная), то «настоящий» кластер в Oracle – это их основное и безоговорочное преимущество.

Михаил Гранкин из Qiwi в докладе «Особенности использования TimesTen In-Memory Database в высоконагруженной среде» поведал чем хорош (а чем – плох) Oracle TimesTen.

Разумеется, было про ритуальный memcached – но уже не в столь однозначной подаче «надо брать, дайте два» – а в более вопросительной. «Для чего не нужен memcached?» – об этом размышлял Илья Космодемьянский из МТС.

Докладчики из компании «Грамант» сделали две презентации. В первой они завлекали антикризисной тематикой про то, как дешево и сердито (и немного пофигистически) делали-переделывали некий японский видео-хостинг (не исключено, что хентай там тоже водится).

Во второй презентации «Организация отказоустойчивой инфраструктуры для высоконагруженной системы на примере баннерной сети» снова рассказали про архитектуру рекламной сети (также японской), о которой они говорили год назад. И если кто-то скажет «повтор» – мы скажем: «работа над ошибками».

Такого же засилья виртуализации, как на RootConf в этот раз не случилось – даже единственный заявленный Parallels куда-то слился.

Зато было про CDN. О неизбежности его массового пришествия в Россию было рассказано с двух сторон. Михаил Алаторцев из Северо-Американских Штатов, компания Advection.NET, в докладе «Как выйти на миллионы пользователей и не разориться при этом» популярно рассказывал, что есть Content Delivery Network и зачем вам это может быть нужно (и даже раскололся, когда не нужно и вообще бесполезно).

А Ярослав Городецкий из компании NGENIX (и почему они не назвали себя Opache?) в «Технология и бизнес-модель сетей CDN» повествовал о том, как происходит становление бизнесов CDN в России. Грустно всё происходит – полу-монополизм канальных операторов, и затяжное решение административных вопросов неявно говорит нам, что пусть CDN и неизбежен (как социализм), но темп его роста по такой бизнес-модели будет небыстр. Яндекс вот пошёл другим путём (хотя это, конечно, иной масштаб).

В каком-то смысле смежная с CDN тема – это, натурально, DDOS’ы.

Александр Лямин из МГУ в докладе «DDOS: Практическое руководство к выживанию» на пальцах рассказывал про «ботнетоводов», firewall’ы, использование Unix и конечно же nginx для исследования и борьбы с DDOS. Пожалуй, доклад для начального уровня, да и тема для этой «Инициативной группы при МГУ» достаточно новая, неисследованная до всех глубин. Циники бормотали «кто знает – не говорит, кто говорит – не знает», но не будем о них.

То, о чём в предыдущий день быстро и наглядно на блице рассказал Владимир Перепелица применительно к Perl’у, трое докладчиков рассказали каждый про свой любимый язык и, хм, фреймворк. Речь конечно про асинхронное программирование – которое, видимо, неотделимо от высоких нагрузок. А именно, было представлено:

* «Twisted Framework – фреймворк для написания сетевых приложений на Python» Андрей Смирнов (Qik)
* «Python: Асинхронный ввод/вывод без обработчиков событий» Александр Сабуренков (HeadHunter)
* «Асинхронное программирование на PHP (phpDaemon)» Василий Зорин (Dultonmedia)

А Кирилл Коринский, видимо войдя в роль Капитана Очевидность, открыл всем глаза на то, что nginx это не только web/mail proxy, но его можно использовать как application framework – почти как APR. Из него даже вытянули обещание выложить написанный DNS-сервер на основе nginx (пока таки не выложил).

Очень бодро, насыщенно-информативно Андрей Пантюхин рассказал о том что нового и вкусного в вот-вот совсем скоро выходящей FreeBSD 8.0, что будет к 9.x, да и как вообще обстоят дела в FreeBSD проекте и около. Было познавательно, читайте и устанавливайте.

Александр Крижановский в докладе с общим названием «Управление виртуальной памятью в Linux/x86-64» на самом деле рассказывал какой интересный хак они сделали на уровне ядра Linux, остроумно задействуя аппаратную мощь процессора для свой прикладной сетевой задачи. Отличный пример нешаблонного подхода.

Mail.ru активно продвигал свою социальную сеть «Мой мир». Прохлопав в своё время саму моду на социальные сети (которая нынче уже сходит на нет), равно как и появление таких сервисов, как «Одноклассники» и «Вконтакте» (LiveJournal как бы не в счёт, всё-таки самый первый в Рунете), компания Mail.ru до сих пор пытается сделать «Мой мир» первым. Дело принципа, видимо.

С учётом, э-э… «особенностей» социально-демографического портрета среднего активного пользователя этого портала, затея не то что бы безнадёжная, но скорее бессмысленная. Ведь главное тут – национальный охват и масштаб (а тут даже «мёртвых душ» не хватает, чтобы стать первыми). Собственно, и лавры Facebook не дают покоя – теперь у «Мой мир» есть свой API, каковой рекламировался даже в раздаточных материалах конференции.

Но это лирика. А с технологиями там не так уж и плохо: Юрий Востриков рассказал, как они решают задачу построения графа связей, а Роман Алейников – про то, как меряют «температуру» социальной сети. Достаточно интересно.

Нано-апофеозом конференции стал доклад Дмитрия Завалишина «Демонстрация российской операционной системы Phantom OS». Характерно, что на вопрос «почему ФантомОС назван российской системой – неужели в противовес финской системе Linux?» Дмитрий ответствовал, что вообще название доклада не он придумывал. Слайдов, впрочем, тоже не было (да и вообще о факте своего доклада он забыл) – была неструктурированная беседа-рассуждение перед публикой, с хорошей харизматичной подачей и убеждённостью, что «дело правое».

Была и, гм, презентация работающей системы (смотрите скриншот, время полураспада десяток секунд). Много риторики («UNIX – это корабль, поросший ракушками»), но нет мало описания собственно концепций системы, кроме отрицаний («файлы – зло, сериализация данных – зло»). Это ничуть не мешало признать, что практически все концепции в основе данной ОС заимствованы откуда-то ещё (это можно назвать «спостмодерниздили» – не подумайте, как будто это что-то плохое). В общем, смотрите на Microsoft Singularity для понимания того, на что же похож ФантомОС.

Интересно, что бы сказал Кальтенбруннер Танненбаум про этот прожект? Не столь давно на MINIX 3 выделили 2.5 млн евро, так что эта микроядерная ОС как эволюционный проект выглядит куда логичнее и последовательнее, чем попытка революции (хотя fun’а от революции можно получить немеряно, но вот резкая ломка существующего всегда вызовет противодействие).

Далее Завалишин в докладе «Высоконагруженные системы на Java» в свободном стиле размышлял о высоких нагрузках и показывал, что Java в этом смысле вполне применима и уместна. Было много практических примеров и рекомендаций.

Алексей Рыбак в «Open Source разработка в Badoo» рассказал о системах, к которым разработчики Badoo в том или ином виде приложили руку:

* PHP-FPM (в части слайдов, явно чтобы запутать, именовался как PHP-PFM) – менеджер FCGI-процессов
* Pinba – система для мониторинга
* Шаблонизатор Blitz

Было интересно в первую очередь PHP-шникам, хотя всё рассказанное было уже представлено ранее на конференциях типа «PHPCONF».

Самая любовно сделанная презентация была «Зачем знать алгоритмы». Андрей Аксенов (Сфинкс) за 237 слайдов (с множеством картинок) и где-то 30 минут сделал, по сути, введение в индексы и деревья – на живых примерах. Ярко, с юмором, полезно первокурсникам и просто самостийным самородкам. А вообще – не забывайте учить матчасть, читайте Кнута, решайте задачки с 4-мя звёздочками.

Мысли, сентенции, резюме

Контент конференций – наиболее больной момент (как уже признавались те, кому нечего скрывать). Собрать доклады, которые были бы интересны и содержательны – дело весьма непростое. В этом смысле говорить, что Highload – это конференция лично Олега Бунина - конечно же неправильно. Большую работу проводит программный комитет, состоящий из немалого числа известных «гуру», бескорыстно фильтрующих предлагаемые тезисы и вообще работающих с докладчиками. В целом можно сказать, что качество докладов повышается – не так быстро, как хотелось бы, но всё же заметным образом.

Доклады можно (очень) грубо разделить на несколько категорий:

* Как мы делаем/сделали это.
* Какая была плохая старая система, но как мы её побороли и сделали заново (всё, наполовину – нужное подчеркнуть).
* Рассуждения на общие темы.

И что характерно – все слушатели ожидают, что им расскажут секретное know-how, которое их озарит и сразу решит пусть не все, но хоть часть их проблем. Но большая часть концепций и практик в реальности просты и лежат на поверхности. Достаточно читать книги и прочую документацию, и учиться (единственное образование – это самообразование). Как и с вопросом, скажем, здоровья: методично следовать правилам здорового образа жизни – скучно, а лучше поискать волшебную таблетку (или серебряную пулю). Хотя, для кого-то изложение и таких простых правил – уже откровение, так что польза несомненна.

Неудобство конференций, ведущихся в два и более потока – нельзя побывать на всех докладах – что особенно трагично для представителей прессы. К счастью, тезисы докладов (как и год назад) оперативно выкладывались на slideshare.net (хотя часть докладов там показывается попросту некорректно). Но вот видео, как обычно, придётся ждать вплоть до полугода.

Как и не следовало ожидать, сайт highload.ru упал прямо-таки во время конференции, о каковом факте свидетели стали немедленно постить в свои уютные бложики, с нотариально заверенными скриншотами - но, по словам Олега Бунина, никто не спешил оперативно связаться администрацией сайта. Чем-то это напоминает крупную автомобильную аварию – десятки людей останавливаются и начинают снимать на свои гаджеты, и лишь 1-2 позвонят по телефонам 02/03.

Несмотря на обещания, бейджики пришлось вставлять самому, а стульев и мест тривиально не хватало – «Инфопространство» едва выдержало такой наплыв посетителей (сами выбирайте – говорит ли это о шквальном числе последних или низкой ресурсоёмкости первого). Но сильных претензий к организаторам предъявить нельзя, всё вышло хорошо.

Была и онлайн трансляция докладов – факт в наши времена в чём-то даже банальный. Разве что, как обычно, сменили «поставщика» этой услуги – когда-то это были Rutube, Smotri.com – в этот же раз стал Firmbook. Основное неудобство – обязательность регистрации для просмотра, хотя одновременно это давало возможность в конференц-чате задавать вопросы докладчику «из Интернета». Но основном в чатах этих зрители общались на отвлечённые темы типа «откуда идёт подземный стук в микрофоны».

Пуфики для томного полулежания на полу в этом году предоставил не только Рамблер, но и Mail.Ru – с логотипом «Мой Мир», разумеется. Собственно, из «больших кнопок» в этом году в явном виде (т.е. как спонсор) был только Mail.Ru. Компания Рамблер просто засветилась в паре докладов, ну а Яндекс неизвестно, появится ли уже в будущем (но яндексоидов в толпе участников было заметное невооружённым глазом число).

Со спонсорами Highload'у внезапно повезло – космический (прилагательное более чем с одним смыслом) спонсор «Оверсан–Скалакси», вместе с аффилированной компанией McHost – надо полагать сильно помогли тому, что конференция вообще состоялась.

McHost отличился не только фонетическим ребрендингом (был «эм-си хост» – а стал «мак хост», говорят, что из-за простой опечатки Тёмы Л., в бложике которого McHost заказывает рекламу), но и бездной тонкого вкуса. Характерный конкурс в виде «выжми от груди сколько-нибудь-килограмм и получи флэшку», декорированный няшными полуголыми моделями с body-art’ом в виде логотипов компании и всяких крестиков – да, Yahoo такое и не снилось. Ну а финальное шоу-аттракцион виданной щедрости – бесплатное виски с колой – вообще напомнил 90-е годы, с их щедрым раскидыванием внезапно упавшего на голову бабла, и столь же ожидаемой фантазией.

Итак, что же дальше? Highload наконец стал ожидаемым и необходимым событием осени. Война клонов типа как завершилась, и остался только один. Встретимся через год!

Другие репортажи