Вебпланета - Архитектура Google - Comments

Re:

St. Yorgen — Thu, 10 Aug 2006 17:10:16 +0400

Это спам, удалили.

Непонятно...

Anonim — Thu, 10 Aug 2006 17:05:57 +0400

А где статьи со ссылками которые я видел ночью? Куда делись?

баян прошлогодний, и статья и обсуждение

masharabinovich — Thu, 08 Dec 2005 01:12:37 +0300

баян прошлогодний, и статья и обсуждение:
http://forum.computerra.ru/?board=comments;action=print;num=1081478084

Re:

B-13 — Wed, 07 Dec 2005 19:38:43 +0300

http://labs.google.com/papers/mapreduce-osdi04.pdf

- this is smth emerging...

Re:

B-13 — Wed, 07 Dec 2005 19:32:35 +0300

http://en.wikipedia.org/wiki/Google_bomb

Re:

B-13 — Wed, 07 Dec 2005 19:27:20 +0300

Круто, особ про "системы охлаждения стояка с 80 серваками дешёвой цены".

Ничего нового.

Гугл индексирует раз в месяц, скоро появятся конкуренты.

Набери "To be or not to be" (без кавычек), и нажми кнопку "I'm feeling lucky"...

Are you HOT or NOT!!!

(Try the same with word "failure"!!! Press the button "I'm feeling lucky")

Re:

uni — Tue, 06 Dec 2005 16:11:04 +0300

а еще говорят что выебываться меньше надо, а то долго не проживешь? продолжим обмен любезностями?

То, на что у него есть ссылки я читал, так же как и кучу остального и что?

Re:

Джонсон и Джонсон — Tue, 06 Dec 2005 15:26:05 +0300

Новое средство Склеросил - забудь о прыщах!

Re:

ekarea-soft@yahoo.com — Tue, 06 Dec 2005 13:14:27 +0300

uni,
поражает скорость, с которой ты прочитал все 8 статей: от момента ссылки на них (05.12.2005 17:08) до твоего ответа (05.12.2005 17:10) прошло две (!) минуты!
А также быстро можешь указать еще 8 статей о google , которые ты прочитал ранее (это на случай, если заявишь, что по названиям они тебе уже знакомы)?
Совет тебе, uni: говорят, что от юношеских прыщей помогает clearseal.

Re:

doorway watcher — Tue, 06 Dec 2005 09:15:37 +0300

Аффтар, слухай Юни. Он дело говорит.
Он знает жизнь, ты понял?
Неважно, сколько там кластеров и серверов у гугля и как они работают. Главное, что юни может скоммуниздить у него гору трафика на дорвеях и перепродать его.
Это главное, ты понял? Спустись на землю чувак.

Re:

ages — Tue, 06 Dec 2005 02:49:52 +0300

>я прочитал все и говорю что спустись с небес на землю.
>все это твои домыслы, в реальности все совсем подругому.

Ну и расскажи нам как же там все по другому?!!! Я то же могу сказать что все не так как написал автор, а на самом деле даже не именть понятия как действительно устроен гугл.
Не нужно общих фраз! Не в детском саду... Факты пожлауста и ссылки. А пока их нет, то убедительно прошу не нужно писать: "...в реальности все совсем подругому(ТОЧКА)"

Re:

Alex Azarov — Mon, 05 Dec 2005 22:51:38 +0300

Так кластер и состоит из таких компьютеров, которые 120-130W. Вот еще цитатака, это из главки "The power problem" (http://labs.google.com/papers/googlecluster-ieee.pdf), можете взглянуть.

A mid-range server <...> draws about 90 W of DC power under load. <...> With a typical efficiency of about 75 percent for an ATX power supply, this translates into 120 W of AC power per server, or roughly 10 kW per rack. A rack comfortably fits in 25 ft2 of space, resulting in a power density of 400 W/ft2.

То есть этот кусок, поскольку в нем так много конкретных данных, я перевел почти буквально из описания Google Labs. Как я понял, в кластере сервера все-таки плотнее стоят, чем обычно в дата-центрах. Конкретно про Equinix не знаю.

Re: продолжаем разговор

al — Mon, 05 Dec 2005 22:35:26 +0300

"typical power density for commercial data centers lies between 70 and 150 W/ft2, much lower than that required for PC cluster"

вот эта фраза звучит вполне понятно, потому что в предложении есть "much lower than that required for PC cluster".

у вас же написано:

"Обычному серверу требуется около 100W, при стандартном КПД блоков питания в 75% получается, что на вход нужно подавать 120–130W. Серверная стойка занимает около 2.3 m2, следовательно..."

по вашему тексту получается в Equinix (например) стоят НЕ обычные серверы (потребляют мало), а гугла обычные (потребляют много)? В добавок, абзацем выше Вы как раз рассуждаете на тему "обычности" серверов гугла и тут же пишите, что их "нельзя ставить" в обычном ДЦ. Я думаю, мысль моя понятна.

я придрался не к конкретным цифрам, а к тому что не логичные рассуждения у вас получаются.

Re:

Alex Azarov — Mon, 05 Dec 2005 22:15:29 +0300

al, выжимка из [5]:

Unfortunately, the typical power density for commercial data centers lies between 70 and 150 W/ft2, much lower than that required for PC clusters. As a result, even low-tech PC clusters using relatively straightforward packaging need special cooling or additional space to bring down power density to that which is tolerable in typical data centers.

Re:

savelich — Mon, 05 Dec 2005 22:00:19 +0300

Выглядит вполне правдоподобно. Я бы сторил поисковик примерно также.

про ДЦ...

al — Mon, 05 Dec 2005 21:17:43 +0300

цитата: "серверная стойка занимает около 2.3 m2, следовательно, на каждый квадратный метр требуется 4500W. При использовании более мощных машин плотность достигает 8000 W/m2. При этом стандартная плотность, которая предлагается коммерческими датацентрами — от 700 до 1800 W/m2."

ага, а "коммерческие дата центры" размещают серваки в каких-то особых стойках, да? в таких что им 1800W/m2 хватает? БРЕД. ДЦ гугла ничем не должен отличаться от тогоже Equinix'a.

Re:

mit — Mon, 05 Dec 2005 21:01:50 +0300

действительно... интересная научно-популярная статья...
пусть даже в гугле устроено все по другому, но статья дает приблизительное представление о том, как устроены поисковые системы...

спасибо автору, продолжайте тему, если есть еще о чем написать... а "прАфИссионалы" могут пойти на специализированные ресурсы и там побрызгать слюной :)
тут все-таки вебпланета, со своим форматом...

Re:

Alex Azarov — Mon, 05 Dec 2005 20:14:34 +0300

sply и Демократ, спасибо, буду копать. :) Думаю, и та часть, что изложена в статье, будет многим небезынтересна.

Re:

Critic — Mon, 05 Dec 2005 19:08:22 +0300

100000 (сто тысяч!) не меньше?!
и каждый выделяет тепло, много тепла от высокой нагрузки. .... хм, теперь понятно .... спасибо Гуглу за вклад в Глобальное Потепление.
Кстати, как Вам зима? Следующая будет еще теплее?!

Re:

внимательный читатель — Mon, 05 Dec 2005 18:36:20 +0300

зачем, sheller?

Re:

sheller — Mon, 05 Dec 2005 18:28:45 +0300

Господа, особенно uni и внимательный читатель!
Если вы обвиняете автора в неправильном изложении существующих вещей - напишите как есть на самом деле. И не забудьте дать источники информации.
Благодарю за внимание.

Re:

внимательный читатель — Mon, 05 Dec 2005 17:36:08 +0300

все вы тут некомпетентные, непрофессиональные люди. и автор, и комментаторы. стыдно за вас

Re:

sply — Mon, 05 Dec 2005 17:25:31 +0300

Кроме того, в схеме, пожалуй, самая интересная часть - реализация работы распределенных приложений (3 и 4 уровни).

После того как гугль более-менее стал большим и взрослым и они пригласили хороших умных людей типа Пайка, эти люди рзработали и поставили универсальную систему управления и выполнения распределенными операциями. Честное слово, это более крутая вещь, чем GFS.

Re:

Гость — Mon, 05 Dec 2005 17:19:42 +0300

GFS - это файловая система. Можно сказать, самый нижний уровень. Основная часть статьи пришлась именно на него.

Т.е. если упрощенно рассматривать уровни:
1. веб-интерфейс (внешний вид)
2. кэширующая прослойка различных модулей
3. приложения (поиск, реклама и т.п.)
4. прослойка кэширования данных приложений
5. кэш файловой системы
6. файловая система GFS
7. операционная система
8. железо

Но это только одна небольшая часть системы. Упомянутый выше кэш для sex здесь на втором уровне.

Если оценивать уровни по их "вкладу" в общее дело, то на первые 4 уровня уходит основная часть всех ресурсов.

Re:

Alex Azarov — Mon, 05 Dec 2005 17:15:14 +0300

uni, может быть. Достоверность информации оставляю на совести Google Labs (см. коммент выше). Может быть, все не так, как они рассказывают, но я не нашел пока источников лучше.

Пожалуй, правильно было бы привести источники сразу, в теле статьи, это сняло бы вопросы и, надеюсь, обвинения про витания в облаках. :)

Re:

Alex Azarov — Mon, 05 Dec 2005 17:11:50 +0300

Да, забыл сказать. [6], [7] - это статьи, написанные после встречи с вице-президентом Гугла. Они написаны в текущем году, и в них нет ни единого противоречия более ранним источникам...

Re:

uni — Mon, 05 Dec 2005 17:10:34 +0300

я прочитал все и говорю что спустись с небес на землю.

все это твои домыслы, в реальности все совсем подругому.

Re:

Alex Azarov — Mon, 05 Dec 2005 17:08:34 +0300

Максим, посудите сами. Вот библиография статьи:

1. Barroso L., Dean J., Hoelzle U. Web Search for a Planet: The Google Cluster Architecture. 2003 // Google Labs (http://labs.google.com/papers/googlecluster-ieee.pdf)
2. Brandt D. Is Google broken? 2003 // Google Watch (http://www.google-watch.org/broken.html)
3. Brin S., Page L. The Anatomy of a Large-Scale Hypertextual Web Search Engine. 1998 (http://www-db.stanford.edu/~backrub/google.html)
4. Dean J. MapReduce: Simplified Data Processing on Large Clusters. 2004 // Google Labs (http://labs.google.com/papers/mapreduce-osdi04.pdf)
5. Ghemawat S., Gobioff H., Leungh S. The Google File System. 2003 // Google Labs (http://labs.google.com/papers/gfs-sosp2003.pdf)
6. Kuchinskas S. Peeking Into Google. 2005 // Internetnews.com
7. LaMonica М. Google's secret of success? Dealing with failure. 2005 // News.com
8. Tristan L. How many Google machines. 2004 (http://www.tnl.net/blog/entry/How_many_Google_machines)

Спекулятивными из них являются только два: [2] я привожу, потому что там есть наглядное описание работы inverted index, [8] - чтобы дать пример недостоверных методик подсчета количества серверов.

В основе - работы сотрудников Гугла [1], [3], [4], [5]. Все они, кроме одной, датируются не раньше чем 2003 годом. Работа 1998 года - уже классика жанра, не рассматривать ее было бы странно. Оттуда взяты наиболее общие вещи, которые, как я уже говорил, мне кажутся достоверными по сей день.

Эта статья не оригинальная, просто популярный пересказ того, что можно спокойно прочитать в официальных англоязычных источниках, в этом есть плюсы и минусы. Плохо то, что нет никаких самостоятельных исследований и открытий, нет оперирования разными версиями и слухами. Плюсом является как раз отсутствие спекуляций. Странно поэтому, что именно в спекуляциях меня обвиняют уважаемые читатели. :)

Re:

Максим — Mon, 05 Dec 2005 16:17:50 +0300

Alex Azarov, в том то и дело, что старые или в общих чертах, поэтому не стоит в утвердительном тоне говорить, что в google так устроено сейчас.

Re: Про достоверность

Alex Azarov — Mon, 05 Dec 2005 16:07:40 +0300

Максим, никаких слухов не использовалось. У меня есть старые источники, но они описывают архитектуру в самых общих чертах и, по моему мнению, остаются релевантными. Если у вас есть другие сведения, поделитесь. Основная информация довольно свежая.

Архитектура Google

admin — Mon, 05 Dec 2005 14:17:07 +0300

Нынче стало модно сравнивать Google с «Матрицей» и «Скайнетом». Некоторых журналистов от таких мыслей берет озноб: «Google строит Суперкомпьютер будущего!»