Вебпланета - Игорь Ашманов о социальных поисковиках - Comments

Re:

Ашманов — Sat, 20 May 2006 10:05:02 +0400

Так вы прочитайте внимательно: я и говорю, что иерархические рубрикаторы создают проблему непрозрачности.

Re:

Николай — Fri, 12 May 2006 12:23:29 +0400

"В проектах, связанных с использованием тэгов (типа Delicious) эту проблему решили с помощью фактического отсутствия рубрикатора - тэги насыпаются внавалку, мешками, и помогают при поиске, но не задают жесткой иерархии. ... Это снижает полноту поиска, но снимает проблему непрозрачности."

Странно, глядя на каталог lermont.ru, где используются теги, а не древовидные рубрики, можно сделать как раз обратный вывод - использование тегов снимает(или минимизирует) проблему непрозрачности, а полнота поиска она в стороне - это родовая проблема всего, что отобрано руками.

Re:

Glavniy — Thu, 11 May 2006 17:48:52 +0400

всё это херня-лучший поиск у систем где результаты выводятся в виде облака а не списка

Re:

Roman — Thu, 11 May 2006 17:33:57 +0400

Шахматные алгоритмы за 20 лет не претерпели существенных изменений. компьютер обыграл человека только благодаря росту производительности.
тоже самое произойдет с поиском в ближайшие 10-15 лет, резкое улучшение поиска произойдет только за счет роста производительности компьютерного оборудования.
господин Ашманов лучше всех знает, что наступает такой момент(при создании ИИ), когда, чтбы улучшить систему на 1% необходимо затратить средств больше в несколько раз чем на создание самой системы.

Re:

Roman — Thu, 11 May 2006 17:20:35 +0400

2 Jack. какая бы свежая идея у вас не была все равно что бы просто собрать и сложить всю информацию из инетренета сейчас необходимо сотни тысч серверов. и количество информации с бешенной скоростью растет. да вся надежда на тэги и вэб 2.0 :)
но прорыв обязательно случится! но он будет в другом месте. прорыв будет в оптических носителях информации и в скоростях обмена ею.
я думаю прорыв будет когда весь сегодняшний интернет можно будет сохранить на одном оптическом носителе стандарной персоналки.

Про танковые дивизии

Dim — Thu, 11 May 2006 16:32:06 +0400

Про танковые дивизии:
Давайте цитировать верно:
"Бог - на стороне больших батальонов"
(с) Наполеон Боннапарт
:-)

Re:

Jack — Thu, 11 May 2006 14:22:17 +0400

to Roman

"По моему в поисковом бизнеси, как и на войне, сила за танковыми дивизиями..."

"Атомная бомба" - это и есть свежая идея и принципиально иная концепция ПОИСКА, а все то что Вы называете "танковыми дивизиями" уже вторично.

Иначе говоря, без "Атомной бомбы" нет победы, т.е. нет качественного поиска, который мог бы удовлетворить всех.

2 uni

Алексей Иванов — Thu, 11 May 2006 14:17:48 +0400

Да, торможения бывают, но связаны они главным образом с внутренней инфраструктурой проекта: бывают наплывы нагрузки: как поисковой так и индексно-построительной, бывают и проблемы с коннективити датацентра.

Как справедливо написал Игорь - на то и бета, чтобы все эти инфраструктурные вопросы аккуратно порешать. Вот сегодня я особых проблем с повторными поисками не вижу, в том числе и по упомянутому запросу.

В ближайших планах - укрепление материальной базы проекта (гм, про "танковые дивизии" верно замечено) ну и улучшение балансировки нагрузки, чтобы локальных торможений не случалось более, никто ж не спорит, что время поиска, в том числе и первого не должно превышать комфортной секунды.

Что касается внутреннего устройства наших машинок - мы их пока не готовы обсуждать, работ там довольно много, и меняться еще будет - тоже многое.

Re:

uni — Thu, 11 May 2006 11:36:42 +0400

Alex Tutubalin честно говоря не совсем понял Вашу фразу. Нам вообще говоря все равно как схлопывать и расхлопывать, тоесть это в любом случае делается менее чем за секунду или около того.

Просто сложилось впечатление, что когда идет первое обращение к какому-то поисковику у Вас, то Вы подчитываете для него список с диска, поэтому и получается долго. Вот собственно вопрос был в том, то почему бы не создать общий список и там задавать уже критерии выборки. Ведь даже в персональном поиске люди могут задавать пересекающиеся сайты и придется делать двойную работу.

Если я ошибаюсь, то извините, это моя догадка :)

при попытке поискать через Adre.ru

Считай, что тестер — Thu, 11 May 2006 11:27:16 +0400

Fatal error: Call to undefined function: mb_convert_encoding() in /home/adreru/public_html/poisk.php on line 9

Re:

AlexA — Thu, 11 May 2006 10:40:59 +0400

2Ашманов
> ...на каждый сайт свой отдельный индекс, он же всегда не больше 1 Гбайта.
Игорь, может, все-таки не на каждый сайт, а на каждый поиск?
И потом, неужто у вас нет глобального индекса? Вроде проще все слить и побить по серверам. Тогда проблемы с первым запуском не будет. А удаленные из поиска сайты просто ставить во временный стоп-лист, убирая при переиндексации.

Re:

Дятелл — Thu, 11 May 2006 10:31:58 +0400

2 Roman: какая бомба, что вы... это весьма давно известная штука, масса народу копает в этом направлении. Ссылку не оставил т.к. сайт не поисковый а коммерческий - это же реклама будет, не знаю, разрешено это здесь или нет. Обращайтесь в почту, пожалуйста.

Re:

alex — Thu, 11 May 2006 02:05:09 +0400

Не работает..

Fatal error: Call to undefined function: mb_convert_encoding() in /home/adreru/public_html/poisk.php on line 9

Re:

Roman — Wed, 10 May 2006 23:57:09 +0400

Какойто аноним готовит атомноую бомбу в поиске :). если ничего не выйдет то никто и не вспмнит его слова, а если выйдет то он скажет - вот я же говори я же говорил.

2Заур если бы это можно было посмотреть то уважаемый аноним уже бы скинул сылочку.

Re:

Roman — Wed, 10 May 2006 23:51:30 +0400

2 Jack "Но пока нет главного - хотя бы одного реального готового проекта, которым все могли бы с удовольствием пользоваться."
Это происходит сплошь и рядом. как говорил товарищь Суворов : гладко было на бумаге, да забыли про овраги.
По моему в поисковом бизнеси, как и на войне, сила за танковыми дивизиями тоесть за количеством серверов, количеством рекламы, количеством девелоперов, количеством манагерв разного звена, если у вас конечно нет атомной бомбы :) (когда я пишу про количество я не забываю и про качество конечно)

Re: Дятелл

Заур — Wed, 10 May 2006 23:46:24 +0400

А это где-то посмотреть можно?

Re:

Гость — Wed, 10 May 2006 23:40:51 +0400

Скоро один такой экспертный поиск всех сделает. Тихо, мирно, вы и сами не заметите.

объектно...

Дятелл — Wed, 10 May 2006 22:21:40 +0400

2 Заур - я реализовал объектный поиск, пока только по "тэгам", довольно ресурсоёмкая штука, и к ней очень трудно сделать удобный и одновремемнно понятный интерфейс. В принципе, к "не совсем понятному" пользователи довольно быстро привыкают...

Работает как раз по принципу уточнения запроса, Заодно объектная модель закрыла проблему с рубрикатором.

Re:

Alex Tutubalin — Wed, 10 May 2006 21:57:24 +0400

mmap-нутых деревьев мы точно не используем.

Продемонстрирована проблема с индексацией обвязки сайта - этот несчастный "каталог" вылез из левого меню, а пользователь снял галку "группировать по
сайтам"

Аналогичный результат достигается, если поискать слово из обвязки по одному сайту любым поисковиком:
http://www.webalta.ru/search?q=nginx+site%3Awww.lexa.ru
http://www.yandex.ru/yandsearch?text=nginx-ru&pag=u&surl=lexa.ru

Проблема нам известна, мы в-общем знаем как ее побороть (автоматически удалить навигацию при индексировании), но пока только в виде работающего прототипа.

Re:

uni — Wed, 10 May 2006 21:11:20 +0400

http://public.novoteka.ru/medequip?query=%EA%E0%F2%E0%EB%EE%E3

вот тут. вообще такое ощущение что вы используется ммапнутые деревья для каждого поисковика свои и в этом и кроется проблема.

Re:

Ашманов — Wed, 10 May 2006 20:37:42 +0400

А объём не имеет отношения к делу - ведь на каждый сайт свой отдельный индекс, он же всегда не больше 1 Гбайта.
Там проблема, видимо, не в этом. Я такого эффекта почему-то не могу увидеть. Грузится действительно долго, но потом летает. А на каком поисковике тормозит?

Re:

uni — Wed, 10 May 2006 20:01:55 +0400

Пошел специально загрузил отдельный поисковик (его уже сегодня пробовал) ввел 3 запроса подряд дожидаясь ответа полного от каждого. Результат - 10-15 секунд. При том, что я искал даже не сложный запрос.

А какой объем документов которые вы проиндексировали?

Re:

Ашманов — Wed, 10 May 2006 19:36:29 +0400

Ну, это же бета, всё ж таки.
Да, там есть проблема. Но это не проблема скорости поиска, это проблема загрузки, то есть скорости первого запроса.
Вы ведь давали запрос, переходили к следующему поисковику, снова давали запрос и так далее, верно?
Первый раз всё поисковое хозяйство грузится для конкретного поисковика долго, над этим работаем, скоро поправим.
Если тут же тому же поиску давать второй и третий запрос (тот же или любые другие запросы), то должно быть уже быстро.
Замечу, что у клиента этого, конечно, не должно быть видно, если поисков хотя бы несколько десятков в день.

P.S. А их может быть много, кстати. Мы ещё не выкатили статистику для всех авторов поисковиков (сделаем в июне, надеюсь), но я видел, как тут для кого-то по запросу высылали её почтой, там за месяц 13,000 запросов. Это довольно много для одного из рядовых поисковиков, только что сделанных. Им всем не больше месяца, по сути.

Re:

uni — Wed, 10 May 2006 19:12:44 +0400

Кстати Игорь, я попробовал Ваш персональный поиск, запросы выполняются за неприемлимое время в принципе.

Пробовал искать на разных поисковиках и разное, в среднем около 10 секунд.

В общем никуда не годится.

Re:

Борис М — Wed, 10 May 2006 19:11:40 +0400

2 Юрка

че курим? )

:) я не курю!

2 Roman, любое упоминание это уже событие. За него и спасибо!

"Я думаю что ваш проект сверх обобщен, если вы планируете делать интеграцию для инопланетян :)."

:) речь идет о системе, к которой могут подключиться любые сообщества. Представь себе проект "Территория" со встроенным поисковиком! Там сообщества делятся на гильдии. У каждой свои ценности, лидеры и аутсайдеры. Им важно иметь на первых местах в результатах выдачи те ссылки, которыми они дорожат, в моем это организовать не проблема!.

А насчет програмистов на 100% согласен. Вторую часть пока сам торможу... есть причины.
А первой сам пользуюсь... правда ее подправить немного нужно...

Re:

Jack — Wed, 10 May 2006 18:44:40 +0400

Есть идеи, есть концепции, есть некоторые попытки хоть что-то сделать.

Но пока нет главного - хотя бы одного реального готового проекта, которым все могли бы с удовольствием пользоваться.

Хотя есть надежда, что рано или поздно, кто-то все равно в этом деле добьётся успеха.

Re:

Roman — Wed, 10 May 2006 17:48:29 +0400

У dmoz.org в верхнем правом углу написано "In partneship with AOL.Search", такчто да же толпа бесплатных редакторов не спасает от нехватки финансирования, а если за это еще и платить, то вообще непонятно откуда взять денег на содержание? а ведь самое дорогое это распеарить проект. гугл с его мегаресурсами пока не может победить яндекс в рунете, а вот adre шапками похоже всех закидать решил :).

Re:

Roman — Wed, 10 May 2006 17:24:35 +0400

2 Борис М. помоему Ашманов Ваш проект не поддержал, а просто упомянул. и я Вам советуб почитать правила Ашманова -управление проектами . там есть Правило 5, которое гласит

"Правило 5. Программист испытывает страсть к обобщению.

Программист всегда всеми силами стремится сделать работу наиболее общим способом, чтобы потом только настраивать и прилаживать готовую систему. В этом - суть программирования и его сила.

И в этом же - серьезная угроза бизнесу. Если дать разработчику волю, разработка общей платформы отнимет 100% времени и денег, и продукт никогда не выйдет на рынок.

Поэтому программирование в наиболее общем виде нужно категорически запрещать. Верным признаком страсти к обобщению является планирование создания мощных ядер и наиболее общих платформ со сроками исполнения больше года.

Баланс между обобщением и текущими требованиями рынка достигается опытом и соображениями бизнеса. Программистам доверять здесь абсолютно бессмысленно, как бессмысленно обсуждать с пьяницей семейный бюджет."

Я думаю что ваш проект сверх обобщен, если вы планируете делать интеграцию для инопланетян :).

О затратности

Михаил Маслов — Wed, 10 May 2006 17:15:54 +0400

> Стоимость работы редакторов в конце концов влетает в копеечку. А если они - неоплачиваемые добровольцы, то встает острый вопрос о контроле и качестве их работы

Пока редакторы adre.ru не очень-то напрягаются -- существенная часть описаний ресурсов заимствованы из dmoz.org и yaca.yandex.ru. Что является прямым нарушением лицензий этих обоих ресурсов.

См. также комментарий Ильи Сегаловича в соседнем топике http://www.webplanet.ru/forum/news.html?news=10994

Re:

andy — Wed, 10 May 2006 15:41:40 +0400

Поддержку социальных сетей нужно встраивать в браузер.
Браузер должен собирать небольшую статистику о посещаемых сайтах (время просмотра, глубина и тп.) и ананимно в зашифрованном виде передавать в открытую базу данных в свободный доступ.

Игорь Ашманов о социальных поисковиках

admin — Wed, 10 May 2006 11:56:03 +0400

Публикация, посвященная поисковому сервису Adre.ru, вызвала оживленную дискуссию. «Вебпланета» попросила Игоря Ашманова прокомментировать некоторые аспекты, связанные с так называемыми «социальными поисковиками».