Nigma.Ru начинает работы над собственным индексом

> Ну не любят пользователи ходить на вторую страницу

это вот именно у нас они не любят ходить на вторую страницу. а вот в других поисковиках они на вторую страницу чаще ходят. спросите у Ильи Валентиновича как часто его пользователи ходят на вторую страницу и сравните его статистику с нашей. тогда будет более корректное сравнение с нами, это правда.

> Плюс для большинства это необычно

тестирование нашей кластеризации, судя по статистике, закончилось уже в мае (все-таки мы ее в апреле сделали, а не сейчас). сейчас идет обычное нормальное использование.

Морфологический модуль подключить, многочисленные глюки почистить (сейчас любой знак препинания в запросе приводит Нигму в ступор), разобраться с дублями, результатами с одного сайта, обновлять индекс чаще, чем раз в 2 недели, сделать нормальный язык запросов, дизайн, нагнать аудиторию - глядишь, при должном везении получится Яндекс образца этак 1999 года.

А пока Nigma - это коричневая субстанция известной констистенции.

Денис,

а) морфологический модуль уже подключен, я же писал об этом или что вы имеете ввиду?

б) багу со знаками препинания я исправил, правда немного кривенько, к вечеру все везде поправим,

в) про дубли я уже написал -- удалим в ближайшее время,

г) результаты с одного сайта -- тут все понятно, я даже хотел это сделать вчера, но вместо этого сделал proximity search, чтобы приоритеты точным фразам отдавались при сортировке. думаю, это было верное решение,

д) индексировать будем часто, сделаем как у всех -- будет быстрая база, которая будет часто переиндексироваться, и общая, с этим вообще проблем никаких, краулер можно как хочешь настроить, естественно,

е) про язык запросов я уже писал, дизайн мы переделаем (мы может вообще новый сайт запустим как я уже написал).

В общем, пятилетку за месяц, думаю, осилим :-) Мы ж как раз к концу 2005-го обещали все доделать.

Лавренко, вы не обижайтесь, то что Вы показываете на сайте сейчас даже на альфу не тянет. Помоему такое вообще стыдно показывать должно быть.

А вообще удачи с проектом.

спасибо! я не обижаюсь, мне наоборот хочется как можно больше комментариев чтобы понять, куда двигаться. а про "стыдно показывать" -- ну мы ж не на конкурсе "мисс мира", мы отлаживаем проект, я получил уже кучу баг-репортов, которые без показывания никогда б не получил. так что большое спасибо! если вы пришлете мне на емейл краткое описание ошибок, которые вы заметили, буду очень благодарен!

Обычно для подобных целей набирают тестеров, причем можно даже добровольцев :)

а) запрос 'экслерами', например;
б) и то хорошо;
в, г, д, е) ну вот тогда и посмотрим на вашу диссертацию (зачеркнуто), т.е. поисковик.

действительно, тестеры нужны. я вчера полночи сидел закидывал запросы, которые пользователи у нас делают, в наш поиск, визуально смотрел результаты + стресс-тестирование устраивал, но таких багов, которые мне по аське сегодня присылают, никогда б сам не нашел. но нельзя набрать тестеров-добровольцев без того, чтобы объявить о том, что мы начинаем тестирование. хотите стать тестером-добровольцем? ;-)

а) спасибо огромное! мы тут просто уже несколько недель без выходных, ночи не спим (я, например, уже вторые сутки не сплю :-), нас глючит :-) код поправили, все должно работать (экслеры в курсе, что вы ими в творительном падеже делаете? ;-).

вгде) -- все будет в лучшем виде :-)

Экслер видит все.

Лавренко: как-то наколеночно получается... "к вечеру исправлю", "смотрел, тестировал..". Смущает такой проект одного человека.

все-таки в оригинале было "к вечеру все везде поправим", уже поправили, кстати (и именно поправи*ли*). "тестировал" -- помню как мильнер ходил по порталу и вычитал по 50 баксов за каждую неработающую ссылку. думаете, он был не прав? думаю, что прав, за исключением 50-ти баксов. так что я делаю все то же самое, но без этих баксов. я все-таки в мейле 5 лет проработал, 4 из которых с мильнером. лучшие качества впитал. :-)

ну и вообще по поводу одного человека -- вас не смущает, что гугл -- проект двух человек? ;-)

Ну, если искусственный интеллект есть - грех его не заставить заниматься индексированием, ранжированием и массой других полезных вещей. Вспоминается наиболее точное определение искусственного интеллекта: "Искусственный интеллект - это способ вымогания денег у правительства". Так что по крайней мере с финансированием у Нигмы проблем быть не должно!

Проект одного человека это как раз нормально, поиск делают максимум 4-5 человек (ядро команды), вопрос в другом

a). Гугл начинали с миллиона долларов

b). PHP и нагрузка вещи не совместимые, вы про ядровые http-сервера слышали?

Критиковать можно до бесконечности, просто я пытаюсь донести до вас, что выглядит это все несерьезно, как у школьников. И возможно имеет смысл довести продукт, а потом показывать, тк люди второй раз не пойдут, если им не понравилось.

а) ну гугл этот лимон получил уже после того как была готова пилотная версия. или вы считаете, что нам уже пора за миллионом идти? :-)

б) слушайте, вы здесь все всерьез считаете, что у нас поиск на php написан? :-))) phpж это вообще только обертка.

ну а опишите -- серьезно -- это как? т.е. вместо того, чтобы выложить новость про тестирование на сайт и послать ее на вебпланету с серченджинс.ру, нужно было собирать прессуху с красной/черной икрой за 20К в мэриотте? так? ;-) или надо написать, что мы прок... 2.5 миллиона долларов и собираемся прок... еще 5? :-) тогда будет серьезно? ;-) если не так, то как?

Есть куда двигаться поисковым машинам!!! Если бы ты подписал Биль о неразглашении и не использовании, дал бы идеи...
:)))

зачем мне идеи, которые нельзя использовать? :-) к тому же, я очень подозреваю, что у меня похожие идеи, и не только у меня. тут в одном мейлинг-листе появился товарищ, который раз в неделю генерирует совершенно гениальную идею. проблема с его идеями в том, что они уже были придуманы кем-то и даже зачастую внедрены.

Пока что обертка соотвествует содержимому :)

А примеры, примеры можно конкретные? Ну там запрос-ответ -- типа как ваш коллега что-то с экслерами собирался делать...

попробуйте поискать "купить машину"

и так по всем, вообще фигня полня вылезает не имеющая отношения к делу. короче с релеватностью все плохо.

и задайте вопрос гуглу например тот же самый - сравни разницу!

эээ... так это ж совсем другое, релевантность тут ни при чем, это полнота -- просто размер базы. мы ж написали, что проиндексировали только 25 тыс. сайтов, и еще 200 тыс. совсем чуть-чуть. естественно, что мы не индексировали всякие екоммерческие сайты, старались стороной обходить порнуху и т.п. это же небольшая тестовая база. поэтому логично, что у нас в ответ на этот запрос вылезают контентные сайты. дело вовсе не в алгоритме.

зачем мне идеи, которые нельзя использовать? :-) к тому же, я очень подозреваю, что у меня похожие идеи, и не только у меня.

Это всего лишь предположения... :)))

Дело в том, что Биль о не разглашении и не использовании подразумевает, что если идея не будет принята к реализации, автор будет защищен. И плагиата не произойдет!!! А если идея будет реализована, то автор получит свою часть гонорара.

Меня удивляет, что вы отказываетесь от такого варианта договора.

Достаточно просто изложить, то, что будет обсуждаться в протоколе и, что нет желания обсуждать.

А идея оригинальная и простая для реализации!!!! :))) А самое главное!!!! При ее удачной выполнении, ее можно продать тому же Гуглю!!!!

Борис

Борис, если это простая для реализации идея, которую можно продать гуглю, то реализуйте ее и продайте. Если я вам нужен для этого, ну заинтересуйте меня ;-) Пока же я вижу только обратное -- вы хотите повесить на меня какие-то обязательства. А у меня и так забот хватает :-)

Виктор, почему вы боитесь обязательств???

Всем известен факт, что честному человеку нечего бояться!!!

Биль о не разглашении это нормальная юридическая практика и нормальные люди ее не бояться!!!

Согласитесь, что выдавать коммерческие идеи без защиты, то же не правильно... :)))

Как говориться на нет и суда нет... а идея красивая... :)))

Виктор, у меня проблема в том, что создаю собственный поисковик, с принципиально другой архитектурой... а идея относится к традиционным поисковикам к которым отношу и ваш проект.

Честно, ваш проект мне нравиться. Вот и хотел бы вам расказать как можно начать зарабатывать не только на рекламе... в которой считаю себя специалистом. :)))

Заинтересовывать вас в идее начать зарабатывать уже завтра, считаю странным... Если вас деньги не интересуют, то даже не представляю чем вас еще можно заинтересовать!!!! :)))

Борис, вы правы. Нас сейчас гораздо больше интересует разработка новых технологий, чем зарабатывание денег, и тем более каким-то нестандартным образом. Обратитесь со своей идеей в Яндекс, Рамблер или Гугл -- они (пока ;-) больше нас, а значит и ваша комиссия будет больше.

Я где то говорил, что жду от вас комиссии? Мелко лавочный бизнес меня не интересует! :)

Еще в апреле писал письмо/резюме, когда набирали текстеров. Но даже отказа не прислали.

Виктор, не гонитесь за объемом индекса. Yahoo вот погнался...

Борис М, возможно, ваши идея гениальна, но пока как минимум вы ее сами не реализуете и не покажете результаты, ни одна серьезная компания вашей идей не заинтересуется. У них у самих этих идей вагон и маленькая тележка.

Также может быть, что идея замечательная, а грамотно реализовать ее вы не сможете.

Еще надо учитывать, что в крупные компании каждый день стучатся "гении" со своими идеями. Я к этому отношусь так - реализуй хотя бы на маленьком проекте, покажи что идея работоспособна и что ты умеешь работать, тогда и можно говорить.

Виктор,
вы эксплуатируете бренд (не путать с trade mark :)МГУ, как составляющую политики позиционирования. Вы не могли бы нам рассказать сколько из работающих у вас разработчиков учились или преподают в МГУ и какую %часть от всей команды они составляют? Себя, пожалуйста, не вспоминайте. :)

Скажите, как официальные представители МГУ относится к этому факту?

2Константин: перерыл всю почту за апрель, так ничего и не нашел. вы с сайта его посылали?

: угадайте :-) (когда будете угадывать, учтите, что мы в МГУ и сидим :-). а про официальных представителей -- ну вот у них и спросите :-)

коллеги!

на самом деле здесь интересный вопрос был поднят про то, чтобы нам синтаксис сильно улучшить (а точнее вообще сделать :-). вот по-честному, кто чем пользуется из синтаксиса поисковиков 2005-го года, кроме ИЛИ и НЕ (это-то мы сделае к концу этой недели, тут проблем нет)?

потому что я, например, поиску в заголовках никогда не верил в качестве пользователя, а со стороны поисковой машины у меня вообще четкое недоверие тэгу title -- там люди пишут вообще что хотят.

> вот по-честному, кто чем пользуется из синтаксиса поисковиков 2005-го года, кроме ИЛИ и НЕ (это-то мы сделаем к концу этой недели, тут проблем нет)?

Хехе. livejournal.com/community/kubok/45852.html

Кроме того, вы ведь слышали о таком понятии как "внутренний синтаксис" - для служебного использования, так сказать. Яндекс, например, в зависимости от связанности слов обещает искать либо '&', либо '&&/(-3 +6)', либо '&&' или еще черт знает как.

Вы совсем без этого собираетесь обойтись?

к вопросу об МГУ

те ваше отношение к МГУ исчерпывается арендой у них офиса и тем, что лично вы там учились?

Денис: тот внутренний синтаксис, о котором вы говорите, у нас есть. внешний же синтаксис, ссылку на который вы прислали, мы сделаем даже лучше чем яндекса, нам неслабо. только nigma.ru -- это поисковик, в котором можно искать не зная не только всего этого сложного синтаксиса, а вообще особо не думаю. написал слово, увидел кластеры, ткнул туда, что тебе интересно, получил результаты, если там нет того что нужно, расширил запрос, ткнул в новые кластеры и т.д. вот над этим мы работаем, чтобы диалог был не с руководством пользователя, а с системой, которая "догадывалась" бы, что нужно пользователю, и "подсказывала" бы пользователю как искать (это мы и имеем ввиду под словами "искусственный интеллект").

МГУ: нет. кстати, ваше первое "ваше" -- это лично ко мне или ко всему проекту?

Денис: не, совсем не слабо. пойдем сверху вниз. :-)

Наличие заданного слова в результатах. Уже сделано. Т.к. у нас нет стоп-слов и нет нестрогого соответствия (не люблю, когда псевдоискусственный интеллект за меня принимает решения, вот когда он помогает -- ненавязчиво предлагая варианты -- люблю :-).

Исключение слова. Сделали, но пока не выложили. Видимо, завтра. С синтаксисом "-" перед словом, но без извратов с поиском внутри абзаца-предложения. ОК?

Решение проблемы омонимии. Как нефиг нафиг :-) Хотите, для "лужков ~~ !!лужков" мы специальный синтаксис сделаем, чтобы без таких извратов? например, "лужков--лужков,лужка", из лужков исключаются "лужков" и "лужка". При этом он работать будет только если хотя бы одно слово из перечисленных через запятую имеет хотя бы общий стем с оригинальным, чтобы если пользователь случайно пробелы забыл поставить, у него поиск работал (дважды "хотя бы" -- это если пользователь неграмотный и не те формы написал :-). Идет?

Имя собственное: быстро не сделаем, у нас индекс пока case-insensitive. но сделаем, фича полезная. тем более, что у гугла нету, как я понимаю :-)

Поиск слов в одном предложении: быстро можем сделать расстояние между словами, сделав в синтаксисе & как /10, например. но можем сделать честно, записав в индекс метки конца предложений. Это (метки) точно надо? ;-)

Поиск слов в одном предложении: быстро можем сделать расстояние между словами, сделав в синтаксисе & как /10, например. но можем сделать честно, записав в индекс метки конца предложений

Поиск слов на одной странице: у нас всегда так, так что запросы у нас вам будет проще набирать :-)

Любое из слов: легко! :-) а вам скобки нужны? ;-) можно без скобок сделаем? ;-) глюков не будет. кстати, ваш синтаксис уже не поддерживается -- по этим запросам находят только вашу страницу в ЖЖ.

Наличие заданного слова в сниппетах: вообще мы все слова ищем из запроса в сниппетах. только если мы нашли слово в ссылках на документ, и в документе его нет, и если в запросе есть еще слова, которые в документе есть, только тогда оно не выведется (что бывает редковато). так что в первом приближении фичу можно считать реализованной :-)

Расстояние между словами: как два пальца :-)

Устойчивые словосочетания: сделаем. про особенности: а вы как хотите, чтобы словоформа сохранялась или нет? у нас, как я писал, другие словоформы ищутся если мало документов (сейчас я уменьшил лимит до 100, вчера было 400 -- нет, не из-за производительности, так отлаживаться проще ;-). глюков не будет.

Устойчивые словосочетания с разными словоформами: легко, но как сделать, скажите (см. предыдущую фичу)

Числа: ого. а такое надо? че-то мне кажется, что это глюк

Нафиг не надо: не будем делать, спасибо :-)

Операторы веса: сделаем. а как вы хотите, чтобы мы со ссылками поступали? так же? т.е. если 'поисковые механизмы:5', то механизмы если в линках на документ есть, им тоже в 5 раз больший вес давать?

Уточнения запроса: ну почитал я, это управление нестрогим соответствием. что-то мне кажется, что это не надо, тем более, если вы не поняли, что это :-)

Поиск спецсимволов: № ищем, но обертка наша phpшная, боясь за самочуствие движка, этот символ выкидывает :-) вернем. а С++ и С# можем внести просто в словарь, составим какой-то такой словарь. совсем все спецсимволы искать все-таки не хочется, а то мы полезных вещей находить не будем

Поиск по маске: можем сделать. особенно легко (в смысле нагрузки) "?". * может слегка накернить сервер, ;-) но можем сделать с лимитами. а надо? будете нас любить, если сделаем? ;-)

Транслитерация: ок, сделаем. поеду заграницу, проверю :-)

Поиск в элементах: мнда, на этом месте дочитывать до конца уже не хочется :-)

Итак, по поводу таблицы: я правильно понимаю, что нужен один синтаксис, который откусывает www как из запроса, так и из имени сайта и правильно обрабатывает редиректы? А если это сайт win.mail.ru, по mail.ru он находится или только по *.mail.ru? (такая функциональность вообще есть/нужна?)

Поиск на нескольких сайтах: сделаем даже больше 10 :-) ваша гипотеза верна, по крайней мере, мы так будем делать, что порядок будет сохранаться

Особенности и глюки про поиске картинок: порнографию пока на других поисковиках предлагаем искать :-) но сделаем ;-))))) но нескоро.

Поиск по частям домена: а можно мы все эти недокументированные фичи через звездочку сделаем, как выше написано?

Найден по ссылке: сделаем, это легко

Сохраненная в кеше Яндекса страница сайта: можем показывать сразу закэшированную, но вид будет такой же, увы. Видимо, поэтому они ее и прячут :-)

Региональный поиск: а можно мы его реализуем как вы предлагаете, через “&& чукотка”? (ну у нас это без амперсандов даже). а то и правда непотяно, что есть регион сайта, помню еще по каталогу мейлру долгие обсуждения.

Синтаксис: тоже не понял зачем все эти скобки. а хотите мы на русском сделаем эти операторы (или и на русском, и на английском), чтобы раскладку не переключать?

Безопасный поиск: у нас он, похоже, всегда безопасный :-)

Дисклеймер: не, все просто, зря вы так :-) где-то половину из вышеописанного сделаем к концу этой недели, большинство из вышеописанного сделаем -- к следующей, а то, что требует переиндексирования -- ну до конца года практически точно.

А вообще спасибо, с меня пиво :-) заходите к нам в универ как-нть, если в москве будете :-)

все как два пальца, однако пока полное г%вно выдача :)

Странно, что вы начинаете инв. проект с обмана.

2 лавренко
Ну не может быть, чтобы биржевые трейдеры что-то радикально новое создали :)))
В Яндексе не последние кретины работают, их мозги на голову выше ваших :)
Они не боятся вас, даже профинансировали вас директом :) Типа, на сынок, на мороженку :)

uni: вы сорокина не перечитали? :-) или у вас еще примеры запросов появились (присылайте, пожалуйста, мы исправим при следующей переиндексации)

МГУ: а где обман-то? наши (в т.ч. и мои, а то мне так и непонятно, вы под "вы" меня имеете ввиду или всю нашу команду) научные руководители -- член-корр. РАН Королев Лев Николаевич (зав.каф.) и доцент Попова Нина Николаевна, кафедра АСВК. свяжитесь с ними, узнайте все про меня. не знаете как связаться -- позвоните в справочную МГУ, 939-1000.

: вообще я не только биржевой трейдер, я математик по образованию, был техническим директором в mail.ru, например, а сейчас много кода нашего поисковика сам пишу (на С++, кстати). в яндексе и правда не последние кретины работают, но я не уверен, что их мозги, измеряемые вами в головах, выше на голову моих. у коллективного разума есть свои особенности, а кроме того, компания, которую вы упомянули -- это устоявшийся бизнес, заточенный на получение прибылей, а не новых технологий. им каждый пиксел в форме поиска стоит, к примеру, 10 штук в месяц. т.е. сделали новую фичу, которая опустила поисковую форму на 10 пикселов, потеряли 100 штук, т.к. люди меньше на рекламу стали кликать. а нам такие вещи по-фигу. или там индекс. пришел какой-нть денис, сказал -- у вас бага. мы говорим -- да при следующем переиндексировании пофиксим, а им полгода, к примеру, надо, чтобы все поменять. ну и т.д.

лавренко, вы такой умный :) интересно вы только на словах такой умный? :)

если не секрет какая у вас машина?

uni: а как марка машины с умом коррелирует? :-)

Вот пристали-то! Марка машины с умом никак не связана. Масса примеров, дуб дубом, но ездит на супер машине, имеет супер недвижимость, супер часы на руке и супер обувь на ноге, куча денег на счету и т.д. Все это заработал сам, без помощи родителей.

Другой пример. Два высших образования, кандидат иди доктор наук, интеллект супер, опыт супер, квартира убитая, денег постоянно не хватает даже на первоочередные нужды и т.д.

Вот живой пример. Четыре высших образования: муз. консерватория + академия физкультуры, мастер спорта + математик, учился на мехмате с Садовничим - ректором МГУ им. Ломоносова в соседних группах, кандидат математических наук + доктор экономических наук, профессор менеджмента, консультирует бизнесменов, ведет консалтинговые проекты для фабрик и заводов.

Очень умный человек. Но живет в Подмосковье в очень скромной квартире, ездит на очень скромной машине и т.д.

Чего пристали-то?

Просто пока все это называлось как "интел. поисковая машина" и создавалось для самообразования, вопросов не возникало.

сейчас человек начинает рассуждать про бизнес, яндекс и то, как он всех нагнет и тд, то сразу напрашивается вопрос - чего он в жизни достиг, кроме самообразования?

автомобиль пусть далеко не самый лучший показать способностей человека, но о чем-то он говорит.

Жду ответа :)

uni: дудки! :-) на провокационные вопросы не отвечаю! :-) уже один раз пошутил по поводу машины, хватит! :-)

Ну видимо просто сказать нечего :)

Ладно, отстал, исчез. удачи еще раз.

Маленькая ремарочка! :)

С интересом узнал, что вы имели отношение к Торговле на фондовом рынке! Насколько я знаком с этой дисциплиной совершенно не важно как человек зовется, Брокер, Трейдер, Рейдер по Трейдерам - важно перед названием иметь небольшую приставку... :) "Успешный"!!!
Ни в коем случае не хочу "швордами" мериться, но у меня есть основание иметь такую приставку... :)

Успехов вам...

uni: вам того же, товарищ провокатор! :-)

Борис М: поздравляю! :-)

Uni, когда человек рассуждает о том, что он кого-то там обгонит, значит, у него огромные амбиции. Но в этом нет ничего плохого. Завышенная оценка лучше заниженной самооценки. Этого мнения придерживается большинство психологов. Амбиции задают более высокую планку, чем человек в данный момент может перепрыгнуть. Чем выше ставишь планку, тем выше прыгаешь.

Один момент. Чем больше высота, тем травматичнее падение. Чем больше человек достиг, тем болезнее воспринимаются потери. А в жизни всегда подъемы сменяются спадами и наоборот.

Я ведь не открыла Америку :-)

продолжаю. Когда у человека большие амбиции, то вероятность того, что у него дорогая машина, очень велика.

Uni, Вам по секрету. У Лавренко с машиной все замечательно :-) То есть круче, чем у среднестатистического жителя Москвы его юного возраста.

> (выдирая из контекста) будете нас любить, если сделаем? ;-)

Честно? Вряд ли. Как не люблю Апорт, КМ и Рамблер. К mail.ru только снисходительно отношусь, как к русскоязычному Гуглю.

Я вот знаю, что от Яндекса ожидать и как в нем найти, "а этого кота первый раз вижу".

Скажите, а вы действительно пишете не только кандидатскую, но и поисковик? Самый настоящий, с перспективами на рынке? А где вы тогда постоянную аудиторию собираетесь взять?

И (простите за наивность, я не в теме) вы не собираетесь случайно Нигму на mail.ru поставить, дабы они Гуглю поменьше платили?

> А вообще спасибо, с меня пиво :-) заходите к нам в универ как-нть, если в москве будете :-)

Ловлю на слове (только учтите, Балтику и прочие Бочкаревы я не пью). Скажите, а вы вторник днем / вечером не сильно заняты? Сможете подойти в Кафемакс на "Новокузнецкой" (днем) / недалеко от м. "Белорусская" (вечером)? Заодно пообщаетесь с Яндексом и лучшими searcher'ами года.

Скажите, а вы вторник днем / вечером не сильно заняты? Сможете подойти в Кафемакс на "Новокузнецкой" (днем) / недалеко от м. "Белорусская" (вечером)? Заодно пообщаетесь с Яндексом и лучшими searcher'ами года.

Ух-ты! А что за тусовка такая? Я бы тоже сходил, так, ради интереса ;)

> Ух-ты! А что за тусовка такая?

Страшно сказать, читайте Вебпланету :-) webplanet.ru/news/lenta/2005/11/24/fin.html

> Я бы тоже сходил, так, ради интереса ;)

Список "болельщиков" у меня тоже не резиновый. Но если у вас нет других способов посетить действо, то я вас впишу.

Традиционные поисковые механизмы великолепно решают задачи поиска информации, но!!! Только как внешняя память! Есть ряд проблем которые просто невозможно решить существующими поисковыми машинами!

В настоящий момент идет соревнование поисковых машин за то, что бы выдавать пользователю ответ на первой странице.

Как правило в угоду прибыли или продвинутой оптимизации в первых страницах будет коммерческая составляющая ответов.
Сегодня Нигма позиционирует себя как не коммерческий проект. Отсюда и релевантность выше!
Плюс некая "слабая" попытка оказания помощи пользователю в формировании вопроса.

Сегодня Нигма интересна, завтра - это большой вопрос.

IMHO в Будущем будут интересны те поисковые системы, где будет понятен механизм выдачи ответов.

В моей поисковой системе будет декларация, что первым в результатах поиска будет документ с наибольшим тангенсом угла наклона, а не размер денег, не количество посещений, не продвинутая оптимизация.

Одним большим минусом существующих поисковых машин является отсутствие заботы о пользователе!!!

Денис если у вас действительно собираются специалисты думающие о будущем поисковых систем с удовольствием пообщаюсь на эту тему.

Ах, вы про Кубок :)
Тогда понятно. Но мне вчера прислали приглашение, и там было сказано, что финал пройдет в концертной студии молодежного телеканала О2TV.

Кхм, я несколько отличаюсь от среднестатического пользователя, и меня Яндекс в его текущем виде устраивает процентов на 80. Из оставшихся процентов 5 касаются более логичной работы синтаксиса запросов, еще 10 - поисковый спам + оптимизаторы - они, обычно обходятся легко, но муторно.

> Денис если у вас действительно собираются специалисты думающие о будущем поисковых систем

Они собираются не у меня, а у Яндекса.

К слову, http://company.yandex.ru/grant/themes.xml - это наиболее полный и лучший из известных мне план развития поисковиков. Опять же, у Яндекса.

А по поводу "уточнения запроса"... Илья Сегалович где-то хорошо рассказывал, что были всякие хорошие теории и модели правильного поиска годах так в 60-х, в т.ч. и "последовательные приближения", однако подавляющее большинство из них разбилось об реальность: пользователь хочет задать один запрос и тут же получить ответ. У меня нет оснований ему не верить.

> финал пройдет в концертной студии молодежного телеканала О2TV

Ну да, она и есть «недалеко от м. "Белорусская"». Это я коряво написал - получилось будто про Кафемакс.

Так это "ах, Кубок" или "Ух-ты, тусовка!"? ;-)

Наверное, все вместе, и первое, и второе ;)

Дело в том, что пользователь может придти к поисковику с абстрактным вопросом.

Например"Хочу построить дом"

Ответ

Яндекс

Результат поиска: страниц — 200 791, сайтов — не менее 2 052
Запросов за месяц: хочу — 114 617, построить — 29 545, дом — 1 062 700. Купить эти слова.

Рамблер

Вы искали: Хочу построить дом, найдено сайтов: 68898, документов: 1279291, новых: 314

Дальше продолжать не буду...

Итого мы имеем по яндексу 2052 сайтов, по Рамблеру 68898

Оцениваем, в среднем если 1 минута на один документ, то тратим 139 дней на знакомство с сайтами в первом случае и 888 дней во втором.

Теперь, как правило! В первых страницах ответов мы имеем рекламу (Явную и не явную), жуликов (Явных и не явных), возможно и не жуликов - людей кто сможет построить дом и кто нам подскажет еще ряд вопросов относительно будущего дома. Тоесть заменит существующие поисковые механизмы.

Другими словами всю информацию о жуликах вы получите сразу!!! Вероятность нарваться на жулика, который украдет все ваши деньги велика!

Тем самым те кто использует яндекс и рамблер для решения своих бизнес задачь будут терять деньги!!!!

Тем самым существующие поисковые механизмы непригодны для рещения Бизнес задачь!!!! Только как внешняя память!!!

Для того, что бы научиться решать бизнес задачи (к которым я отношу - выживание в меняющемся мире!) нужна принципиально другая архитектура!!!

жалко, что не полюбите. но мы все равно будем стараться :-)

поисковик мы пишем, но это не мешает диссертации, а наоборот -- только помогает. не на пустом же месте ее писать.

в кафемакс постораюсь попасть, пиво там же на месте можно будет купить? :-)

по поводу уточнения запроса -- Илья не прав. мало того, что это показания с чужих слов, (Илья ведь не был одним из тех шестидесятников ;-) есть статистика нигмы, которая говорит, что из 100 запросов примерно 34 не заканчиваются на просмотре списка результатов, а продолжаются просмотром кластеров. т.е. людям это (диалоговый поиск) нужно. для сравнения -- на вторую страницу в результатах поиска у нас идут 14 из 100.

Виктор, :) правильно ли я понял, что вы готовите дисер по поисковым системам?

правильно.

2Лавренко:
Прошу прощения, все-таки не Кафемакс, а студия канала О2ТВ - 6 декабря, вторник, 18:00. Ленинградский проспект, д. 8 (м. Белорусская), здание часового завода "Слава", подъезд с вывеской "Часы".
Приезжайте обязательно. Поклонники Nigma.ru там тоже обещаются :-)
Пиво, думаю, и после финала можно будет купить.

2Борис М:
Где ж вы были? :-) Виктор об этом уже несколько месяцев на весь интернет рассказывает.

Где ж вы были? :-) Виктор об этом уже несколько месяцев на весь Интернет рассказывает.

:) пропустил анонс этого исторического события!!!

Поздравляю Виктор, у вас должно получиться!!!

Только в моем представлении, то чем вы занимаетесь не есть прорыв в технологии поиска информации.

Достаточно представить себя сидящим на луне и имеющим доступ в Интернет.
И возрасту вам 16 лет.

С простой задачкой выжить и построить космический корабль для возвращения на Землю.

Другими словами вам предстоит освоить массу документов и из существующих ресурсов создать плавильни, из кусков металла создать точные станки, на станках начать производство заготовок, произвести сборку, заправку и старт.

То, что вы создаете, эту задачу не решит в силу ее архитектуры!!!!

Или простая жизненная задачка для участвующих в соревнованиях по поиску!

Найти на территории города Пекин ремонтную автомобильную мастерскую, для ремонта сломавшегося автомобиля!!! При условии, - что цены в этой мастерской средние, - автомобильная мастерская имеет свой сайт только на китайском языке, - и вы не владеете Китайским языком!!!

Уверен, что данная задача из разряда не решаемых!!! Не решаемых существующими поисковыми машинами!!!

Я знаю, что нужно делать, что бы данные задачи можно было решить!!!

Денискин!!!

Как вам такие задачки?

Может, все-таки побеседуем, на предмет статейки о перспективах развития поисковых машин?

Для Спеца

"Еще надо учитывать, что в крупные компании каждый день стучатся "гении" со своими идеями. Я к этому отношусь так - реализуй хотя бы на маленьком проекте, покажи что идея работоспособна и что ты умеешь работать, тогда и можно говорить."

Знакомые слова в оригинале фраза звучит так "В очередь, в очередь, сукины дети!"

Ты хочешь сказать, что нигма уже большая компания? И к ней только на коленях и по очереди?

Как то я постучался со своими рекламными технологиями в РБК, :))) Ответ был такой же... многу вас ходит с предложениями... недавно Дабл Клик приходил предлагали свои технологии, теперь ты пришел!!! В тот момент Дабл Клик имел капитализацию 1,5 ярда... у РБК ее вообще не было! А понтов...

Мои технологии уже применяются!!! www.elmundo.es - это третье в ранге среди испано-язычных ресурсов
даже на Вол стрит джорнал видел их применение!!!

> Мои технологии уже применяются...даже на Вол стрит джорнал видел их применение

т.е. это еще и не ваши технологии, но соглашение о неразглашении и неиспользовании у меня будет с вами? :-) красота! :-) вы точно были успешным трейдером, верю!!! :-)

так вот, не хочу я ничего подписывать еще и потому, что

> ...с наибольшим тангенсом угла наклона...

для меня звучит как какое-то разводилово :-) потому что наибольший тангенс угла наклона эквивалентно "наибольший угол наклона" (для углов меньше прямого), т.к. преобразование "тангенс" сохраняет отношение "больше", если угол меньше pi/2 (и больше -pi/2, если тут еще есть математики :-). т.е. если x1,x2 в (-pi/2,pi/2), то "tg(x1)>tg(x2)" тогда и только тогда, когда x1>x2. с тем же успехом для того диапазона можно сказать "наибольший синус угла наклона", или даже "наибольший куб синуса куба половины угла" :-))) идея бесплатная, можете употреблять бесплатно (видимо, я был плохим трейдером :-), звучит гораздо круче, чем какой-то там тангенс :-)

"> Мои технологии уже применяются...даже на Вол стрит джорнал видел их применение

т.е. это еще и не ваши технологии, но соглашение о неразглашении и неиспользовании у меня будет с вами? :-) красота! :-) вы точно были успешным трейдером, верю!!! :-) "

Виктор, у меня 6 патентов, три в области интернет рекламы, Один в области Почтового сервиса, 2 в области судостроения.
И еще готовятся 2 и от двух я отказался патентовать из за отсутствия денег.

Вопрос об успешности - это критерий применимости. И... заработка. Меня радует, что я имею патент на технологии которые нашли применение, а не валяються на полке и никому кроме автора не нужны!!!!

То, что применяется на Вол стрит это патент от 1999 года.

То, что я вам предлагаю это еще не полученные патенты!!!

Как ни странно это звучит, но на самом деле первый в результатах будет документ имеющий наибольший тангенс угла наклона и дальше по убывающей!!!!

Что будет у вас еще открытый вопрос для пользователей!!!!

Денискин, нужно обьяснить народу и Лавренко, что и как!!!!

Борис, ваша непредсказуемость меня поражает. я думал, что вы напишете, что у вас угол может быть тупым (без намеков ;-) и что диапазон, соответственно, другой. тогда бы я спросил, почему тангенс, а не синус, но вы опять превзошли мои ожидания! :-) скажите, а вы, например, знаете, чему равен максимальный тангенс угла? :-)

по патентам -- я не спец по российскому патентному законодательству, но в америке патент может быть взять почти на все что угодно, особенно если витеевато его составить, но и так же легко он может быть invalidated в суде. если та технология, которую вы еще хотите запатентовать, уже применялась в 99-м году, то любой, кто захочет использовать такую же технологию легко может invalidate этот патент в суде. если в россии сейчас не так, то будет так в обозримом будущем, а я предпочитаю долгосрочные проекты.

"а вы, например, знаете, чему равен максимальный тангенс угла? :-)"

:)))

Возможно, я и ошибаюсь, но мои ошибки находят, логическое и объективно обоснованное объяснение в понятной трудности для меня сразу же, с точностью, детально вспомнить частности многочисленных обстоятельств и нюансов процесса обучения по данному предмету. По этому поправьте меня, если я не прав, тангенс бывает в диапазоне от +/- 90 градусов.

Почему именно тангенс, возможно, потому, что тогда когда я учился, все расчеты выполнялись Логарифмическими линейками (Если вам знаком такой инструмент для расчетов) в один прием, а косинусы в несколько.

Насчет Америки, патент может быть, и оспорен, а может и не выдан вообще, это решаю не я.
Я всего лишь сделал ставку ценою стоимости патента и услуг юристов. Выпадет ли мне Джек пот, я не знаю. Но если не делать ставок, то и рассчитывать на Ждека не приходиться!!!

В Европе несколько другая система, Патент висит в системе РСТ и его можно оспорить уже на стадии выдачи отправив простое письмо эксперту. Там он висит уже давно и пока ни кто, его не оспорил...

Понятие "уже применялось" подразумевает, ряд действий с публичной афертой и акцептом этой аферты с фиксацией транзакции (если вам знакомы такие слова). :)

Если вам известны эти факты, то, пожалуйста, сообщите!!!

Патент проходит по изобретательскому уровню. Это как минимум годовая экспертиза по всему миру.

Но мы, похоже, отклонились от темы обсуждения...

Вопрос был, как можно улучшить?

В системе должна быть математика автоматизирующая процесс. И математика не простая. Например, расчеты вероятностей в стохастических системах для применения упреждающих вычислений. Интел уже финансировал данные работы и, похоже, уже близок к их применению. На данном ресурсе уже был анонс этих технологий.

Если вы читали отчеты по программе исследований, то во многих отчетах авторы отмечают эту проблему. Интернет превращается в большую помойку! И одним из инструментов для разгребания мусора будет твой поисковик! «Найдется все!!!»
Все не нужно, нужно актуальное!!!

Мой поисковый механизм будет местом формирования областей знаний! И местом где можно получить готовую выборку документов по направлениям человеческой активности!

Борис, боюсь, что в этом диапазоне изменяется арктангенс; даже тот, что на логарифмической линейке. :-) ну а слово "аферта" мне точно не знакомо :-))) (это, конечно, отстой, когда флейм переходит обсуждение неграмотности -- т.е. на личности, но вы сами начали с "если вам знакомы такие слова").

я охотно верю, что вы изобрели что-то гениальное. но в качестве своего делового партнера я вас не вижу. предлагаю свалить все на Юлю Сигунову -- будем считать, что она своими комментариями по поводу ваших ей звонков четыре года назад выработала у меня стойкое предубеждение по отношению к вам :-)

Борис, боюсь, что в этом диапазоне изменяется арктангенс; даже тот, что на логарифмической линейке. :-)

спасибо, что поправили!!! :)

Да нет проблем, я не навязываюсь.

Возможно, Юля Сигунава гениальна в своих выводах, а так же возможно, что у нее в этот момент были месячные, тогда есть вероятность, что ваши стойкие предубеждения построены на чужой головной боли и плохом настроении.

Если ваши предубеждения строиться на чьем то настроении, то вы, как партнер, то же, не ахти какой!

Была такая Мария Грачева ее мнение то же гениально "Думаю, что, как только он решит "извлечь пользу из патентов", то рекламный рынок изыщет финансовые и юридические возможности для того, чтобы остановить претензии Бориса М... это просто гениально! Какая глубина мысли!!! Пустить шапку по кругу, собрать денег, и остановить... :)))
И некоторые читатели восприняли ее идеи и выработали стойкие предубеждения!!!

Ребята, вырабатывайте собственные убеждения, на основе собственных выводов, на основе собственных предикатов.

Дальше, наверно, действительно, не имеет смысла обсуждать!!!

Есть такое мнение, если окружать себя удобными людьми, то очень быстро будеш самым умным среди них!!!

успехов тебе в твоих делах!

Я тут вчера увидела новый новостной сайт, на нем искалка называется: "Найдем не глядя".

Я не разбираюсь в поисковых технологиям и за слоганами поисковиков почти не слежу, но этот показался мне забавным :-)

Ничего, что я опять ближе к теме? :-)

> Илья не прав. мало того, что это показания с чужих слов, (Илья ведь не был одним из тех шестидесятников ;-) есть статистика нигмы, которая говорит, что из 100 запросов примерно 34 не заканчиваются на просмотре списка результатов, а продолжаются просмотром кластеров. т.е. людям это (диалоговый поиск) нужно. для сравнения -- на вторую страницу в результатах поиска у нас идут 14 из 100.

Ой, лукавите.

> для сравнения -- на вторую страницу в результатах поиска у нас идут 14 из 100.

Ну не любят пользователи ходить на вторую страницу. Так что сравнение получилось вроде "у нас в Перми килограмм гречки - 12 рублей" ;-)

> из 100 запросов примерно 34 не заканчиваются на просмотре списка результатов, а продолжаются просмотром кластеров. т.е. людям это (диалоговый поиск) нужно.

Это нужно небольшой, достаточно продвинутой - интересующейся новинками - аудитории метапоисковика, который позицинирует себя именно как имеющий эти дополнительные опции ("кластеры"). Плюс для большинства это необычно, это хочется попробовать. Ну вот даже я попробовал :-)

Так что я продолжаю верить Илье Валентиновичу.

Витя, для улучшения результатов выдачи. Может, это инфа тебе пригодится.

Запрос: "рыбинская база Санкт-Петербург"

Три первых результата:
1) Санкт-Петербургский государственный университет.
2) Психология кризиса: тема Петербурга.
3) Санкт-Петербург ... База данных по аренде коммерческой недвижимости ...

Четвертый результат дает пользу, дает нужный ответ: телефон рыбинской базы.

Пятый и последующий результаты:
Рыбинский Владимир Н.
Рыбинский завод приборостроения.
Рыбинский государственный историко-архитектурный

Наверное, можно как-то повлиять на то, чтобы второстепенное слово Санкт-Петербург в запросе имел второстепенное значение при выдаче результатов.

Даша, спасибо, пофиксили. санкт-петербург тут хорошее слово (мы ведь хотим именно там базу найти), просто не успели сделать дополнительные баллы за близость слов (только если они совсем рядом) плюс результаты в оригинальной словоформе надо выдавать всегда приоритетнее, а не только если документов очень много. сейчас все это доделали.

мнда. надо немного поспать, уже гимн поют :-)

в общем что обещали -- сделали :-) есть глюки, есть known bugs (минус перед первым словом не работает), пофиксим и доделаем.

плюс придумал прикольный синтаксис -- многоточие (навеяно поиском синонимов от Дениса). пишем

виктор ... лавренко

и узнаем мое отчество. "..." эквивалентно "/+2"

Витя, а что значит, "мы ведь хотим именно там базу найти"? не понимаю, в что в данном контексте "база" :-(

могут этому поспособствовать местные онлайн-сми или местные поставщики интернета?

база -- рыбинская. местные сми и провайдеры помочь не могут.

Витя, теперь поняла :-)

Сейчас ни один запрос не обрабатывается, я пробовала разные варианты. Нигма пишет:

Документов по Вашему запросу не найдено.
Возможно, система перегружена; попробуйте повторить запрос, нажав на кнопку 'найти'

Чудовищное зрелище.
Неожиданно вместе собрались самые отъявленные графоманы и любители пиариться и выпендриваться:

* мастер самолюбования Лавренко. В нём "пропадает гениальный программист", он "подтягивается 20 раз", и когда снимает майку, он жалеет, если вокруг некому посмотреть на мышцы (всё неподельные цитаты из личного ЖЖ героя).
У него - лучшая самая умная поисковая машина Нигма, которая просто пока ещё не ищет ни хрена, но это ещё ничего не значит, всё впереди.

* Пафосный дорвейщик Юни, который вдруг решил вместо прибыльного воровства трафика у Гугля сделать свою самую лучшую поисковую машину Вебальту (у себя что ль будет тырить трафик?) и для начала под видом своих результатов поиска транслирует яхуйные. Но это ничего не значит, всё впереди.
Зато Юни строит дата-центры, как заведённый. Ясно, это ж главное в поисковике.
И у него по-настоящему крутые бабки и тачки.
Разговаривает он снисходительно, с миной крёстного отца.

* Даша Галашова, продвигающая себя как Матросов, закрывающий любую заданную амбразуру.
И страстно пишущая на любую заданную тему.
Даша! Вы хорошая, разговорчивая, но Вы одна тут без своего поисковика среди этих мужиков! Срочно исправляйтесь, а то неприлично.

* И наконец, гвоздь сезона!!! Борис Моисеев !!!, запатентовавший все интернет-идеи, включая баннер и смайлик, но также одержимый идеей собственной поисковой машины! Хотя почему идеей - вот, пожалуйста, новейшая Тропа. Тоже ни хрена не ищет и тоже самая гениальная. Но это ещё ничего не значит, главный успех впереди.

Надо открывать шоу за стеклом "Новая поисковая машина в реальном времени". Кто первый перестанет пиариться без остановки, выгонять из шоу. Последний выживший получает суперприз - приглашение на ужин с Брином в составе 2000 изобретателей новейших интеллектуальных поисковиков со всех континентов.

P.S. Вообще в своих колонках Лавренко всячески прозрачно намекает, что у него есть лэндкрузер. Да, это не ламборджини, как у Юни, это постыдная тачка, для лохов, всего 70-80 штук зелени. Но для трейдера-любителя сойдёт. Пацанов из МГУ можно впечатлить, особенно, если садиться в него с обнажённым торсом, играя трицепсами и дельтами.

2 сетевой психотерапевт

У меня большое желание предложить Вам колонку на Вебпланете. Я серьезно ;)

весело, спасибо :-) а привирать (я тут сверился со своим ЖЖ) -- это профессиональная черта или просто привычка?

все, кстати, путают дельты и широчайшие. дельты -- это то, что вверху, начинаются от ключицы и заканчиваются в середине плеча, отвечают за поднимание рук. широчайшие мышцы спины -- это те, что сзади, крепятся веером к лопаткам, отвечают за опускание рук (в т.ч. задействуются при подтягивании).

короче, займитесь спортом, и желание лечить других пропадет само собой :-))) (у вас ведь нет эксклюзива на психотерапию? :-)

Даша, если ты и правда хочешь помочь, пиши мне по емейлу со скриншотами. потому как я в это время менял софт и он мог подглючивать. но единственный запрос, который судя по логам действительно проглючил, это был запрос из чебоксар. ты вроде как не оттуда, так что я не то что б повторить, я в логах не смог обнаружить той ошибки, о которой ты пишешь.

"И наконец, гвоздь сезона!!! Борис Моисеев !!!, запатентовавший все интернет-идеи, включая баннер и смайлик, но также одержимый идеей собственной поисковой машины! Хотя почему идеей - вот, пожалуйста, новейшая Тропа. Тоже ни хрена не ищет и тоже самая гениальная. Но это ещё ничего не значит, главный успех впереди."

Насчет смайликов вы загнули! Это не я.

Так получилось, что по плану Тропа должна была выйти в Сентябре, а выйдет по еще одному плану через неделю!!!
Как меня уверили знающие, к срокам объявленными программистами, нужно еще добавлять как минимум два... Вот и жду!!! И буду ждать столько, сколько потребуется!!!

Насчет патентов, то могу вас еще порадовать, что технология "Концентраторов Внимания", запатентованная мною, скоро начнет тестироваться в баннеро обменных системах.

Терапевт можешь ли ты как врач врачу высказать свое мнение о моей статье, которую на этом сайте не опубликовали?

Статья называеться "Еще раз о Rich-media"

Ее можно найти в той же Нигме... она на первом и втором месте там!

> плюс придумал прикольный синтаксис -- многоточие.

А что не '*', как в Гугле?

red * blue

"*" у гугла -- это немного другое:

the words red and blue separated by one or more words.

как я понял из тестирования гугла и из этого описания, нужно, чтобы в документе эти два слова хотя бы раз встретились разделенными хотя бы одним словом; при этом если есть также и вхождения, где эти два слова рядом друг с другом, то такие документы тоже прокатывают. т.е

a * b

это не

a /(2 бесконечность) b -"a b",

а просто

a /(2 бесконечность) b

мы сделали и синтаксис *, но на примере (можно попробовать и у нас, и в гугле) виктора лавренко видно, что это совсем другой синтаксис (старый синтаксис остался) -- например, если пара слов дважды встречается, то все, документ прокатывает (ведь первое слово от первой пары отстоит больше чем на одно слово от второго слова второй пары).

a ... b

это просто более наглядная и простая запись

a /+2 b

как вы и предлагали для поиска синонимов.

Денискин!

Оно, конешно, спасиба, но не могу.
Если б я хотел писать регулярно всякую фигню, я открыл бы свой ЖЖ и управлял бы сообществом френдов и прочих читателей. Я бы их материл, ругал, высмеивал и злорадно банил, банил, банил, как какой-нибудь Паркер или Лейбов.
Но нету сил. Вот, только на Вебпланете иногда раздашь пендалей из лучших побуждений, для вразумления масс, и опять за рычаги автопогрузчика, палетты с анашой перекладывать.

Борис, не могу читать про ричмедиа. Даже кушать не могу, такую неприязнь к нему испытываю, да?

"Коллега" - нужно прочитать!

Там диагноз Rich-Media и тем кто ее применяет ставлю!!!
:)

И обьясняю основу неприязни к этому виду рекламных обращений!

В которой раз убеждаюсь, что комментарии на Вебпланете - это Нечто! :-)))))

Сетевой психотерапевт, Вы же без диплома? уточню, на всякий случай, я про Ваш ник в др. форумах вебпланеты.

Спасибо остальным за участие :-)))

да, вы правы, баннилки не здесь не хватает. от ... трудно отшучиваться, нужно просто баннить. а то я один раз пошутил на тему как я мог бы написать, чтобы это действительно подходило под определение "выпендриваться", как теперь выясняется, что "в своих колонках Лавренко всячески прозрачно намекает". собственно, в т.ч. и поэтому (в связи с отсутствием баннилки) колонку писать и перестал.