Вебпланета - Nigma.Ru делает предложение оптимизаторам - Comments

Re:лавренко

xen — Fri, 22 Apr 2005 15:20:43 +0400

Вам помогать имеет смысл если бы вы выкладывали свои исходные коды которыми реально можно было бы воспользоваться.

Сейчас бизнес-модель такая: "вы нам помогаете, а потом мы у себя баннеры повесим".

Добрые люди из Вебпланеты вам рекламу делают, ну так и вы делайте что-то полезное.

Кстати после открытия исходников может оказаться, что вам и помогать не стоило, а может быть вы и станете "именно тем поисковиком".

Re:

лавренко — Fri, 22 Apr 2005 14:03:17 +0400

Старый ворчун с московской колокольни, а какие методы моделирования поведения экспертов вы бы посоветовали?

Re:

Старый ворчун с московской колокольни — Fri, 22 Apr 2005 12:19:17 +0400

Нейросети - модный хуенк.

Для применения в тысясячемерном пространстве, коим является результат поиска, практически непригодны.
Врожденную болезнь нейросетей - выдачу результатов от балды вследствие переобученности - даже упоминать не стоит, т.к. сеть еще нужно обучить выдавать результаты с приемлемой ошибкой. А обучать сеть случайной выборкой, которая скорректирована экспертными оценками, - это пустая трата времени.

Re:

mikh — Thu, 21 Apr 2005 18:05:56 +0400

БУМ вот только не надо всех под одну гребенку. Есть разные оптимизаторы и разные методы.

Re:

лавренко — Thu, 21 Apr 2005 18:04:46 +0400

БУМ, прикол в том, что даже те куски текста нам придется очень сильно урезать, нам даже запрос придется немного подрезать. иначе это будет функция в несколькотысячемерном пространстве, а такие функции аппроксимировать бесполезно, проще random'ом :-)

Re:

БУМ — Thu, 21 Apr 2005 16:35:57 +0400

А функцию планируется строить на основе тех маленьких урезанных кусков текста, которые отдают поисковики, а не на основе полного текста страниц?

Re:

лавренко — Thu, 21 Apr 2005 14:47:38 +0400

andrey, деньги есть, но если мы скажем, что они у нас есть, поисковики на нас обидятся и быстро попросят поделиться :-))) (ребята, это шутка :-)))

на самом деле речь идет просто о банальной аппроксимации (или если хотите -- экстраполяции) функции R'(Q)=F(Q, R(Q), G), где Q -- запрос пользователя, R -- результаты поиска, а R' -- видоизмененные результаты поиска в соответствии с критериями релевантности G. Гипотеза состоит в том, что если удастся аппроксимировать эту функцию на некотором наборе данных О (белые оптимизаторы, один критерий релевантности), то и на наборе П (пользователи, немножко другой критерий релевантности) ее тоже удастся оптимизировать. Проверкой этой гипотезы мы займемся только после того, когда поймем, что мы умеем качественно аппроксимировать на наборе О, когда поймем -- возьмемся и за набор П.

Re:

Гость — Thu, 21 Apr 2005 14:41:38 +0400

У Брина тоже когда-то не было таких денег, и где он сейчас? :)

Re:

andrey — Thu, 21 Apr 2005 11:41:32 +0400

забейте на поисковую систему
если нет денег

к чему эта буря в стакане воды

Re:

лавренко — Thu, 21 Apr 2005 08:24:29 +0400

Про, пишите на lavrenko собака nigma.ru

2 лавренко

Про — Thu, 21 Apr 2005 03:03:39 +0400

Виктор, оставьте контактную почту. Есть о чем побеседовать.

Re:

лавренко — Thu, 21 Apr 2005 00:57:45 +0400

БУМ, проблемы вашего второго метода вы описали и сами, а первый проблематичен организационно -- не то чтобы я боялся организационных проблем, но лучше бы эту энергию потратить на алгоритмы, нежели чем на мотивирование студентов работы в качестве бесплатных асессоров. не прокатит идея с оптимизаторами -- ну будем обучать другим методам. и, в конце концов, нам интересен алгоритм -- пусть обучающая выборка будет не очень точна, т.е. результаты релевантны в определении О -- с точки зрения оптимизаторов, а не в определении П -- с точки зрения пользователя, но если удастся обучить нейросеть так, чтобы она умела выдавать релевантные результаты в определении О даже если за них никто не голосовал (т.е. правильно угадывать, как бы за эти ресурсы голосовали оптимизаторы), то тогда уже будет проще -- если О и П будут сильно отличаться -- ну что ж, изыщем возможность получить другую обучающую выборку. а так нам нужна хоть какая-то, главное -- большая.

Re: 2 БУМ

Ad — Wed, 20 Apr 2005 21:58:44 +0400

Всё хорошо, только вы забыли про посещаемость этого мета-поиска. Запросы и их оценки пользователями навряд ли пересекутся и один голос решит всё :)

Re:

БУМ — Wed, 20 Apr 2005 21:46:30 +0400

Есть еще один очень интересный способ, который может подействовать первое время: предложить самим пользователями nigma.ru прямо в результатах выдачи повышать и понижать рейтинг страниц. Напротив каждой ссылки кнопки "Оцените ссылку: палец вверх, палец вниз". Хотя тут придется вводить какую-нибудь премодерацию оценок, чтобы исключать накрутки со стороны владельцев сайтов.. Можно и автоматически - с одного айпи для одного и того же сайта принимать один голос в сутки. Даже если владелец будет по одному раза за себя голосовать, а 1000 пользователей против него, то и его сайт никогда не появится сверху.. Конечно, изобретут методы накруток с разных ip, но такие сайты при обнаружении можно ставить в бан, а если для какого-то нового сайта резко поступает большое количество "за", то автоматически сообщать об этом модератору для ручной проверки.

Re:

БУМ — Wed, 20 Apr 2005 21:36:59 +0400

Коли речь идет о научности..
1) Отказаться от привлечения оптимизаторов - их понимание "релевантности" может резко отличаться от взгладов обычного интернет-пользователя. Для оптимизатора одно понимание релеватности - наличие продвигаемого сайта на первой странице результатов выдачи и плевать, что за контент на самом сайте, и плевать, кто еще находится на первой странице.
2) Определить критерии релевантности, а для этого провести исследование среди обычных интернет-пользователей, для которых, собственно, и предназначеты поисковые системы.
3) Собрать инициативную группу (студентов МГУ, например) можно и с привлечением через Интернет.
4) Ознакомить эту группу с критериями релевантности.
5) Достать базу поисковых запросов (яндекса, рамблера, мыла..).
6) Методом случайной выборки выбирать запросы. Результаты выдачи по каждому запросу должен оценивать каждый студент и средние характеристики уже добавлять для обучения системы.

Re:

лавренко — Wed, 20 Apr 2005 18:25:58 +0400

БУМ, мы откроем, если мы мало оптимизаторов наберем. а сейчас мы ее держим закрытой, чтобы коммерческие поисковики не расстраивать слишком сильно -- мы же их выдачей пользуемся :-)

Про, будет мало (честных) примеров -- будем думать о другом методе. если вы подскажите такой другой метод (приемлемый для научного проекта) -- будем безмерно благодарны :) (например, назначим почетным оптимизатором :)

Re:

Про — Wed, 20 Apr 2005 17:50:05 +0400

Вообще очень сомнительно, что получится обучить нейросеть на крайне малочисленных, далеко не самых всеобъемлющих и, что уж греха таить, не самых честных примерах.

Re:

ppp — Wed, 20 Apr 2005 17:48:17 +0400

>это будут начинающие неопытные оптимизаторы, таким же получится и результат
Каков поп, таков и приход :)

2 лавренко:
>на них будет возложена общественная нагрузка :-)
Таскать резиновые бревна по субботам? :)

Re:

БУМ — Wed, 20 Apr 2005 17:39:17 +0400

Откройти статистику, чтобы понять взаимовыгодно это или нет. Не думаю, что у вас сейчас больше 500 хостов в сутки (не считая дней анонсов).. А это значит для оптимизаторов это ничего не даст, а хорошие оптимизаторы забесплатно тратить свое время не будут. Конечно, кого-то сможете привлечь, но это будут начинающие неопытные оптимизаторы, таким же получится и результат.

Re:

лавренко — Wed, 20 Apr 2005 17:23:57 +0400

ppp, если участников будет много, то и сайтов будет много, а кроме того, на них будет возложена общественная нагрузка :-) -- в новости я про это мягко намекнул :-)

Re:

ppp — Wed, 20 Apr 2005 17:07:47 +0400

Они, кхм... как бы это сказать...немножно не это делают, не это...оптимизировать результаты поиска и оптимизировать САЙТ под поисковую систему - несколько разные вещи

Вы, вроде, как профессионал, должны такие тонкости понимать :)

Re:

лавренко — Wed, 20 Apr 2005 16:40:08 +0400

ppp, ad -- мы проект некоммерческий, найм штата позволить себе не можем, а вот раз есть ребята, которые все равно уже это делают -- почему бы не воспользоваться их помощью? вроде взаимовыгодно должно быть...

Re:

Ad — Wed, 20 Apr 2005 15:49:32 +0400

Инициатива не нова. Во всех крупных поисковиках есть штат сотрудников, которые только тем и занимаются, что оценивают результаты поиска и корректируют выдачу. Только им приходится платить за это зп, а тут - бесплатно :)

Re:

ppp — Wed, 20 Apr 2005 15:30:14 +0400

Это значит - они хотят, чтобы оптимизаторы сделали ту работу, которую должны делать программеры самого ресурса (отлаживать релевантность выборки)? Хитро :))

Гуру поиска....хмм...."гуру маркетинга" уже, конечно, приелось и не терзает слух, но такими темпами мы скоро дойдем до того, что в школьных учебниках литературы будут писать что-то типа: "А в 1825 году гуру русской литературы 19 века Александр Сергеевич Пушкин........."

Nigma.Ru делает предложение оптимизаторам

admin — Wed, 20 Apr 2005 15:02:21 +0400

Поисковая система Nigma.Ru выступает с инициативой: поисковым оптимизаторам предлагается бесплатно оптимизировать результаты поиска, и помочь в обучении искусственной нейронной сети.