Вебпланета - Персональные поисковики выходят в свет - Comments

Google mini

Пупкинъ — Tue, 14 Mar 2006 09:27:31 +0300

Google mini - это довольно смешно. $3k за индексацию 100к страниц ?

На нашем рынке столько не заплатят.

Re:

Спец — Sat, 11 Mar 2006 19:43:37 +0300

Но на счет уникальности сервиса для Рунета - не спорю. Именно для частников еще никто не предлагал.

Посмотрим, как рынок рассудит.

Re:

Спец — Sat, 11 Mar 2006 19:20:52 +0300

Стек:
http://www.stack.net/db/sect/446

Решение с открытым кодом:
http://www.dataparksearch.org/

Западные решения, которые поддаются русификации
http://cs.ala.org/vote/search.cfm

Re:

Ашманов — Sat, 11 Mar 2006 19:00:00 +0300

1. Про rollyo - сходство есть, тоже поисковик для всех, но там используется движок/выдача Yahoo, то есть индивидуально управлять индексацией (время, объём, глубина) - нельзя.
У нас можно. Для кого-то это принципиально, для кого-то нет.
А про Алексу уже наверху написано.

2. Стек - вроде бы действительно продаёт поиск.Я про их покупателей не знаю. Те, кого знаю, покупали у них не поиск, а систему управления сайтом, во времена инвестиций в Рамблер называвшуюся Discovery. Наверно, там есть и поиск в пакете.

Для ясности, нужно сказать, что Рамблер 1.0 Дима Крюков писал в одно лицо в 1997-1999 гг.(параллельно с Тор100). В текущем Рамблере 2.0 (или уже 3.0?) с 2001 года работает другой движок, созданный Алексеем Ивановым (который сейчас руководитель Персонального поиска Новотеки и комментирует статью здесь же вверху), Андреем Коваленко (также автор новотечного поиска), НИколаем Хариным (тоже сотрудик Новотеки), Владом Шабановым (текущий главный разработчик поиска на Рамблере) и другими членами рамблеровской команды-2001.
И Стек также не использует Рамблер 1.0. Они в 2001-2002, после ухода из Рамблера во главе с Димой Крюковым, написали новый поисковый движок, имевший название Черепаха. Публичный проект не пошёл и быстро закрылся, но вроде бы у Стека есть разработка поисковых решений на заказ.

Но речь о продаже богатым компаниям тяжёлых решений с внедрением тут и не идёт. Мы говорим о публичном сервисе хостинга поисковиков для всех желающих.

Re:

Спец — Sat, 11 Mar 2006 09:29:18 +0300

А сервис в целом - это аналог западного http://www.rollyo.com/

Re:

Спец — Sat, 11 Mar 2006 09:17:28 +0300

Вы забываете, что на рынке есть еще компания Стек (кто не знает - именно они создали Рамблер). У них очень неплохая техподдержка на услуги организации поиска.

Да и попроще скриптов для организации полнотекстового поисковика тоже на рынке сейчас хватает. Есть и с открытым кодом.

Re:

uni — Fri, 10 Mar 2006 13:01:53 +0300

1. Спорить не буду, видимо мы с вами на разных уровнях понимаем слово сделал.

2. Мне казалось что клиенты, которые хотят что-то индексировать на своих сайтах обычно имеют собственный дедик, и обычно далеко не один, что мешает пихнуть рядом железку в 1U? В общем не вижу честно говоря проблем.

Относительно суппорта - я не знаю виделили вы их механизм в действии и его внутренню админку, но поверьте там все элементарно настраивается, разберется даже ребенок.

В любом случае определенную нишу вы конечно займете, но где здесь деньги в большом понимаении этого слова я не вижу пока :)

Re:

Ашманов — Fri, 10 Mar 2006 12:05:14 +0300

Роман, так навскидку сказать не могу. Здесь важен скорее объём этих сайтов и период выкачки.
Напишите мне igor@ashmanov.com, обсудим.

Re:

Ашманов — Thu, 09 Mar 2006 18:07:03 +0300

1. Гугл именно что сделал морфологию. Я с этим разбирался подробно. В формате расширения на этапе запроса.
Просто применяют они расширение не каждый раз, основываясь на различных соображениях по статистике слова в индексе. И это - грамотно.

2. Гугл мини от вас потребует найти хостинг под железку, самому вести поддержку, управление пауком и пр, и пр.. Очень многим людям этого ничего не нужно. Им сервиса под ключ достаточно.
Кроме всего прочего я сильно сомневаюсь, что Гугл оказывает нормальную техподдержку. Достаточно посмотреть на пример Яндекса, у которого корпоративные решения есть (Яндекс.сервер и Спамооборона), а техподдержки и отдела внедрения по сути нет.

Re:

uni — Thu, 09 Mar 2006 17:51:50 +0300

Игорь, скажите а как Вы планируете конкурировать например с таким продуктом как Google Mini и его аналогами? Если человек платит за услугу поиска Вам, то проще купить небольшую железку и спать спокойно без всякой абонентской платы.

кстати гугл морфологию не сделал, они сделали только подсветку слов на ру домене, индекс там и пересчет никто не делал и делать не будет (информация практически от первых лиц).

И еще вопрос - мы как разработчики поисковика уже на$бались с датами :) 90% серверов в сети отдают дату документа текущую, а не времени изменения или создания, так что перекачивать Вам придется полюбому документ.

Re:

Roman — Thu, 09 Mar 2006 17:21:31 +0300

Сколько примерно стоить будет этот сервис на индексацию 5.000 тысяч сайтов и 5.000 - 10.000 поисковых запросов в день?

Re:

Ашманов — Thu, 09 Mar 2006 17:12:48 +0300

1. Естественно, выкачиваются только новые страницы. По-моему, это снимает вопрос про нагрузку на сайты и на сервис.

Вот для примера, как выглядит отчёт о статусе моего пробного поисковика по антивирусам:

AVG 232 (5) 5.20 Mb из 50Mb
Avira 1810 (92) 52.52 Mb из 60Mb
Bit Defender 905 42.89 Mb из 50Mb
Clam AV 290 5.16 Mb из 30Mb
Computer Associates 873 (5) 13.64 Mb из 50Mb
Dr. Web 5 0.11 Mb из 20Mb
F-Prot 1067 31.35 Mb из 50Mb
F-Secure 2613 (1) 46.36 Mb из 50Mb
G-Data 14 0.32 Mb из 50Mb
Kaspersky 353 (6) 10.81 Mb из 30Mb
MсAfee 134 (1) 3.79 Mb из 50Mb
Nod32 1 0.04 Mb из 50Mb
Panda 1000 (52) 44.76 Mb из 50Mb
Sophos 2875 (27) 36.43 Mb из 50Mb
Symantec 522 (2) 16.28 Mb из 50Mb
Trend Micro 3 0.07 Mb из 50Mb
Viruslist 2547 (8) 47.70 Mb из 50Mb

Всего занято: 357 из 400Mb

В скобках - количество новых страиц с этих сайтов. Только они сегодня и выкачивались.

2. Веб-мастера, которые из соображений своего бизнеса готовы оплачивать решение таких задач - есть. Сейчас, например, у нас идёт один из контрактов, по которому выкачиваются 1500 сайтов. Деньги там очень даже неплохие.

3. Если вы готовы вводить запросы к Гуглю через OR, как вы показали выше (не думаю, правда, что Гугль разрешит вам ввести 100 операторов OR) и ждать, пока он в очередной раз проиндексирует заданные сайты, то Вам и надо пользоваться Гуглем, безусловно.
Русская мофрфология тут вообще не при чём, ибо Гугль её уже сделал.

4. Понятно, что очень многие вещи можно сделать самостоятельно на коленке, но гораздо удобнее, если в сервисе всё уже сделано. Скажем, не только ограничить поиск 50-100 сайтами, но и запретить Гуглю индексировать некоторые страницы с них - как вы это сделаете?
Запрограммируете? Хорошо.
А если нужно подписаться на 15 сложных тематических запросов по этим 100 сайтам?
Будете программировать запрос ещё более сложным способом? Ну так если у вас страсть к программированию, вас остановить невозможно.
Это благородная страсть, я не могу просить вас отказаться от неё.

А вообще даже расширенным поиском на поисковиках пользуются не более 1% любителей программирования запросов.

Re:

_vitaly — Thu, 09 Mar 2006 00:31:36 +0300

2Пупкинъ

Я имел в виду тот поиск, который предлагается Гуглом как один из 2 вариантов заработка в программе AdSense (2й вариант - это контекстные объявления).

2Petr

>Используя форму тоже не добиться поиска по
>нескольким сайтам, на сколько мне известно

Язык запросов позволяет ограничивать область поиска перечнем сайтов. Например, введите в Гугловскую поисковую форму запрос "поиск site:google.com OR site:lib.ru", и Гугль будет искать употребление слова "поиск" только на собственном сайте и на lib.ru.

>Выкачка раз в день тоже не совершенное решение,
>но куда лучше такое, чем ожидание индексации
>в течение недели

А выкачивать ежеминутно - еще лучше, да только неэффективно с экономической точки зрения, поэтому ни один поисковик и не ставит перед собой подобные задачи (чтобы не разориться на трафике и оборудовании). Мне, однако, хотелось бы посмотреть на тех веб-мастеров, которые согласятся оплатить из собственного кармана "Новотеке" решение этой задачи :)

Re:

Владислав — Wed, 08 Mar 2006 21:44:44 +0300

http://rollyo.com/ - вместо создания собственной базы использует Yahoo API. Все бесплатно. Единственное ограничение - искать можно не более чем на 25 сайтах. Ни про объем выкачки, ни про дисковое пространство париться не надо.

Re:

Petr — Wed, 08 Mar 2006 20:57:28 +0300

Пупкинъ, есть бесплатный вариант, правда там не XML фид

Re:

Petr — Wed, 08 Mar 2006 20:54:54 +0300

_vitaly, Пупкинъ, я думаю, господин Ашманов более конкретно распишет разницу между Google и сервисом его компании.

Вы сами настраивали скрипт поиска с использование Google Web APIs? Там есть такая важная вещь, как поиск только по одному сайту. Это и есть главное отличие ПП от Google, или Яндекса, по моему мнению. Используя форму тоже не добиться поиска по нескольким сайтам, на сколько мне известно.

И есть еще вопросы, качающиеся индексации. Выкачка раз в день тоже не совершенное решение, но куда лучше такое, чем ожидание индексации в течение недели.

Сделать более гибкую настройку индексации, тогда цены не будет ПП.

Re: google

Пупкинъ — Wed, 08 Mar 2006 17:26:57 +0300

XML-фид от гугла платный, разве нет ?

Разместить форму поиска по сайту много кто предлагает, но результат уводит на поисковик. Что неприятно сайту

Это похоже не на "Алексу", а на др. американский поисковик.

_vitaly — Wed, 08 Mar 2006 16:41:58 +0300

Google уже давно предлагает (между прочим, совершенно бесплатно) устанавливать поисковые формы на сайтах и делится с веб-мастерами доходами от поисковой рекламы.

Таким образом, "персональный поиск" - это попытка повторить уже существующую бесплатную услугу Гугла, но за деньги и с поддержкой русской морфологии. Платить деньги за морфологию никто не будет, так же, как никто не стал бы платить Яндексу лишь за то, что он лучше Гугла понимает русский язык :)

Что касается ежедневной переиндексации, то это несколько сомнительной полезности новшество. Доставка контента, который критически важно получить в течение суток после публикации, не является задачей обычных поисковых систем. Это должны делать новостные сервисы, поисковики по блогам, RSS-агрегаторы. Обычный поисковик, который ежедневно выкачивает всё содержимое сайта на четыре уровня в глубину ради обнаружения 1-2 обновлений просто бесполезно расходует ресурсы (оплачиваемые веб-мастерами).

PS

Арсений — Wed, 08 Mar 2006 16:19:56 +0300

Приведу пример того, о чем я говорю: http://socionet.ru/
http://bukinist.agava.ru/
http://www.poiskknig.ru/index.html

То есть, имхо, нужен аналог http://www.sigla.ru/ только применительно к он-лайн библиотекам (скажем, по определенной тематике для начала).

Re:

Petr — Wed, 08 Mar 2006 15:26:45 +0300

Ашманов, пре дележ доходов прочитал. Вам калечено нужно отбивать вложения в этот сервис, поэтому, и стоит бегун, я и не спорю.

Но я считаю, что на период теста можно было обойтись без рекламы. После ввода в эксплуатацию нужно предоставить выбор, или бегун оставить, или сделать платный сервис. Предполагаю, что некоторые пользователи предпочли бы платить за сервис и размещать свою рекламу.

Re:

Арсений — Wed, 08 Mar 2006 10:46:36 +0300

Игорь, в любом случае, большое спасибо за то, что Вы делаете! :)
Но согласитесь, было бы здорово, если бы все существующие ныне он-лайн библиотеки были бы объединены одним поисковиком.

Re:

Ашманов — Wed, 08 Mar 2006 07:58:15 +0300

Если в результатах поиска стоит контекстная реклама (например, Бегун), то для кого это платный сервис?

Вот вы, допустим, вебмастер. Делаете сайт про кошек. Захотели поставить поиск по кошачьим сайтам. Отобрали форумы, ветлечебницы, клубы и т.п. Поставили наш поиск.
Теперь ваши посетители могут искать, и при этом они смотрят рекламу.
Вы ничего за поиск не платите. Для кого же он платный - для посетителей?
Замечу ещё, что мы будем забирать себе все рекламные доходы (которых пока нет и вообще будет мало) только на этапе тестирования сервиса, где-то до осени. А дальше я планирую делиться с вебмастерами. То есть владелец сайта будет получать поиск бесплатно, да ещё и доход от него.
Доход, конечно, будет заметным, только если на сайте будет много постетителей и они будут много искать.
У нас сейчас ровно такая договорённость со СМИ, которым мы ставим пакет <поиск + Бегун>.

Re:

Petr — Wed, 08 Mar 2006 00:57:16 +0300

Алексей Иванов, публичный персональный поиск тоже платный сервис. Бегун, бегун, бегун....

Re:

Игорь Ашманов — Tue, 07 Mar 2006 23:15:46 +0300

Ну, на билиотеке Мошкова поиск уже есть. Тоже от Новотеки.
А вообще многие библиотеки сидят в базах данных, до них обычным поисковиком не доберёшься.

Что касается квоты, то будут разные способы её повысить - деньги (абонентская плата), большая популярность ресурса (заработок на реклмае), и т.п. Может быть, если проект интересный, нам тоже будет интересно и мы договоримся.
Проблема там не в дисковом месте под индекс, бегамайты нынче дёшевы, а в загрузке процессоров на индексации.

Re:

Арсений — Tue, 07 Mar 2006 23:08:09 +0300

Я давно мечтал о появлении персонального поисковика, который бы индексировал он-лайн библиотеки, список которых формирую я сам.
Новатека, кажется, подходит, хотя пока у них квота всего 1 Гб. Думаю, пока этого мало :(

Про Alexa

Алексей Иванов — Tue, 07 Mar 2006 20:41:48 +0300

Вообще говоря, сравнение персонального поиска Новотеки с Alexa не очень правомерно, вот почему:

1. Alexa предоставляет доступ только программистам, а не любым пользователям. Программисты должны написать программу, которая будет запущена на их серверах.

2. Цель Alexa - не обязательно поиск, вам дают доступ к данным - а уж что вы с их помощью напрограммируете - ваше дело.

3. В Alexa вы не можете управлять своим пауком - вам лишь дают доступ к выкачанному "слепку" с Интернет, новый слепок - производится раз в два месяца. Персональный поиск Новотеки дает возможность качать хоть каждый день.

4. Alexa - принципиально платный сервис. Бесплатного уровня (хотя бы с минимальными возможностями) в нем нет.

5. Наконец, зарегистрироваться и попробовать ее в деле пока нельзя. На любое обращение (с осени по сю пору) приходит ответ:

The Alexa Web Search Platform Beta is currently at capacity. We will notify you when we are able to accommodate additional users.

Персональный поиск пока удовлетворяет все заявки.

6. Не говоря уже об охвате Рунета и поддержке русского языка.

2 K

Алексей Иванов — Tue, 07 Mar 2006 20:29:36 +0300

Насколько мы видим - работает. Если есть проблемы - обратитесь в службу поддержки через форму на сайте и мы разберемся. Возможно, какие-то проблемы со связью с нашим сервером...

Re:

Petr — Tue, 07 Mar 2006 19:43:58 +0300

Все работает. Похоже, уже есть 2 тематический поиск :)

Re:

Tue, 07 Mar 2006 19:25:54 +0300

Но сейчас же он не работает? В интерфейсе настройки поисковиков вместо всех полей ввода надпись "Загружаем с сервера, ждите".

Re:

Ex — Tue, 07 Mar 2006 18:56:58 +0300

На фиг надо, хостинг уже у всех есть, поставил RiSearch Pro и гоняй свой персональный поиск сколько хочешь :)

Персональные поисковики выходят в свет

admin — Tue, 07 Mar 2006 18:24:30 +0300

Бета-тестеры сервиса «Персональный поиск» могут выбирать любые сайты для индексирования и создавать собственный поисковый индекс. Теперь собственноручно созданный поисковик можно открыть для всех.