Review: Shingles Expert 1.0 и Hkey Shingle Text Compare – две программы для сравнения текстов или статей методом шинглов

Submitted by DmitryHT on Thu, 06/03/2008 - 14:21.

Под сегодняшнее Review попадают сразу 2 интересные программы: Shingles Expert 1.0 и Hkey Shingle Text Compare. Обе программы имеют простой интерфейс и схожий функционал, а именно: определяют схожесть двух текстов в процентном соотношении.

Что же говорят сами авторы о своих продуктах?

Автор (Shingles Expert 1.0)

Программа предназначена для сравнения текстов или статей методом шинглов
…
…
Эмуляция лемматизации (нормализации) текста. По специальному алгоритму отбрасываются окончания слов, чтобы отсечь изменения слов при склонении, спряжении и т.п. Качество определения схожести увеличивается до десятков процентов (обычно точнее на 5-15%). За счет грубости метода могут быть некоторые неточности, но только в сторону повышения строгости проверки.

Отбрасывание стоп-слов. Метод снижает нагрузку при расчете сравнения, отбрасывая распространенные союзы, предлоги. Позволяет обойти некоторые простейшие синонимичные изменения.

Автор (Hkey Shingle Text Compare)

Реализован метод шинглов. Со сравнением по выборке из мин-макс 100 случайных фиксированных функций.
…
…
Различает регистр, вырезает Тэги.
Не учитывает словоформы, синонимы, стоп слова. А также замены русских букв на их английские аналоги.

Итак, если Shingles Expert 1.0 это удобный инструмент для сравнения уникальности текстов, то Hkey Shingle Text Compare - его младший брат с немного урезанным функционалом.

Также хорошим плюсом Shingles Expert 1.0 является возможность масштабирования окна программы, что существенно повышает ее юзалибити.
А вот минусом является множество рекламных ссылок в окне программы, на которые при активной работе того и гляди нажмешь ненароком