Шинглас технология монтажа

Инструкция по монтажу гибкой черепицы: тонкости устройства

Шингл – это фрагмент текста длиной в несколько слов, с которым работает программа проверки уникальности.

Монтаж мягкой кровли Шинглас: инструкция

Суть дела заключается в том, что весь текст разбивается на отдельные фрагменты заданной фиксированной величины (от трёх до восьми слов), а программа, которая определяет уникальность текста, проверяет наличие таких же фрагментов текста (шинглов) в размещённых ранее документах в сети Интернет. 

 

Уникальность проверяемого документа зависит от длины шингла. К примеру, если задать размер шингла в одно слово, то в Интернете всегда найдётся хотя бы один документ, в котором будет встречаться каждое слово, существующее в проверяемом документе – соответственно, и уникальность такого документа будет равна нулю. А если, например, создать выборку из девяти слов, то уникальность проверяемого контента резко возрастёт, ведь найти два документа, содержащих одинаковые фрагменты текста из девяти слов, довольно сложно. 

 

Программы-антиплагиаты составляют шинглы по своим алгоритмам. Одним из таких правил является составление шингла внахлёст, т.е. каждый последующий шингл захватывает часть предыдущего. 

 

Пример:

 

Исходный текст: Рецепт этого средства невероятно прост: достаточно взять две ложки мёда и смешать с таким же количеством белой глины.

 

Шингл 1: рецепт этого средства

Шингл 2: этого средства невероятно

Шингл 3: средства невероятно прост

 

В примере размер шингла составляет три слова, шинглы нарезаются внахлест.

 

Существует большое количество сложных алгоритмов нарезки шинглов. Давайте рассмотрим два наиболее популярных из них:

— без очистки текста от стоп-слов и символов;

— с очисткой текста от стоп-слов и символов.

Суть первого алгоритма заключается в проверке исходного документа без внесения каких-либо изменений. При использовании второго алгоритма из текста убираются символы, а также слова, которые не несут никакой смысловой нагрузки (междометия, предлоги, союзы и т.д.).

 

Пример:

 

Исходный текст: Рецепт этого средства невероятно прост: достаточно взять две ложки мёда и смешать с таким же количеством белой глины.

После очистки от символов и стоп-слов: Рецепт средства невероятно прост достаточно взять две ложки мёда смешать количеством белой глины.

Оставить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *