Поможем в ✍️ написании учебной работы

Имя

Поможем с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой

Выберите тип работыЧасть дипломаДипломная работаКурсовая работаКонтрольная работаРешение задачРефератНаучно - исследовательская работаОтчет по практикеОтветы на билетыТест/экзамен onlineМонографияЭссеДокладКомпьютерный набор текстаКомпьютерный чертежРецензияПереводРепетиторБизнес-планКонспектыПроверка качестваЭкзамен на сайтеАспирантский рефератМагистерская работаНаучная статьяНаучный трудТехническая редакция текстаЧертеж от рукиДиаграммы, таблицыПрезентация к защитеТезисный планРечь к дипломуДоработка заказа клиентаОтзыв на дипломПубликация статьи в ВАКПубликация статьи в ScopusДипломная работа MBAПовышение оригинальностиКопирайтингДругое

Нажимая кнопку "Продолжить", я принимаю политику конфиденциальности

 

Было рассмотрено несколько алгоритмов:

1) Расстояние Левенштейна.

2) Метод полных обратных преобразований.

3) Поиск максимальной подпоследовательности.

Расстояние Левенштейна и метод поиска максимальной подпоследовательности дают очень хорошие результаты при коррекции, однако имеют сложность зависимости от словаря больше линейной. Поэтому в работе был использован метод полных обратных преобразований. Для описания алгоритма необходимо дать несколько определений.

Определение: Отображение ошибки категории z = 1, 2 данной словоформы – множество словоформ, порождаемых этой словоформой в результате всех возможных ошибок категории z.

Выделяют два типа случайных ошибок:

1. удвоение символа (клаввиатура);

2. перестановка двух соседних символов (аглоритм).

Определение: Полное отображение одиночной ошибки данной словоформы – множество словоформ, порождаемых этой словоформой в результате всех возможных ошибок четырех категорий.

Таким образом, если через Г1 (словоформа) обозначить множество словоформ, порождаемых данной словоформой в результате ошибки категории 1 (отображение ошибки категории 1), через Г2 – отображение ошибки категории 2, через Г3 – отображение ошибки категории 3 и через Г4 – отображение ошибки категории 4, то полное отображение одиночной ошибки Г (словоформа) есть объединение всех четырех множеств.

Определение: Полное обратное отображение одиночной ошибки данной словоформы – множество словоформ, порождающих данную словоформу в результате одиночной ошибки из двух категорий.

Описание метода полных обратных преобразований:

1. Вносим в буквенную цепочку полное обратное преобразование.

2. Каждый из получившихся токенов проверяем на наличие в словаре.

3. Если токен имеется в словаре, то он добавляется в список корректных кандидатов.

Таким образом обеспечивается 100% вероятность коррекции ошибок, если корректное слово имеется в словаре. Однако данный алгоритм обладает неустранимой особенностью – все обрабатываемые токены никак не оцениваются, а потому невозможно выбрать наиболее подходящий вариант для исправления ошибки, т.е. требуется вмешательство оператора.

Для успешного процесса коррекции важны эффективные алгоритмы диагностики грамматических ошибок. В общем случае все сводится к определению принадлежности последовательности символов (токена) к данному естественному языку.

Таким образом, исправление опечаток определенных классов, в том числе однобуквенных, является практически важной задачей. Алгоритмы исправления ошибок в русских словах должны учитывать особенности русского языка как высоко флективного.

 

Описание программной реализации

 

Для работы алгоритмов АМА необходимы следующие массивы:

1) Массив base (содержит основы слов),

2) Массив flex (содержит постфиксы),

3) Массив mrf (содержит морфологические признаки).

Данные массивы заполняются на основе словарей morphologi.dic

и rgramtab.dic

Для поиска по массивам и анализа ошибок используются следующие методы:

3) s_basean

4) s_flexan

5) s_mrf

6) first_err

7) sec_err

Массив base

Массив base – двумерный динамический массив содержащий основы слов и указатель на строку из массива flex.

Примеры строк из массива base:

ВЗ 519

В данном примере набор символов ВЗ является основой слова. Число 519 – указатель номера строки в массиве flex, содержащей набор окончаний ассоциированных с данной основой.

Массив flex

Массив flex – двумерный динамический массив, содержащий наборы окончаний. Данный массив является зависимым от массива base, также этот массив содержит указатель на строки массива mrf, идентифицирующие морфемные свойства слова.

Пример части строки из массива flex

%БИТЬСЯ*ка % БИЛСЯ*кз%

Набор символов «БИТЬСЯ» является формой постфикса, для определённой в массиве base основы. Набор символов «ка» является идентификатором строки с дескрипторами массива mrf.

Массив mrf

Массив mrf – двумерный динамический массив, содержащий наборы дескрипторов, которые описывают морфемные свойства анализируемого слова.

Пример строки из массива mrf:

ка a ИНФИНИТИВ дст

В данной строке указано, что словоформа является Инфинитивом (начальной формой глагола), и является действительным.

Набор частей речи массива mrf указан в таблице 3.2.

 

Таблица 3.2. Описание частей речи массива mrf

Часть речи в системе Диалинг	Пример	Расшифровка
C	мама	существительное
П	красный	прилагательное
МС	он	местоимение-существительное
Г	идет	глагол в личной форме
ПРИЧАСТИЕ	идущий	причастие
ДЕЕПРИЧАСТИЕ	идя	деепричастие
ИНФИНИТИВ	идти	инфинитив
МС-ПРЕДК	нечего	местоимение-предикатив
МС-П	всякий	местоименное прилагательное
ЧИСЛ	восемь	числительное (количественное)
ЧИСЛ-П	восьмой	порядковое числительное
Н	круто	наречие
ПРЕДК	интересно	предикатив
ПРЕДЛ	под	предлог
СОЮЗ	и	союз
МЕЖД	ой	междометие
ЧАСТ	же, бы	частица
ВВОДН	конечно	вводное слово
КР_ПРИЛ	красива	краткое прилагательное
КР_ПРИЧАСТИЕ	построена	краткое причастие

 

Ниже перечислены все используемые граммемы:

мр, жр, ср – мужской, женский, средний род;

од, но – одушевленность, неодушевленность;

ед, мн – единственное, множественное число;

им, рд, дт, вн, тв, пр, зв – падежи: именительный, родительный, дательный, винительный, творительный, предложный, звательный;

2 – обозначает второй родительный или второй предложный падежи;

св, нс – совершенный, несовершенный вид;

пе, нп – переходный, непереходный глагол;

дст, стр. – действительный, страдательный залог;

нст, прш, буд – настоящее, прошедшее, будущее время;

пвл – повелительная форма глагола;

1 л, 2 л, 3 л – первое, второе, третье лицо;

0 – неизменяемое.

кр – краткость (для прилагательных и причастий).

сравн – сравнительная форма (для прилагательных).

имя, фам, отч – имя, фамилия, отчество.

кач – качественное прилагательное.

вопр, относ – вопросительность и относительность (для наречий).

дфст – слово обычно не имеет множественного числа.

жарг, арх, проф – жаргонизм, архаизм, профессионализм.

безл – безличный глагол.

Метод s_basean

Данный метод проводит поиск основы слова в массиве base. Если словоформа найдена, то вызывается метод s_flexan для анализа окончания. Если основа не найдена, выполняются методы поиска ошибки (first_err, second_err, third_err, fifth_err).

Описание заголовка метода s_basean

int s_basean (char **base, const int b_nstr, const int b_nstb, char **flex, const int f_nstr, const int f_nstb, char **morf, const int m_nstr, const int m_nstb, int &l, char *s_word);

В данный метод передаются указатели на массивы основ, окончаний и морфем, а также указатели на полученное для анализа слово и длинна этого слова.

Возвращает метод 1 в случае удачного выполнения (была найдена хотя бы одна словоформа), и 0 в случае неудачного выполнения (ни одной словоформы не было найдено).

Метод s_flexan

Данный метод вызывается из метода s_basean и проводит поиск окончания слова в массиве flex. Если окончание найдено, то вызывается метод s_mrf, для определения морфологических свойств слова.

Описание заголовка метода s_flexan:

void s_flexan (char **mas, const int str, const int stb, char *ok, const int a, char *w, char *s, int &id);

В данный метод переадются указатели на массив с окончаниями, его размерность, искомое окончание, номер строки с окончаниями, определённый в методе s_basean, и анализируемое слово.

Данный метод не возвращает никаких значений.

Метод s_mrf

Данный метод проводит поиск набора дескрипторов (морфологическая характеристика слова), в соответствии с проведённым анализом в методах s_basean и s_flexan. Метод s_mrf вызывается из метода s_flexan в случае, если было найдено окончание, и связка основа + окончание даёт анализируемое слово.

Описание заголовка метода s_mrf:

void s_mrf (char **mas, const int str, const int stb, char *mr, char *en);

В данный метод передаются указатели на массив дескрипторов mrf, размерности этого массива, и строка содержащая морфологическое описание данного слова. Так как у одного слова может быть несколько морфологических характеристик, то данная строка может содержать несколько наборов дескрипторов.

Метод first_err

Данный метод строит полное обратное отображение словоформы третьей категории ошибок. Метод последовательно удаляет букву из переданной словоформы.

Описание заголовка метода third_err

void first_err (char *s_word, char **ot, int &f, int q);

В данный метод передаётся полученное для анализа слово, и указатель на массив, в который будут передано множество полного обратного отображения словоформы. После построения данного множества, для каждого из обратного отображения вызывается метод s_basean и проводится попытка найти сгенерированную словоформу в словаре. Если словоформа найдена, дальнейшее выполнение останавливается и подсистема предлагает замену слова. Если словоформа не найдена то вызывается метод sec_err для поиска ошибки второй категории.

Метод sec_err

Данный метод строит полное обратное отображение словоформы по первой категории ошибок. Метод последовательно подставляет на каждое место в слове символ алфавита русского языка.

Описание заголовка метода fifth _err

void sec_err (char *s_word, char **ot, int &f, int q);

В данный метод передаётся полученное для анализа слово и указатель на массив, в который будут передано множество полного обратного отображения словоформы. После построения данного множества, для каждого из обратного отображения вызывается метод s_basean и проводится попытка найти сгенерированную словоформу в словаре. Если словоформа найдена, дальнейшее выполнение останавливается и подсистема предлагает замену слова. Если словоформа не найдена то считается, что для данной словоформы не удалось создать полное обратное отображение и данная словоформа помечается как не найденная в словаре.

 

2.7 Тестовые примеры

 

Для тестирования алгоритмов морфологического анализа были выбраны слова различных частей речи и с различными морфемными свойствами, также учитывается наличие словоформ имеющих различную морфологию, но не отличающихся друг от друга при написании.

Для тестирования алгоритмов исправления ошибок были составлены слова с ошибками первого и второго рода.

Результаты тестирования указаны в таблице 3.3.

 

Таблица 3.3. Результаты тестирования модуля морфологического анализа