Корпусно-информационное

[mitrius]

Пересылая файлы для Корпуса, давно заметил, что тексты с грамматической разметкой (то есть такие, где каждому слову приписан его морфологический разбор, вроде гуляющими{гулять=Г,нс,нп=прч,нст,дст,тв,мн}; причём если вариантов несколько, как у словоформы большой, то даются все, и грамматическая омонимия не снимается; кроме того, есть простой синтаксис в виде границ клауз и элементарных составляющих) в заархивированном виде имеют примерно такой же объём, что и исходные тексты без архива и без разметки.

То есть известно, что текст на естественном языке информационно избыточен и сильно ужимается при кодировании. Но вроде как выходит, что эта избыточность в русском языке (наверное, в агглютинативных вроде тюркских будет не так или по крайней мере не совсем так) компенсируется плотностью морфологического ряда, синтаксическим членением и неоднозначностью, и если расписать тут же пространство возможных анализов, то объём информации выйдет тот же.

Иными словами, текст кодируется вместе со своим "переводом" на метаязык, и код получается почти равным входу.

Можно представить себе возражение на то, что я сказал: "а если тут же рядом перевод на немецкий или кечуа записать, так тоже небось компенсирует". Почему-то кажется, что "так, да не так".

Comments

[petrark.livejournal.com]

Ага, интересное наблюдение.
Из немного другой оперы: МР3 файлы в битрейте до 256 килобит/сек почти не ужимаются. А в более высоком, например, 32о кб/с ужимаются весьма сильно.

[bylin.livejournal.com]

информационно-кодировочно!

[tigris-traum.livejournal.com]

а почему омонимия не снимается? помнится, одно из заданий не-помню-к-чему заключалось как раз в грамедите с ручным (лапками, лапками) снятием омонимии. нет?

мистика есть признак неудачи

[smilga.livejournal.com]

Cхему кодирования грамматических показателей можно изменить так, что она будет занимать меньше или больше байт, и будет более или менее ужимаема. Чем вот эти двух-трёхбуквенные обозначения специально выделяются из прочих схем кодирования (кроме удобства использования для русских грамматистов), мне решительно непонятно.

[dimkaguarani.livejournal.com]

Так, да не так. :)

>кроме того, есть простой синтаксис в виде границ клауз и элементарных составляющих
О! это благая весть.