 |
Front Page
| |
|
Linguoc LexTerm:una herramienta de extracción automática de terminología gratuitaAntoni Oliver, Mercè Vázquez, Joaquim Moré | |
|
LexTerm se puede descargar libremente de www.linguoc.cat.
La extracción de terminología es el proceso mediante el cual se seleccionan de un texto o conjunto de textos unidades candidatas a constituir términos. No hay que confundir la extracción de terminología con la creación de un glosario terminológico a partir de un texto y de una base de datos terminológica. En el caso de la extracción automática de terminología, intentamos descubrir los términos más relevantes sin conocer previamente estos términos. En cambio, en el segundo caso, buscamos qué términos de una base de datos terminológica están presentes en un determinado texto y por lo tanto los posibles términos son conocidos a priori.
Existen dos técnicas principales para la extracción automática de terminología:
La información básica que utilizan los sistemas de extracción automática de terminología de tipo estadístico es la frecuencia de aparición de una serie de combinaciones de palabras. Los sistemas de extracción de terminología estadísticos trabajan con n-gramas de palabras. Los n-gramas de palabras son combinaciones de n palabras consecutivas. Por ejemplo, en la frase: Nuestro sistema de gestión empresarial incluye un programa de facturación y una base de datos de recursos humanos. Los 1-gramas presentes en el texto son: Nuestro, sistema, de, gestión, empresarial, incluye, un, programa, facturación, y, una, base, datos, recursos, humanos. Los 2-gramas son: Nuestro sistema, sistema de, de gestión, gestión empresarial, empresarial incluye, incluye un, un programa, programa de, de facturación, facturación y, y una, una base, base de, de datos, datos de, de recursos, recursos humanos. Los 3-gramas son: Nuestro sistema de, sistema de gestión, de gestión empresarial, gestión empresarial incluye, empresarial incluye un, incluye un programa, un programa de, programa de facturación, de facturación y, facturación y una, y una base, una base de, base de datos, de datos de, datos de recursos, de recursos humanos. Y de esta manera sucesivamente hasta el orden n deseado. Los candidatos a término se encontrarán entre estas combinaciones (por ejemplo, gestión empresarial o base de datos) aunque también habrán muchos elementos sin ningún interés desde el punto de vista terminológico (por ejemplo, programa de o incluye un programa). Para poder seleccionar las combinaciones con una mayor probabilidad de constituir términos se puede hacer uso de listas de palabras vacías o stop-words. Las palabras vacías cuando hablamos de extracción de terminología son una serie de palabras (en su mayoría funcionales) que no pueden estar en ciertas posiciones de la entrada terminológica (normalmente las posiciones extremas, es decir, primera y última). Por ejemplo, si nuestra lista de palabras vacías para el castellano está compuesta por las palabras nuestro, nuestra, nuestros, nuestras, de, uno, una, unos, unas, y... y eliminamos los bigrams y trigrams que tienen en posición extrema una de estas palabras, la lista de candidatos se reduce a: Los 2-gramas son: gestión empresarial, empresarial incluye, recursos humanos. Los 3-gramas son: sistema de gestión, gestión empresarial incluye, incluye un programa, programa de facturación, base de datos, datos de recursos. Si ahora trabajamos también con la frecuencia, probablemente dentro de unos textos especializados en empresa saldrá más veces gestión empresarial que gestión incluye. De esta manera se puede extraer una lista de candidatos a constituir términos, que tendrá que ser revisada manualmente. Estos sistemas tienen dificultades para detectar los términos formados por una única palabra. Esta dificultad radica en el hecho de que el cálculo de todos los unigrams (n-grams con n = 1) supone todas las palabras de los textos analizados. Si filtramos por palabras vacías, obtendremos todas las palabras menos las vacías y el resultado no se parecerá en absoluto a una extracción de terminología.
Las técnicas lingüísticas de extracción de terminología se basan en la detección de patrones morfológicos. El paso previo, por lo tanto, a la extracción de terminología es el etiquetado morfosintáctico del texto o textos. El etiquetado de textos consiste en añadir información morfológica a cada palabra del texto. Por ejemplo, si tomamos la misma frase que la utilizada para ejemplizar la técnica estadística: Nuestro sistema de gestión empresarial incluye un programa de facturación y una base de datos de recursos humanos. El análisis morfosintáctico daría un resultado como el siguiente: Nuestro {nuestro DP1MSP} sistema {sistema NCMS000} de {de SPS00} gestión {gestión NCFS000} empresarial {empresarial AQ0CS0} incluye {incluir VMIP3S0} un {uno DI0MS0} programa {programa NCMS000} de {de SPS00} facturación {facturación NCFS000} y {y CC} una {uno DI0FS0} base {base NCFS000} de {de SPS00} datos {dato NCMP000} de {de SPS00} recursos {recurso NCMP000} humanos {humano AQ0MP0} . {. Fp} Para poder realizar este etiquetado es necesario disponer de un etiquetador o tagger.1 Una vez etiquetado el texto, la extracción de terminología consistirá básicamente en una búsqueda de patrones que sean típicamente terminológicos. Algunos patrones posibles para el castellano podrían ser: NC AQ: substantivo - adjetivo. Detectaría: gestión empresarial, recursos humanos NC SP NC: substantivo - preposición - substantivo. Detectaría: sistema de gestión, programa de facturación, base de datos Evidentemente, el hecho de cumplir uno de estos patrones no querrá decir necesariamente que se trate de una entrada terminológica. Una vez detectados los posibles candidatos, se hace una elección por frecuencia de aparición y una revisión manual. Esta metodología de extracción también presenta dificultades para la detección de términos monopalabra, ya que el patrón más habitual sería simplemente "substantivo" y detectaría todos los sustantivos del texto de entrada.
Si disponemos de un corpus paralelo o de una memoria de traducción es posible, además de detectar una serie de candidatos a término, encontrar automáticamente el equivalente de traducción más probable. De esta manera podemos elaborar de una manera rápida y eficiente bases de datos terminológicas bilingües. La búsqueda automática de equivalentes funciona de la siguiente manera. Tomamos un candidato a término en la lengua A y seleccionamos un subconjunto del corpus paralelo consistente en todas llos segmentos que contienen ese término. Nos quedamos únicamente con los segmentos correspondientes a la lengua B y realizamos una extracción de terminología (habitualmente de tipo estadístico) sobre estas oraciones. El candidato a término más frecuente en estas oraciones será el equivalente de traducción más probable del término seleccionado. Esto es así ya que se espera que en todas, o la mayoría, de las oraciones en la lengua B de este subconjunto aparezca el equivalente de traducción del término seleccionado.
El programa LexTerm es un programa de extracción automática de terminología de tipo estadístico gratuito, de libre distribución y de código abierto. LexTerm pone al alcance de cualquier traductor, terminólogo, empresa o institución la posibilidad de crear glosarios terminológicos de una manera rápida y eficiente. LexTerm está desarrollado íntegramente en Perl y por lo tanto es un programa multiplataforma. Se distribuye con el código Perl que se puede ejecutar en cualquier ordenador que tenga instalado un intérprete de Perl, y también en versión ejecutable para Windows. La versión ejecutable para Windows funcionará por cualquier ordenador que incorpore este sistema operativo tenga o no instalado el intérprete de Perl. LexTerm permite la extracción automática de terminología y la búsqueda automática de equivalentes de traducción. En la siguiente captura de pantalla podemos observar el resultado para un corpus paralelo inglés - castellano.
Cuando se busca un equivalente de traducción siempre selecciona el más probable, pero es posible visualizar todos los posibles candidatos por orden de probabilidad. LexTerm también permite visualizar los contentos donde aparece el término original y traducido, esto puede ser de utilidad en caso de duda.
Una vez revisada la lista de candidatos y de equivalentes el resultado de la extracción se puede exportar a un formato de texto separado por tabuladores. A partir de este formato se pueden introducir los términos en un sistema de gestión de terminología o importarlos en una base de datos terminológica de alguna herramienta de traducción asistida.
Después de presentar el funcionamiento de LexTerm, pasamos a describir un caso práctico para mostrar el rendimiento que podemos obtener de esta herramienta. Para ello, hemos utilizado CRATER (Corpus Resources and Terminology Extraction), un corpus trilingüe (español, inglés y francés) de un millón de palabras, etiquetado manualmente y alineado a nivel de frase. Este corpus se ha constituido a partir de una colección importante de textos del ámbito de las telecomunicaciones, específicamente contiene el manual de la International Telecommunications Union (CCITT). Con LexTerm hemos realizado la extracción de candidatos a término del corpus poniendo como límite 3-gramas y utilizando un fichero de stop-words para filtrar las palabras vacías de contenido o palabras funcionales (artículos, preposiciones, etc.) que se encuentran en el corpus. A partir del resultado obtenido, hemos seleccionado el conjunto de candidatos que han aparecido en el corpus hasta la frecuencia 100. En este primer paso hemos obtenido un total de 333 candidatos a término. De este conjunto de candidatos, destacamos que entre los treinta primeros que tienen más presencia en el corpus, hemos recuperado siete que son posibles candidatos a término y son los siguientes: earth station, signal unit, signalling link, signalling system, signalling point. forward signal, link layer. Este primer resultado obtenido con la herramienta de extracción automática lo hemos filtrado para poder eliminar los candidatos que pertenecen a la lengua general. Este filtraje lo hemos realizado a partir de un corpus de la lengua general que consta de un millón de palabras y ajustando el umbral de frecuencia, parámetro que permite controlar el nivel de exigencia para considerar si un candidato a término pertenece a la lengua general o al vocabulario específico. Al realizar este filtraje semiautomático, el número de candidatos ha pasado de 333 a 134, es decir, hemos reducido en un 60% los candidatos a término utilizando un umbral de frecuencia de 40. En este caso, entre los treinta primeros candidatos que tienen más presencia en el corpus, hemos recuperado ocho posibles candidatos a término y son los siguientes: earth station, signal unit, signalling link, signalling system, signalling point. forward signal, link layer. backward direction. Al final del proceso, revisamos manualmente cada uno de los candidatos y hacemos una selección de candidatos a partir de la consulta del contexto en el que se encuentran. Este paso es más lento pero muy útil para hacer la selección definitiva de candidatos; en este caso, al realizar esta revisión manual hemos obtenido un resultado de 85 posibles candidatos, entre ellos destacamos los quince que tienen más presencia en el corpus: earth station, signal unit, signalling link, signalling system, signalling point, forward signal, link layer, backward direction, signalling network, data link layer, satellite service, circuit group, link set, signalling equipment, transit exchange.
Hasta el momento, la extracción de términos por parte de LexTerm tiene varios aspectos que son susceptibles de ser mejorados. En primer lugar, una vez se han filtrado los n-gramas según el criterio de aparición de stop-words, el filtro definitivo de posibles candidatos a término se basa en un criterio cuantitativo (la frecuencia de aparición de los n-gramas) y no en un criterio cualitativo que sea próximo al criterio que un humano aplicaría a la hora de realizar una selección manual. El criterio basado en la frecuencia es problemático. Por un lado, hay que seleccionar manualmente los candidatos a término de una lista larga de n-gramas que superan una determinada frecuencia. Muchos de ellos no se aprovechan y, sin embargo, el tiempo empleado en revisarlo es considerable. Una forma de acortar la lista de candidatos es subiendo el umbral de frecuencia de aparición, pero entonces muchos términos relevantes quedan fuera por no superar este umbral. Por esta razón hemos estado trabajando en el establecimiento de un filtro más cualitativo a partir del cual el resultado de la extracción sea una lista con candidatos más relevantes. El filtro que estamos desarrollando se basa en la siguiente asunción: un n-grama que tenga una baja frecuencia en un corpus de vocabulario general pero que, por el contrario, tenga una frecuencia considerable en el corpus de especialidad sobre el cual se hace la extracción es un posible candidato a término. Para probar la validez de esta asunción estamos desarrollando un programa que filtra, de momento, palabras (uni-gramas) según este criterio. El programa requiere tres parámetros. El primero es una lista de palabras con sus correspondientes frecuencias, extraídas del corpus de especialidad. El segundo parámetro es el fichero que contiene el corpus de vocabulario general (o bien un fichero con las frecuencias de las palabras de este corpus). Finalmente, el tercer parámetro es un valor numérico que indica el nivel de exigencia para considerar una palabra como de vocabulario general. Este valor numérico corresponde al umbral de frecuencia que una palabra en el corpus general debería sobrepasar para ser considerada una palabra del vocabulario general y no de especialidad. El resultado del programa es una lista de palabras del corpus de especialidad que no superan el umbral que establece la frecuencia mínima que debería tener como para ser considerada una palabra del vocabulario general. El umbral no es estático, el usuario puede variarlo. Sabiendo que cuanto más pequeño sea el umbral más palabras serán descartadas, el usuario puede ir regulando el umbral hasta obtener una lista de candidatos que le parezca lo suficientemente significativa. Con el uso de estos filtros para seleccionar términos de distintas especialidades por parte de varias personas, es de esperar que podamos establecer un nivel de umbral por defecto que sea lo suficientemente productivo. Si los datos obtenidos indican la bondad de la asunción, integraremos este programa en LexTerm. Otra mejora que debería tenerse en cuenta también afecta al filtraje. Hasta el momento, con LexTerm es posible recuperar una combinación de n-gramas que, a su vez, aparecen combinados entre si, es decir, para un candidato a término como "echo control device" el programa recupera las combinaciones siguientes: "echo control", "control device" y "echo control device". Cuando se lleva a cabo la revisión manual de todos los candidatos, es necesario consultar el contexto en el que se encuentran para poder discernir qué candidato es óptimo para ser escogido. En este sentido, una mejora importante sería poder disponer de todas estas combinaciones agrupadas, para poder discriminar cuál es relevante. La agrupación de los candidatos también sería útil para poder detectar y eliminar de forma rápida las variantes que encontramos de un mismo candidato: mayúsculas y minúsculas, singular y plural, etc. Así pues, esta mejora facilitaría la revisión manual de la lista de candidatos, ya que en estos momentos conlleva tener que realizar consultas minuciosas del contexto en el que éstos se sitúan.
Actualmente la tarea de detección de un candidato en un texto de especialidad se realiza de forma manual, lo que comporta una elevada inversión de tiempo y una alta implicación de personal especializado en el proceso de trabajo. Ante esta situación, el uso de LexTerm permite incorporar un salto cualitativo en el proceso de detección de candidatos a término de un texto de especialidad, puesto que la detección se realiza de forma automática. Con LexTerm, es posible acelerar la detección de candidatos en la fase inicial del proceso, lo que representa poder reducir el tiempo que se emplea en el marcaje manual de éstos y permite disponer al final del proceso de un mayor número de términos escogidos. Este salto cualitativo representa un significativo avance en la tarea de normalización de términos en una lengua. De todos modos, la selección de candidatos hasta el momento es una tarea todavía larga y es inevitable que no se detecten algunos términos importantes de la especialidad porque no superan un umbral de frecuencia de aparición. Por esta razón, nuestro objetivo en el futuro es aplicar además un criterio cualitativo que filtre los candidatos a término, de modo que el número de candidatos a revisar sea menor y que la lista tenga una cobertura de términos significativos de la especialidad lo más amplia posible. Aunque hemos presentado las utilidades de la herramienta para un traductor, LexTerm está diseñado para ser también utilizada por profesores en la confección de materiales docentes y por cualquier profesional que tenga que elaborar documentos con mucho contenido terminológico y cuya denominación en una o más lenguas debe ser absolutamente rigurosa.
CRATER (Corpus Resources and Terminology Extraction) (1995) |
|
|
|
n este artículo presentamos LexTerm, una herramienta de extracción automática de terminología que es gratuita y de código abierto. Con esta herramienta se facilita la selección de los términos más relevantes que deben tener un equivalente de traducción consistente. Muchos traductores y algunas agencias de traducción realizan esta tarea todavía a mano. Aunque existen herramientas de extracción automática de terminología, éstas no son gratuitas y son programas propietarios, características que influyen en la implantación y consolidación del uso de estos programas por parte de los profesionales de la traducción. La gratuidad y el hecho de que LexTerm sea de código libre, con la ventaja de que puede ser adaptada a las necesidades específicas del usuario, pueden ser determinantes en la consolidación de un método de trabajo semi-automático, consistente en la extracción automática de candidatos a términos y la selección manual de los términos junto con sus equivalentes de traducción. LexTerm agiliza la gestión terminológica de los proyectos de traducción, y sobretodo la hace más rentable, especialmente si la comparamos con la gestión basada en la extracción manual.
