Sistemas inteligentes y sus sociedades

Walter Fritz

Actuar y reforzar

Actuar
El GL descompone todas las partes de la respuesta a conceptos concretos. Si un concepto tiene una conexión (link) hacia sus ejemplos concretos, lo reemplaza por cualquiera de sus conceptos concretos. Si un concepto tiene una conexión (link) hacia sus partes, lo reemplaza por todas sus partes. Después de esto, la respuesta está compuesta solamente por conceptos elementales, que en el GL (General Learner) son caracteres, líneas rectas y curvas. Finalmente, el GL realiza la respuesta, cambiando la ventana de dibujo y la ventana de texto.

Refuerzo
Una vez que el GL ha finalizado la realización de una respuesta, puede ser que su operador humano desee expresar su aprobación o desaprobación con la acción del GL. Una desaprobación fuerte, codificada y transmitida al GL por medio de la entrada en el teclado de varias flechas hacia abajo, tendrá como resultado que la acción se revierte.

Durante un período de inactividad externa, el período del sueño, el GL crea nuevas reglas de actuación. Si más adelante una regla nueva se usa correctamente, puede ser que reciba su aprobación por el operador del GL. Esta aprobación se manifiesta por el incremento del valor de cada uno de los conceptos del lado-situación de la regla de actuación y también de cualquier patrón de regla que el GL utiliza.

Pero esta nueva regla puede causar una acción que a la persona le parezca inapropiada. La persona entonces expresa su desaprobación, tipeando la "flecha hacia abajo". En este caso, el GL asume que la regla de actuación es incorrecta o está aplicada en forma incorrecta. Esto tiene como resultado una reducción de los valores positivos de la regla. Después de esto pone al tanto la regla de actuación, agregando (con un valor negativo) el concepto(s) en el cual la regla no es buena. (Esto lo hace encontrando aquellos conceptos que existen en la situación actual pero no en el lado situación de la regla de actuación).  

Ejemplo de refuerzo correctivo
Supongamos que en un juego de ta-te-ti el programa del GL decide dibujar una cruz, y que esta acción fue aprendida en una situación anterior, en la cual esta respuesta fue la apropiada. Para el entendimiento del GL la situación actual es similar a la que en la que aprendió a dibujar una cruz, de manera que su decisión de dibujar otra cruz parece razonable. Pero para nosotros ésta es una elección inapropiada, porque ya existe un círculo en el casillero donde el GL quiere dibujar su cruz. El GL dibuja la cruz sobre el círculo y su oponente indica su desaprobación.

En los términos y en las representaciones del GL:

10235, 10122, 10544, 11333    

10235, 10122, 10544  ->  10111

 15     15     15             

10235, 10122, 10544 , 11333  ->  10111

 15     15     15      -45           

Esto tiene como resultado que en una futura "situación actual", donde está presente el concepto "11333" (un círculo en un determinado lugar), la regla de actuación tendría un valor adicional de desventaja de 45. Es por ello mucho menos posible que el SI (GL) lo elija, teniendo cualquier otra opción.
Esto muestra cómo los mecanismos de un GL hacen que el futuro uso de esta regla de actuación sea " inapropiada" para las situaciones presentes.

Propagar el refuerzo
El GL utiliza su refuerzo para mucho más que para sólo aumentar lo acertado de las aplicaciones de sus reglas de actuación. Aumenta o disminuye apropiadamente los valores de cualquier patrón de regla que el GL utilizó para crear la "nueva regla" ahora reforzada. Y más aún, el GL afecta con aprobación o desaprobación las reglas de actuación anteriores, usando a cada paso un cambio de los valores cada vez menor. Esta propagación continúa hasta que se torne insignificante la magnitud de estos ajustes de valor.

Para leer de corrido, como un libro - continua aquí
Saltar al contenido del libro electrónico / a Sistemas inteligentes artificiales / a Programas de inteligencia artificial . . . / a Programa General Learner / al inicio de esta página.