lunes, octubre 13, 2014

Alfviral 1.3.1-beta

Este puente de 3 días de fiesta los he dedicado, entre otras cosas, a crear mis proyectos y pasarlos de Google Code (¡gracias Google!) a GitHub y a refactorizar el código del módulo para la detección de virus en Alfresco, aunque las versiones anteriores, hasta la 1.3.0-420 seguirán estando en Google Code incluido el código fuente.

Entre las cosas que quedaban pendientes me ha dado tiempo a incluir 3 características principales aunque mi "hoja de ruta" va cambiando conforme tengo tiempo disponible así como las funcionalidades que los propios usuarios me vais pidiendo.

Las características principales añadidas a esta versión son:

  1. Incorporación del protocolo ICAP
  2. Notificaciones de infecciones a usuario y administrador
  3. Refactorización del código y creación del servicio AntivirusService

1. Incorporación del protocolo ICAP

El protocolo ICAP (Internet Content Adaptation Protocol) es un protocolo abierto para la redirección de contenidos con fines de filtrado y conversión. Este es muy usado para reenviar tráfico hacia antivirus, traducción, etc. En este caso, evidentemente, se utiliza para el envío de documentos de Alfresco hacia un servidor ICAP que se conecte a un antivirus, si bien, en realidad también podría utilizarse para más cosas, entre ellas traducción del documento, compresión, transformación, etc.

Se encuentra estandarizado en la RFC 3507 y para obtener más información se puede ir aquí.

Ahora, en Alfviral se puede configurar este modo como ICAP y con 3 parámetros de configuración que serán el servidor, puerto y servicio al que se necesita conectar. P.e. si usamos el servicor c-icap y lo configuramos para que utilice ClamAV podemos configurar el fichero alfviral.properties como:

alfviral.mode=ICAP
alfviral.icap.host=192.168.56.101
alfviral.icap.port=1344
alfviral.icap.service=srv_clamav

Aunque este sistema creo que es el mejor para casi todos los casos de uso he dejado los métodos anteriores para que puedan seguir siendo utilizados.

2. Notificaciones de infecciones a usuario y administrador

Aunque se podía realizar vía reglas de contenido, por ejemplo si hacíamos que los documentos infectados se movieran a una carpeta de cuarentena o infectados y ahí creábamos una acción de envío de correo, ahora se puede automatizar de forma general en la configuración de Alfviral. Por ahora se envían notificaciones al usuario que ha subido el documento y/o al administrador (admin) en forma de texto plano (text/plain) pero estoy trabajando para poder asignarle una plantilla personalizada según el caso. 

Por ahora para configurarlo basta con indicar a quién queremos enviarle las notificaciones.

alfviral.notify.user=true
alfviral.notify.admin=true

3. Refactorización del código y creación del servicio AntivirusService

Esto era algo que quería hacer hace tiempo. Hasta ahora todo el peso lo llevaba la clase VirusScan que era una acción, ahora ha pasado a llamarse VirusScanAction y he pasado la mayor parte del código a una nueva clase llamada AntivirusService y que funciona como servicio público, de hecho también he creado AntivirusServiceDescriptorRegistry y AntivirusServiceRegistry.

Esto hará más sencilla la actualización y extensión del módulo y la posibilidad de añadirle más métodos al servicio.

El módulo para descargar está disponible en el siguiente enlace: https://github.com/fegorama/alfviral/releases/download/v1.3.1-beta/alfviral-1.3.1-beta.zip
El código fuente se puede descargar de: https://github.com/fegorama/alfviral/archive/v1.3.1-beta.zip
El repositorio está en: https://github.com/fegorama/alfviral


domingo, agosto 31, 2014

Entrando por la "puerta de atrás" en Alfresco

Entre la arquitectura de funcionamiento de Alfresco se encuentra la capa de persistencia donde se guardan los datos necesarios para realizar las operaciones y tareas que hacen falta. Esta capa se divide a su vez en 4 elementos, la parte de configuración con ficheros de propiedades, la parte de almacenamiento de los documentos, el almacenamiento de los índices y el almacenamiento de las propiedades y otros valores (incluidas también configuraciones).

Esta última parte es guardada en un SGBD o Sistema de Gestión de Base de Datos (relacional) que puede ser MySQL, PostgreSQL, Oracle, SQL-Server, etc.

A veces, por determinadas circunstancias o necesidades debemos hacer uso de consultas directas a la base de datos para obtener datos, también sería posible modificar estos datos directamente pero no es aconsejable debido a que el control de lo que se guarda, modifica y borra lo tiene exclusivamente la aplicación de Alfresco. Como digo, en determinadas ocasiones es una posibilidad más el poder consultar directamente a la base de datos determinados datos que sean necesarios y de esta forma evitar pasar por la aplicación, por ejemplo en casos de que el servidor de aplicaciones (Alfresco) no levante correctamente, en casos de pérdidas de documentos y datos o de integridad que paren el servidor de aplicaciones o para monitorización por parte de algún programa externo.

Evidentemente este tipo de acciones son muy dependientes de la versión del esquema (schema) de Alfresco ya que este cambia con cada versión si bien, al estar en la capa del modelo de datos (no confundir con el modelo documental) cambia relativamente poco, sobre todo determinadas tablas muy importantes. De todas formas, es bueno tener el mapa de tablas y relaciones entre ellas para poder realizar bien cualquier consulta y tener la seguridad de que los datos proporcionados son coherentes. Hay que tener en cuenta que este modelo ha ido creciendo desde las primeras versiones, por ejemplo en la versión 2.1.0 Community había 24 tablas con el prefijo ALF, en la 3.4.11 había 46 y en la versión 4.2.2 hay 48 (solo dos tablas más con prefijo ALF). No se han tenido en cuenta las tablas usadas para el repositorio AVM, para el motor jBMP ni las utilizadas para Activiti.

Versión 2.1.0

Versión 2.2.6

Versión 3.4.11

Versión 4.2.2

Seguidamente voy a poner una serie de ejemplos en SQL lo más estándar posible, si bien, incluso lo más básico es dependiente también de la base de datos que use Alfresco en determinado momento. Estos son solo unos cuantos ejemplos de extracción de datos a través de la base de datos pero se pueden realizar muchas más operaciones de consulta según la necesidad concreta de cada uno.

Stores disponibles

Aunque no es muy necesario sí que a veces resulta interesante saber cuantos "almacenes" tiene nuestro repositorio, esto se podría realizar con la siguiente consulta:

SELECT * 
FROM alf_store;

Nodos disponibles

En Alfresco casi cualquier cosa es un nodo, un usuario, un grupo, una carpeta o un documento por ejemplo, para sacar los nodos disponibles podemos hacerlo como:

SELECT * 
FROM alf_node;

Pero no vamos a quedarnos aquí, podemos saber a que almacén pertenece cada nodo como:

SELECT uuid, protocol, identifier, alf_store.version 
FROM alf_node, alf_store
WHERE alf_node.store_id = alf_store.id;

Y ahora vamos a realizar una consulta que nos devuelva el nodo con la nomenclatura del tipo NodeRef, pero para esto ya nos encontramos con problemas, con la misma concatenación de campos, ya que dependerá de cada sistema de base de datos:

-- Para Oracle
SELECT protocol || '://' || identifier || '/' || uuid AS nodeRef, 
alf_store.version, local_name   
FROM alf_node, 
alf_store, 
alf_qname   
WHERE alf_node.store_id = alf_store.id
AND   alf_node.type_qname_id = alf_qname.id;

-- Para MySQL
SELECT CONCAT(protocol, '://', identifier, '/', uuid) AS nodeRef, 
alf_store.version, 
local_name   
FROM alf_node, 
alf_store, 
alf_qname   
WHERE alf_node.store_id = alf_store.id
AND   alf_node.type_qname_id = alf_qname.id;

-- Para SQL-Server
SELECT protocol + '://' + identifier + '/' + uuid AS nodeRef, 
alf_store.version, 
local_name   
FROM alf_node, 
alf_store, 
alf_qname   
WHERE alf_node.store_id = alf_store.id
AND   alf_node.type_qname_id = alf_qname.id;

Extrayendo metadatos

La tabla más importante en Alfresco es alf_data_properties, esta es la que mantiene los valores de todas la propiedades de todos los nodos disponibles y es la que es más utilizada para devolver información ya que generalmente casi cualquier dato en Alfresco será una propiedad de un nodo. Por tanto, las siguientes tablas podríamos decir que son las básicas a la hora de realizar consultas directas:

  • alf_store : Guarda la información de los almacenes disponibles
  • alf_node : Guarda los nodos, aquí obtenemos el uuid que corresponde (con otros campos) al llamado NodeRef (referencia de nodo)
  • alf_qname : En versiones posteriores a 2.1 (2.2.x, 3.1.x, 3.2.x, 3.4.x, etc.) contiene los nombres identificativos de los tipos de propiedades, en versiones anteriores se almacenaba en un campo llamado alf_qname de la tabla alf_node_properties
  • alf_node_properties : Sin duda la tabla más importante a la hora de extraer datos en Alfresco, guarda los valores de las propiedades de los modelos de datos documentales de Alfresco, incluyendo los datos de las carpetas, documentos, usuarios, grupos, etc.
Con estas y alguna más de forma auxiliar podremos obtener la información necesaria.

Es interesante el uso de la tabla alf_qname (en versiones 2.2.x en adelante) porque con esta podemos posteriormente determinar que tipo de propiedad queremos, por tanto es buena idea tener un listado de los posibles nombres cualificados posibles:

-- Versiones 2.2.x y siguientes
SELECT
FROM    alf_qname;

-- Versiones 2.1.x
SELECT alf_node_properties.qname 
FROM alf_node_properties;

Veamos dos ejemplos sobre el uso de extraer propiedades, uno sobre los usuarios y otro sobre los documentos:

En ocasiones necesitamos saber los datos de un usuario en particular, las siguientes consultas nos devuelven un listado de usuarios:

-- Versiones 2.2.x y siguientes
SELECT
    alf_node_properties.node_id,
    alf_node_properties.string_value
FROM
    alf_node_properties,
    alf_qname
WHERE
    alf_node_properties.qname_id = alf_qname.id
AND
    alf_qname.local_name = 'userName';

-- Versiones 2.1.x
SELECT
    alf_node_properties.node_id,
    alf_node_properties.string_value 
FROM
    alf_node_properties 
WHERE
    alf_node_properties.qname = '{http://www.alfresco.org/model/content/1.0}userName';

Y las siguientes (según la versión de Alfresco) nos devolverán la propiedades de un usuario concreto (sustituir NOMBRE-DEL-USUARIO por el nombre del usuario a buscar)

-- Versiones 2.2.x y siguientes
SELECT
    alf_node_properties.node_id,
    alf_qname.local_name,
    alf_node_properties.string_value
FROM
    alf_node_properties,
    alf_qname
WHERE
    alf_node_properties.qname_id = alf_qname.id
AND
    alf_node_properties.node_id = (
        SELECT
            alf_node_properties.node_id
        FROM
            alf_node_properties,
            alf_qname
        WHERE
            alf_node_properties.qname_id = alf_qname.id
        AND
            alf_qname.local_name = 'userName'
        AND
            alf_node_properties.string_value = 'admin'
        );

-- Versiones 2.1.x
SELECT
    alf_node_properties.node_id,
    alf_node_properties.qname, 
    alf_node_properties.string_value 
FROM
    alf_node_properties 
WHERE
    alf_node_properties.node_id = (
        SELECT
            alf_node_properties.node_id
        FROM
            alf_node_properties 
        WHERE
            alf_node_properties.qname = '{http://www.alfresco.org/model/content/1.0}userName'
        AND
            alf_node_properties.string_value = 'NOMBRE-DEL-USUARIO'
        );

Y por último una aplicación real cuando se necesita el nombre que Alfresco ha puesto en el repositorio. En casos de recuperación de documentos necesitamos saber donde está guardado el fichero en el repositorio a partir del nombre del documento guardado en Alfresco. Esta consulta nos devuelve esta información a partir del nombre del documento. Es para la versión 3.4.x y 4.x

— Versiones 3.4.x y 4.x
SELECT alf_node_properties.node_id,
alf_node_properties.string_value,
alf_content_url.content_url
FROM alf_node_properties,
alf_qname,
alf_content_data,
alf_node_properties,
alf_content_url
WHERE alf_node_properties.string_value = 'NOMBRE-DEL-DOCUMENTO' 
AND alf_node_properties.qname_id = alf_qname.id 
AND alf_qname.local_name = 'name' 
AND alf_content_data.id = alf_node_properties.long_value 
AND alf_node_properties.node_id = alf_node_properties.node_id 
AND alf_node_properties.long_value = alf_content_data.id 
AND alf_content_data.content_url_id = alf_content_url.id;


domingo, julio 06, 2014

Cluster con Hazelcast en Alfresco One 4.2.2

Si hay algo en lo que Alfresco ha trabajado en cada una de las versiones que han visto la luz ha sido el tema de cluster y la comunicación entre los nodos. En las versiones 2.x con EHCache y un sistema de multicast que era bastante pobre, usando JGroups en la 3.x hasta llegar a la 4.2.x con Hazelcast.

Pero, ¿qué es Hazelcast?

Es según la propia página web oficial un “Open Source In-Memory Data Grid”, es decir, una plataforma para la distribución de datos de código abierto. Entre sus características podemos encontrar:
  • Implementaciones distribuidas de Set, List, Map, Lock, MultiMap
  • Mensajería distribuida P/S
  • Soporte transaccional e integración JEE vía JCA
  • Soporte encriptación a nivel de sockets
  • Persistencia síncrona o asíncrona
  • Clusterizado Sesión HTTP
  • Discovery dinámico
  • Monitorización JMX
  • Escalado dinámico
  • Particionado dinámico
  • Fail-over dinámico

Como se puede ver, es una herramienta fantástica para cumplir las especificaciones de cluster que necesita Alfresco.

Las funciones de las que se sirve Alfresco y que son comunes a Hazelcast están:

  • Compartir datos/estados entre varios servidores: como compartición sesión Web
  • Cacheo distribuido de datos
  • Comunicación segura entre servidores
  • Particionado de datos en memoria
  • Distribución de trabajo entre servidores
  • Procesamiento paralelo
  • Gestión fail-safe de datos

Además se lleva muy bien con Hibernate como caché de segundo nivel y con Spring.

¿Cómo configuramos el cluster de Alfresco 4.2.2?

Para configurar un sistema de cluster en Alfresco 4.2.2 es tan fácil como cuando se configuraba con EHCache o JGroups e incluso más todavía y eso sí, se comprueba la fiabilidad que tiene este producto integrado en Alfresco.

Hay que entender que aquí explico solamente como montar el cluster, es decir, que ambos nodos se comuniquen entre sí, un sistema completo de alta disponibilidad requiere de un balanceador ya sea hardware o software, un sistema de cluster en la base de datos, etc.

Lo primero que hay que hacer es quitar cualquier referencia a EHCache y JGroups antiguos, esto va orientado a sistemas que han ido siendo actualizados desde versiones antiguas principalmente:

Por ejemplo, el fichero que está dentro de {alfrescoRoot}/tomcat/shared/clases/alfresco/extensión:

ehcache-custom.xml

También en dicha localización (si existe) el fichero:

hazelcastConfig.xml

Este fichero se ha incluido ya dentro del fichero alfresco.war con lo que no hace falta.

Así como las siguientes propiedades que están dentro de {alfrescoRoot}/tomcat/shared/clases/alfresco-global.properties:

alfresco.cluster.name
alfresco.ehcache.rmi.hostname
alfresco.ehcache.rmi.port
alfresco.ehcache.rmi.remoteObjectPort
alfresco.jgroups.defaultProtocol
alfresco.jgroups.bind_address
alfresco.jgroups.bind_interface
alfresco.tcp.start_port
alfresco.tcp.initial_hosts
alfresco.tcp.port_range
alfresco.udp.mcast_addr
alfresco.udp.mcast_port
alfresco.udp.ip_ttl
filesystem.cluster.enabled
filesystem.cluster.configFile

Configuración del cluster para el repositorio

Por defecto si apuntamos dos instancias de Alfresco al mismo repositorio y base de datos, estos formarán de forma automática un grupo de repositorio, no obstante hay que realizar una pequeña configuración para que todo funcione correctamente.

Montar el repositorio de forma compartida y visible para todos los nodos, por ejemplo vía NAS o SAN a través de protocolo NFS.

Configurar el acceso a la base de datos para la misma base de datos en cada uno de los nodos.

Abrir el puerto 5701 TCP en el cortafuegos de los nodos para que puedan ser accesibles entre ellos.

Especificar correctamente la IP (sea en wildcard como por ejemplo 192.168.1.*) de la tarjeta de red del cluster:

alfresco.cluster.interface=192.168.1.101

Fijar la propiedad para activar Hazelcast en JMX

hazelcast.jxm=true

Y por razones de seguridad se debería fijar la contraseña con la siguiente propiedad:

alfresco.hazelcast.password=<contraseña>

Un ejemplo de la parte del fichero alfresco-global.properties para la configuración del cluster puede ser la siguiente:

alfresco.cluster.enabled=true
alfresco.cluster.interface=192.168.1.101
alfresco.hazelcast.password=clavehazelcast
alfresco.hazelcast.port=5701
alfresco.hazelcast.autoinc.port=false
alfresco.hazelcast.mancenter.enabled=false
alfresco.hazelcast.max.no.heartbeat.seconds=15


Una vez arrancada la primera instancia se puede observar un mensaje como el siguiente:

2014-06-30 22:38:36,148 INFO [cluster.core.ClusteringBootstrap] [localhost-startStop-1] Cluster started, name: MainRepository-fea9ebdf-04f3-495e-9456-cf43c24b8e91
2014-06-30 22:38:36,152 INFO [cluster.core.ClusteringBootstrap] [localhost-startStop-1] Current cluster members:
192.168.1.101:5701 (hostname: alfnode1.localdomain)


Finalmente al arrancar el segundo en este se observará lo siguiente:

2014-07-02 10:58:12,108 INFO [cluster.core.ClusteringBootstrap] [localhost-startStop-1] Cluster started, name: MainRepository-fea9ebdf-04f3-495e-9456-cf43c24b8e91
2014-07-02 10:58:12,111 INFO [cluster.core.ClusteringBootstrap] [localhost-startStop-1] Current cluster members:
192.168.1.102:5701 (hostname: alfnode2.localdomain)
192.168.1.101:5701 (hostname: alfnode1.localdomain)


También se puede ver que el cluster está bien configurado mediante la nueva consola de administración cuya URL es:

http://
:8080/alfresco/service/enterprise/admin


En “Servicio de repositorio” y dentro de este en “Agrupación de servidores del repositorio” se puede ver toda la información del cluster, además se puede validar con el botón “Validar grupo” que realiza las comprobaciones necesarias para saber si ambos nodos se están comunicando correctamente:




Propiedades de Hazelcast

Todas las propiedades admitidas por Hazelcast en alfresco-global.properties son:

alfresco.cluster.enabled
Ejemplo: true
Descripción: Activa el cluster de Alfresco para este nodo

alfresco.cluster.interface
Ejemplo: 192.168.80.1
Descripción: Especifica la tarjeta de red usada para el cluster. Se puede usar tipo de dirección wildcard, por ejemplo 192.168.80.*

alfresco.cluster.nodetype
Ejemplo: NodoDesconectado001
Descripción: Especifica un nombre “amigable” para ese nodo del cluster, generalmente utilizado para servidores que se han unido al repositorio pero no forman parte del cluster (p.e. servidores de indexación)

alfresco.hazelcast.password
Ejemplo: mipasswd
Descripción: Define el password que usarán los nodos del cluster

alfresco.hazelcast.port
Ejemplo: 5701
Descripción: Establece el puerto de comunicación entre nodos del cluster

alfresco.hazelcast.autoinc.port
Ejemplo: false
Descripción: Realiza varios intentos de puertos para hayar uno libre desde la configuración alfresco.hazelcast.port. Alfresco no recomienda establecer esta propiedad

alfresco.hazelcast.mancenter.enabled
Ejemplo: false
Descripción: Activa las estadísticas y otros valores del cluster donde se puede acceder a través del Centro de gestión de Hazelcast

alfresco.hazelcast.mancenter.url
Ejemplo: http://localhost:8080/mancenter
Descripción: URL de acceso al centro de gestión de Hazelcast, evidentemente alfresco.hazelcast.mancenter.enabled debe estar en valor true

alfresco.hazelcast.max.no.heartbeat.seconds
Ejemplo: 15
Descripción: Tiempo máximo de monitorización para que se de por hecho que un nodo no está respondiendo

Configuración de Hazelcast en Share

En un entorno de cluster, Alfresco Share ahora utiliza Hazelcast para proporcionar mensajes entre los nodos de la capa web. Como resultado, las cachés ya no necesitan estar deshabilitadas para cualquier nodo. Cada uno funciona prácticamente tan rápido como una sola instancia de Share, mejorando así su rendimiento general.

Se pueden realizar dos configuraciones según las necesidades, con multicast o a nivel de TCP directo.

En todo caso, en balanceadores hay que seguir usando el sistema de Sticky-Session para funcionar correctamente. Hay que configurar correctamente el fichero share-config-custom.xml dentro de {extensionRoot}/alfresco/classes/web-extension poniendo correctamente el host y puerto de acceso al repositorio en caso necesario.

También hay que tener en cuenta que si se usa autenticación Kerberos o NTML con SSO las sesiones utilizarán la cookie JSESSIONID por lo que habrá que tenerla en cuenta por parte del balanceador.

Para esto hay que configurar el fichero custom-slingshot-application-context.xml
que hay en {extensionRoot}/alfresco/classes/web-extension (quitándole la extensión .sample)

Ejemplo para multicast:





 <!-- Hazelcast distributed messaging configuration - Share web-tier cluster
    config (3.4.8 and 4.0.1) - see http://www.hazelcast.com/docs.jsp - and specifically
    http://www.hazelcast.com/docs/1.9.4/manual/single_html/#SpringIntegration -->
<!-- Configure cluster to use either Multicast or direct TCP-IP messaging
    - multicast is default -->
<!-- Optionally specify network interfaces - server machines likely to have
    more than one interface -->
<!-- The messaging topic - the "name" is also used by the persister config
    below -->
<hz:topic id="topic" instance-ref="webframework.cluster.slingshot"
    name="slingshot-topic" />
<hz:hazelcast id="webframework.cluster.slingshot">
    <hz:config>
        <hz:group name="slingshot" password="alfresco" />
        <hz:network port="5801" port-auto-increment="true">
            <hz:join>
                <hz:multicast enabled="true" multicast-group="224.2.2.5"
                    multicast-port="54327" />
                <hz:tcp-ip enabled="false">
                    <hz:members></hz:members>
                </hz:tcp-ip>
            </hz:join>
            <hz:interfaces enabled="false">
                <hz:interface>192.168.1.*</hz:interface>
            </hz:interfaces>
        </hz:network>
    </hz:config>
</hz:hazelcast>
<bean id="webframework.slingshot.persister.remote"
    class="org.alfresco.web.site.ClusterAwarePathStoreObjectPersister"
    parent="webframework.sitedata.persister.abstract">
    <property name="store" ref="webframework.webapp.store.remote" />
    <property name="pathPrefix">
        <value>alfresco/site-data/${objectTypeIds}</value>
    </property>
    <property name="hazelcastInstance" ref="webframework.cluster.slingshot" />
    <property name="hazelcastTopicName">
        <value>slingshot-topic</value>
    </property>
</bean>
<bean id="webframework.factory.requestcontext.servlet" class="org.alfresco.web.site.ClusterAwareRequestContextFactory"
    parent="webframework.factory.base">
    <property name="linkBuilderFactory" ref="webframework.factory.linkbuilder.servlet" />
    <property name="extensibilityModuleHandler" ref="webscripts.extensibility.handler" />
    <property name="dependencyHandler" ref="dependency.handler" />
    <property name="clusterObjectPersister" ref="webframework.slingshot.persister.remote" />
</bean><?xml version="1.0" encoding="UTF-8"?>

Ejemplo para conexión directa TCP:


<!-- Hazelcast distributed messaging configuration - Share web-tier cluster
    config (3.4.8 and 4.0.1) - see http://www.hazelcast.com/docs.jsp - and specifically
    http://www.hazelcast.com/docs/1.9.4/manual/single_html/#SpringIntegration -->
<!-- Configure cluster to use either Multicast or direct TCP-IP messaging
    - multicast is default -->
<!-- Optionally specify network interfaces - server machines likely to have
    more than one interface -->
<!-- The messaging topic - the "name" is also used by the persister config
    below -->
<hz:topic id="topic" instance-ref="webframework.cluster.slingshot"
    name="slingshot-topic" />
<hz:hazelcast id="webframework.cluster.slingshot">
    <hz:config>
        <hz:group name="slingshot" password="alfresco" />
        <hz:network port="5801" port-auto-increment="true">
            <hz:join>
                <hz:multicast enabled="false" multicast-group="224.2.2.5"
                    multicast-port="54327" />
                <hz:tcp-ip enabled="true">
                    <hz:members>alfnode1,alfnode2</hz:members>
                </hz:tcp-ip>
            </hz:join>
            <hz:interfaces enabled="false">
                <hz:interface>192.168.1.*</hz:interface>
            </hz:interfaces>
        </hz:network>
    </hz:config>
</hz:hazelcast>
<bean id="webframework.slingshot.persister.remote"
    class="org.alfresco.web.site.ClusterAwarePathStoreObjectPersister"
    parent="webframework.sitedata.persister.abstract">
    <property name="store" ref="webframework.webapp.store.remote" />
    <property name="pathPrefix">
        <value>alfresco/site-data/${objectTypeIds}</value>
    </property>
    <property name="hazelcastInstance" ref="webframework.cluster.slingshot" />
    <property name="hazelcastTopicName">
        <value>slingshot-topic</value>
    </property>
</bean>
<bean id="webframework.factory.requestcontext.servlet" class="org.alfresco.web.site.ClusterAwareRequestContextFactory"
    parent="webframework.factory.base">
    <property name="linkBuilderFactory" ref="webframework.factory.linkbuilder.servlet" />
    <property name="extensibilityModuleHandler" ref="webscripts.extensibility.handler" />
    <property name="dependencyHandler" ref="dependency.handler" />
    <property name="clusterObjectPersister" ref="webframework.slingshot.persister.remote" />
</bean><?xml version="1.0" encoding="UTF-8"?>

Centro de gestión Hazelcast (mancenter):

El centro de gestión Hazelcast (mancenter) permite monitorizar y administrar los servidores que ejecutan Hazelcast. Además, mancenter permite supervisar el estado general de los clústeres, y analizar y examinar las estructuras de datos en detalle.



Para instalarlo, se puede instalar tanto en un tomcat distinto como en el mismo de Alfresco. Solo hay que bajar una versión de Hazelcast (mancenter) y copiar el fichero mancenter-x.x.x.war al directorio de aplicaciones de tomcat.

Por ejemplo:

cp mancenter-2.4.1.war /opt/Alfresco422/tomcat/webapps/mancenter.war

Establecer la propiedad hazelcast.mancenter.home con el directorio donde se almacenan los datos, aquí se puede poner en la misma línea de opciones de Java (JAVA_OPTS), por ejemplo:

-Dhazelcast.mancenter.home=/opt/Alfresco422/tomcat/mancenter_data

Acordarse de activarlo en alfresco-global.properties:

alfresco.hazelcast.mancenter.enabled=true

Establecer la url de acceso, por ejemplo:

alfresco.hazelcast.mancenter.url=http://192.168.1.101:8080/mancenter

Por último, si se produce un error de serialización en el arranque, descomentar la siguiente línea en el contex.xml del servidor Tomcat:


<Manager pathname="" />
 



Monitorización del funcionamiento de Hazelcast en Alfresco

La mejor forma como siempre es usando Log4j y para esto se puede usar la siguiente propiedad:


log4j.logger.org.alfresco.enterprise.repo.cluster=info

Para monitorizar la caché también se usan las siguientes propiedades:

log4j.logger.org.alfresco.enterprise.repo.cluster.cache=DEBUG
log4j.logger.org.alfresco.repo.cache=DEBUG


A nivel del propio Hazelcast:

log4j.logger.com.hazelcast=info

Y para aumentar el registro de seguimiento también se puede usar:

log4j.logger.com.hazelcast.impl.TcpIpJoiner=debug


Para finalizar


Las pruebas realizadas con un cluster de Alfresco One 4.2.2 usando Hazelcast han resultado ser muy satisfactorias, he realizado pruebas de subida de documentos, cambios de propiedades, etc. y eran instantáneas en ambos nodos.



Hay que tener en cuenta además que hay que configurar Solr (si se usa esta opción de indexado) correctamente para que se use de forma compartida, siempre y cuando no se utilize protocolo NFS para estos recursos compartidos de red ya que no está aconsejado. En este cado (uso de NFS) también se puede seguir usando una configuración similar a la que se utilizaba con Lucene, es decir, mantener índices locales por cada nodo.



Más información

http://docs.alfresco.com/4.2/concepts/ha-intro.html
http://hazelcast.org
http://unpocodejava.wordpress.com/2013/01/21/que-es-hazelcast/



miércoles, noviembre 20, 2013

Alfviral 1.3.0.420 para Alfresco 4.2

He subido una nueva versión de Alfviral (Alfresco Virus Alert) adaptado para que funcione en la nueva versión 4.2 de Alfresco. Los cambios han sido en su mayoría sobre las acciones de usuario en Share.

Testeado en:
    Alfresco Community 4.2c
    Tomcat 7.0.47
    Java JDK/Jre 1.7.0_45



Se encuentra disponible para su descarga en: http://code.google.com/p/alfviral/downloads/detail?name=fegorsoft-alfviral-1.3.0.420.zip&can=2&q=#makechanges

viernes, noviembre 08, 2013

Alfresco Summit 2013 - Barcelona

Finalmente pude dar las dos "charlas relámpago" que tenía previstas y que tanto miedo me daban por tener que ser en inglés. Una sobre Alfviral para poder escanear documentos en busca de virus y software maligno y la otra (Alfresco Audio Transcriber) sobre la indexación de audio mediante la extracción y transcripción de palabras a texto. Ambos proyectos son pilotos funcionales y por tanto no eran charlas teóricas.

Sobre el Summit en general, muy bien, montado al siempre estilo Alfresco y aunque el primer día no estuve (Party and Pool) me consta que fue un gran comienzo. Vi a personas y sobre todo amigos que hacía tiempo no veía y sobre todo pude constatar que Alfresco como sistema de gestión documental está muy vivo y avanza, quizás, hasta demasiado rápido ;-)

Como anécdota deciros que en una ruleta que había con premios, sobre todo camisetas, bolígrafos y chapas, había dos regalos más grandes, un escáner y una mochila, pues bien, tiré y... ¡mochila! aquí os dejo una imagen :-)


Y aquí os dejo también las presentaciones.




Espero poder ir al del año que viene, sea donde sea...  ;-)

martes, septiembre 17, 2013

Extender Freemarker en Alfresco

El binomio Javascript (Rhino) + Freemarker se ha mostrado como uno de los mejores sistemas para realizar la parte controlador + visor en Alfresco. Su capacidad de acceso desde Javascript al API de Alfresco y la capacidad del motor de plantillas de Freemarker ha marcado el punto de evolución de los llamados Webscritps y ha terminado, por ahora, en un fantástico framework llamado Spring-Surf.

Si bien hay pocas cosas que no puedan hacerse con Freemarker, si podemos encontrar algunas excepciones en las que tengamos que extender su funcionalidad.

Un ejemplo de esto es para el traspaso de datos entre sistemas Alfresco + aplicaciones en los que dicha transferencia puede realizarse vía JSON, XML, etc.

JSON por otra parte se está revelando como un sistema más agil que el traspaso de información mediante XML pero también está limitado a los validadores que en un momento dado pueden echar para atrás una comunicación.

En este sentido, una forma de pasar los datos entre sistemas es usando una codificación ya algo antigua (de 1987), ideada en un principio para transferencias con el correo electrónico pero que es muy válida hoy día.

Extender Freemarker


Vamos a utilizar la siguiente técnica:

Creamos una clase que implemente la interface TemplateMethodModelEx y sobreescribimos el método exec creando nuestro algoritmo de transformación a sistema base64.

Un ejemplo podría ser el siguiente:

Fichero: Base64EncoderMethod.java

package com.fegor.alfresco.freemarker.utils;

import java.io.UnsupportedEncodingException;
import java.util.List;

import org.springframework.security.crypto.codec.Base64;

import freemarker.template.SimpleScalar;
import freemarker.template.TemplateMethodModelEx;
import freemarker.template.TemplateModelException;

/**
 * Codificaci?n en base64 de cadenas pasadas a FreeMarker
 *
 * @author Fernando
 *
 */
public class Base64EncoderMethod implements TemplateMethodModelEx {

    @SuppressWarnings("rawtypes")
    @Override
    public Object exec(List args) throws TemplateModelException {
        String result = null;
        SimpleScalar ss = new SimpleScalar(args.get(0).toString());
        String res = ss.getAsString();
        byte[] bytes = res.getBytes();
        byte[] base64 = Base64.encode(bytes);
        try {
            result = (new String(base64, "UTF-8"));
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        }
        return result;
    }
}


En este caso he usado la clase Base64 del paquete de SpringFramework, aquí hay que tener cuidado con el que utilizamos ya que algunas clases pueden variar como cortar las líneas en 76 caracteres añadiendo un retorno de carro que hará que los validadores (en el caso de JSON) no funcionen. También hay que tener en cuenta que esta librería no está incluida hasta la versión 4 de Alfresco por lo que si usamos una versión como por ejemplo la 3 tendremos que incluirla en nuestro paquete/módulo.

Si usamos una clase de alguna librería que nos devuelva el resultado de esta forma solo habrá que reemplazar la línea:

     result = (new String(base64, "UTF-8"));
por
     result = (new String(base64, "UTF-8")).replace("\n", "");

El siguiente paso será crear una plantilla de utilidad para crear una instancia de esta clase:

Fichero: utils.ftl

<#assign base64Encode = 'com.fegor.alfresco.freemarker.utils.Base64EncoderMethod'?new()>

Con esto tendríamos nuestra extensión, ahora necesitamos probarla, para ello creamos un Webscript que va a enviarnos la información del título y el contenido de un nodo codificando en base64 el contenido.

Creamos el descriptor...

Fichero: content_base64.get.desc.xml

<webscript>
    <shortname>content_base64</shortname>
    <description>Codificar content en base64</description>
    <url>/content_base64?uuid={uuid?}</url>
    <url>/content_base64.json?uuid={uuid?}</url>
    <url>/content_base64.xml?uuid={uuid?}</url>
    <authentication>user</authentication>
    <format default="json">extension</format>
</webscript>


Creamos el controlador...

Fichero: content_base64.get.js

var query_lucene = 'ID:"workspace://SpacesStore/' + args["uuid"] + '"';
var nodeRefs = search.luceneSearch(query_lucene);

model.nodeRef = "none";

if (nodeRefs.length != 0) {
    model.nodeRef = nodeRefs[0];   
}


Y solo resta crear las plantillas, en este caso crearemos dos, una para JSON y otra para XML...

Fichero: content_base64.get.json.ftl
<#import 'utils.ftl' as u>
 {
 "Node" : [ {
   <#if nodeRef = null>
        "Error": "nodeRef es null"
   <#else>
        "Título": "${item.properties['cm:title']}",
        "Contenido": "${u.base64Encode(item.properties['cm:content'].content)}"
   </#if>
   } ]
 }



Fichero: content_base64.get.xml.ftl

<#import 'utils.ftl' as u>
<Node>
    <#if nodeRef = "none">
        <Error>No se ha encontrado el nodo</Error>
    <#else>      
        <Título>${nodeRef.properties['cm:title']}</Título>
        <Contenido>${u.base64Encode(nodeRef.properties['cm:content'].content)}</Contenido>
    </#if>       
</Node>



Con esto obtenemos las propiedades que necesitamos codificadas para que los caracteres que puedan contener no afecten en el protocolo ni en el sistema que se van a utilizar. Esto es muy importante cuando hablamos de  las normas ENI (Esquema Nacional de Interoperabilidad) e incluso para algunos casos del ENS (Esquema Nacional de Seguridad) ya que podemos usar este sistema también para transferir información encriptada usando algún algoritmo como RSA.

jueves, abril 25, 2013

Alfresco, CMIS y Python

El estandar CMIS (Content Management Interoperability Services) es un estandar para la gestion de contenidos aprobada por OASIS.

http://en.wikipedia.org/wiki/Content_Management_Interoperability_Services

Esto nos permite tener una capa de llamadas estandar para multitud de productos de gestion de contenidos que incluyan CMIS y por tanto también acceder desde multitud de lenguajes y no solo desde Java.

Este es el caso de cmislib de Jeff Potts para Python.

La installación es muy sencilla, necesitamos un interprete Python (versión
2.7) además del módulo cmislib y setuptools para instalar el primero y
Alfresco 4.

Podemos usar la línea de comandos de Python para hacer las siguientes pruebas:

Importamos la librería:

from cmislib.model import CmisClient, Repository

Creamos el cliente configurando el end-point y las credenciales:

client = CmisClient('http://localhost:8080/alfresco/s/cmis', 'admin', 'admin')

Recuperamos el servicio de repositorio por defecto:

repo = client.getDefaultRepository()
repo.getRepositoryId()

Recuperamos información del repositorio:

info = repo.getRepositoryInfo()
for k,v in info.items():
    print "%s:%s" % (k,v)

Deberia devolvernos algo así:

cmisSpecificationTitle:Version 1.0 OASIS Standard
aclCapability:

cmisVersionSupported:1.0
principalAnonymous:guest
principalAnyone:GROUP_EVERYONE
repositoryDescription:None
changesOnType:cmis:document
changesIncomplete:true
productVersion:4.0.0 (4003)
rootFolderId:workspace://SpacesStore/b92b669b-4f2a-42ab-a9d8-1451b1596e80
repositoryId:6891ed19-41e3-4160-8c77-65de35c5a428
repositoryName:Main Repository
vendorName:Alfresco
productName:Alfresco Repository (Community)

Bien, ya lo tenemos, ahora creamos...

... una carpeta:

rootFolder = repo.rootFolder
newFolder = rootFolder.createFolder('Carpeta nueva')
newFolder.id

... un contenido:

f = open('Mi fichero', 'r')
newDoc = newFolder.createDocument('New Document', contentFile=f)

... y listamos las propiedades:

for k,v in newDoc.properties.items()
    print '%s = %s' % (k,v)

Personalmente me parece una idea muy buena y más con el lenguaje más popular
del momento ;-)

Más información en:

https://code.google.com/p/cmislib/
http://chemistry.apache.org/python/cmislib.html
https://pypi.python.org/pypi/setuptools#files
http://www.python.org/
https://www.oasis-open.org/committees/tc_home.php?wg_abbrev=cmis
http://cmis.alfresco.com/

jueves, febrero 07, 2013

Transformar ficheros RAW en Alfresco

Como ya sabemos, Alfresco tiene muchas posibilidades de manipulación y transformación de ficheros/documentos. Una de las cosas más flexibles es el uso de transformadores que puden ser de dos tipos básicamente:
  1. Llamadas directas a algún comando o utilidad del sistema
  2. Desarrollar una clase Java que realice la transformación
Aquí vamos a ver la primera para utilizar la transformación de fotografías tomadas en formato RAW (o bruto como generalmente se llama) a TIFF y a JPEG. Actualmente hago fotos con Nikon y Olympus y me interesa pasar el formato NEF (por poner el de Nikon) a TIFF y a JPEG. ImageMagick puede hacerlo pero me ha dado problemas tanto en el resultado (no se pueden ver) como en la propia conversión por lo que voy a usar otra utilidad que existe para Linux, Mac OS X y Windows.
Esta utilidad se llama dcraw y podemos bajarla de http://www.cybercom.net/~dcoffin/dcraw/ para el sistema operativo que tengamos. En este caso voy a utilizar la que hay para Windows compilada con MingW desde la dirección http://www.rawness.es/dcraw/?lang=es
Una vez instalada o descomprimida en el directorio que nos guste obtendremos el programa ejecutable dcraw.exe
Bien, ahora a configurar el transformador...
Toda la configuración se basa en un bean llamado RuntimeExecutableContentTransformer para versiones anteriore a la 3.2 de Alfresco o RuntimeExecutableContentTransformeWorker para las siguientes. A su vez este bean contiene las siguientes propiedades principales:
  • transformCommand: Define el comando y parámetros usando variables como ${source} y ${target}
  • checkCommand: Chequea si la sintaxis es correcta y si ocurre un error también se puede definir con errorCodes. Cuando no está disponible el método getReliability devuelve 0:0 este método se usa para utilizar el transformador más eficiente en caso de que haya varios definidos que conviertan de la misma fuente al mismo destino.
  • explicitTransformations establece el tipo MIME fuente y destino de forma explícita. 
Creamos el fichero nef-tiff-jpeg-transform-context.xml:
<?xml version='1.0' encoding='UTF-8'?>
<!DOCTYPE beans PUBLIC '-//SPRING//DTD BEAN//EN' 'http://www.springframework.org/dtd/spring-beans.dtd'>
<beans>
    <bean id="transformer.worker.NEFtoTIFF" class="org.alfresco.repo.content.transform.RuntimeExecutableContentTransformerWorker">
        <property name="checkCommand">
            <bean class="org.alfresco.util.exec.RuntimeExec">
                <property name="commandMap">
                    <map>
                        <entry key=".*">
                            <value>${dcraw.exe} -i ${dcraw.home}/test.nef</value>
                        </entry>
                    </map>
                </property>
                <property name="errorCodes">
                    <value>1</value>
                </property>
            </bean>
        </property>
        <property name="transformCommand">
            <bean class="org.alfresco.util.exec.RuntimeExec">
                <property name="commandMap">
                    <map>
                        <entry key="Linux.*">                   
                            <value>${dcraw.exe} -T '${source}' '${target}'</value>
                        </entry>
                        <entry key="Mac OS X">
                            <value>${dcraw.exe} -T '${source}' '${target}'</value>
                        </entry>                   
                        <entry key="Windows.*">               
                            <value>${dcraw.exe} -T "${source}" "${target}"</value>
                        </entry>
                    </map>
                </property>
                <property name="waitForCompletion">
                    <value>true</value>
                </property>
            </bean>
        </property>
        <property name="explicitTransformations">
            <list>
                <bean class="org.alfresco.repo.content.transform.ExplictTransformationDetails" >
                    <property name="sourceMimetype"><value>image/x-nikon-nef</value></property>
                    <property name="targetMimetype"><value>image/tiff</value></property>
                </bean>
            </list>
        </property>
        <property name="mimetypeService">
            <ref bean="mimetypeService"/>
        </property>
    </bean>
    <bean id="transformer.NEFtoTIFF" class="org.alfresco.repo.content.transform.ProxyContentTransformer" parent="baseContentTransformer">
        <property name="worker">
            <ref bean="transformer.worker.NEFtoTIFF"/>
        </property>
    </bean>
    <bean id="transformer.complex.Nef.Jpg"
        class="org.alfresco.repo.content.transform.ComplexContentTransformer"
        parent="baseContentTransformer" >
        <property name="transformers">
            <list>
                <ref bean="transformer.NEFtoTIFF" />
                <ref bean="transformer.ImageMagick" />
            </list>
        </property>
        <property name="intermediateMimetypes">
            <list>
                <value>image/tiff</value>
            </list>
        </property>
    </bean>
</beans>

Como vemos hay además otro bean definido de la clase ComplexContentTransformer, este sirve para realizar transformaciones a partir de otras, es decir, si no podemos transformar una imagen del formato NEF al formato JPEG pero si podemos realizar la transformación de NEF a TIFF y de TIFF a JPEG podemos configurarlo a través de este bean en el que hay que poner los transformadores y el mimetype intermedio de la transformación.

 Con esto ya podemos transformar imágenes tomadas directamente en RAW (NEF en el caso de Nikon) a TIFF y a si vez y mediante ComplexContentTransformer directamente a JPEG.
Ahora con dcraw.exe...
Esta utilidad de línea de comandos al igual que convert.exe de ImageMagick tiene la siguiente sintaxis:
C:\Users\fernando.gonzalez\workspace\Common\MingW-release-orig-x32>dcraw.exe
Raw photo decoder "dcraw" v9.06
by Dave Coffin, dcoffin a cybercom o net
Usage:  dcraw.exe [OPTION]... [FILE]...
-v        Print verbose messages
-c        Write image data to standard output
-e        Extract embedded thumbnail image
-i        Identify files without decoding them
-i -v     Identify files and show metadata
-z        Change file dates to camera timestamp
-w        Use camera white balance, if possible
-a        Average the whole image for white balance
-A <x y w h> Average a grey box for white balance
-r <r g b g> Set custom white balance
+M/-M     Use/don't use an embedded color matrix
-C <r b>  Correct chromatic aberration
-P <file> Fix the dead pixels listed in this file
-K <file> Subtract dark frame (16-bit raw PGM)
-k <num>  Set the darkness level
-S <num>  Set the saturation level
-n <num>  Set threshold for wavelet denoising
-H [0-9]  Highlight mode (0=clip, 1=unclip, 2=blend, 3+=rebuild)
-t [0-7]  Flip image (0=none, 3=180, 5=90CCW, 6=90CW)
-o [0-5]  Output colorspace (raw,sRGB,Adobe,Wide,ProPhoto,XYZ)
-d        Document mode (no color, no interpolation)
-D        Document mode without scaling (totally raw)
-j        Don't stretch or rotate raw pixels
-W        Don't automatically brighten the image
-b <num>  Adjust brightness (default = 1.0)
-g <p ts> Set custom gamma curve (default = 2.222 4.5)
-q [0-3]  Set the interpolation quality
-h        Half-size color image (twice as fast as "-q 0")
-f        Interpolate RGGB as four colors
-m <num>  Apply a 3x3 median filter to R-G and B-G
-s [0..N-1] Select one raw image or "all" from each file
-6        Write 16-bit instead of 8-bit
-4        Linear 16-bit, same as "-6 -W -g 1 1"
-T        Write TIFF instead of PPM

Podemos observar tres cosas:
  1. Podemos usar el modificador -i para chequear la utilidad, solo hay que usar una imagen y llamarla por ejemplo test.nef
  2. Debemos usar el modificador -T para pasar las imágenes a TIFF en lugar de PPM que es lo que hace por defecto
  3. Tenemos un problema, el resultado de la transformación es siempre el mismo fichero pero con la extensión cambiada, es decir, no podemos obligar a guardar el resultado en otro fichero (bueno, si, con el modificador -c que saca la salida por consola y capturandola con una redirección ">" pero esto no funciona bien)
Como Alfresco utiliza en la transformación dos variables ${source} y ${target} y ambos son distintos (genera los nombres de estos ficheros distintas) nos encontramos con el problema de que no podemos llamarlo directamente por lo que hay que crear un script que llame correctamente al ejecutable con los modificadores adecuados.
Este script en formato BAT/CMD de Windows y llamado dcraw.cmd es el siguiente:
@ECHO OFF
set path_dcraw=%0
SET opts=%1
SET source=%2
SET target=%3
%path_dcraw:~,-3%exe %opts% %source%
IF "%opts%"=="-i" GOTO END
MOVE %source:~,-4%tiff" %target%
:END

Seguidamente vamos a crear las variables en el fichero de propiedades, en este caso utilizo el mismo alfresco-global.properties:
dcraw.home=C:/Users/fernando.gonzalez/workspace/Common/MingW-release-orig-x32
dcraw.exe=${dcraw.home}/dcraw.cmd

Y por último debemos declarar los tipos MIME (mimetypes) en el fichero mimetypes-extension-map.xml que está en <extensionRoot>/alfresco/extension/mimetype:

<alfresco-config area="mimetype-map">
    <config evaluator="string-compare" condition="Mimetype Map">
        <mimetypes>
            <mimetype mimetype="image/x-nikon-nef" display="Nikon Raw Image">
                <extension>nef</extension>
            </mimetype>
            </mimetype>
        </mimetypes>
    </config>
</alfresco-config>

 Listo, ya solo nos falta hacer las reglas necesarias para convertir NEF a TIFF o a JPEG directamente en nuesto estudio fotográfico y tener almacenadas y ordenadas todas nuestras fotografías. Además, podemos usar Alfresco de previsualizador de imágenes RAW aunque no tengamos nigún programa para ello como podemos ver en la siguiente imagen:
Para depurar podemos activar las siguientes líneas en Log4J (log4j.properties o custom-log4j.propeties en el extension):
log4j.logger.org.alfresco.repo.content.transform.TransformerDebug=debug
log4j.logger.org.alfresco.util.exec.RuntimeExec=debug
log4j.logger.org.alfresco.repo.content.transform.ContentTransformerRegistry=debug