Actualización de Alfviral 1.2.1

Debido a un “desliz” en mi código con la versión 1.2.0 se me olvidó declarar el servicio NodeService para usarlo en los modos COMMAND y INSTREAM por lo que he arreglado esto y algún que otro retoque más y he subido la versión 1.2.1 que os recomiendo que instaléis en lugar de la versión anterior.

Agradezco a Niccolò Pasquetto su aportación y aviso.

La nueva versión se puede descargar directamente desde:

https://alfviral.googlecode.com/files/fegorsoft-alfviral-1.2.1.zip

Exclusión de ficheros para Alfviral (versión 1.2.0)

Hace unos días recibí una solicitud de un usuario sobre mi módulo para escanear ficheros desde Alfresco. La nueva funcionalidad solicitada era la de poder seleccionar qué ficheros queremos que sean enviados al antivirus que tengamos configurado.

Anoche estuve retocando un poco el módulo e incluí la funcionalidad en forma de ficheros excluidos, es decir, una lista de ficheros que no queremos que se envíen al antivirus para ser escaneados, en este caso podemos incluir ficheros PDF, TXT, CSV, etc. y no se enviarán para ser analizados. En la nueva configuración solo hay un parámetro más configurado por ejemplo como sigue:

alfviral.file.exceptions=text/html|text/xml|application/pdf|image/jpeg|text/plain

Donde en la lista y separada por “|” podemos incluir los archivos según su “Content-Type”.

Espero que con esta nueva funcionalidad pueda “discriminarse” mejor que documentos/ficheros necesitamos que sean analizados.

He incluido el módulo como versión 1.2.0.

Como no sobrecargar form.get.head.ftl en Alfresco

En el blog de Michal Wróbel y su magnífico artículo “How to perform form field validation in Alfresco Share?” se explica la forma de usar los eventos para validaciones de campos en formulario de Alfresco Share. Lo hace sobreescribiendo la restricción obligatoria (mandatory constraint).

El problema viene cuando creamos un módulo para Alfresco Share con su fichero JAR correspondiente y lo instalamos en un Alfresco Share donde hay otro fichero form.get.head.ftl ya que el del JAR anulará al anterior con lo que no funcionarán las validaciones.

Para esto he decidido usar otra forma de tener cargado el fichero .js que necesitamos para las validaciones, por ejemplo form_validation_module.js dentro de nuestra instalación. La forma es usando la referencia a ficheros javascript de la configuración de los “forms” de forma que podamos tener y cargar los ficheros por cada módulo que tengamos sin tener que tocar el fichero original.

De esta forma, podremos tener el mismo fichero form_validation_module.js en la misma ubicación tomcat/webapps/share/components/form pero ahora lo referenciamos no en form.get.head.ftl sino dentro de nuestro fichero de configuración de los campos, por ejemplo module-form-config.xml de esta forma:


   
       
           
               
           

       
   


   
       
           
               
                   
               
               
                   
                       
                            <constraint type="mandatory"
                                validation-handler=”Alfresco.forms.validation.prueba”/>
                       
                   
               
           
       
   

Lo único que cambia del anterior método es que aquí no hace falta referenciar la parte ${page.url.context}/res y que hay que añadir “-min” al fichero si lo vamos a “compactar”.

De esta forma tendrémos más seguridad a la hora de desplegar distintos módulos para Alfresco Share donde haya otros ya instalados.

Alfviral versión 1.1.0

Por fin el 21 de agosto liberé la versión 1.1.0 del módulo para escaneo de documentos mediante antivirus llamado Alfviral (el nombre a lo mejor no es muy apropiado pero fue el que se me ocurrió en ese momento).

Básicamente lo que se ha incluido ha sido una pequeña refactorización del código y la inclusión de la posibilidad de poder escanear los documentos mediante la página www.virustotal.com que a su vez utiliza más de 40 motores de antivirus.

Las características actuales del módulo son:

1. Escanear en base a tres modos distintos:

COMMAND: Permite utilizar un script o directamente el programa ejecutable del antivirus que se quiera siempre y cuando permita al menos un parámetro que sea el fichero a escanear. Este proceso depende del arranque del comando antivirus en si.

INSTREAM: Utilizado para lanzar un flujo de datos del fichero en Alfresco hacia el puerto (3310TCP) utilizado por ClamAV. Esto permite tener un antivirus ClamAV central en un servidor y utilizarlo remotamente desde Alfresco.

VIRUSTOTAL: En este modo se sube el fichero que sube o se actualiza en Alfresco a la web virustotal.com vía HTTP mediante el método POST y se recoge el resultado mediante JSON para su análisis.

2. Si el documento se detecta como infectado se añade el aspecto “infected” así como un aspecto adicional dependiendo del método utilizado para su análisis.

3. Uso de las “policies” de Alfresco usando los métodos onContentUpdate y onContentRead para analizar los documentos que son subidos, modificados y/o leídos.

4. Se puede utilizar el análisis mediante una programación de tiempo indicando a partir de qué espacio se quiere analizar y si se utiliza en profundidad, es decir, a los subespacios.

5. Implemena acciones de usuario tanto en la interface /alfresco como en /share para poder analizar documentos de forma interactiva.

6. Uso de reglas para personalizar los análisis utilizando la acción de escanear.

7. Facilidad de instalación utilizando las Alfresco Module Management Tools para la parte de repositorio y copiando directamente una librería en extension/lib para Share.

8. Configuración flexible y sencilla para establecer el modo de análisis y las formas en las que se quiere realizar el análisis:

– Al subir/modificar un documento
– Al leer un documento
– En una programación horaria y/o de fecha concreta
– Desde una carpeta (espacio de trabajo) en adelante

Un ejemplo de configuración es:

# Command to exec, i.e. clamscan, alfviral.sh, etc.
alfviral.command=C:\Users\fegor\Documents\alfviral.bat
# Config for ClamAV in stream data
alfviral.timeout=30000
alfviral.host=127.0.0.1
alfviral.port=3310
#Config for VIRUSTOTAL
vt.key=246df658bca5e096895683c01ba4bd2eb3a00303b506bda774b71488134bf984
vt.url=https://www.virustotal.com/vtapi/v2/file/scan
# Modes: COMMAND, INSTREAM, VIRUSTOTAL
alfviral.mode=VIRUSTOTAL
# Events
alfviral.on_update=TRUE
alfviral.on_read=FALSE
# Scheduled action
alfviral.scheduled.pathQuery=/app:company_home/st:sites
alfviral.scheduled.cronExpression=* * 3 * * ? 2099

Toda la información tanto en español como en inglés está en la página principal del proyecto: http://code.google.com/p/alfviral/

Como es un proyecto libre y personal las mejoras y nuevas funcionalidades dependen mucho de mi tiempo libre pero más o menos algunas ideas que tengo en mente son:

– Añadir estadísticas sobre los documentos infectados
– Posibilidad de mover los documentos infectados a un espacio de cuarentena
– Recuperación de los documentos infectados a su ubicación original si son desinfectados o se eliminan los aspectos de infección.
– Añadir nuevos protocolos de comunicación con antivirus (Symantec, McAfee,…)
– Poder utilizar distintos modos de análisis al mismo tiempo y para diferentes objetos (espacios y ficheros)

Problemas en la previsualización de documentos PDF en Alfresco

Primer problema:

En ocasiones los ficheros PDF no pueden ser visualizados por el Share de Alfresco. Esto puede ser debido a que si el PDF tiene activas las restricciones de impresión y/o copia, la librería SWFTools y en concreto la utilidad pdf2swf no es capaz de transformar el fichero.

Para estar seguros de que es este el problema, podemos llamar directamente a la utilidad con el fichero PDF y comprobar el resultado:

pdf2swf prueba.pdf -o prueba.swf

Si el mensaje que devuelve es “FATAL   PDF disallows copying” entonces estamos ante este problema.

La forma de solucionarlo es recompilar SWFTools y de esta forma evitamos el aviso y podremos ver los documentos.

Las siguientes instrucciones son para la compilación bajo Linux:

Bajamos el paquete de código fuente de las SWFTools (p.e. la versión 0.9.2 está probada en la versión 3.4.8 de Alfresco funcionando perfectamente), lo descomprimimos y entramos en el directorio creado.

En lib/pdf/pdf.cc comentamos las dos líneas siguientes:

if(!pi->config_print && pi->nocopy) {msg(” PDF disallows copying”);exit(0);}
if(pi->config_print && pi->noprint) {msg(” PDF disallows printing”);exit(0);}}

Configuramos de forma estática para que podamos llevarlo a otras distribuciones de Linux (yo la he probado en Ubuntu 11.10):

CC=/usr/bin/gcc-4.6 CXX=/usr/bin/g++-4.6 LDFLAGS=”-static” ./configure

Seguramente tengamos que instalar los paquetes para desarrollo como es el g++ y el gcc.

Luego:

make

Y por último:

make install 

O bien, simplemente sustituimos la utilidad pdf2swf que es la que se utiliza. Ya podremos ver los PDF bloqueados normalmente.

Segundo problema:

Otro problema que encontramos es que en la versión 3.4.x y 4.x los PDF se ven borrosos en la previsualización, esto es debido a los modificadores establecidos para realizar la conversión a SWF que pone Alfresco.

Para solucionarla tendremos que modificar el fichero webapps/alfresco/WEB-INF/classes/alfresco/subsystems/thirdparty/default/swf-transform.properties que generalmente tiene la siguiente línea:

swf.encoder.params=-s zoom=72 -s ppmsubpixels=1 -s poly2bitmap=1 -s bitmapfonts=1

Por esta otra (por ejemplo):

swf.encoder.params=-s zoom=100 -s ppmsubpixels=1 -s poly2bitmap=1 -s bitmapfonts=1

De esta forma se verán correctamente, eso si, el tiempo de conversión será mayor.

ACTUALIZACIÓN (12/07/2012): Aunque para compilar SWFTools se puede usar la información de los enlaces que doy al final, para Ubuntu 11 (y probado en la 12) tanto para amd64 como i386 se pueden seguir la siguiente secuencia de comandos de forma rápida:

sudo apt-get install build-essential checkinstall
sudo chown $USER /usr/local/src
sudo chmod u+rwx /usr/local/src
sudo apt-get install libgif-dev xpdf libfreetype6 libfreetype6-dev libjpeg62 libjpeg8 libjpeg8-dev
sudo wget http://www.swftools.org/swftools-0.9.1.tar.gz
cd lib/pdf
sudo wget http://gd.tuwien.ac.at/publishing/xpdf/xpdf-3.02.tar.gz
./configure
make


sudo checkinstall

Fuentes:
http://monkiki.wordpress.com/2010/04/19/compilar-pdf2swf-con-soporte-para-pdf-protegidos/
http://loftux.com/2012/01/08/replace-alfresco-standard-flash-viewer-with-pdf-js/
http://www.vservu.com/_blog/MegaZine3_-_tips,_tricks_and_hints/post/pdf2swf-switches/
http://www.swftools.org/
https://designbye.wordpress.com/2010/02/23/installing-swftools-and-pdf2swf-on-ubuntu-linux/
http://ubuntuforums.org/showthread.php?t=1821521

Enviar documentos a Alfresco de forma desantendida

En ocasiones necesitamos enviar a Alfresco documentos que han sido escaneados o generados por otras aplicaciones de forma automatizada.

La forma más común de “inyectar” documentos a Alfresco es mediante el uso del protocolo CIFS, de forma que podemos usar una unidad de red o recurso compartido (según el sistema operativo utilizado) para guardar el documento directamente en el entorno de Alfresco.

En ocasiones, bien porque el producto está limitado a usar unidades de red, o bien, porque necesitamos que los ficheros generados se envíen de alguna forma u orden y a una hora o espacio de tiempo determinado, hay que usar sistemas de copia o de movimiento de ficheros de forma desatendida.

En este caso, se ha utilizado un sistema utilizando el producto DigiDocFlow (http://www.digidocflow.com/) que en lugar de guardar el documento escaneado y el correspondiente fichero XML con los valores de los metadatos en el recurso de red del servidor donde está instalado Alfresco, se ha utilizado un directorio local de la máquina donde está instalado el producto (en Windows XP) y mediante un proceso batch se copian cada minuto a una unidad compartida de red que hace referencia a una carpeta de Alfresco llamada FROMSCAN.

Los pasos han sido:

1. Crear una carpeta en Company Home de Alfresco llamada FROMSCAN. Esta llevará las reglas necesarias para mover los documentos que entran.

2. Crear una carpeta local en Windows XP donde está instalado DigiDocFlow llamada también FROMSCAN.

3. Escribir el siguiente fichero batch:

@ECHO OFF
SET CARPETAWIN=C:FROMSCAN
SET CARPETAALF=Y:FROMSCAN
COPY /Y “%CARPETAWIN%*.pdf” “%CARPETAALF%”
COPY /Y “%CARPETAWIN%*.xml” “%CARPETAALF%”
IF ERRORLEVEL 1 GOTO SALIR
DEL /F /Q “%CARPETAWIN%*.*”
:SALIR

4. Crear la tarea (ejecutar en intérprete de comandos en Windows XP llamado CMD.EXE) para que se realice (ejecute) el batch cada hora:

SCHTASKS /CREATE /TN FROMSCAN /TR “CMD /C “C:FROMSCAN.BAT”” /SC HOURLY

Hay que tener en cuenta “escapar” las comillas con para que no se produzcan errores, no en este caso, pero si, si en el directorio o nombre de fichero batch se contienen caracteres en blanco.

De esta forma podemos tener incluso un directorio local donde van a parar ficheros que provienen de un ERP, un CRM o un sistema de escaneo como Kofax o DigiDocFlow sin tener que usar ningún tipo de conector y personalizando tanto el tiempo de envío de los ficheros como el orden.

Instalar WQS y AWE en WebSphere 7

Pasos para incluir en el fichero .ear de Alfresco 3.4.x Enterprise el módulo Web Quick Start y Alfresco Web Editor para su instalación en WebSphere Application Server.

  1. Bajar Web Quick Start (zip bundle)

alfresco-enterprise-wcmqs-3.4.4.zip

  2. Desempaquetar el fichero EAR

mkdir alfresco-enterprise-3.4.3.3-WQS
cd alfresco-enterprise-3.4.3.3-WQS
jar -xvf ../alfresco-enterprise-3.4.3.3.ear

  3. Desempaquetar el fichero que contiene WQS

jar -xvf ../alfresco-enterprise-wcmqs-3.4.3.zip

  4. Desempaquetar el fichero que contiene el Alfresco Web Editor

jar -xvf ../alfresco-enterprise-webeditor-3.4.3.zip

  5. Instalar paquetes AMP en Alfresco y Share

java -jar ../alfresco-mmt-3.3.5.jar install alfresco-enterprise-wcmqs-3.4.3.amp alfresco.war -verbose
java -jar ../alfresco-mmt-3.3.5.jar install alfresco-enterprise-wcmqs-share-3.4.3.amp share.war -verbose

  6. Editar application.xml de META-INF y añadir los nuevos WAR

   Alfresco
  
    
         alfresco.war
         /alfresco
    
  
  
    
         share.war
         /share
    
  
  
    
         wcmqs.war
         /wcmqs
    
  
  
    
         awe.war
         /awe
    
  
  
    
         customer.war
         /customer
    
  

  7. Empaquetar como EAR todos los ficheros WAR

jar cvf alfresco-enterprise-3.4.3.3-WQS.ear *.war

  8. Mover los ficheros jar a una ubicación para compartirla en WAS

mkdir -p /opt/IBM/WebSphere/AppServer/lib/awe
mv *.jar /opt/IBM/WebSphere/AppServer/lib/awe

  9. Mover los ficheros xml al “extension” de configuración y añadir lo siguiente para la conexión.
mv awe-config-custom.xml /opt/alf343WAS7_shared_cluster/web-extension
vi /opt/alf343WAS7_shared_cluster/web-extension/awe-config-custom.xml
(incluir lo siguiente):

  
     
        
     
  

  
     
        
            alfresco
            Alfresco – user access
            Access to Alfresco Repository WebScripts that require user authentication
            alfresco
            http://localhost:9080/alfresco/s
           
            user
        
     
  

  10. En WebSphere, crear una biblioteca compartida para los ficheros y asignarla a la aplicación AWE.

  11. Actualizar aplicación desde el Manager de WAS 7 usando el fichero ear creado e iniciar Alfresco ECM.

  12. Copiar el fichero de propiedades de wcmqs al extension y modificarlo si es necesario.
cp ../installedApps/alfpru1Cell01/Alfresco.ear/wcmqs.war/WEB-INF/classes/alfresco/extension/wqsapi-custom.properties /opt/alf343WAS7_shared_cluster/extension/

vi /opt/alf343WAS7_shared_cluster/extension/wqsapi-custom.properties

(contenido del fichero)
wcmqs.api.alfresco=http://localhost:9080/alfresco
wcmqs.api.user=admin
wcmqs.api.password=admin

Datos sobre la instalación:
Alfresco 3.4.3 en clúster sobre WebSphere 7
Directorio de instalación: /opt/IBM/WebSphere
Directorio de configuración (vía NFS): /opt/alf343WAS7_share_cluster
Directorio del repositorio (vía NFS): /opt/alf343WAS7_repo_cluster
Directorio de índices: /opt/alf343WAS7_index_cluster

Para más información, ir a la documentación oficial de Alfresco (http://docs.alfresco.com) y a la wiki (http://wiki.alfresco.com).

Quiero agradecer la ayuda y consejos de Mikel Asla, experto en sistemas, Alfresco y WebSphere.

Buenas prácticas en Alfresco ECM

Verión: 1 – Revisión: 0 – Publicación: 4/10/2011 – Última modificación: 4-oct-2011

Introducción
La instalación de Alfresco ECM requiere de una requisitos previos así como unas acciones posteriores para que el sistema comience a funcionar correctamente y se mantenga “sano” surante todo el tiempo que esté gestionando la documentación y registros. Este artículo pretende ser solamente un compendio de consejos y buenas prácticas y por tanto se irá modificando y ampliando en la medida de lo posible.

El ciclo de instalación, configuración y mantenimiento de Alfresco ECM comprende las siguientes fases:

Fase de preparación
1.    Diseñar tanto la arquitectura física como la arquitectura lógica antes de comenzar la instalación, si bien pueden usarse diagramas mixtos, es preferible realizar estos diseños por separado lo que nos dará también la posibilidad de generar lo sentregables para los distintos departamentos (comunicaciones y hardware, sistemas, etc.)
2.    Utilizar arquitecturas de 64 bits preferentemente, tanto a nivel de Hardware como Software (Sistema Operativo, Máquina Virtual de Java, etc.). Esto es muy importante en la medida en que en sistemas de 32 bits. se limita a nivel de direccionamiento de memoria principalemente.
3.    Usar procesadores de doble núcleo como mínimo y procesadores de 2,5GHz. en adelante.
4.    Usar la matriz de compatibilidad establecida por Alfresco para la instalación de todos los componentes: http://www.alfresco.com/services/subscription/supported-platforms/
5.    Adecuar la instalación a la arquitectura planteada y verificar la disponibilidad de recursos (NAS/SAN, SGDB,…) y que estos están disponibles, que son montados en el inicio de la máquina o al menos antes de arranque de Alfresco ECM.

Ejemplos (en Linux/Unix/MacOS X):
   Comprobar las unidades montadas para verificar su existencia: mount
   Verificar la correcta escritura: touch prueba

Comprobar que el servidor de la SGDB está funcionando: ping servidorsgdb
6.    Verificar la disponibilidad de los puertos que son necesarios para la instalación. Algunos puertos importantes para Alfresco son los siguientes:

  • a.    FTP: TCP 21 (se recomienda desconectar)
  • b.    SMTP: TCP 25
  • c.    SMB / NetBT: UDP 137,138, TCP 139,445 (para determinados entornos no es aconsejable)
  • d.    IMAP: TCP 143
  • e.    SharePoint Protocol: TCP 7070
  • f.    Tomcat Administration: TCP 8005
  • g.    HTTP: TCP 8080 (Tomcat, JBoss,…) / 9080 (para WebSphere) /…
  • h.    RMI: TCP 50500

Ejemplos (en Linux/Unix/MacOS X):
   Comprobar la existencia del puerto SMTP: telnet servidoralfresco 25
   Otra forma de comprobar que el puerto está abierto: nmap -P0 -p T:21,25,110,8080 servidoralfresco
   Puertos abiertos en el mismo servidor: netstat -putan

7.    Verificar la correcta comunicación tanto a nivel de fiabilidad como de estabilidad, verificar la latencia y rapidez de las transferencias:

  • a.    Conexión con el SGBD.
  • b.    I/O del disco que almacena los índices de Lucene.
  • c.    I/O del disco que almacena el repositorio.
  • d.    Conectividad entre los nodos (clúster).
  • e.    Conectividad con servidor NTP.

 Ejemplos (en Linux/Unix/MacOS X):
   Comprobar la transferencias a discos locales cada 2 segundos: iostat -w 2
   Visualizar las estadísticas de red cada 2 segundos: netstat -s -p tcp -w 2

8.    Comprobar la configuración con el SGDB con un DBA certificado así como la configuración del sistema de almacenamiento del repositorio con un experto certificado en el sistema de archivo usado (GFS, OCFS, VxFS, etc.). Es muy aconsejable que tanto la SGBD como el lugar donde se aloja el repositorio se conecten mediante “fibre channel” para evitar excesivas latencias y lentitud en las transacciones.
9.    Usar Alfresco Environment Validation Tool (Alfresco EVT) para validar el entorno (http://code.google.com/p/alfresco-environment-validation/)

Fase de instalación
1.    Crear una plantilla estándar adecuada al tipo de instalación y entorno con “checks” de control de las tareas. Es importante que los técnicos que instalen los sistemas, rellenen correctamente estas hojas e indiquen todas las incidencias que encuentran.

2.    Verificar los parámetros para la instalación, espacio disponible en discos, memoria RAM de los equipos y memoria Heap/Stack/Perm a usar para la JVM según el fabricante soportado (SUN, ORACLE, etc.), descriptores posibles, máximas conexiones del servidor de aplicaciones así como de firewalls y proxies puestos delante de Alfresco ECM.

Recomendaciones básicas de memoria para producción:
– Heap (-Xmx): 4G
– Pila (-Xss): 256k
– Perm (-XX:MaxPermSize): 256m

Ejemplos (en Linux/Unix/MacOS X):
   Kernel: uname -a
   Datos del sistema: cat /proc/cpuinfo
   Verificar memoria: free
   Procesos java arrancados: jps -v
   Procesos java arrancados: ps -fea | grep java

3.    Utilizar las recomendaciones de Alfresco para la ubicación de los archivos:

  • a.    ${TOMCAT_HOME}/shared/classes/extension/alfresco
  • b.    ${WEBSPHERE_HOME}/lib/alfresco
  • c.    ${JBOSS_HOME}/conf/alfresco

4.    NO incluir nunca ficheros de configuración en el despliegue de Alfresco ECM excepto por parte de módulos.
5.    Usar SIEMPRE módulos (mmt) para la instalación de nuevas funcionalidades, personalizaciones y configuraciones de Alfresco ECM.
6.    Usar las recomendaciones de Alfresco para la creación de ficheros de propiedades y XML y el uso de las normas estándar para la lectura de ficheros de configuración de Spring Framework.
7.    Puede utilizarse NFS con SAN para entornos clúster de repositorio compartido (solo a partir de la versión 3.4 según Alfresco) aunque es recomendable la utilización de sistemas de ficheros de clúster/concurrencia como GFS, OCFS, VxFS, etc.
8.    Los índices de Apache-Lucene deben ir siempre en el sistema local o en su defecto en NAS. A partir de la versión 4 de Alfresco ECM podrá utilizarse Solr.
9.    Es preferible tener en el “extension” una copia de log4j.properties como custom-log4j.properties para gestionar la salida de información de los logs.
10.    Aunque no es parte de Alfresco ECM, hay que medir cuidadosamente los aplicativos que interactúan con este respecto a seguridad:

  • a.    Uso de SSL (HTTPS) para asegurar canales de comunicación. Si es posible, también entre los propios elementos de Alfresco ECM, como Alfresco Share y el repositorio.
  • b.    Configuración de sistemas de autenticación externa mediante CAS, AD-Kerberos, NTLM, etc. y usar Single Sign On (SSO) en la medida de lo posible.
  • c.    Usar puertos por encima del 1024 y usuario “no root” en las instalaciones en sistemas Linux/Unix.

11.    No es recomendable balancear los protocolos TCP como CIFS/SMB, FTP y NFS que Alfresco ECM ofrece como servicios debido a problemas de bloqueos en JLan hasta aviso de Alfresco ECM y por lo menos hasta la versión actual (3.4.x). Sí es posible balancear HTTP/HTTPS y WebDAV. Una posible arquitectura siguiendo esta recomendación sería la siguiente:

12.    NO USAR JAMÁS EL USUARIO ROOT, crear un usuario tomcat, alfresco, jboss, etc. con los privilegios apropiados (acordarse de que en máquinas con Linux/Unix/MacOS X no pueden usarse puertos por debajo del 1024 por defecto).
13.    Es muy aconsejable que siempre se realicen 3 tipos de instalación, una para la parte de desarrollo y personalización, otra para preproducción o “Quality Service” que sirva para realizar pruebas antes de desplegar en producción, y una tercera instalación para producción. El entorno de desarrollo puede ser “no cluster” siempre y cuando no dependa dicho desarrollo de elementos própios de este. El entorno de preproducción y producción deben ser totalmente idénticos excepto en el tema de arquitectura hardware, es decir, puede ser un entorno con máquinas virtuales en preproducción y con máquinas físicas o virtuales con mayor asignación de recursos en producción. Así mismo, la carga de datos entre preproducción y producción tiene que ser lo más parecida posible, siempre al menos de un 50% de carga entre uno y otro para no tener problemas posteriores en cuanto a límites.

Fase de configuración y tuning
1.    Comprobar que la configuración de la codificación tanto en el SO, la SGDB, sistema de ficheros y JVM están en UTF-8. Ejemplos:

  • a.    En JVM de SUN y JRockit de IBM: -Dfile.encoding=UTF8
  • b.    En MySQL (my.cnf): default-character-set=utf8
  • c.    En Oracle, debe realizarlo un DBA.

2.    Usar autenticación con Single Sign On (SSO) en lo posible a través de AD-Kerberos o CAS siendo CAS el recomendable actualmente.
3.    Establecer los parámetros de monitorización en el arranque (JMX)
Ejemplo:
   Para monitorizar con jconsole: jconsole service:jmx:rmi:///jndi/rmi://servidoralfresco:50500/alfresco/jmxrmi
 
4.    Verificar parámetros de configuración y optimización del SGBD siempre a través de personal DBA certificado. Por ejemplo:

  • a.    MySQL: ANALYZE   
  • b.    PostgreSQL: VACUUM y ANALYZE
  • c.    Oracle: Dependiente de la versión, debe realizarse por un DBA.
  • d.    MS-SQL Server: ALTER INDEX REBUILD, UPDATE STATISTICS
  • e.    DB2: REORGCHK, RUNSTATS

5.    Utilizar los parámetros de optimización aconsejados por Alfresco:

  • a.    Ajustar pool de conexiones de Alfresco, se recomiendan 225 en adelante para el uso de protocolo CIFS/SMB. En WebSphere, Tomcat, Jboss, etc. Se pueden gestionar las conexiones a través de JNDI. En este caso, hay que tener en cuenta si el que controla los parámetros de conexiones máximas, mínimas, tiempos de espera para cierre de conexiones, etc. es Alfresco ECM o el mismo servidor de aplicaciones. Por ejemplo para WebSphere se pueden modificar los valores correspondientes desde la Consola de administración, en Recursos->JDBC->Orígenes de datos->(origen)->Propiedades de la agrupación de conexiones.

   db.pool.max=275

  • b.    Deshabilitar el uso de máximo de conexiones abiertas, es decir, no espera un tiempo en los que la conexión no responde para cerrarla. Igual que en el punto anterior, hay que modificarlo en la consola de administración de WebSphere o ficheros necesarios en otros servidores de aplicaciones.

   db.pool.idle=-1

  • c.    Esteblecer un tamaño de consultas (registros) mayor al establecido por defecto (10 registros).

   hibernate.jdbc.fetch_size=150

  • d.    Desactivar la parte de almacenamiento de transacción atómica para los índices y las transacciones de indexación “atómicas”, SOLO EN EL CASO DE IMPORTACIONES Y SUBIDAS MASIVAS DE DOCUMENTOS.

   lucene.maxAtomicTransformationTime=0
   index.tracking.disableInTransactionIndexing=true

  • e.    Si no se van a usar “quotas” de espacio, se aconseja desconectarlas ya que suponen tiempo de cálculo.

   system.usages.enables=false

  • f.    Usar JodConverter en lugar de la integración directa con OpenOffice.org deshabilitando esta última ya que si no Alfresco levantará dos instancias de OpenOffice.org. También es aconsejable usar un servidor independiente para realizar todas las conversiones.

   ooo.enabled=false
   jodconverter.enabled=true

  • g.    En clúster usar JGroups con conexiones TCP (para controlar mejor las conexiones).
  • h.    En clúster usar el “tracking” cada 5 segundos.

   index.tracking.cronExpression=0/5 * * * * ?

  • i.    En sistemas con muchos documentos y consultas Apache-Lucene muy genéricas, el resultado puede contener muchas filas y tardar mucho tiempo. Para evitar que salgan menos filas de las solicitadas hay que adaptar los parámetros system.acl.maxPermissionCheckTimeMillis y system.acl.maxPermissionChecks, pe. Para la salida de hasta 30000 filas cuya consulta dura menos de 5 minutos sería:

   system.acl.maxPermissionCheckTimeMillis=300000
   system.acl.maxPermissionChecks=30000

  • j.    Si es necesario indexar todo el contenido del documento y este tiene más de 10000 términos, hay que ajustar el valor lucene.indexer.maxFieldLength para que indexe todo el contenido. Por ejemplo, para que indexe contenidos con hasta 150000 palabras:

   lucene.indexer.maxFieldLength=150000

  • k.    Configurar correctamente y verificar su acceso a las utilidades utilizadas por Alfresco ECM:

   ImageMagick 
   Pdf2swf
   OpenOffice.org

  • l.    Realizar pruebas de carga y estrés antes de la puesta a producción mediante herramientas especializadas, p.e. JMeter.
  • m.    Adaptar valores de EHCache a los nodos, usuarios, permisos (ACLs), tickets de autenticación, etc. para que no se llene.

Desarrollo y personalización
Extensión del modelo de datos
1.    Usar la indexación por tokens en los casos necesarios, p.e. para metadatos que usan caminos, códigos o palabras sin significado semántico es mejor usar solamente la indexación por cadenas (strings).

Por ejemplo, si se tiene un metadato llamado “sección” que almacena una sección en particular como valor único, se podría definir como:


        d:text
       
        true
        false
        false
       
 

2.    Utilizar ficheros independientes por modelo de datos así como de prefijos para clarificar los desarrollos.
3.    NO usar nunca los modelos de ejemplo que vienen en Alfresco ECM.
4.    Es preferible usar Aspectos a Tipos e intentar crear tipos básicos heredados de los que Alfresco ECM incluye por defecto.
5.    Usar solamente los metadatos que van a ser usados en búsquedas en el gestor documental directamente y que tengan relevancia dentro de la gestión documental.
6.    Usar restricciones donde hagan falta (CONSTRAINTS) y reutilizarlas.
7.    Evitar en la medida de lo posible muchas asociaciones (ASSOCIATIONS), ya que Alfresco ECM no es un sistema relacional.
8.    No cambiar el modelo original de Alfresco ECM bajo ningún concepto.
9.    No eliminar modelos y aspectos si no se tiene total seguridad de que no han sido usados nunca.
10.    Evitar complejidades innecesarias en los modelos así como excesiva profundidad en la estructura.
11.    El modelo de datos dedicado a permisos y roles no puede ser movido del lugar del despliegue actualmente y hay que ser muy cauto a la hora de crear nuevos roles.
12.    Se aconseja no modificar los roles actuales.

Interoperabilidad
1.    Usar CMIS a través de RESTful principalmente (versión 3.4 en adelante) o en su defecto WebServices a través de SOAP para mantener la interoperabilidad, escalabilidad y estandarización.
2.    Comunicarse a través de aplicaciones mediante tecnologías SOA. Capas intermedias de middelware, buses de integración, fachadas de servicios y sistemas centralizados de control.
3.    Usar las AFC (Alfresco Foundation Classes) solo en casos muy específicos.
4.    Si es necesario personalizar/desarrollar directamente en Alfresco ECM, es preferible realizarlo a través de WebScripts, Reglas/Acciones y Workflows en lugar de desarrollar directamente clases Java.
5.    Es desaconsejado el uso de JCR ya que está obsoleto.

WebScripts/JavaScripts – Surf
1.    Incluir los ficheros de scripts en los lugares adecuados del extensión en lugar del despliegue o en su defecto crear un módulo de Alfresco ECM para instalarse de forma limpia usando el mmt (Module Management Tool) de Alfresco ECM.
2.    Usar librerías comunes mediante “includes” y reutilizar código.
3.    Realizar depuraciones mediante el depurador incluido en Alfresco ECM.
4.    Evitar mucha recursividad al recorrer nodos ya que puede llenar la memoria de pila, o bien, ampliar el espacio de esta en la configuración.
5.    Dirigir los desarrollos hacia la plataforma Spring-Surf.

WebServices
1.    Evitar la transferencia de grandes ficheros mediante mensajes SOAP. Usar para ello el Servlet que incorpora Alfresco ECM.
2.    Minimizar las transferencias de información en tareas reiterativas. Por ejemplo, es preferible la llamada a un WebScript que devuelva en formato JSON/Atom/Text la lista de usuarios que realizar N llamadas desde el WebService cliente.

Búsquedas y consultas
1.    Adecuar los motores de búsqueda de Alfresco ECM al tipo de consulta y resultado requerido XPath/Lucene/CMIS-SQL.
2.    Es recomendable ir hacia consultas vía CMIS (cmis-strict) para estandarizar lo máximo posible.
3.    Intentar optimizar las consultas Lucene/CMIS para que devuelva pocos resultados.

Autenticación y seguridad
1.    Usar alf_ticket como método de mantener sesiones autenticadas en lugar de el uso de autenticaciones usuario/contraseña contínuas, así como JSESSIONID para el caso de mantener rutas en balanceadores. Se recomienda legar el uso de autenticaciones a Alfresco ECM y sistemas dedicados a esta tarea como CAS, AD-Kerberos, etc.
2.    Almacenar los datos “sensibles” de forma “ofuscada” o encriptada.

Mantenimiento
1.    Monitorizar la JVM, Servidor de Aplicaciones y la instancia de Alfresco ECM mediante Jconsole/VisualVM, IBM WebSphere Console, etc.
2.    Realizar seguimientos de tráfico entre los componentes de Alfresco ECM (WebClients y Repositorio, Alfresco y SGBD, etc.) para detectar grandes cargas, tráfico alto y cuellos de botella usando comandos como ntop, iostat, netstat, etc.
3.    Reindexar todo cuando se hayan cambiado valores de configuración de Apache-Lucene así como si se detecta corrupción en los índices. Esto es muy importante para mantener estable el sistema. Se puede usar la consola de chequeo de índices de Alfresco ECM para reindexar por fechas, transacciones, etc. Por ejemplo: http://servidoralfresco:8080/alfresco/service/enterprise/admin/indexcheck
4.    Estudiar las salidas (logs) constantemente prestando especial atención a mensajes de aviso (Warnings) y errores (Errors) y filtrando convenientemente:

Ejemplo:
Salida controlada de errores de log en un WebSphere: tail -2000f /opt/WebSphere/AppServer70/profiles/AppSrv01/logs/alfresco/SystemOut.log | grep ” E “

5.    Utilizar herramientas como NAGIOS/ICINGA para monitorizar puertos, memoria, CPU, etc.
6.    Usar sistemas de mensajes SMS y alertas de seguimiento en los sistemas en producción.

Bibliografía
Documentos y libros
Título: Alfresco Day Zero Configuration Guide.pdf
Autor: Peter Monks

Título: Administering_an_Alfresco_Enterprise_3_4_0_Production_Environment.pdf
Autor: Alfresco

Título: Escalabilidad y tuning.pdf
Autor: Toni de la Fuente

Título: Scale your Alfresco Solutions. Architecture, Design and Tuning Best Practices
Autor: Gabriele Columbro

Titulo: Alfresco Developer Guide
Autor: Jeff Potts

Blogs:
http://www.blyx.com
http://www.fegor.com
http://ecmarchitect.com/

Webs:
http://docs.alfresco.com
http://www.juntadeandalucia.es/xwiki/bin/view/MADEJA/ArqSIAlfresco

Balanceo de tráfico en Alfresco ECM (escenarios)

—-
(15/09/2011) IMPORTANTE: Tras realizar pruebas concurrentes y aclaraciones por parte de Alfresco, los métodos de balanceo de CIFS/SMB no son recomendables en producción al menos hasta la próxima versión 4.0 debido a un problema con JLan y lo bloqueos en ficheros. No obstante esta información será consistente una vez Alfresco/JLan permita la concurrencia de accesos mediante CIFS/SMB.
Para más información se pueden consultar las entradas en JIRA siguientes así como información en la documentación de Alfresco:

Así pues, sigo recomendando actualmente una estructura más adecuada y ya analizada en el anterior artículo: http://www.fegor.com/2011/09/arquitecturas-cluster-en-alfresco.html
—-

A la hora de elaborar una arquitectura en alta disponibilidad y en la parte de balanceo de carga hacia los nodos podemos usar varios escenarios.

En este primer escenario vamos a usar el siguiente sistema:

Aquí se usan dos balanceadores, por un lado para las comunicaciones en SMB (CIFS) y otra para el acceso a través del cliente web (HTTP).

Para el acceso a través de los protocolos SMB/CIFS y HTTP se utilizará HAProxy, un magnífico programa que es capaz de gestionar comunicaciones en alta disponibilidad y balancear a nivel de protocolo TCP y dentro de este, el HTTP.

En este contexto, un fichero de configuración para HAProxy (/etc/haproxy.conf) podría ser:

global
        maxconn         32000

defaults applications HTTP
        log global
        mode http
        option httplog
        option forwardfor
        option dontlognull
        option httpclose
        balance roundrobin
        clitimeout 20000
        srvtimeout 20000
        contimeout 4000
        retries 3

listen  alfpru_http 192.168.56.150:80
        mode http
        cookie JSESSIONID prefix
        server alfpru1_http alfpru1:8080 cookie alfpru1_server check weight 50
        server alfpru2_http alfpru2:8080 cookie alfpru2_server check weight 50

defaults applications TCP
        log global
        mode tcp
        balance roundrobin
        clitimeout 180000
        srvtimeout 180000
        contimeout 4000
        retries 3
        redispatch

listen alfpru_smb alfpruha:445
        mode tcp
        balance roundrobin
        server alfpru1_smb alfpru1:10445 check weight 50
        server alfpru2_smb alfpru2:10445 check weight 50

De esta forma tenemos un balanceo (round robin) así como una persistencia en las sesiones.

Otro escenario posible es dividir el balanceo por protocolo, es decir, dejar SMB/CIFS para HAProxy y HTTP para Apache. El diagrama sería:

El nuevo fichero de configuración para HAProxy sería el siguiente:

global
        maxconn         32000

defaults applications TCP
        log global
        mode tcp
        balance roundrobin
        clitimeout 180000
        srvtimeout 180000
        contimeout 4000
        retries 3
        redispatch

listen alfpru_smb alfpruha:445
        mode tcp
        balance roundrobin
        server alfpru1_smb alfpru1:10445 check weight 50
        server alfpru2_smb alfpru2:10445 check weight 50

Y a su vez, la configuración de Apache (/etc/httpd/conf.d/proxy_ajp.conf) como sigue:

NameVirtualHost *:80

        ServerName alfpruha.pruebas.local
        ServerAdmin admin@pruebas.local
        ProxyRequests Off
        KeepAlive On

       
          Order deny,allow
          Allow from all
       

        ProxyPass /balancer-manager !

        ProxyPass /alfresco balancer://cluster1 stickysession=JSESSIONID lbmethod=byrequests nofailover=Off
        ProxyPassReverse /alfresco http://alfpru1:8080/alfresco
        ProxyPassReverse /alfresco http://alfpru2:8080/alfresco

       
               BalancerMember http://alfpru1:8080/alfresco route=jvm1
               BalancerMember http://alfpru2:8080/alfresco route=jvm2
       

       ProxyPass /share balancer://cluster2 stickysession=JSESSIONID lbmethod=byrequests nofailover=Off
       ProxyPassReverse /share  http://alfpru1:8080/share
       ProxyPassReverse /share  http://alfpru2:8080/share
       
               BalancerMember http://alfpru1:8080/share route=jvm1
               BalancerMember http://alfpru2:8080/share route=jvm2
       
       
          SetHandler balancer-manager
          Order deny,allow
          Allow from all
       

        ErrorLog /var/log/httpd/alfpru-error_log
        CustomLog /var/log/httpd/alfpru-access_log common
 

En este caso, no hay que olvidarse, que también habrá que configurar Tomcat para que se ajuste a las “rutas” del balanceo, en este caso en el fichero tomcat/conf/server.xml:

y en el segundo nodo:

También podría configurarse mediante mod_jk en lugar de mod_proxy/mod_proxy_balancer.

En ambos escenarios hay que reconfigurar los puertos SMB/CIFS para Alfresco (en este caso solo se usa el 445TCP del SMB ya que las instalaciones están realizadas en Linux CentOS 5) en el fichero ${ALFRESCO_HOME}/tomcat/shared/classes/shared/classes/alfresco/extension/subsystems/fileServers/default/default/custom-file-servers.properties:

cifs.tcpipSMB.port=10445
cifs.netBIOSSMB.sessionPort=10139
cifs.netBIOSSMB.namePort=10137
cifs.netBIOSSMB.datagramPort=10138

Estos son dos ejemplos de balanceo de tráfico para escenarios en alta disponibilidad, además de esta existen multitud de arquitecturas, p.e. un HAProxy que balancee a un Apache que balancee hacia los Tomcat/Alfresco, usar el mismo HAProxy para balancear tráfico TCP para MySQL o para Oracle, etc.

Datos sobre los nodos/hosts:

192.168.56.150  alfpruha
192.168.56.101  alfpru1
192.168.56.102  alfpru2

Donde 192.168.56.150 es la IP flotante o virtual.

HAProxy puede obtenerse de http://haproxy.1wt.eu/ así como toda la documentación para su correcta instalación y todas las opciones de configuración que no son pocas.

Apache mod_proxy_balancer puede descargarse y leer su documentación en el proyecto apache, en concreto en http://httpd.apache.org/docs/2.2/mod/mod_proxy_balancer.html