Mostrando las entradas con la etiqueta Arquitectura. Mostrar todas las entradas
Mostrando las entradas con la etiqueta Arquitectura. Mostrar todas las entradas

25 oct 2018

Optimizando para velocidad con las relaciones uno a uno

Debo aclarar que las relaciones uno a uno, no son una forma 'normal', esto significa que durante un proceso de normalización deberían desaparecer las relaciones uno a uno... excepto cuando se 'desnormaliza' conscientemente por asi convenir, como es este caso.


Problema: Tengo una aplicación de ventas, donde en últimos tiempos el proceso de seleccionar las facturas pendientes de pago se ralentizo considerablemente, llegando hasta un par de minutos. Este proceso consta de una simple consulta de la forma:


Select IDVenta, Fecha, NoDoc, NoDoc, Saldo, Total From TbaVenta Where  (IDCliente=12345) And ((TipoDoc='F') Or (TipoDoc='R') Or (TipoDoc='N') ) And (Afecto<>0) And (Saldo>0)

Esto es, selecciona todas las facturas del cliente 12345 que son Facturas, Remisiones o Notas afectadas y que tiene Saldo.


La columna IDSaldo de la tabla TbaVenta esta indexada, no así las columnas TipoDoc, Afecto y Saldo


En un análisis superficial supuse que si indexaba la columna Saldo el rendimiento mejoraría y asi fue, bajando de 100 hasta 5 segs en mi servidor de pruebas. No conforme con eso busque una alternativa y recurri a un viejo truco... una relación uno a uno, logrando reducir a casi 1/3 del tiempo de ejecución respecto al proceso de indexación anterior, como lo muestro en el video siguiente:






Y aquí tenemos una razón para usar una relación uno a uno!

5 nov 2014

Bases Distribuidas con SQL Server 2012

Estamos en la recta final de este año 2014 y ha sido de muchas ocupaciones, sin embargo estoy haciendo un esfuerzo por avanzar con el contenido del libro: "Bases de Datos Distribuidas con SQL Server 2012", el cual pretende ser un curso multimedia (Libro+Videos+Certificacion) con el fin de ser el material que acompañe la materia de "Bases de Datos Distribuidas" que se imparte en la mayoria de las universidades para la Carrera de Ing. en Sistemas y afines o para cualquiera que quiera profundizar en la arquitectura distribuida y reafirmar conocimientos generales de bases de datos.


Ya existe un borrador descargable desde hace un año con los primeros 3 capitulos y se puede descargar desde
http://es.slideshare.net/AntonioOrtiz1/curso-bases-de-datos-distribuidas-con-sql-server-2012

Ademas de ser un material de referencia para bases de datos distribuidas, este curso pretende ser una ayuda para reafirmar los conceptos mas importantes del modelo relacional y en general de bases de datos, asi como de alguna funcionalidad de SQL Server.
Anexo el contenido del curso, el cual es possible que cambie mientras se elabora:
BASES DE DATOS DISTRIBUIDAS CON SQL SERVER 2012

Dirigido a: Programadores, Analistas de Sistemas, Administradores de Sistemas, Estudiantes y Profesores que deseen aprender a diseñar e implementar un modelo de base de datos distribuida.
Deseable: Conocimientos de bases de datos, SQL.
Requisitos: Haber cursado o cursar alguna carrera relacionada a la informática o tener conocimientos basicos en bases de datos.
CONTENIDO:
I. Introducción al modelo relacional
  • De Sequel a SQL Server
  • Bases de Datos Relacionales
  • Manejadores de Bases de Datos Relacionales
  •  SQL
  •  Arquitectura Cliente-Servidor
  
II. Instalación y Configuración de SQL Server 
  • Instalación Manual
  • Configuración de Instancias
  • Administrador de Configuración (Configuration Manager)
III. Administración de SQL Server
  • SQL Server Management Studio
  • Separar y Adjuntar bases de datos
  • Respaldos
  • Compactar
  • Importar Datos
IV. Diseño de Bases de Datos
  • Diseño Conceptual
  • Diseño Lógico
  • Diseño Físico
  • Modelo relacional
  • Modelos E-R
  • Normalización
 V. Arquitectura de SQL Server
  • Archivos de datos
  • Archivo de transacciones
  • Grupos de archivos
  • Páginas de Datos
  • Índices Clustered
  • Índices Non clustered
VI. Transact SQL
  • Diagramas
  • DDL
  • Consultas
  • SubConsultas
VII. Vistas
  • Vistas
  • Vistas Indexadas
VIII Bases de Datos Distribuidas
  • Descripción
  • Características de una base de datos distribuidas
  • Ventajas
  • Desventajas
  • Creando un modelo de base de datos distribuidas

IX. Consultas Distribuidas
  • Servidores vinculados
  • Consultas distribuidas
  • Transacciones Distribuidas

X. Procedimientos Almacenados (Stored Procedures) y Funciones
  • Procedimientos del Sistema
  • Procedimientos del Usuario
  • Funciones del Sistema
  • Funciones del Usuario
  • SQL Dinámico vs Procedimientos Almacenados
XI. Desencadenadores (Triggers)

XII. Replicación
  • Publicador
  • Suscriptor
  • Réplica de instantáneas
  • Réplica transaccional
  • Replicación de Mezcla

25 ago 2014

Relaciones en bases de datos

Cuando aprendemos el modelo relacional, el cual es el mas conocido en teoría de datos; normalmente se nos enseña que existen 4 tipos de relaciones:
  • Uno a uno (1 a 1)
  • Uno a muchos (1 a N)
  • Muchos a muchos (N a M)
  • Muchos a uno (N a 1)
Lo que pocas veces se nos explica claramente es que el modelo relacional solo es válido durante la fase de diseño del modelo conceptual, que nos permite documentar y definir un modelo de datos solo a nivel de concepto, así pues, no todos los tipos de relaciones del modelo relacional son válidos para un modelo de base de datos lógico o físico. Pasamos a explicar lo anterior:


Relación uno a uno (1 a 1)

 Las relaciones uno a uno No deben existir en una base de datos pues eso denota inmediatamente que se hizo un mal trabajo de normalización. Ya que cada tabla representa una entidad de la base de datos. Una relación uno a uno, significaría que cada tabla es 'media' entidad o dos tablas representan un asunto o entidad. Lo correcto seria fusionar las columnas de las dos tablas en una sola.
Siendo poco estrictos es verdad que existen relaciones uno a uno en situaciones especiales (desnormalización planeada) por convenir así; por ejemplo: si un campo de una tabla se actualiza constantemente y queremos disminuir el riesgo de colisión en bloqueos, se puede aislar ese campo en una tabla que lo contenga y esté relacionado con una llave primaria idéntica a la llave primaria de la primera tabla.

Tabla normalizada
Producto
* ID
Codigo
Descripcion
Costo
Precio
UltVenta


Tabla desnormalizada con relación uno a uno
Producto
* ID
Codigo
Descripcion
Costo
Precio

Producto2
* ID
UltVenta


Concluimos que una relación uno a uno No es una relación normal y comúnmente no debería existir en una base de datos.



Relaciones uno a muchos (1:N)

Las relaciones uno a muchos son las mas comunes y en realidad es la 'única' relación válida para una base de datos, así; un Cliente puede tener muchas Facturas, una Población tiene muchos Clientes y una Venta puede incluir muchos Productos.


Relaciones muchos a muchos (N:M)
Las relaciones muchos a muchos definitivamente son un tipo de relación que no existen en una base de datos por una simple razón... son imposibles de implementar a menos que se haga un terrible trabajo de diseño y por supuesto de normalización, ya que implicaría que un mismo registro se repitiera para cada relación.
Por ejemplo, para un Producto hay muchos Proveedores y para un Proveedor hay muchos Productos.
Este tipo de relaciones solo se implementa de manera eficiente si se crea una tabla intermedia que relaciona ambas entidades, para este caso crearíamos la tabla ProductoProveedor de la siguiente manera:
ProveedorProducto
* IDProducto
* IDProveedor
A este tipo de Entidades se les conoce como Entidades débiles, ya que no representan un asunto u objeto de la realidad que intentan resolver. Dicho sea de paso, este tipo de Entidades son las únicas que llegan a cuarta o quinta forma normal.
En el modelo físico las relaciones muchos a muchos se descomponen en relaciones uno a muchos a uno.

Relaciones muchos a uno (N:1)
Bueno, este tipo de relaciones solo es importante en el modelo conceptual, ya que en el modelo lógico y físico, normalmente da la misma distancia de ida que de vuelta, es muy sencillo deducir que es la misma relación 1 a muchos vista desde la derecha.
 Las relaciones muchos a uno se tratan de una relación uno a muchos vista desde el otro lado.

* Recomiendo estudiar de manera independiente las 3 etapas del diseño de bases de datos, iniciando por el modelo conceptual, pasando al modelo lógico y finalizando con el diseño físico definido por el manejador de base de datos a utilizar.

Al llegar al modelo físico es importante comprender y utilizar adecuadamente las reglas de normalización, así como hacer un análisis correcto de cuando es conveniente saltarse alguna regla por ser conveniente a la funcionalidad del sistema o manejo de datos.

Conclusión: Siendo estrictos y siguiendo al pie de las letra las reglas de normalización, nos quedamos con la relación uno a muchos, y eliminamos la relación muchos a uno simplemente moviendo la tabla inicial de la relación a la izquierda y cambiando la relación por uno a muchos



1 sept 2011

El hardware costoso en las PYMES y la mala Arquitectura de Software


Salvo rarisimas ocasiones la compra de hardware costoso en las PYMES (Pequeñas Y Mediamas Empresas) es justificable, esto pasa mas comunmente cuando se adquiere un software mal diseñado y peor programado. En estos casos son los propios desarrolladores del sistema quienes sugieren la compra de un hardware 'moderno' que sea compatible a su sistema.

A continuacion relatare algunas experiencias de campo:


CASO 1

- En alguna ocasion visite un supermercado que apenas tenia 4 cajas, y algunos usuarios administrativos, dando un total de 10 usuarios en la red. La queja era: "El sistema es muy lento, a pesar de seguir las indicaciones del fabricante del software, sigue siendo muy lento". A este negocio lo hicieron adquirir las computadoras mas rapidas del mercado en esa epoca (3.2 Ghz & 1 Gb RAM) para las cajas y un servidor de marca conocida con bastante memoria y un buen procesador. Los cajeros se quejaban que incluso al vender, en el momento de escanear un producto tardaba un par de segundos en traer el resultado; a veces mas. El area de soporte tuvo la idea de aumentar la memoria al servidor lo cual por supuesto no mejoro absolutamente nada la situacion.


¿Cual era el problema?

En realidad era un problema bastante comun y facil de detectar para cualquier arquitecto de software, su manejador de bases de datos estaba basado en archivos (punto a punto) lo cual hacia que la busqueda de informacion y en general todo el motor de la base de datos se encontrara del lado del cliente (en las cajas), esto hacia que se trasladaran grandes cantidades de datos y el cuello de botella fuera la red, basta recordar que el limite que imponen las redes de 100 mbps (12 mb por seg.aprox) se distribuian entre los 10 usuarios. Por esto el aumentar la memoria del Servidor no servia de nada, ya que este se limitaba a compartir la carpeta donde se localizaban los archivos de la base de datos, asi que lo unico que hacia era 'prestar' el disco duro. Todo esto, con el costo en velocidad y seguridad que representaba.

Las unica sugerencias que se podia dar era:
   1) Cambiar el sistema por uno con arquitectura cliente-servidor
   2) Aliviar la situacion agregando una tarjeta de red al servidor y distribuyendo los usuarios entre ellas, y; si habia la posiblidad agregar un arreglo de discos (raid 0)



CASO 2

Una PYME con 10 usuarios en la red, 7 usando un software empresarial el cual esta bastante lento. La excusa de los 'expertos' fue la misma de siempre: "la base de datos es muy grande y son muchos usuarios". El administrador del sistema me muestra un servidor muy robusto, de marca reconocida incluso con sistema redundate (doble fuente de poder y doble tarjeta madre). Tenian reportes que se obtenian en 20 mins. A mi parecer ese servidor debia ser suficiente para dar servicio agilmente a 100 usuarios (con el software correcto).

En este caso el software si era cliente-servidor pero hacian un uso muy pobre del lenguaje SQL; en donde en lugar de enviar una consulta que obtuviera los datos desde todas las tablas que se requerian, relacionandolas adecuadamente. Para un solo reporte se enviaban centenares de consultas con el resultado ya descrito.

La solucion logica era pedirles al equipo de desarrollo optimizar sus consultas adecuadamente.



CASO 3 (Mi cliente)

Una comercializadora mayoristas con una pequeña red de 12 usuarios, funcionando alrededor de 9 años con una base de datos de poco mas de 1 gb., un Servidor HT 3.2, con 2 gb de RAM, Disco SCSI 2, Red 100 mbps. Todo iba bien hasta que el servidor empezo a fallar al encenderlo (se apagaba al final del dia y se encendia a las 5 am aprox. al iniciar operaciones). Para la revision del servidor les prestamos un equipo bastante modesto, era un equipo sin marca de los conocidos como 'clone' de apenas 1.8 Ghz y 512 de RAM.

Revisamos el servidor y se determino que el problema era que se perdia la configuracion de los dispositivos en el 'bios'; entre ellos el disco duro y por eso no podia arrancar, se cambio la bateria y funciono sin problemas. Despues de algunos dias de pruebas se devolvio al cliente y se regreso la base de datos.

Mi primer pregunta al gerente general fue si notaron que el sistema se volvio mas lento, a lo cual respondio que no hubo diferencia; por demas sorprendido fui a las cajas y pregunte a los usuarios y algunos indicaron que ni siquiera sabian que nos habiamos llevado el servidor.

En realidad yo esperaba que la diferencia no fuera grande, pero nunca imagine que a ese nivel de uso (10 usuarios) no se notara diferencia alguna. A la fecha fue el ultimo soporte tecnico a casi 2 años de ocurrido y las visitas posteriores han sido para agregar usuarios y funcionalidad al sistema.



 Mi Oficina

- En mi propia empresa hasta hace dias contabamos con un 'servidor' que adquiri seminuevo con uno de mis proveedores hace alrededor de 4-5 años, era una PC Pentium a 2.4 Ghz, 512 RAM y 40 Gb en disco , el cual mejoramos a 2 Gb de RAM y 250 Gb de disco. Esto era suficiente para tener instalado Windows Server 2008, SQL Server 2008, Sharepoint y por supuesto manejar nuestra base de datos empresarial (ventas, compras, inventarios, facturacion). Ademas nuestro pequeño servidor tenia instalado un sistema de vigilancia con 4 camaras, guardando la grabacion las 24 hrs en el mismo disco duro.
Equipo exacto que teniamos como servidor

Solo fue hasta hace dias que cambiamos a un servidor de 2 nucleos, y esto no fue motivado por necesidades de procesamiento, ni almacenamiento. Mas bien, se determino que despues de cambiar impresora laser y adquirir una mas a color, el unico equipo antiguo era el servidor y se planeaba aumentar el uso de el, instalando aplicaciones como Visual Studio Team Server.



CONCLUSIONES

Desde una optica tecnica muy simple; si una consulta a mi base de datos para obtener las ventas del dia (folio, cliente, importe, impuestos, condiciones de pago) me toma 30 ms y procesar 2 peticiones simultaneas de este proceso aumenta un 50% (1) el tiempo de ambas consultas  a 45 ms c/u, dando un total de 90 ms, aumentando exponencialmente con cada consulta simultanea que se procesa, supondria que con una decena de usuarios lo maximo que puede ocurrir es que todos ellos requieran una consulta al mismo tiempo, justo en el mismo segundo. En donde para tal caso obtener el resultado tardaria un par de segundos o unos cuantos a lo maximo.

Parece que ultimamente hacen falta arquitectos, hay muchos programadores, pocos son buenos y menos son buenos arquitectos. Creo que la comprension del hardware es lo que permite optimizar y generar aplicaciones que sepan aprovecharlo. Por otro lado, la mayoria se arroja a aprender un lenguaje de programacion, sin haber entendido antes la plataforma y filosofia en la cual estan basados.

Hasta ahora en las PYMES con datos muy 'relevantes' o con mayor transacionalidad la solucion que adoptamos para asegurar sus datos ha sido agregar un disco duro, al cual se acumulan un par de respaldos por dia, con lo cual en caso de perdidad total del disco duro en produccion,  se volverian a capturar los registros de ventas, compras, inventarios, cobranza, bancos, de medio dia de operacion, lo cual dificilmente supera el medio millar de transacciones distribuidos entre una docena de usuarios.

Por supuesto que aqui nos referimos exclusivamente al procesamiento de datos empresariales, puede haber excepciones, donde una PYME requiere procesador video, renderizar, o diseños arquitectonicos que justifiquen tal gasto. Dicho esto, hoy en dia los equipos 'basicos' disponibles en el mercado tienen una capacidad de procesamiento muy por encima a los requerimientos de la mayoria de las PYMES.

Cuando me consultan sobre los requerimientos de equipo para algun sistema de mi autoria, la respuesta tipica es: "el equipo nuevo mas pequeño en capacidad esta sobrado para los requerimientos" o "cualquiera que tenga windows XP y 512 de RAM".

No existe una regla para indicar el gasto maximo en equipos para un sistema, pero siempre desconfie de alguien que de entrada pide renovar todo el equipo. Recuerde: "UN SISTEMA DESARROLLADO CORRECTAMENTE REQUIERE MENOS EQUIPO YA QUE TRASLADA LA MAYOR CARGA DE PROCESAMIENTO AL SERVIDOR".


(1) El aumento de un 50% por cada consulta simultanea que se suma a la ejecucion, es un dato hipotetico.
 * Se omiten acentos intencionalmente.