Construcción de evidencia

¿Qué necesito?

Hay muchas maneras de reunir información acerca de tu programa y cada manera tiene sus propias debilidades y fortalezas. Y todos los datos que reúnes forman parte de la información que puedes utilizar para evaluar tu programa.

¿Cuáles son las distintas formas de crear evidencia?

Existen muchas maneras de crear evidencia, pero es el objetivo y la función de lo que se desea entender, lo que determina la manera en que una organización construye su receta. Hablando en términos generales, los modelos o tipos más conocidos de evaluación son:

Formativo: ocurre al mismo tiempo que se lleva a cabo el programa.
Sumativo: ocurre al final del programa.
Proceso: ocurre durante la implementación del programa.
Resultado: ocurre justo después de que el programa ha finalizado.
Impacto: ocurre después de la ejecución del programa.

Para aprender más acerca de los diferentes modelos o tipos de evaluación por favor visite la sección de recursos.

¿Qué información se necesita para la evaluación?

Cuando hablamos de información, no nos referimos a algo ajeno o nuevo, todo lo contrario es algo que tú conoces, pero que quizás no lo defines usando estos términos. Ya que en nuestro trabajo recibimos mucha información día a día de nuestros participantes, por ejemplo, su edad, el lugar de origen, etc. Nosotros estamos seguros de que este tipo de información ya es parte de tu proceso. Nuestra contribución a tu “receta” será el proveer una guía en la manera de recolectar, organizar, y analizar esta información.

Tipos de información

Como regla general, la información de la evaluación se organiza en dos grupos: números (cuantitativa) y palabras (cualitativa).

Cuando hablamos de números (datos cuantitativos) nos referimos a números, y nos sirven para describir que existe y pasa en términos de tiempo, cantidad, y frecuencia. Por ejemplo:

edad de las participantes
el número de personas que reciben servicios por semana
el número de sesiones a las que los participantes atienden, etc.

Cuando hablamos de palabras (datos cualitativos) nos referimos a la información que nos ayuda a una comprensión profunda de la experiencia de los participantes en el programa o de sus historias personales. Estos pueden incluir información acerca del por qué, del cómo, y de los resultados de participar en el programa. Por ejemplo:

opiniones de acerca del programa
descripción de la experiencia dentro del programa
descripción del impacto en sus historias personales, etc.

¿Cuáles son las fuentes de información?

La siguiente tabla muestra ejemplos de fuentes potenciales de información que quizás tú ya tienes y/o necesitas para tu evaluación.

Tabla.1 Fuentes de información


<font color="#000">Memorándums</font>	<font color="#000">Reporte de población </font>
Reportes	<font color="#000">Reporte de la policia </font>
Correo	<font color="#000">Artículos en periódicos </font>
Lista de asistencia a eventos	<font color="#000">Entrevistas de radio</font>
Reporte de finanzas	<font color="#000">Blogs</font>
Reporte de donaciones	<font color="#000">Artículos en revistas académicas</font>
Manual de entrenamiento de personal	<font color="#000">Estudios publicados por otras organizaciones o universidades</font>
Reporte de tallers y/o presentaciones	<font color="#000">Medios de comunicación social</font>

Lugares donde puedes acceder información fuera de la organización incluyen: biblioteca local, universidad, oficinas del gobierno, institutos de investigación, medios de comunicación (periódico, radio), Facebook, Twitter, Instagram.

Te sugerimos crear tu propia lista de los lugares que existen dentro o cerca de tu comunidad ya que te permitirá organizar tu trabajo.

Tipos de información	Que es lo que tengo:	Que necesito:
<font color="#000">Palabras (Datos Cualitativos)</font>	<font color="#000">√ Si<br> X No</font>	<font color="#000">√ Si <br>X No</font>
Apuntes de la reuniones
Holjas de proceso y de los comentarios
Informe estadistico o reporte anual
Apuntes de facilitador
Medios de comunicación (ej. Comunicados de prensa, entrevistas de radio, etc.)
Mensajes en los medios sociales (ej. Facebook, Twitter, o Blogs)
Plan de estudio del programa y folletos relacionados, hojas de actividades, etc.

Números (Datos Cuantitativos	√ Si <br> X No	√ Si <br> X No
<font color="#000">Lista de asistencia y/o las hojas de inscripción </font>
Informe estadístico o reporte anual
Hojas de admisión
Encuestas
Informes publicos (ej, los datos del censo, informes de salud publica, informes de la política, etc.)

¿Qué herramientas puedo utilizar para recolectar la información?

Existe una gran variedad y preferencias de herramientas para recolectar información. En nuestro caso pensamos que la mejor herramienta es siempre aquella que responde mejor a las circunstancias en las que se va a utilizar, es decir a la realidad en que el programa se desarrolla. Entre las más comunes y más utilizadas tenemos las encuestas, hojas de asistencia, grupos focales (sesiones de escucha), etc

La siguiente tabla le ayudará a comprender cada herramienta, su propósito y las posibles situaciones en que no recomendamos usar la herramienta en particular. Esto le ayudará a encontrar la mejor puede funcionar para su programa y las necesidades de evaluación.

Tabla. 2 Tipos de herramientas

Herramientas	En qué consiste	Utilidad	Pro y Con	No utilizarla si ...
<font color="#000">Revisión de documentación</font>	<font color="#000">En la revisión de todo el material escrito y de otros documentos</font>	<font color="#000">Te permite utilizar los documentos que ya existen que están accesibles dentro de la organización (ej., las notas de reuniones, fotos, reportes, anuales, etc.)</font>	<font color="#000">PRO: Es una manera fácil y barata de obtener información <br> <br> CON: Puede ser difícil decidir o establecer los limites de qué o no incluir.</font>	<font color="#000">Le recomendamos comenzar por este punto.</font>
Entrevista	<font color="#000">Es una conversación de uno con otra persona.</font>	<font color="#000">Te permite obtener información a fondo acerca de las experiencias de los participantes.</font>	<font color="#000">PROS: Te ayuda a crear confianza con los participantes. <br><br> Puedes obtener rica y valiosa información. <br> <br> CONS: Quizás excluyas a algunas personas porque no los puedes entrevistar a todos. <br> <br> El tiempo para completar y analizar esta información. </font>	<font color="#000">Si eres difícil de reunir el numero adecuado de participantes (muchos o muy pocos). <br> <br> Si no cuentas con el espacio para llevar a cabo la reunión. </font>
Grupos focales	<font color="#000">Es una conversación con un grupo de personas (por lo general de 4-10), en las que se discute un tema especifico.</font>	<font color="#000">Puedes obtener información a fondo de participantes.</font>	<font color="#000">PROS: Es una de las formas más participativa, transparente y democrática de obtener información. <br> <br> Puede ayudarte a formular las preguntas o actividades iniciales de la evaluación. <br><br>Este método te permite evitar opiniones extremas, y te da la oportunidad de escuchar temas nuevos o que no conocías <br> <br> CONS: Requiere tiempo y recursos coordinar los grupos focales. <br> <br> Requiere mucho tiempo analizar la información.</font>	<font color="#000">Si es dificil de reunir el numero adecuado de participantes (muchos o muy pocos). <br> <br> Si no cuentas con el espacio para llevar a cabo la reunión. <br <br>Si solo quieres información demográfica básica o información acera del programa (e) quien asiste? Cuantas veces asisten?</font>
Encuestas	<font color="#000">Son preguntas especificas acerca de un tema.</font>	<font color="#000">Te permite obtener información de una manera consistente de un grupo grande de personas.</font>	<font color="#000">PROS: Este tipo de información es fácil de reunir y organizar. <br> <br> Existen muchas tecnológicas actuales (e)., SurveyMonkey) disponibles que fácilmente manejan la recolección de estos datos. <br> <br> CONS: Puede producir una enorme cantidad de información. <br> <br> Puede ser difícil crear las preguntas adecuadas. <br> <br> Si la encuesta es muy larga corres el riesgo de que la gente no respondan o que no piensen acerca de sus respuestas solo para terminarla rápido. </font>	<font color="#000">Si no cuentas con los recursos adecuados para organizar y/o analizar los datos.</font>
Observaciones	<font color="#000">Son observaciones de personas, grupos, actividades que pueden afectar su implementación (e)., el espacio el/la facilitador, etc).</font>	<font color="#000">Te permite sumergirte en la situación en que el programa funciona, y capturar otros elementos que pueden afectar su implementación (e) ., el espacio el/la facilitador, etc.)</font>	<font color="#000">PROS: Puede ayudarte a identificar las fortalezas o debilidades de una actividad <br> <br> CONS: Requiere mucho tiempo. <br> <br> Requiere de entrenamiento y práctica. <br> <br> Muchas veces cuando las personas saben que están siendo observadas cambian su comportamiento.</font>	<font color="#000">Si no tienes los recursos, el entrenamiento o el personal con experiencia o disponible para llevar a cabo esta actividad.</font>

¿En qué momento puedo reunir la información?

Decidir cuándo reunir la información puede parecer un reto, si lo pensamos como una nueva tarea. Quizás nunca lo habías visto de esta manera, pero mucho del trabajo que llevas a cabo cada día incluye reunir información. Por ejemplo, cuando las personas vienen a la oficina en busca de servicios, por lo general ellos tienen que llenar una hoja con sus datos personales. Cuando colectes información acerca de tu programa, las únicas diferencias son el objetivo y el momento en el que llevas a cabo la actividad.

Imagínate que quieres reunir información para evaluar un programa nuevo, y que está en su fase inicial. Y tú piensas que no tienes toda la información necesaria para decidir cuál es la actividad principal para que el programa funcione. Una estrategia puede ser llevar a cabo un grupo focal para escuchar las ideas al respecto. Otra situación puede ser que el programa concluyó hace un par de meses, pero no tienes la suficiente información que te permita identificar cuáles fueron sus fortalezas y/o debilidades, en este caso una entrevista con los participantes te puede proveer esa información extra que necesitas.

El punto más importante es tener una idea clara de los objetivos de la evaluación o de la razón por la que tú quieres reunir la evidencia. Esto te ayudará también a decidir cuándo es el mejor momento para reunir la información.

Grafico 1. Oportunidades para reunir la información.

¿Cuál el posible costo en la realización de una evaluación?

Es importante ver las actividades relacionadas con la evaluación de la misma manera que cualquier otro trabajo que lleva a cabo tu organización y que requiere de un presupuesto. Y como en todo presupuesto necesitarás incluir posibles costos y los inesperados.

Determina cuáles son los componentes esenciales de tu programa y los que puedes sustituir. Considera colaborar con otra organización o agencia que te permita llevar a cabo el trabajo sin necesidad de un costo extra. A continuación te presentamos una lista de algunos elementos básicos que debes incluir en tu presupuesto:

Personal: considera empezar dentro de tu organización y determinar si cuentas con gente que tiene ya sea la experiencia o conocimiento de este tipo de trabajo, y que pueden colaborar con la tarea.
Consultor: quizás no cuentes con el personal o su experiencia es limitada, por lo que te verás en la necesidad de contratar a alguien fuera de la organización. Dicha actividad no debe de ser tomada a la ligera ya que los resultados pueden ser los no deseados. Para ayudarte en esta tarea te ofrecemos una sesión completa en Evaluadores Externos que creemos te será muy útil para encontrar el/la evaluador adecuado para tus necesidades de evaluación.
Costo de transporte: debes considerar que quizás tendrás que visitar varios lugares para obtener información, o que las actividades de tu programa se llevan a cabo en distintos lugares.
Impresión de material: tanto el programa como el trabajo de construir evidencia requerirá la producción e impresión de documentos ya sea encuestas, entrevistas, guías de grupos focales, etc. Considera este costo, y el costo de obtener información de lugares como bibliotecas, agencias del gobierno ya sea en tu estado o fuera del estado.
Material de oficina y equipo electrónico: en esta categoría incluye la computadora, cualquier paquete de programa electrónico que necesites para llevar a cabo el trabajo. Y en la actualidad con el uso de video cameras para Skype, u otros programas para video conferencias, audio, diseño de imagen etc.
Comunicación: en este categoría el costo tanto de correo tradicional, como en medios en el internet de correo profesional, llamadas telefónicas locales, nacionales o incluso internacionales.

Lo importante es considerar en detalle todas las actividades y materiales que se requieren para llevar a cabo esta tarea de una manera eficiente. Prepara tu presupuesto considerando tanto el mejor escenario como el peor. La clave es prestar atención a todos los detalles y planear para cualquier eventualidad.

¿Cómo puedo llevar a cabo una evaluación con fondos limitados?

Considera el personal y los recursos que tienes accesibles para evaluar tu programa y reasigna esos recursos de manera de que alguien está llevando a cabo las actividades de evaluación.
Considera cual es el proceso presente y la manera en la que puedes mejorar las actividades para reunir información en el área de evaluación.
Examina la posibilidad de asociarte con estudiantes de maestrías/ universidades para conseguir a bajo costo o gratis apoyo en el trabajo de evaluación.
Considera el contratar un evaluador externo y compartir los costos con otras organizaciones.
No tomes el enfoque de que “todo o nada”… incluso el comenzar con una pregunta de evaluación y luego construir actividades a través del tiempo puede ser útil.
Considera la utilización de herramientas gratuitas o de bajo costo que pueden ayudarte a reunir información y analizar rápido y fácilmente (ejemplo, SurveyMonkey, etc.)
Consejo incluye dentro de la aplicación a subvenciones las actividades de evaluación.