Extracción de datos biológicos a partir de videos

El objetivo de estos experimentos es optimizar el proceso de extracción de datos biológicos a partir de videos de aves y que estos puedan servir para encontrar respuestas y aportar valor a una investigación o proceso. Para esto, usamos herramientas de código abierto y sistema operativo Linux.

Estudiar el comportamiento de las aves es de las cosas más fascinantes que se pueden hacer, es a la vez una tarea dispendiosa sobre todo cuando hablamos de especies que no son muy comunes o que viven en sitios alejados.

Una de las estrategias de las que se valen los biólogos y ornitólogos, es grabar su comportamiento en video durante largas horas. Sin embargo, los videos por si solos no constituyen un resultado, más bien son la herramienta; luego hay que extraer datos y buscar respuestas en ellos.

La forma cómo se hace actualmente esta tarea en muchos sitios es manual. Es decir, ver el video. Encontrar algo importante. Pausar el video. Registrar el dato. Continuar viendo el video, y así hasta terminar. Esto hace que un video de 20 minutos tome hasta 1 hora de revisión, encontrando 15 minutos de actividad y en algunos casos menos o ninguna.

Pensando siempre en la forma de optimizar esta tarea, pues aunque puede ser muy divertida para muchos, resulta poco eficiente, hemos iterado varias veces el proceso.

Turpial comiendo platano maduro
YELLOW ORIOLE, Turpial amarillo (Icterus nigrogularis)
Tomado con Raspberry Pi + cámara sonda cortesía de Galopago projects
Las estrategias que hemos utilizado han sido:
  1. Normalización de formatos: De una buena captura de datos depende que todo el proceso de allí en adelante tenga éxito. Para esto nos aseguramos que los datos tengan los formatos normalizados, incluimos listas desplegables y ayudas para garantizar que los datos sean uniformes, de manera que no presenten ninguna inconsistencia cuando sean exportados y analizados con R o Python, según sea el caso.
  2. Ayuda artificial: Para encontrar en el video los momentos en los que había actividad y de esa forma no tener que ver todo el contenido cuando no sucede nada. Esta tarea la hicimos usando xxxx y en el proceso nos encontramos con que presentaba falsos positivos (una rama movida por el viento, un insecto grande, otra especie de ave, el cambio de iluminación) y falsos negativos (en donde sí sucedían eventos, pero no se detectaban).
  3. Trabajar con 2 pantallas (en una tener el registro de datos y en otra manipular el video): Es como tener dos computadores. Encontramos desventajas en la disponibilidad del espacio físico y el tener que estar cambiando las manos de teclado.
  4. Dividir la pantalla en dos: Esta ha sido la técnica que mejor ha funcionado hasta ahora. En un lado se controla el video y en el otro se registran los datos.
  5. Teclado numérico programable: En este teclado se programaron los comandos para manejo del video en una sola tecla, esto hace más rápido el control del video.
    • Foto del Teclado [Marca- Modelo] configuración(Link al proyecto) cortesía de Galopago projects
  6. Pedal: Esto aunque parece de las cosas más simples, ha sido de gran ayuda pues se puede tener los dedos libres para la digitación, ya que el pedal se usa para pausar y reproducir el video. Por ahora solo maneja la aplicación en la que tiene el foco, por lo que habría que programarla para que solo maneje el video en segundo plano, mientras se tiene en el primer plano los registros.
    • Foto del Pedal [Marca- Modelo] configuración en máquina virtual (Link al proyecto -software en chino) cortesía de Galopago projects
Retos para el Futuro
  • Usar inteligencia artificial, que pueda reconocer individuos específicos.
  • En el formato existen varios tipos de comportamiento que se deben registrar. El programa debería estar en capacidad de diferenciar cuando un individuo está alimentando a la cría de cuando está teniendo una interacción interespecífica (con la misma especie) o intraespecífica (con otra especie).
  • Identificar que tipo de alimento lleva el ave en el pico, si es insecto o fruta. O si está extrayendo del nido basura o bolsa fecal.

El estar ensayando mejores formas de hacer el trabajo pareciera una tarea de nunca acabar y por ahora no nos cansamos. Así que si conoces o se te ocurren otras formas de optimizar este proceso, te agradecemos mucho que nos las compartas.

 

Publicaciones relacionadas