¡Machine learning está en todas partes! Ahora lo impulsa todo, desde los algoritmos de detección de tumores hasta los programas de reconocimiento facial. Este tipo de inteligencia artificial es ahora tan omnipresente que no nos lo pensamos dos veces. Es una tecnología fundamental. Pero como la gente se ha acostumbrado al «machine learning en todas partes», ha pasado por alto uno de los retos del aprendizaje automático: su impacto energético.
En la actualidad, el entrenamiento de modelos muy complejos suele requerir un consumo de energía asombroso. Los investigadores que revisaron una destacada arquitectura utilizada para el procesamiento del lenguaje natural descubrieron que, en una ocasión, el entrenamiento del modelo requirió más de 650.000kWh de energía durante 84 horas. Esto generó aproximadamente el mismo impacto estimado de emisiones de CO2 que tendrían 57 seres humanos a lo largo de todo un año de sus vidas.
Sin nuevos enfoques, el impacto energético del aprendizaje automático podría ser rápidamente insostenible. Entonces, ¿cómo podemos utilizarlo de forma responsable? Para empezar, necesitamos conocer bien la relación entre los enfoques utilizados para entrenar un modelo y la energía que requieren.
En Accenture hemos realizado varios experimentos para medir el consumo de energía para el entrenamiento de modelos, ajustando diferentes parámetros de la arquitectura. Utilizamos un conjunto de datos disponible públicamente introducido por el estadístico y biólogo británico Ronald Fisher en 1936. Para cada una de las tres especies de flores de iris, contiene 50 muestras. Decidimos investigar qué ocurre cuando entrenamos una pequeña red neuronal con este conjunto de datos.
Un algoritmo de aprendizaje automático realiza un número de pasadas, o «épocas», sobre un conjunto de datos mientras se entrena. En nuestra investigación, siempre había un umbral de épocas en el que la precisión del modelo se estabilizaba rápidamente, pero el consumo de energía seguía aumentando. Por ejemplo, a medida que avanzábamos en el entrenamiento, el modelo sólo consumía 964 julios de energía para alcanzar una precisión de entrenamiento del 96,17%. Pero para conseguir una mejora adicional del 2,5% en la precisión, el modelo necesitó más de 15 veces más energía en el entrenamiento adicional: 15.077 julios adicionales.
Para ponerlo en términos prácticos, esa cantidad de energía podría encender una bombilla LED de 7W en un hogar rural durante casi 40 minutos. Si eso no parece un gran impacto a primera vista, recuerde lo que dijimos acerca de que el aprendizaje automático es omnipresente. Si podemos ahorrar incluso pequeñas cantidades de energía cada vez que se entrenan los modelos de aprendizaje automático, podríamos tener un impacto significativo en el uso de la energía y la sostenibilidad.
También descubrimos que los conjuntos de datos de entrenamiento más grandes requieren mucha más energía para entrenar los modelos (como es de esperar), pero no necesariamente conllevan un beneficio proporcional en la precisión. En un experimento con un pequeño modelo de red neuronal convolucional (CNN), probamos a utilizar sólo el 70% de los datos de entrenamiento y lo comparamos con los resultados de utilizar todo el conjunto. El uso de todo el conjunto consumió un 47% más de energía, pero la precisión del modelo resultante apenas superó al entrenado con sólo el 70% del conjunto. La mejora en la precisión no fue ni del 1%.
En resumen: hoy en día existen vías viables para entrenar modelos de aprendizaje automático de forma sostenible y eficiente desde el punto de vista energético. Puede empezar por pensar en su caso de uso: ¿cuál es la precisión que debe tener su modelo? Si está clasificando imágenes médicas para ayudar a los médicos a diagnosticar a los pacientes, maximizar la precisión mediante más épocas de entrenamiento o un conjunto de datos más grande puede merecer el impacto energético adicional. Si está utilizando la tecnología para un propósito menos crítico, puede haber un objetivo de precisión menor que satisfaga sus necesidades y ahorre energía en el entrenamiento.
También hay que considerar otras opciones tecnológicas. ¿Es necesario crear y entrenar un nuevo modelo desde cero? El aprendizaje por transferencia, en el que un modelo existente se reutiliza para una tarea diferente, puede ser otra opción para ahorrar energía y tiempo.
Se de impulsar un enfoque general para el aprendizaje automático que se asemeja a lo que se hace cuando se realizan las pruebas finales de software para clasificar los errores que quedan en un sistema. En esos casos, el nivel de fiabilidad global del software se equilibra con el esfuerzo necesario para encontrar y eliminar cualquier otro fallo sin introducir otros nuevos. Si ese esfuerzo es muy intenso y el software es ya aceptablemente fiable, se libera.
Necesitamos un enfoque similar para tomar decisiones informadas sobre la formación y la precisión de los modelos, a la vez que somos eficientes energéticamente con el ML. Y no hay que olvidar los rápidos avances que se están produciendo en el hardware especializado y en los marcos informáticos para el aprendizaje automático. Las arquitecturas informáticas tradicionales necesitan mucha potencia para realizar tareas de aprendizaje automático. Pero enfoques como la computación neuromórfica se adaptan mejor a las necesidades del aprendizaje automático y, a medida que alcancen la madurez, proporcionarán otra vía hacia el ML eficiente desde el punto de vista energético.
Hay una comunidad y un esfuerzo creciente en torno a la creación de machine learning más eficiente y sostenible, y con razón. Así como ha sucedido con lo digital, donde hoy las organizaciones son nativas digitales, o están en un proceso de transformación digital, en el futuro cercano sucederá que toda organización tendrá que necesariamente ser sustentable. Sustentabilidad es el nuevo digital.
