Herramientas creativas para experimentar con inteligencia artificial

Se habla mucho en todo tipo de sectores sobre Inteligencia Artificial (IA). Una tecnología disruptiva y aplicable a una gran cantidad de procesos y entre ellos los artísticos. Ya te hablamos en nuestro artículo «Arte e inteligencia artificial, un cambio de paradigma«, de las relaciones entre arte e IA, así como de los artistas más representativos que hacen uso de algoritmos inteligentes y Machine Learning en sus proyectos artísticos.

Seguramente te gustaría pasar a la práctica y utilizar herramientas para aplicar IA a tus proyectos artísticos. A la hora de crear o usar IA en tus proyectos, es importante destacar que el Machine Learning realmente no es creativo en los términos en que podemos definir la creatividad humana asociada a la consciencia, sino que es un programa (no consciente) que usa todo el potencial de los datos y de la experiencia humana documentada en esos datos, para extraer patrones y crear, en base a todo ese proceso de aprendizaje. Así una aplicación de IA puede analizar toda la obra de un artista y a partir de este conocimiento, y mediante un entrenamiento, llegar a crear obras «como» lo haría ese artista.

El NoCode te acerca al uso de la tecnología del Machine Learning

Realmente el uso de IA no es solamente para programadores expertos en Python, uno de los lenguajes de programación más usados en Machine Learning. Existe todo un movimiento NoCode o tendencia, que permite crear aplicaciones y productos digitales avanzados sin tocar una sola línea de código. Esta forma de entender las aplicaciones digitales, sean del tipo que sean, disminuye la brecha tecnológica y democratiza la capacidad para crear piezas digitales a partir de unir módulos y comunicar aplicaciones sin necesidad de ser programador. Los últimos avances en IA y en espacial en la tecnología llamada GPT-3 incluso prometen aplicaciones que programen por ti, y creen programas avanzados con tan solo indicar tus necesidades.

Lógicamente si eres programador, es posible que te resulte más sencillo escribir tu código, pero incluso en algunos casos las tareas pueden ser repetitivas, y el uso del NoCode puede resultar una herramienta de productividad.

Las grandes aplicaciones para Media Art están preparadas para ser usadas con IA

Algunas de las herramientas y tecnologías de las que hablamos en hybridart como Isadora, Openframeworks, Max MSP, Touch Designer y muchas más, no han sido concebidas como IAs pero sí que pueden trabajar con librerías basadas en Machine Learning para generar piezas increibles. De hecho algunas ya incorporan complementos de Machine Learning.

El carácter abierto de estas plataformas para la creación artística, nos permite una gran flexibilidad a la hora de trabajar con otras aplicaciones ya sea como librerías adicionales, nodos, complementos, o simplemente conectándolas con la IA correspondiente para transmitir y recibir datos. La IA ha supuesto un gran avance sobre todo en la creación de piezas generativas, en la visión artificial que tanto usamos en las instalaciones interactivas, en la creación de instrumentos musicales experimentales o en la posibilidad de trabajar con grandes bases de datos en Data Art. Muchas de las plataformas que usamos para trackear o seguir el movimiento de cuerpos en una instalación interactiva o en danza interactiva, están construidas con algún tipo de IA. Por otro lado todas esas plataformas de las que hablamos permiten usar el lenguaje de programación javascript, lo que supone un nexo de unión con librerías especialmente creadas para Machine Learning y con Python.

A continuación te muestro una serie de aplicaciones y webapps sencillas, que podríamos llamar NoCode, donde podrás crear con IA desde sonidos a visuales, directamente desde el navegador y sin necesidad de tener ningún conocimiento técnico. Y por supuesto podrías animarte a conectar tu set con alguna de ellas ya que lo permiten. Es el caso de las aplicaciones musicales hechas con Magenta que puedes conectarlas desde Chrome vía MIDI.

También existe una gran variedad de apps para Iphone o dispositivos Android, muchas de ellas comerciales que utilizan IA para mejorar tus retratos o para crear imágenes. En este listado nos centraremos en aplicaciones gratuitas, de código abierto o que por sus características pueden ser una buena herramienta creativa.

Música y sonido generados por IA:

Desde los siguientes enlace podrás acceder gran cantidad de aplicaciones web experimentales, de uso gratuito y que funcionan desde el navegador. Algunas de ellas incorporan MIDI y para interactuar con ellas con tu programa de producción musical o con tu instrumento electrónico, ten en cuenta que necesitas un navegador que tenga incorporado el estándar Web MIDI.

También te podrás descargar instrumentos para Pure Data, Max MSP o Ableton Live, que hacen uso de IA.

• Magenta Studio : una colección de complementos de música basados ​​en las herramientas y modelos de código abierto de Magenta.  Dispone de un plugin para Ableton Live, además de una aplicación standalone mediante las cuales puedes proponer al programa una melodía, un ritmo o una armonía, y la IA continúa componiendo basándose en lo que tu le has propuesto.
• AI Duet : toca con un piano que te responde. Si cargas esta aplicación con Chrome o un navegador que incorpore Open Midi, puedes conectar tu teclado.
• MuseNet : genera composiciones musicales de 4 minutos con 10 instrumentos y combina estilos con MuseNet (también disponible en GitHub para poder instalarla en tu web)

Plataformas para trabajar con imágenes e IA

Es importante destacar que aunque estéticamente algunas de las aplicaciones puedan parecerse a filtros comerciales de Photoshop o algún otro programa comercial, la diferencia es muy grande. Hay que decir que algunos de esos programas comienzan a utilizar Machine Learning pero hasta ahora esos filtros espectaculares estaban prediseñados por una persona y con unas opciones limitadas para que tu pudiseses interactuar.

Por ejemplo, Photoshop tiene un filtro que aplica un estilo puntillista a una foto, tal y como lo harían los artistas puntillistas, pero ese filtro ha sido programado por una persona y tiene unos controles muy limitados. La IA va más allá, y te permite que subas una foto o una pintura, ilustración, con un tipo de trazo, y puedas aplicar a otra imagen, ese mismo estilo. Además y es lo más potente, puedes valorar sus resultados para que cada vez aprenda a hacerlo mejor.

• Runway ML : una herramienta sencilla y sin código que simplifica la experimentación con modelos de aprendizaje automático de forma creativa.
• Magenta es un proyecto de investigación de código abierto que explora el papel del aprendizaje automático como herramienta en el proceso creativo. (Se requieren habilidades de codificación).
• Processing es un lenguaje de programación y un entorno de desarrollo de código abierto basado en Java, de fácil utilización, y que sirve como medio para la enseñanza y producción en el contexto de las artes visuales. Incluye p5js (procesamiento para JavaScript) y Processing.py (procesamiento para Python). El motor de Processing no utiliza IA, pero es una gran herramienta para el arte visual generativo y por supuesto podemos conectar nuestros patches con IA.
• ml5.js – ml5.js tiene como objetivo hacer que el aprendizaje automático sea accesible para una amplia audiencia de artistas, programadores creativos y estudiantes a través de la web.

Aplicaciones gratuitas que generan imágenes con IA

• Deep Dream Generator estiliza las imágenes utilizando versiones mejoradas de Google Deep Dream con Deep Dream Generator.
• DeepArt.io es una IA que permite aplicar diferentes estilos artísticos a una foto. Los estilos no son cerrados, puedes subir una obra hecha por ejemplo con tus trazos y la tomará como modelo para aplicar esos mismos trazos a otra imagen. Otra versión del mismo concepto pero más limitado es Dreamscope
• Visionista carga y aplica estilos de AI Art a tus fotos, incluidos filtros abstractos, retratos recortados y más (app solo para iOS. Hecha por 3DTOPO Inc.).
• GoArt crea efectos fotográficos con IA que hagan que tus fotos parezcan retratos de famosos pintores, con este generador de imágenes con IA. (Web, Android e iOS. Realizada por Fotor).
• Deep Angel elimina automáticamente objetos o personas de las imágenes. (Web. Realizado en MIT).
• Google Deep Dream es un repositorio de GitHub para implementar Google Deep Dream.
• ArtBreeder fusiona imágenes para crear nuevas imágenes, crea portales de IA híbridos y crea nuevas formas y seres extraños.

Dibujo AI / Pintura AI:

• AutoDraw convierte tu boceto en imágenes prediseñadas con esta herramienta de dibujo de IA.
• Pintor AI convierte tus fotos en pinturas AI o crea arte abstracto con este generador de pintura de red neuronal.
• ¡Dibujo rapido! es un juego en el que una red neuronal intenta adivinar lo que estás dibujando. Dibuja junto con la inteligencia artificial y las redes neuronales con esta aplicación de dibujo de Google.
• Demostraciones de Sketch-RNN dibuja junto con una red neuronal.
• Cartoonify convierte tu retrato en un dibujo animado.

Conjuntos de datos

Hemos hablado del arte basado en datos, en realidad todo el arte creado con ordenadores funciona con datos, pero en este caso nos referimos a datos estadísticos y grandes bases de datos abiertas para incorporar a tus creaciones con aplicaciones IA.
Estos dos enlaces son buscadores de fuentes de datos muy interesantes: datos demográficos, estadísticos, de gobiernos, de instituciones, científicos, médicos, etc.

• Búsqueda de conjuntos de datos de Google
• Conjuntos de datos abiertos de Kaggle

Palabras y escritura

Los avances en lenguaje natural han sido realmente asombrosos con el desarrollo del Machine Learning. Se ha llegado al punto en que es indistinguible un artículo creado por una persona del redactado por una máquina, ya que estas aplicaciones están continuamente aprendiendo de los millones y millones de textos que ha escrito el ser humano.
De la misma forma que la IA crea lenguaje natural, también puede programar y crear aplicaciones con una sola instrucción.

• GPT-3 : un modelo de lenguaje líder generado por computadora, creado por OpenAI.
• Semantris : juegos de asociación de palabras con tecnología de búsqueda semántica.
• Escritura a mano con una red neuronal : juega con una red neuronal que genera escritura a mano en función de su estilo de escritura.

Voz generada por IA

• Garabatear voz : convierte la voz en tiempo real en dibujos animados.
• Traductor de cosas: toma una foto de algo para escuchar cómo se dice en un idioma diferente.

Visualización de datos generados por IA

• Atlas de activación :  crea un atlas explorable de características que una red ha aprendido.
• Lo que ven las redes neuronales : visualización de capas en una red neuronal por Gene Kogan.
• Visualización de espacios de grandes dimensiones : visualiza cómo funciona el aprendizaje automático.
• t-SNE : crea atractivos “mapas” bidimensionales a partir de datos con cientos o incluso miles de dimensiones.

Aprendizaje

• Máquina con capacidad de aprendizaje : enseña el mundo a una máquina con tu cámara, en vivo en el navegador sin código.

Tipografía:

• FontJoy :genera combinaciones de fuentes con aprendizaje profundo.
• Font Map: descubre nuevas relaciones entre fuentes con el aprendizaje automático y este mapa de fuentes interactivo.

GAN o Redes de aprendizaje antagónico

Este tipo de redes de son en 2020 uno de los grandes avances en inteligencia artificial y junto con el GPT2, están dando muchísimo que hablar ya que gracias a estas tecnologías, las máquinas están creando de una forma cada vez más autónoma.

De alguna forma GAN supone una IA que puede aprender por si misma, un gran avance que todavía está en pañales pero abre grandes caminos, yo diría autopistas al mundo de la creatividad de las máquinas.

En esta aplicación de GAN, realizas un gato y la IA completa el dibujo con todo tipo de detalles:

• GAN Zoo : lista de GAN con nombre, actualizada con regularidad.
• Aplicaciones impresionantes de GANS : lista seleccionada de demostraciones y GAN.

Bibliotecas de aprendizaje automático:

• TensorFlow.js : una biblioteca para desarrollar y entrenar modelos de AA en JavaScript.
• scikit-learn : una de las herramientas más populares para la minería y el análisis de datos. Basado en NumPy, SciPy y matplotlib Open source, comercialmente utilizable (licencia BSD).