February 19th at 10:09am
H.ia.stoire-Mikaël
Proposition de projet :
Se que je trouve intéressant et performant dans les llms, c'est leurs capacité à créer des histoires.
C'est pour ça que je me suis intéréssé à créer un nouveau moyen de créer du divertissement.
Je profite de ce projet pour remettre en question notre façon de consommer du contenu.
Aujourd'hui, nous avons tendance à consommer les vidéos, les jeux, les séries et les films comme du fast-food. Tous doit aller toujours plus vite et de manière plus simple. Nous devenons que de simple consommateur de contenu.
Je trouve du coup particulièrement intéressant d'utiliser une nouvelle technologie, comme l'intelligence artificielle, pour proposer un nouveau moyen de divertissement. Où l'utilisateur.rice, passerai d'observateur/consommateur à acteur de ce qu'il regarde.
Mon projet se tournerais donc sur, créer un générateur d'histoire inspiré des livres dont vous êtes le héros, où l'on créerai une histoire qui se générerait devants nous et où l'on aurait des choix à faire pour construire l'histoire.
L'idée contrairement au livre dont vous êtes le héros, n'est pas de faire une aventure où notre personnage gagnerai de l'expérience et part acomplire une quête. Mais plutôt de créer tout un univers et de l'explorer, afin de mieux travailler l'imagination de la personne.
Ca passe à la fois par une partie écrite par le llm, et par de la génération d'image, qui se feras en parallèle tout en suivant le texte du llm, et qui seras plutôt minimaliste afin d'appuyer le travaille d'imagination de la personne.
Point important : Je veux que toutes les interactions se fassent à l'oral, que ce soit pour la personne et par l'ia. Ça faciliterait, l'interaction entre le llm et la personne et rajouterai de l'humanité dans ce projet.
Pour le protocole d'utilisation je l'imagine comme ça :
- L'utilisateur.rice se place sur une chaise devant un écran, cet écran auras une apllication qui lui demanderas la thématique de l'histoire qu'il ou elle voudrait créer.
- La personne fais un choix ( exemple : "Je veux une histoire de pirate".)
- Le llm commence à instaurer le début de l'histoire, avec l'univers, qu'est-ce on incarne, qu'est-ce qui nous entoure. Tout en générant l'image devant la personne.
- A la suite, le llm propose plusieurs choix.
- La personne fait son choix.
- Le llm continue la création de l'histoire avec les images
- etc...
Mise en place :
Pour la mise en place, j'ai du coup commencé par travaillé sur l’intégration d'un llm en local, et faire en sorte qu'il est le préprompt et qu'il l'applique correctement.
Je suis du coup passer par Ollama, qui me permet de faire tourner un llm en local, et j'ai choisi Mistral comme llm. Car je souhaite me servir le moins possible, de technologie de gafam pour des raisons éthique.
Une fois ollama installé avec mistral, j'ai pu récupérer le fichier système de mistral, qui me permet de lui donner un préprompt.
Ensuite pour l'utilisation, je passe par le terminal de commande pour faire mes test qui sont assez concluant !
L'avantage c'est que j'utilise un modèle très léger, qui ne fait pas plus que 5go, et j'arrive à des résultat plutôt correct et assez rapide. Il y à une bonne fluidité.
Ensuite, j'ai travaillé sur comment interagir avec la voix.
Je suis tombé sur un article d'une personne qui à réussi à assembler plusieurs outil (whisper, ollama, bark etc...) afin d'intéragir à l'oral avec notre llm, et que le llm nous répondent à l'oral.
Avec l'aide de jérémi et Jacques daniel, j'ai réussi à l'intégrer dans un environnement virtuel python, et ça fonctionne. Le seul problème actuellement, c'est que c'est TRES LENT ! L'ordinateur met environ 3 à 5 min pour générer le prompt. Je suspecte qu'il n'arrive pas à utiliser CUDA pour utiliser la carte graphique. Car avec l'ordinateur de jérémi et sur d'autre démo vidéo, c'était beaucoup plus rapide.
Suite du projet La je vais m'attaquer à la génération d'image est créer un modéle qui pourrait suivre un style d'image que je lui demande, et de le faire assez léger pour le projet.
Pour la continuité du projet, j'ai pus discuter avec Jacques daniel pour créer une application qui pourrait être fonctionnel avec Raylib. qui me permettras de gérer le llm et la génération d'image. Mais ça ne pourras surement pas être assez stable d'ici la biennale mais assez fonctionnel pour faire une démo vidéo.