Voilà comment faire (grâce à l’aide précieuse de Xanny.eth).

WSL et environnement Linux

Installer et configurer WSL, en ouvrant une fenêtre PowerShell où saisir :

wsl --install

Cela prend quelques minutes à s’installer. Mais il n’y a rien à faire qu’à attendre que ça se passe. ne pas oublier de rebooter à la fin.

Installer Ubuntu 22 LTS sur le PC Windows. C’est une application gratuite du Microsoft Store qui devrait s’installer en un clic.

Une fois fait, lancer Ubuntu depuis le menu Démarrer. Cela va ouvrir une fenêtre terminal et demander login et un mot de passe. Obéissez docilement (et ne les oubliez pas).

Installation des dépendances Linux de LLaMA

S’il n’y en a pas, ouvrez une fenêtre terminal Ubuntu.

sudo apt-get update
sudo apt install make cmake build-essential python3 python3-pip git unzip

Puis

python3 -m pip install torch numpy sentencepiece

Vous avez maintenant l’ensemble des dépendances nécessaires en arrière-plan.

Construction de LLaMA lui-même

C’est assez simple puisqu’il suffit de taper les commandes suivantes :

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make

Ça devrait le faire.

Les paramètres de training

Le vrai problème se trouve ici et se présente sous deux formes :

1. Plus les paramètres sont nombreux, plus il vous faudra de mémoire DRAM au moment de l’exécution de LLaMA. les alpaca-native-weights (apparemment les plus puissants facilement accessibles – semble-t-il au niveau de ChatGPT 3) demandent plus de 16 Go de DRAM (j’ai observé une consommation de 32 Go de DRAM alors que j’utilisais LLaMA avec un paquet d’autre petites choses comme deux navigateurs web, un logiciel de mail, etc.)
2. Les alpaca-native-weights contiennent environ 7 milliards de paramètres (un fichier de plus de 4 Go à télécharger). Mais ils ne sont jamais au même endroit parce qu’il semble que la licence soit un peu… compliquée ; sans doute open source, mais c’est contesté par Meta et d’autres). Ainsi, le mieux à faire est d’aller sur Pastebin pour récupérer le magnet BitTorrent pour télécharger le fichier.

Ensuite, le fichier ggml-alpaca-7b-q4.bin doit être déposé dans le répertoire de llama.cpp.

Lancer LLaMA

Le grand moment est venu : lancer l’application. C’est simplement une affaire de ligne de commande dans Ubuntu :

./main --color -i -ins -n 512 -p "You are a helpful AI who will assist, provide information, answer questions, and have conversations." -m ggml-alpaca-7b-native-q4.bin

Après quelques secondes d’attente, un > (vert) accueille votre premier prompt. A vous de parler à John Smith, votre assistant (semi) intelligent.

Quelques autres idées

J’ai remarqué une petite poignée d’idées à appliquer après vos premiers essais.

Le paramètre -p (suivi d’une chaine de texte) est important parce qu’il donne un environnement de départ. C’est un prompt d’initialisation qui n’apparaît pas à l’utilisateur, mais qui influence sérieusement la suite. Par exemple, c’est similaire à ce que Microsoft ou OpenAI appliquent en amont de ChatGPT ou Bing pour « lui donner une personnalité » ou « le censurer ». Vous pouvez librement jouer là-dessus pour votre propre IA. Soit pour censurer son comportement, soit pour le libérer. C’est votre choix.

le paramètre -n 512 donne de la profondeur à la prédiction des tokens. En allongeant ou réduisant celui-ci, vous allez influencer la capacité de votre IA. Au risque de jouer sur le temps de calcul…

Le paramètre -t 32 (la valeur par défaut) permet de définir le nombre de threads générés par LLaMA pour ses calculs. Je recommande de l’aligner sur le nombre de threads/cores de votre processeur pour plus d’efficacité.

• Une approche quasi-industrielle qui reposait sur la programmation utilisant des langages (aujourd’hui considéré comme ésotériques) comme Lisp ou Prolog. Ils favorisaient une approche plus performante que la programmation de toutes les étapes d’une réflexion étape par étape ; ils laissaient entrevoir une orientation vers approche plus efficace.
• Des travaux universitaires qui avaient pris le chemin de « simuler » le fonctionnement des neurones comme base de leur démarche.

Aujourd’hui, il faut bien admettre que, malgré un départ énergique dans les années 80, la première approche a quasiment disparu. Qui parle encore du langage Lisp ? Qui se souvient de Prolog ? Les machines spécialisées conçues à l’époque ont été supplantées par les progrès rapides des ordinateurs standard (les « stations de travail » de Sun, puis les micro-ordinateurs, etc.)

A l’opposé, les thèses de doctorat que je surveillais seulement d’un œil curieux mais distrait sont devenues les bases du « Machine Learning ». En partant de quelques « neurones », nous sommes arrivés à des solutions (qui utilisent une considérable puissance de calcul) et l’on ne parle plus que de ML.

C’est alors que ces derniers mois arrivent dans le grand public ces solutions ML avec lesquelles chacun peut jouer. Dall-E et MidJourney ont par exemple apporté une extraordinaire capacité à produire des images à partir d’une description textuelle. Si vous êtes artiste ou créateur graphique, vous ne pouvez plus les ignorer dans votre vie professionnelle. C’est fascinant.

La prochaine étape : une IA qui soit capable de discuter utilement avec un être humain (le fameux test de Turing). La technologie n’en est plus très éloignée depuis que nous pouvons jouer avec ChatGPT.

Un ami amateur de jeux de mots avait rédigé cette petite plaisanterie sur son blog:

Blanche-Neige inconsolable ; le Prince charmant qui lui dédiait des messages sur Facebook n’était qu’un nain posteur.

https://topsucre.blogspot.com/2022/09/blanche-neige-inconsolable.html?m=1

N’importe quel francophone reconnaîtra un trait d’humour qui semblait hors de portée des programmes d’Intelligence Artificielle. Jusqu’ici… Mais que se passe-t-il quand on soumet ce sujet à ChatGPT ? Je vous laisse découvrir ce qui m’a assurément surpris :

La première réponse ne laisse pas de surprendre par la profondeur des données utilisées (et bien utilisées) pour réagir et répondre à la question. Bien entendu, l’IA construit une réponse sur la base de « statistiques » sur ce qui doit être la réponse et la construction la plus probable d’une telle réponse dans le contexte. Mais la deuxième question apporte aussi son lot de surprises, n’est-ce pas ?

Quelques unes des nombreuses conséquences de ce nouvel état des choses :

• Il devient enfantin de créer une multitude de sites web qui auraient parfaitement l’air d’être originaux en n’étant que des copies (certainement pas des pales copies) de ce qui se trouve sur le web à propos d’un sujet donné. [New York Post]
• Certains sont tentés de croire que cela dénote l’émergence d’une véritable conscience, d’une intelligence au sens le plus large du terme. [Courrier International]
• Certains profs vont avoir du mal à détecter le plagiat dans certaines copies de fac. Il ne suffira plus de mettre des morceaux de la copie douteuse dans Google Search. Les étudiants pourront peut-être bientôt produire des papiers complets sur un sujet donné.
• Des outils comme CoPilot permettent déjà à des programmeurs de « générer du code » à partir de presque rien (le nom d’une fonction, le commentaire qui décrit la fonction). On connaissait les programmes qui complétaient le code déjà écrit. Mais on arrive à des choses étonnantes, plus étendues que chercher des exemples de code sur StackOverflow pour les copier dans VisualStudio [Medium]
• Certains auteurs peuvent se faire du mouron. Je pense dès maintenant à :
  • Les auteurs de romans à l’eau de rose déjà produits au kilomètre, sur un cahier des charges très détaillé.
  • Les clercs de notaire ou les assistants d’avocat qui vont voir la production de documents déjà stéréotypés passer entre d’autres mains.
  • Et pourquoi pas les rédacteurs de blagues et de sketches humoristiques dans quelques années (ou quelques mois).

Je ne m’étends pas sur les erreurs, les ratés, les biais et les horreurs qui sortent parfois de la bouche (ou du terminal) de ChatGPT (et d’autres). Il y a encore bien du chemin à faire. Mais la technologie avance à grand pas.