{"id":11387,"date":"2023-03-31T19:28:44","date_gmt":"2023-03-31T17:28:44","guid":{"rendered":"https:\/\/www.roumazeilles.net\/news\/fr\/wordpress\/?p=11387"},"modified":"2023-03-31T19:41:04","modified_gmt":"2023-03-31T17:41:04","slug":"installer-llama-sous-windows","status":"publish","type":"post","link":"https:\/\/www.roumazeilles.net\/news\/fr\/wordpress\/2023\/03\/31\/installer-llama-sous-windows\/","title":{"rendered":"Installer LLaMA sous Windows"},"content":{"rendered":"\n

Je voulais jouer avec quelque chose de semblable \u00e0 ChatGPT dont on parle tant. J’ai un PC sous Windows 10 reposant sur un Intel i9-13900K (\u00e0 peu pr\u00e8s le top de la performance aussi bien en single core <\/em>qu’en multicore<\/em>) et 64 Go de DRAM (davantage que la plupart des utilisateurs, mais j’ai bien compris que ces LLM ont aussi besoin d’une m\u00e9moire colossale pour le stockage de leurs param\u00e8tres et pour leur ex\u00e9cution).<\/p>\n\n\n\n

Voil\u00e0 comment faire (gr\u00e2ce \u00e0 l’aide pr\u00e9cieuse de Xanny.eth<\/a>).<\/p>\n\n\n\n

WSL et environnement Linux<\/h2>\n\n\n\n

Installer et configurer WSL, en ouvrant une fen\u00eatre PowerShell o\u00f9 saisir :<\/p>\n\n\n\n

wsl --install<\/code><\/pre>\n\n\n\n
Cela prend quelques minutes \u00e0 s’installer. Mais il n’y a rien \u00e0 faire qu’\u00e0 attendre que \u00e7a se passe. ne pas oublier de rebooter \u00e0 la fin.<\/p>\n\n\n\n
Installer Ubuntu 22 LTS sur le PC Windows. C’est une application gratuite du Microsoft Store qui devrait s’installer en un clic.<\/p>\n\n\n\n
Une fois fait, lancer Ubuntu depuis le menu D\u00e9marrer. Cela va ouvrir une fen\u00eatre terminal et demander login et un mot de passe. Ob\u00e9issez docilement (et ne les oubliez pas).<\/p>\n\n\n\n
Installation des d\u00e9pendances Linux de LLaMA<\/h2>\n\n\n\n
S’il n’y en a pas, ouvrez une fen\u00eatre terminal Ubuntu.<\/p>\n\n\n\n
sudo apt-get update\nsudo apt install make cmake build-essential python3 python3-pip git unzip<\/code><\/pre>\n\n\n\n
Puis<\/p>\n\n\n\n
python3 -m pip install torch numpy sentencepiece<\/code><\/pre>\n\n\n\n
Vous avez maintenant l’ensemble des d\u00e9pendances n\u00e9cessaires en arri\u00e8re-plan.<\/p>\n\n\n\n
Construction de LLaMA lui-m\u00eame<\/h2>\n\n\n\n
C’est assez simple puisqu’il suffit de taper les commandes suivantes :<\/p>\n\n\n\n
git clone https:\/\/github.com\/ggerganov\/llama.cpp\ncd llama.cpp\nmake<\/code><\/pre>\n\n\n\n
\u00c7a devrait le faire.<\/p>\n\n\n\n
Les param\u00e8tres de training<\/h2>\n\n\n\n
Le vrai probl\u00e8me se trouve ici et se pr\u00e9sente sous deux formes :<\/p>\n\n\n\n
    \n
  1. Plus les param\u00e8tres sont nombreux, plus il vous faudra de m\u00e9moire DRAM au moment de l’ex\u00e9cution de LLaMA. les alpaca-native-weights<\/a> (apparemment les plus puissants facilement accessibles – semble-t-il au niveau de ChatGPT 3) demandent plus de 16 Go de DRAM (j’ai observ\u00e9 une consommation de 32 Go de DRAM alors que j’utilisais LLaMA avec un paquet d’autre petites choses comme deux navigateurs web, un logiciel de mail, etc.)<\/li>\n\n\n\n
  2. Les alpaca-native-weights<\/a> contiennent environ 7 milliards de param\u00e8tres (un fichier de plus de 4 Go \u00e0 t\u00e9l\u00e9charger). Mais ils ne sont jamais au m\u00eame endroit parce qu’il semble que la licence soit un peu… compliqu\u00e9e ; sans doute open source, mais c’est contest\u00e9 par Meta et d’autres). Ainsi, le mieux \u00e0 faire est d’aller sur Pastebin<\/a> pour r\u00e9cup\u00e9rer le magnet BitTorrent pour t\u00e9l\u00e9charger le fichier.<\/li>\n<\/ol>\n\n\n\n
    Ensuite, le fichier ggml-alpaca-7b-q4.bin doit \u00eatre d\u00e9pos\u00e9 dans le r\u00e9pertoire de llama.cpp.<\/p>\n\n\n\n
    Lancer LLaMA<\/h2>\n\n\n\n
    Le grand moment est venu : lancer l’application. C’est simplement une affaire de ligne de commande dans Ubuntu :<\/p>\n\n\n\n
    .\/main --color -i -ins -n 512 -p \"You are a helpful AI who will assist, provide information, answer questions, and have conversations.\" -m ggml-alpaca-7b-native-q4.bin<\/code><\/pre>\n\n\n\n
    Apr\u00e8s quelques secondes d’attente, un > (vert) accueille votre premier prompt. A vous de parler \u00e0 John Smith, votre assistant (semi) intelligent.<\/p>\n\n\n\n
    Quelques autres id\u00e9es<\/h2>\n\n\n\n
    J’ai remarqu\u00e9 une petite poign\u00e9e d’id\u00e9es \u00e0 appliquer apr\u00e8s vos premiers essais.<\/p>\n\n\n\n
    Le param\u00e8tre -p (suivi d’une chaine de texte) est important parce qu’il donne un environnement de d\u00e9part. C’est un prompt d’initialisation qui n’appara\u00eet pas \u00e0 l’utilisateur, mais qui influence s\u00e9rieusement la suite. Par exemple, c’est similaire \u00e0 ce que Microsoft ou OpenAI appliquent en amont<\/a> de ChatGPT ou Bing pour \u00ab\u00a0lui donner une personnalit\u00e9\u00a0\u00bb ou \u00ab\u00a0le censurer\u00a0\u00bb. Vous pouvez librement jouer l\u00e0-dessus pour votre propre IA. Soit pour censurer son comportement, soit pour le lib\u00e9rer. C’est votre choix.<\/p>\n\n\n\n
    le param\u00e8tre -n 512 donne de la profondeur \u00e0 la pr\u00e9diction des tokens. En allongeant ou r\u00e9duisant celui-ci, vous allez influencer la capacit\u00e9 de votre IA. Au risque de jouer sur le temps de calcul…<\/p>\n\n\n\n
    Le param\u00e8tre -t 32 (la valeur par d\u00e9faut) permet de d\u00e9finir le nombre de threads g\u00e9n\u00e9r\u00e9s par LLaMA pour ses calculs. Je recommande de l’aligner sur le nombre de threads\/cores de votre processeur pour plus d’efficacit\u00e9.<\/p>\n","protected":false},"excerpt":{"rendered":"
    Je voulais jouer avec quelque chose de semblable \u00e0 ChatGPT dont on parle tant. J’ai un PC sous Windows 10 reposant sur un Intel i9-13900K (\u00e0 peu pr\u00e8s le top de la performance aussi bien en single core qu’en multicore) et 64 Go de DRAM (davantage que la plupart des utilisateurs, mais j’ai bien compris […]<\/p>\n","protected":false},"author":1,"featured_media":11398,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[2002,1774],"tags":[1991,1986,2000,2001],"class_list":["post-11387","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-intelligence-artificielle","category-windows-10","tag-chatgpt","tag-ia","tag-llama","tag-llm"],"_links":{"self":[{"href":"https:\/\/www.roumazeilles.net\/news\/fr\/wordpress\/wp-json\/wp\/v2\/posts\/11387","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.roumazeilles.net\/news\/fr\/wordpress\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.roumazeilles.net\/news\/fr\/wordpress\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.roumazeilles.net\/news\/fr\/wordpress\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.roumazeilles.net\/news\/fr\/wordpress\/wp-json\/wp\/v2\/comments?post=11387"}],"version-history":[{"count":14,"href":"https:\/\/www.roumazeilles.net\/news\/fr\/wordpress\/wp-json\/wp\/v2\/posts\/11387\/revisions"}],"predecessor-version":[{"id":11410,"href":"https:\/\/www.roumazeilles.net\/news\/fr\/wordpress\/wp-json\/wp\/v2\/posts\/11387\/revisions\/11410"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.roumazeilles.net\/news\/fr\/wordpress\/wp-json\/wp\/v2\/media\/11398"}],"wp:attachment":[{"href":"https:\/\/www.roumazeilles.net\/news\/fr\/wordpress\/wp-json\/wp\/v2\/media?parent=11387"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.roumazeilles.net\/news\/fr\/wordpress\/wp-json\/wp\/v2\/categories?post=11387"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.roumazeilles.net\/news\/fr\/wordpress\/wp-json\/wp\/v2\/tags?post=11387"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}