Dérive de l'IA et Chat IA vertueux (autant que possible)

Ecosia utilise une version light de Mistral, après avoir tourné quelques temps sur une mini-version de ChatGPT. Mistral n'est pas écolo en soi, mais européen. Ce que revendique Ecosia c'est l'origine de l'énergie utilisée pour faire tourner ses engins, et le fait qu'ils sont plus économes que les grosses versions comme les ChatGPT et Gemini que l'on trouve un peu partout.

Pour ce qui est des IA "éthiques", Claude (Anthropic) est plutôt bien placé. C'est la seule entreprise qui fait appel à une philosophe pour définir ses orientations éthiques, et cette IA a même une "constitution", un ensemble de principes sur lesquelles elle est basée.

@Festif le plus fou c'est que les réponses soient en fait si proches, cad dans le spectre de l'intelligible si tu comptes pas l'abject. Les transformers et les alignements post-training similaires tendent à faire converger le truc, mais la représentation d'un chat chez gemini c'est pas du tout au même endroit dans l'espace des représentations qu'un chat chez gpt. Aucun des deux n'a la moindre idée de ce qu'est un chat, mais les deux ont construit un autour du chat qui fait qu'on pourrait être mener à croire qu'ils parlent du même. Ça c'était pas une évidence au départ.

Les alignements commerciaux ont cette facheuse tendance a tellement vouloir rester dans le politiquement correct qu'ils cautionneraient presque par omission les pires horreurs. L''éthique est plus conscrite par censure de ce qui serait considéré toxique au plus grand nombre. Mais c'est précisément ce qui ouvre la porte au flooding je trouve, lorsque la statisque devient la norme que l'on amalgame à la vérité, genre grokpédia renvoie 10 résultats, wiki 5 nature 2, c'est donc grok qui aurait raison.

Claude essaye de construire différemment, en faisant plus gaffe sur ce qui est donné au départ et comment c'est géré ensuite, mais ça reste du patch sur une base toxique par construction. La tokénisation par essence c'est l'erreur de la mesure mais systématique en qq sorte. Le Cunn essaye de sortir du truc, mais c'est refaire les RL des années 90 en plus classe jusqu'ici, je trouve..

@Merlin

Anthropic qui, (comme Amazon, et probablement la plupart des autres - bizarrement peut-être pas xAI qui au contraire semble avoir entrepris de sauvegarder des livres anciens rares - détruit des livres (publiés pré-2022) pour nourrir l'entraînement de son modèle
Procédé apparemment révélé dans le compte-rendu d'un jugement impliquant Anthropic, n'ayant à la base rien à voir avec la pratique..

Alors en matière d'éthique, désolé, mais on a fait mieux !!

@Krevitz Tu as une façon bien légère de prendre la chose !
Pour gagner en efficacité, ils vont utiliser des machines ultra-rapides qui scannent page par page. Mais pour pouvoir le faire, il faut que les pages soient en liasse donc sans la reliure: ils découpent alors la tranche des bouquins, et récupèrent juste les pages.

Ça pose aucun problème pour toi qu'ils détruisent de manière indifférenciée des copies rares de livres anciens et des invendus de best sellers ?
Une fois qu'ils ont pris un livre et l'ont scanné, le contenu n'est plus disponible que pour eux.
Et sans doute que le contenu n'est même plus disponible en intégralité une fois tout le processus d'entraînement mené. Il est perdu à jamais en dehors de (ou en dehors des traces, serait-il plus juste de dire, qu'il en rester dans) leur écosystème privé fermé.

S'ils se contentaient de les pirater, ou d'extraire à partir de contenus digitaux, au moins le contenu original survivrait.

Il y a déjà eu des exemples de livres rares et anciens (livres qui notamment avaient étaient trackés car commande suspecte) qui ont été ainsi détruits ainsi, si.

Tu crois qu'ils regardent autre chose que la date de première publication ?
Se toutent bien de savoir si c'est un chef d'oeuvre rare ou un roman de gare servant de cale-meuble. Ils veulent de la data non contaminée à l'IA, point barre.

Statistiquement justement c'est bien tout le contraire, il y aura nécesairement de grosses pertes.

Absolument rien, n'indique qu'ils fassent des sauvegardes préalable des livres rares.
Alors qu'ils visent le rendement et les économies d'échelles et détruisent les bouquins en douce (jusqu'à cet été) ?
Aucune chance.
C'est un mot que j'emploie rarement pour qualifier qui que ce soit, ou quelque attitude que ce soit, mais ça rappelle bien des trucs d'il y a 80 ans.

@Festif des bots qui passe des commandes auprès de libraires à la chaine, du genre je veux un exemplaire de tout ce qui se vend pas à moins de 10balles, parfois des références spécifiques quand il y a des différences sur les listing de prix, genre 5 balles ici alors que 50 balles ailleurs..
C'est pas un geste de collectionneur qui voudrais une seule référence rare qu'importe le prix. L'échelle et les prix indiquent plus que les libraires sont pas mécontent de vider les étagères (même si certains en profitent pour se faire un coup de pub après coup, pas folle la guêpe). Ou alors certains se sont fait effectivement entuber en beauté, mais c'est que quelque part que ceux là n'avaient pas bien tenu leur inventaire..

@paradox Mais du coup les journalistes se focalisent sur quelle approche dans le sujet d'origine?
L'outil dont on sait qu'il est structurellement incomplet et ne pourra jamais l'être, ou la méta-analyse des productions humaines?
Je veux dire est-ce qu'ils ont déterminé que les dérives c'était un dataset intrinsèquement toxique, ou qu'il manque des boutons et que certains sont mal réglés en sortie?

@paradox il a un côté rassurant s'il s'avère que ce n'est pas un biais de l'humain le dataset, mais bien le fait des agrégats d'insécurité cherchant validant. L'exemple du white genocide après chaque message, c'était le plus insecure des techs-bros qui s'était un peu trop acharnait sur le bouton validez-moi.
Mais donc le dataset serait possiblement sain mais mal utilisé c'est une pensée réconfortante quelque part, l'IA aura peut-être permis au moins ça..
La vision d'un socle commun sain malgré les différences individuelles.. 🙂

Sur les boutons, le problème de la maximisation de la rétention par dessus la pertinence pourrait peut-être la cause, comme les algos sociaux qui pour maintenir la rétention tombe dans des boucles toxiques en qq sorte. Mêmes causes mêmes effets?