Catégories
Start-up et applications

GPT-3: Faire progresser la compréhension des indices pour le codage, l'écriture

https://sdtimes.com/ "srcset =" http://www.cardagram.fr/wp-content/uploads/2020/09/GPT-3-Faire-progresser-la-comprehension-des-indices-pour-le-codage.jpg 490w, https://sdtimes.com/wp-content/uploads /2020/09/GPT3-300x169.jpg 300w, https://sdtimes.com/wp-content/uploads/2020/09/GPT3-1024x576.jpg 1024w, https://sdtimes.com/wp-content/uploads /2020/09/GPT3-150x84.jpg 150w, https://sdtimes.com/wp-content/uploads/2020/09/GPT3-768x432.jpg 768w, https://sdtimes.com/wp-content/uploads /2020/09/GPT3-1536x863.jpg 1536w, https://sdtimes.com/wp-content/uploads/2020/09/GPT3-2048x1151.jpg 2048w, https://sdtimes.com/wp-content/uploads /2020/09/GPT3-142x80.jpg 142w, https://sdtimes.com/wp-content/uploads/2020/09/GPT3-400x225.jpg 400w, https://sdtimes.com/wp-content/uploads /2020/09/GPT3-320x180.jpg 320w, https://sdtimes.com/wp-content/uploads/2020/09/GPT3-89x50.jpg 89w "tailles =" (largeur max: 490px) 100vw, 490px "/>

<p><span style=OpenAI dit qu'il est en retard avec un liste d'attente des testeurs potentiels cherchant à évaluer si la première version bêta privée de son outil de programmation en langage naturel (PNL) GPT-3 peut vraiment repousser les limites de l'intelligence artificielle (IA).

Depuis que la version bêta de GPT-3 est disponible en juin en tant qu'API pour ceux qui passent par le processus de vérification d'OpenAI, elle a généré un buzz considérable sur les médias sociaux. GPT-3 est la dernière itération du modèle de langage développé par un réseau neuronal d’OpenAI. Les premiers à évaluer la version bêta, selon OpenAI, comprennent Algolia, Quizlet et Reddit, et des chercheurs du Institut Middlebury.

Bien que GPT-3 soit basé sur la même technologie que son prédécesseur GPT-2, sorti l'année dernière, la nouvelle version est un modèle de données exponentiellement plus grand. Avec près de 175B paramètres entraînables, GPT-3 est 100 fois plus grand que GPT-2. GPT-3 est 10 fois plus grand en paramètres que son plus proche rival, le Turing NLG de Microsoft, qui ne possède que 17B.

CONTENU CONNEXE: Microsoft annonce qu'il accordera une licence exclusive au modèle de langage GPT-3 d'OpenAI

Les experts ont décrit GPT-3 comme le modèle de langage le plus performant créé à ce jour. Parmi eux se trouve David Chalmers, professeur de Philosophie et Science neurale à l’Université de New York et co-directeur de NYU Centre pour l'esprit, le cerveau et la conscience. Chalmerss souligné dans un article récent que GPT-3 est formés sur des modèles de données clés tels que CommonCrawl, un référentiel ouvert de données Internet interrogeables, ainsi qu'une immense bibliothèque de livres et tout Wikipédia. Outre son échelle, GPT-3 fait sourciller sa capacité à générer automatiquement un texte rivalisant avec ce qu'un humain peut écrire.

«GPT-3 est instantanément l'un des systèmes d'intelligence artificielle les plus intéressants et les plus importants jamais produits», a écrit Chalmers. «Ce n'est pas seulement à cause de ses impressionnantes capacités de conversation et d'écriture. Il était certainement déconcertant que GPT-3 produise un résultat plausible entretien avec moi. GPT-3 semble être plus proche de la réussite du test de Turing que tout autre système à ce jour (bien que «plus proche» ne signifie pas «proche»). »

Un autre testeur précoce de GPT-3, Arram Sabeti, a également été impressionné. Sabeti, un investisseur qui reste président de ZeroCater, a été parmi les premiers à mettre la main sur l'API GPT-3 en juillet. «Je dois dire que je suis époustouflé. C'est beaucoup plus cohérent que n'importe quel système de langage IA que j'ai jamais essayé », a noté Sabeti dans un post, où il où il a partagé ses découvertes.

"Tout ce que vous avez à faire est d'écrire une invite et elle ajoutera du texte qui, selon toute vraisemblance, suivrait", a-t-il ajouté. "Je l'ai eu pour écrire des chansons, des histoires, des communiqués de presse, des tablatures de guitare, des interviews, des essais, des manuels techniques. C’est hilarant et effrayant. J'ai l'impression d'avoir vu l'avenir et que l'AGI (intelligence générale artificielle) complète n'est peut-être pas trop loin. "

C'est l'aspect «effrayant» qu'OpenAI ne prend pas à la légère, c'est pourquoi la société adopte une position sélective pour vérifier qui peut tester la version bêta de GPT-3. Entre de mauvaises mains, GPT-3 pourrait être la recette d'une mauvaise utilisation. Entre autres, on pourrait utiliser GPT-3 pour créer et diffuser de la propagande sur les réseaux sociaux, désormais communément appelée «fake news».

Le plan d'OpenAI pour commercialiser GPT-3
Le potentiel d'utilisation abusive est la raison pour laquelle OpenAI a choisi de le publier en tant qu'API plutôt que d'ouvrir la technologie en open source, a déclaré la société dans une FAQ. «Le modèle API nous permet de répondre plus facilement à une mauvaise utilisation de la technologie», a expliqué la société. «Puisqu'il est difficile de prédire les cas d'utilisation en aval de nos modèles, il semble intrinsèquement plus sûr de les publier via une API et d'élargir l'accès au fil du temps, plutôt que de publier un modèle open source où l'accès ne peut pas être ajusté s'il s'avère être nuisible applications."

OpenAI avait également d'autres motivations pour suivre la voie de l'API. Notamment, étant donné que les modèles de PNL sont si volumineux, le développement et le déploiement nécessitent une expertise considérable, ce qui les rend coûteux à exécuter. Par conséquent, la société cherche à rendre l'API accessible aux petites organisations ainsi qu'aux plus grandes.

Sans surprise, en commercialisant GPT-3, OpenAI peut financer des recherches en cours sur l'IA, ainsi que des efforts continus pour s'assurer qu'il est utilisé en toute sécurité avec des ressources pour faire pression pour les efforts politiques à mesure qu'ils surviennent.

Finalement, OpenAI lancera une version commerciale de GPT-3, bien que la société n'ait pas annoncé quand ni combien cela coûtera. Ce dernier pourrait être important pour déterminer à quel point il devient accessible. La société affirme qu'une partie de la version bêta privée vise à déterminer le type de modèle de licence qu'elle proposera.

OpenAI, a commencé comme une organisation de recherche à but non lucratif fin 2015 avec l'aide de fondateurs aux poches profondes, dont Elon Musk, l'année dernière a émergé dans une entreprise à but lucratif avec un1 milliard d'investissement de Microsoft. Dans le cadre de cet investissement, OpenAI s'exécute dans le cloud Microsoft Azure.

Les deux entreprises ont récemment partagé les fruits de leur partenariat un an plus tard. À cette année Conférence Microsoft Build, organisé sous forme d’événement virtuel en mai, le directeur technique de Microsoft, Kevin Scott, a déclaré que la société avait créé l’un des plus grands supercalculateurs au monde fonctionnant sous Azure.

OpenAI Seeds le supercalculateur AI de Microsoft dans Azure
S'exprimant lors d'une session liminaire à la conférence Build, Scott a déclaré que Microsoft avait terminé son supercalculateur dans Azure à la fin de l'année dernière, cela ne prenait que six mois, selon l'entreprise. Scott a déclaré que l'effort aidera à mettre ces grands modèles à la portée de tous les développeurs de logiciels.

Scott l'a comparé à l'industrie automobile, qui a utilisé le cas d'utilisation de niche haut de gamme pour développer des technologies telles que les groupes motopropulseurs hybrides, la transmission intégrale et les freins antiblocage. Certains des avantages de ses capacités de calcul intensif dans Azure et des grands modèles de ML hébergés là-bas sont importants pour les développeurs, a déclaré Scott.

«Ce nouveau type de puissance de calcul va générer des avantages incroyables pour la communauté des développeurs, en renforçant la plate-forme logicielle d'IA auparavant incroyable qui accélérera vos projets, petits et grands», a-t-il déclaré. «Tout comme l'omniprésence des capteurs et des smartphones, l'emplacement multi-touch, les caméras de haute qualité, les accéléromètres ont permis un tout nouvel ensemble d'expériences, le résultat de ce travail va donner aux développeurs une nouvelle plate-forme pour créer de nouveaux produits et services.»

Scott a déclaré qu'OpenAI menait actuellement le travail le plus ambitieux dans le domaine de l'IA, indiquant qu'un travail comme GPT-3 donnera aux développeurs accès à de très grands modèles qui étaient hors de leur portée jusqu'à présent. Sam Altman, PDG d’OpenAI, a rejoint Scott dans son discours sur Build pour expliquer certaines des implications.

Altman a déclaré qu'OpenAI voulait construire des systèmes à grande échelle et voir jusqu'où l'entreprise peut le pousser. «Au fur et à mesure que nous effectuons des recherches de plus en plus avancées et que nous les étendons à des systèmes de plus en plus grands, nous commençons à créer cette toute nouvelle vague d'outils et de systèmes capables de faire des choses qui relevaient du domaine de la science-fiction il y a seulement quelques années». Dit Altman.

«Les gens pensent depuis longtemps aux ordinateurs capables de comprendre le monde et de faire quelque chose comme penser», a ajouté Altman. «Mais maintenant que ces systèmes commencent à se concrétiser, je pense que ce que nous allons voir des développeurs, les nouveaux produits et services qui peuvent être imaginés et créés, va être incroyable. Je pense que c'est comme une nouvelle infrastructure informatique fondamentale. "

Au-delà du langage naturel
Alors que les modèles deviennent une plate-forme, Altman a déclaré qu'OpenAI regardait déjà au-delà du simple langage naturel. "Nous souhaitons essayer de comprendre toutes les données du monde, donc la langue, les images, l'audio et plus encore", a-t-il déclaré. «Le fait que la même technologie puisse résoudre ce très large éventail de problèmes et comprendre différentes choses de différentes manières, c’est la promesse de ces systèmes plus généralisés qui peuvent effectuer une grande variété de tâches pendant longtemps. Et alors que nous travaillons avec le supercalculateur pour faire évoluer ces modèles, nous continuons à trouver de nouvelles tâches dont les modèles sont capables. »

Malgré sa promesse, OpenAI et son vaste réseau de modèles ML ne comblent pas l’écart sur tout ce qui manque à l’IA.

Boris Paskalev, co-fondateur et PDG de DeepCode, a déclaré que GPT-3 fournit des modèles d'un ordre de grandeur supérieur à GPT-2. Mais il a averti que les développeurs devraient se garder de tirer des conclusions selon lesquelles GPT-3 les aidera à automatiser la création de code.

«L'utilisation de la PNL pour générer du code logiciel ne fonctionne pas pour la très simple raison que le code logiciel est sémantiquement complexe», a déclaré Paskalev à SD Times. «Il n'y a absolument aucune utilité réelle pour cela pour la synthèse de code ou pour trouver des problèmes ou résoudre des problèmes. Parce qu'il manque cette étape logique qui est réellement intégrée, ou l'art du développement logiciel que les ingénieurs utilisent lorsqu'ils créent du code, comme l'intention. Vous ne pouvez pas faire cela. »

Moiz Saifee, directeur de l'équipe d'analyse de Correlation Ventures, a publié une évaluation similaire. «Bien que GPT-3 offre d'excellentes performances sur de nombreuses tâches de PNL – prédiction de mots, raisonnement de bon sens – il ne fonctionne pas aussi bien sur tout. Par exemple, il ne fait pas très bien sur des choses comme la synthèse de texte, certaines tâches de compréhension de lecture, etc. En plus de cela, il souffre également de biais dans les données, ce qui peut conduire le modèle à générer un contenu stéréotypé ou préjugé. Il y a donc encore du travail à faire. »

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *