Catégories
Start-up et applications

Projet Open Source de la semaine SD Times: étincelle-inégalité-impact

LinkedIn partage son initiative «Project Every Member» avec l'open source de spark-inégality-impact, une bibliothèque Apache Spark qui peut être utilisée par d'autres organisations dans n'importe quel domaine où mesurer et réduire les inégalités, ou éviter les conséquences involontaires des inégalités peuvent être souhaitables.

"Ce travail renforce notre engagement à combler le fossé du réseau et à nous assurer que tout le monde a une chance équitable de trouver et d'accéder à des opportunités, quels que soient leurs antécédents ou leurs connexions", a écrit LinkedIn article de blog.

LinkedIn a annoncé le mois dernier qu'il construirait des produits inclusifs grâce à des tests A / B dans le cadre de l'initiative intitulée Project Every Member.

LinkedIn a déclaré que tout changement sur sa plate-forme est soumis à une série de processus de test et d'analyse pour s'assurer qu'il atteint les objectifs de produit et les objectifs commerciaux prévus par le biais de tests A / B. La meilleure façon de procéder consiste à commencer par donner un aperçu du changement ou de la fonctionnalité à quelques membres pendant une durée limitée, puis à mesurer les résultats.

L'indice Atkinson est ensuite utilisé pour déterminer quelle extrémité de la distribution a le plus contribué à l'inégalité observée et permet aux développeurs de coder d'autres informations sur la population mesurée dans l'analyse pour surmonter les lacunes des tests A / B.

LinkedIn a décidé de mettre en œuvre les calculs d'index Atkinson à l'aide d'Apache Spark en raison de considérations d'évolutivité en ce qui concerne la taille des données sur lesquelles calculer l'inégalité, par exemple, le nombre d'individus faisant partie de tests A / B spécifiques et le nombre de fois où l'inégalité doit être calculé.

Bien que les métriques d'inégalité puissent déjà être calculées sur R et Python, elles nécessitent généralement que les utilisateurs tiennent toutes les données en mémoire sur une seule machine.

«Nous publions un package qui exploite le fait que l'indice Atkinson peut être décomposé sous forme de somme, ce qui signifie que les données ne doivent pas être conservées en mémoire d'un seul coup. Nous l'utilisons ensuite dans le cadre d'un pipeline plus large qui l'applique à de nombreux tests A / B à la fois », a écrit LinkedIn.

Le code est disponible sur GitHub ici.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *