Amazon annonce Open Distro for Elasticsearch, une distribution à valeur ajoutée d'Elasticsearch

Qui est 100% open source

Elasticsearch est un moteur de recherche et d'analyse distribué, orienté document. Il prend en charge les requêtes structurées et non structurées et n'exige pas qu'un schéma soit défini à l'avance. Elasticsearch peut être utilisé comme moteur de recherche. Il est souvent utilisé pour l'analyse de journaux à l'échelle Web, la surveillance d'applications en temps réel et l'analyse de flux de clics.

Lancé à l'origine comme un véritable projet open source, certains des ajouts les plus récents à Elasticsearch sont propriétaires.

Open Distro for Elasticsearch

Amazon a annoncé Open Distro for Elasticsearch, Il s'agit d'une distribution à valeur ajoutée d'Elasticsearch 100% open source (licence Apache 2.0) et prise en charge par AWS. Open Distro for Elasticsearch exploite le code open source pour Elasticsearch et Kibana. Il ne s’agit pas d’un fork, et Amazon continue à envoyer ses contributions et correctifs en amont pour faire avancer ces projets.

Outre Elasticsearch et Kibana, la première version inclut un ensemble de fonctionnalités avancées de sécurité, de surveillance des événements et d'alerte, d'analyse des performances et de requête SQL. En plus du référentiel de code source, Open Distro pour Elasticsearch et Kibana sont disponibles en tant que conteneurs RPM et Docker, avec des téléchargements distincts pour SQL JDBC et PerfTop CLI. Vous pouvez exécuter ce code sur votre ordinateur portable, dans votre centre de données ou dans le cloud.

Les contributions sont les bienvenues, tout comme les rapports de bogues et les demandes de fonctionnalités.

Que propose Open Distro for Elasticsearch ?

Jetons un coup d’œil aux fonctionnalités incluses dans Open Distro for Elasticsearch. Certaines d'entre elles sont actuellement disponibles dans Amazon Elasticsearch Service; d'autres seront disponibles dans les futures mises à jour.

Sécurité : ce plug-in prend en charge le chiffrement noeud à noeud, cinq types d'authentification (de base, Active Directory, LDAP, Kerberos et SAML), des contrôles d'accès basés sur les rôles à plusieurs niveaux (clusters, index, documents et champs), la journalisation d'audit et la recherche entre clusters de sorte que tout nœud d'un cluster puisse exécuter des demandes de recherche sur d'autres nœuds du cluster.


Surveillance des événements et alertes : cette fonctionnalité vous avertit lorsque les données d'un ou de plusieurs index Elasticsearch remplissent certaines conditions. Vous pouvez, par exemple, notifier un canal Slack si une application enregistre plus de cinq erreurs HTTP 503 en une heure. La surveillance repose sur des travaux exécutés selon une planification définie, en comparant les index avec les conditions de déclenchement et en émettant des alertes lorsqu'une condition est déclenchée.


Analyse approfondie des performances : il s'agit d'une API REST qui vous permet d'interroger une longue liste de métriques de performances pour votre cluster. Vous pouvez accéder aux métriques par programmation ou les visualiser à l’aide de perf top et d’autres outils perf.


Support de SQL : cette fonctionnalité vous permet d'interroger votre cluster à l'aide d'instructions SQL. C'est une version améliorée du plugin elasticsearch-sql, et supporte un riche ensemble d'instructions.


Pourquoi une distribution open source pour Elasticsearch ?

La genèse

Adrian Cockcroft d’Amazon explique que chez AWS, ils se concentrent sur la résolution de problèmes pour les clients. Au fil des années, l’utilisation par les clients et les dépendances à l’égard des technologies open source n’ont cessé d’augmenter. C’est la raison pour laquelle ils se sont engagés depuis longtemps en faveur de l’open source et que leur rythme de contributions aux projets open source, aussi bien les projets Amazon que d’autres projets, continue de s’accélérer.

Selon lui, plusieurs raisons expliquent leur participation active aux communautés open source. Tout d’abord, il est important de soutenir des communautés saines pour que les projets continuent de se développer et restent pertinents. Ensuite, la maintenance d'une version forkée interne d'un projet entraîne des efforts supplémentaires inutiles et peut retarder la publication des mises à jour des services lors de la fusion. Troisièmement, la publication de nouvelles idées sous forme d’open source rassemble les autres autour d'idées pour les aider à s'intégrer. Et enfin, la collaboration open source entre entreprises et institutions universitaires a permis certaines des avancées les plus importantes dans des domaines tels que l'intelligence artificielle.

Malheureusement, il note qu’il arrive de voir d’autres exemples de mainteneurs d’open source brouiller les liens entre la communauté open source et le code propriétaire qu’ils créent pour monétiser l’open source : « Chez AWS, nous pensons que les responsables d'un projet open source ont la responsabilité de s'assurer que la distribution open source principale reste ouverte et dépourvue de code propriétaire, afin que la communauté puisse s'appuyer librement sur le projet et que la distribution ne donne plus d’avantages à une entreprise qu’à une autre ».


Il rappelle que c’est une partie de la promesse faite par le responsable lorsqu’il a gagné la confiance des développeurs pour l’adoption du logiciel. Lorsque le logiciel open source principal est complètement ouvert et accessible à tous, le responsable de la maintenance (et toute autre personne) peut et doit être en mesure de créer un logiciel propriétaire pour générer des revenus. Toutefois, il convient de le séparer de la distribution open source afin de ne pas confondre les utilisateurs en aval, de permettre à quiconque d'innover en amont du projet open source et de ne pas créer d'ambiguïté dans la licence du logiciel ni limiter l'accès. à des classes spécifiques d'utilisateurs.

Mélange de code propriétaire et de code open source, une mauvaise idée

Et d’avancer qu’Elasticsearch a joué un rôle clé dans la démocratisation de l’analyse des données générées par machine. Il est devenu de plus en plus essentiel à la productivité quotidienne des développeurs, des analystes de la sécurité et des ingénieurs d’exploitation du monde entier. Sa licence permissive Apache 2.0 lui a permis d’être rapidement adoptée et d’utiliser le logiciel sans restriction.

Malheureusement, depuis juin 2018, Amazon a assisté à un important mélange de code propriétaire dans la base de code. Bien qu'un téléchargement sous licence Apache 2.0 soit toujours disponible, il existe un manque de clarté extrême quant à ce que les clients qui s'intéressent à l'open source obtiennent et sur quoi ils peuvent compter. Par exemple, ni les notes de publication ni la documentation n'indiquent clairement ce qui est open source et ce qui est propriétaire. Les développeurs d'entreprise peuvent appliquer par inadvertance un correctif ou une amélioration au code source propriétaire. Cela est difficile à suivre et à gouverner, peut conduire à une violation de licence et à une résiliation immédiate des droits (pour les logiciels propriétaires et libres).

Les commits de code individuels contiennent également de plus en plus de code à la fois open source et propriétaire, ce qui rend très difficile la tâche des développeurs qui souhaitent travailler uniquement en open source pour contribuer et participer. De plus, l’innovation n’est plus axée sur la distribution open source, mais sur la popularisation de la distribution propriétaire. Cela signifie que la majorité des nouveaux utilisateurs Elasticsearch utilisent désormais un logiciel...