Amazon annonce Open Distro for Elasticsearch, une distribution à valeur ajoutée d'Elasticsearch

Qui est 100% open source

Elasticsearch est un moteur de recherche et d'analyse distribué, orienté document. Il prend en charge les requêtes structurées et non structurées et n'exige pas qu'un schéma soit défini à l'avance. Elasticsearch peut être utilisé comme moteur de recherche. Il est souvent utilisé pour l'analyse de journaux à l'échelle Web, la surveillance d'applications en temps réel et l'analyse de flux de clics.

Lancé à l'origine comme un véritable projet open source, certains des ajouts les plus récents à Elasticsearch sont propriétaires.

Open Distro for Elasticsearch

Amazon a annoncé Open Distro for Elasticsearch, Il s'agit d'une distribution à valeur ajoutée d'Elasticsearch 100% open source (licence Apache 2.0) et prise en charge par AWS. Open Distro for Elasticsearch exploite le code open source pour Elasticsearch et Kibana. Il ne s’agit pas d’un fork, et Amazon continue à envoyer ses contributions et correctifs en amont pour faire avancer ces projets.

Outre Elasticsearch et Kibana, la première version inclut un ensemble de fonctionnalités avancées de sécurité, de surveillance des événements et d'alerte, d'analyse des performances et de requête SQL. En plus du référentiel de code source, Open Distro pour Elasticsearch et Kibana sont disponibles en tant que conteneurs RPM et Docker, avec des téléchargements distincts pour SQL JDBC et PerfTop CLI. Vous pouvez exécuter ce code sur votre ordinateur portable, dans votre centre de données ou dans le cloud.

Les contributions sont les bienvenues, tout comme les rapports de bogues et les demandes de fonctionnalités.

Que propose Open Distro for Elasticsearch ?

Jetons un coup d’œil aux fonctionnalités incluses dans Open Distro for Elasticsearch. Certaines d'entre elles sont actuellement disponibles dans Amazon Elasticsearch Service; d'autres seront disponibles dans les futures mises à jour.

Sécurité : ce plug-in prend en charge le chiffrement noeud à noeud, cinq types d'authentification (de base, Active Directory, LDAP, Kerberos et SAML), des contrôles d'accès basés sur les rôles à plusieurs niveaux (clusters, index, documents et champs), la journalisation d'audit et la recherche entre clusters de sorte que tout nœud d'un cluster puisse exécuter des demandes de recherche sur d'autres nœuds du cluster.


Surveillance des événements et alertes : cette fonctionnalité vous avertit lorsque les données d'un ou de plusieurs index Elasticsearch remplissent certaines conditions. Vous pouvez, par exemple, notifier un canal Slack si une application enregistre plus de cinq erreurs HTTP 503 en une heure. La surveillance repose sur des travaux exécutés selon une planification définie, en comparant les index avec les conditions de déclenchement et en émettant des alertes lorsqu'une condition est déclenchée.


Analyse approfondie des performances : il s'agit d'une API REST qui vous permet d'interroger une longue liste de métriques de performances pour votre cluster. Vous pouvez accéder aux métriques par programmation ou les visualiser à l’aide de perf top et d’autres outils perf.


Support de SQL : cette fonctionnalité vous permet d'interroger votre cluster à l'aide d'instructions SQL. C'est une version améliorée du plugin elasticsearch-sql, et supporte un riche ensemble d'instructions.


Pourquoi une distribution open source pour Elasticsearch ?

La genèse

Adrian Cockcroft d’Amazon explique que chez AWS, ils se concentrent sur la résolution de problèmes pour les clients. Au fil des années, l’utilisation par les clients et les dépendances à l’égard des technologies open source n’ont cessé d’augmenter. C’est la raison pour laquelle ils se sont engagés depuis longtemps en faveur de l’open source et que leur rythme de contributions aux projets open source, aussi bien les projets Amazon que d’autres projets, continue de s’accélérer.

Selon lui, plusieurs raisons expliquent leur participation active aux communautés open source. Tout d’abord, il est important de soutenir des communautés saines pour que les projets continuent de se développer et restent pertinents. Ensuite, la maintenance d'une version forkée interne d'un projet entraîne des efforts supplémentaires inutiles et peut retarder la publication des mises à jour des services lors de la fusion. Troisièmement, la publication de nouvelles idées sous forme d’open source rassemble les autres autour d'idées pour les aider à s'intégrer. Et enfin, la collaboration open source entre entreprises et institutions universitaires a permis certaines des avancées les plus importantes dans des domaines tels que l'intelligence artificielle.