icinga certificate service

Ich möchte mal eben eine Idee herunter schreiben, die mich seit einiger Zeit beschäftigt und zu der ich – hoffentlich – eine Lösung anbieten kann.

Bei meinem Arbeitgeber beschäftige ich mich – neben Tools & Automatisierung – auch mit dem Thema Monitoring.
Ich habe über die Jahre in dem Bereich ein größeres Wissen aufgebaut und betrachte das, auch mit meiner Erfahrung aus mehreren Jahren 24/7 1st Level Bereitschaft, mit anderen Augen als Entwickler.

Ich habe mit einer Kollegin jetzt ein experimentelles Monitoring Setup aufgebaut, mit deren Hilfe es möglich ist, einen ganzen Block von Tomcat Applikationen automatisch in ein Monitoring aufzunehmen.
Dazu gehören ein größeres Set an Grafana Dashboards und Icinga2 Checks.

Designtechnisch habe ich das Erheben von Daten und deren Speicherung und Darstellung vollständig von einander getrennt.

Da das Ausrollen des Monitorings automatisch über unsere CI erfolgen soll, ist es mit Icinga2 nicht so einfach möglich, einen Satelliten dynamisch an einen Master zu bekommen.
Um das Problem zu beheben, habe ich mit eine einfach Lösung erarbeitet, mit deren Hilfe es möglich ist, das Problem zu lösen.
Dazu wird auf der Node, welche den Icinga2-Master zur Verfügung stellt, ein REST-Service installiert, der sich um das erstellen der Satelliten Zertifikate kümmert.
Der REST-Service ist so weit abgesichert, dass dieser nur mit einer Basic-Authentication angesprochen werden kann. Zusätzlich muß ein Icinga2 API User angegeben werden, damit ein passendes Zertifikat ausgestellt werden kann.

Wenn beides gegeben ist und das Zertifikat erstellt werden konnte, erhält der anfordernde Satellite ein Hash-Code zurück, mit dem er sich die Zertifikate herunter laden kann.
Damit man hier nicht auch noch nach Jahren das Zertifikat bekommt, ist dieser Hash-Code nur 10 Minuten gültig.

Mit diesem Ansatz ist es mir möglich in einem CI-Setup unendlich viele Icinga2-Satelliten automatisiert zu erstellen und an einem Icinga2-Master zu binden.

Den Code dazu habe ich auf GitHub als OpenSource veröffentlicht.
Vielleicht hilft es anderen, ähnliche Probleme zu vermeiden.

IcingaCamp – 2017

Nach dem ich letztes Jahr meinem 2. Stern bei der OSMC bekommen hatte, nahm ich mir vor, diesem ominösem IcingaCamp einen Besuch abzustatten.

Da ich völlig ohne Erwartungen nach Berlin fahren würde, konnte es nur ein guter Tag werden.

In meinem Tran hatte ich natürlich den Timeslot für die EarlyBird Registrierung verschlafen und musste nicht nur tiefer in die Tache greifen sondern auch noch um eine Unterbringung kämpfen.
(Zu meiner Entschuldigung, ich hatte wirklich viel um die Ohren und ich musste „meinem“ Projekt beim Arbeitgeber auch entsprechend Zeit zur Verfügung stellen.)
Zum Zeitpunkt der Konferenz fand wohl auch noch eine parallele Veranstaltung statt, in derem Zuge sämtliche Hotelzimmer in preisliche Regionen abdrifteten, die ich mir privat nicht mehr leisten konnte.
Doch letztendlich hatte alles geklappt und ich konnte sogar noch 2 erste Klasse Tickets für den ICE abstauben.

Berlin. Ist keine Reise wert. Finde ich.
Entweder, man baut schon seit Jahrzehnten an der Substanz oder man bereitet eine großangelegte Abrissaktion vor.
Grau und überall Baulärm. Ich könnte dort nicht leben.
Continue reading

Monitoring Docker Icinga2 Ruby hazzle

In letzter Zeit habe ich mich verstärkt mit Docker als App-Container auseinander gesetzt und damit einen kompletten Monitoring-Stack aufgebaut.
Dieser beinhaltet:

  • collectd
  • graphite
  • grafana
  • icinga2
  • icingaweb2
  • jolokia

Und doch ein paar andere Services drumherum.

Das ganze geschieht im Rahmen eines kleinen Projektes bei meinem Arbeitgeber um den Kunden mal zu zeigen, was so in dem Umfeld machbar ist.
Dabei liegt der Fokus (auch) auf der erstellten (Enterprise) Software.

Da ich dort nicht alles unterbringen kann, was so in meinem Kopf herum geistert, programmiere ich nebenbei und in meiner freien Zeit eine Ruby Klasse um einen sauberen Zugriff auf die Icinga2 API abstrahieren zu können.
Das ganze würde ich dann natürlich in eigenen Projekten weiter verwenden wollen.

Nebenbei beschäftigte ich mit dem dynamischen anlegen von Icinga Satelliten um hier einen Hauch mehr dynamik rein zu bekommen.

Und wenn das alles fertig ist, dann will ich das ganze bei der nächsten OSMC vorstellen.
Und wer mich kennt … das ist ein verdammt großer Schatten für mich!

Abseits von anderem … Fallout4

Seit Weihnachten 2015 haben wir elektronisch aufgerüstet und uns eine Playstation4 zugelegt.

Seit Anfang des Jahres spiele ich ab und an ein klein wenig Fallout 4 und nutze das ganze ein klein wenig als Abschaltstation. Zugegeben, es erzeugt durchaus auch ein wenig Sucht. :)
Und nun protzt mein alter Kumpel SundancerGE die ganze Zeit mit seinen Erfolgen
Und speziell für ihn, habe ich alle meine Powerrüstungen zusammengesucht, frisch poliert und in Reih und Glied aufgestellt.

puppetize

Nach meinen ersten Posts bzgl. Icinga2 kamen mehrere Nachfragen, über meine puppet Konfiguration. Dem möchte ich mal kurz ein paar Zeilen widmen.

Puppet ist ein Konfigurationsmanagementsystem. Ähnlich wie Chef (das ehemalige puppet Entwickler initiiert haben) oder dem neuesten Hype: Ansible.
Puppet setzt auf eine Client-Server Struktur, wobei man ihn auch masterless betreiben kann. Das kommt vor allem dann zu tragen, wenn man seinen eigenen Puppetmaster sich selber provisionieren lässt.
Bei Puppet wird der SOLL-Zustand des Zielsystemes beschrieben, wie so ein puppet-Run dort hin kommt wird interne gelöst. Die abarbeitung der entsprechenden Module ist willkürlich. Man muss also in seinen eigenen puppet Modulen etwas Intelligenz für die Auflösung der Abhängigkeiten einarbeiten.

Ansible funktioniert da anders.
Dort beschreibt man den kompletten Weg mit allen seinen Einzelheiten.
Ich habe Ansible Playbooks gesehen, bei dem selbst der Ersteller nicht mehr auf Anhieb sah, was das alles macht. ;)
Continue reading

monitoringlove #6 – icinga2 – Notifications mit Telegram

Wenn man einen icinga2 Service betreibt, möchte man irgendwann auch erfahren, wenn sich ein Status eines Service ändert.
Über Jahre hin etabliert und auch (in Grenzen) ausfallsicher ist und bleibt eine SMS. Vor allem, weil man damit unabhängig vom Netzzuganges seines ISPs bleibt.
Dafür reicht es, ein altes GSM-Handy mit einer SIM Karte auszurüsten und dieses über einen USB-Anschluss mit dem Monitoring-Host zu verbinden.
Die Softwareseitige Integration sollte dann nicht mehr so kompliziert sein.
Das kann man aber nur machen, wenn man dem Server im eigenen Zugriff hat.
Continue reading

monitoringlove #5 – icinga2 und der LiveStatus

Wenn man ein großes Setup betreut in dem häufig eine neue Software ausgerollt wird, wird es vor kommen, dass man Downtimes dynamisch definieren und ausrollen möchte.
Im Idealfall auch nicht per Hand sondern von außen angetriggert … man ist ja ein wenig faul. ;)

Vor Version 2.4.0 von Icinga2 musste man auf die Nutzung von LiveStatus zurückgreifen, das man ja noch von Nagios kennen sollte.

(Wie man den LiveStatus über puppet aktiviert hatte ich bereits in einem vorherigen Blogpost beschrieben)

Mit dem LiveStatus ist man allerdings auf ein Set festgelegter Kommandos beschränkt. Und hierbei ist beschränkt auch ernst zu nehmen.

Für das herumprobieren kann man sich die folgende Beispiele ansehen und damit herumprobieren. Continue reading

monitoringlove #4 – icingaweb2 mit puppet

Während wir unseren Icinga2-Core mittlerweile funktionsfähig haben, wollen wir auch mal einen Blick auf unsere Checks werfen.

Hier hat man dann die Wahl zwischen dem klassischen UI, welches man noch von Nagios oder Icinga1 kennt, oder dem moderneren IcingaWeb2.
Ich empfehle hier IcingaWeb2. Nicht nur wegen dem fancy Aussehen, sondern weil es auch noch ein CLI Tool mitbringt. :)

IcingaWeb2 ist eine PHP basierte Webanwendung.
Wir benötigen also neben dem reinen IcingaWeb Paket auch noch einen Webserver und PHP.
Da ich mich mittlerweile vom Apache abgewandt und vermehrt nginx einsetze, werde ich das auch hier nutzen.

Beim schreiben ist mir aufgefallen, dass dieser eine Part doch umfangreicher als gedacht geworden ist.
Ich werde also ggf. einen zweiten Teil schreiben müssen, da mir selbst ein paar Dinge fehlen.

Falls jemand Anregungen haben sollte, der kann gern die Kommentarfunktion nutzen, oder mir einfach eine EMail schreiben.

Continue reading

monitoringlove #3 – icinga2 checks mit puppet (update)

Aufbauend auf dem vorherigen Teil, möchte ich hier beschreiben, wie man Host- und Servicechecks über puppet definiert und ausrollt.

Das zusammenführen von Host- und Servicechecks ist mittels apply Regel in icinga2 geradezu kinderleicht geworden.
Da haben sich die Jungs echt was tolles ausgedacht!

Aber genug des Smalltalks!
Continue reading

monitoringlove #2 – icinga2 mit puppet (update)

Wenn man sich – so wie ich – mit einer Großzahl an zu überwachenden Servern beschäftigt, macht man sich ziemlich schnell Gedanken darüber, wie man das ganze einfach, schnell und nachvollziehbar etabliert.
Ich begann in einem früheren Post bereits über meine Erfahrungen zu schreiben und möchte hiermit fortfahren.

Diesmal geht es um die Grundinstallation des icinga2-Core mittels puppet.
Hilfreich sind dabei Grundkenntnisse in puppet, der Konfiguration und dem logischen Aufbau von hiera.
Des weiteren nutzen wir ein Ruby Feature namens deep_merge. Das müsste ggf. noch mittels gem install deep_merge / emerge dev-ruby/deep_merge installiert werden.
Ich gehe bewusst nicht auf die von mir genutzte hiera-Struktur ein, da jeder seinen eigenen Weg verfolgt.
So bald ich das ganze hier aber herunter geschrieben habe, werde ich eine lauffähige Konfiguration in meinem github Account packen. Versprochen! ;)

Continue reading