Frage Alternativen zu Splunk?


Ich bin ziemlich beeindruckt von Splunk, besonders Version 4. Hübsche Grafiken, Alarmierung (nur Enterprise) und schnelle, genaue Suche. Es ist ein großartiges Produkt.

Die Kosten sind jedoch viel zu hoch, um sie für den vollen Produktionseinsatz für unser Unternehmen in Betracht zu ziehen. Alles, was wir wirklich brauchen, ist in der Lage zu sein, verschiedene Logs an einem zentralen Ort zu indizieren und vernünftig zu suchen. Es ist auch sehr nett, auf einer gespeicherten Suche zu warnen. Wir gehen nicht wirklich darüber hinaus.

In der Tat haben wir vor allem neue Anwendungen eingesetzt. Alles wird über log4net entweder im Ereignisprotokoll unter Windows oder in einer Textdatei unter Linux protokolliert. Splunk macht es sehr einfach, schnell über diese zu suchen, um sicherzustellen, dass alle Teile der App in Ordnung sind - das hat uns viel Zeit gespart, im Gegensatz zu der Suche nach einzelnen Protokollierungsquellen.

Welche Alternativen gibt es in diesem Markt? Ich habe ein sinkendes Gefühl, dass Splunks Preise so hoch sind, weil sie bei weitem das beste Produkt haben, und sie wissen es. Wir möchten, dass der Server unter Windows läuft.

Ich wäre offen für ein Split-Modell, bei dem ein Produkt für allgemeine Logs (Sammeln über Syslog / Snare) und ein dediziertes Produkt für unsere benutzerdefinierten Apps (wie Log4Net Dashboard).

Wäre die Verwendung eines einfachen Syslog-Servers wie Kiwi, der an SQL Server gesendet wird (vielleicht mit aktiviertem Volltext), möglich?

Ich hoffe, die Kosten sollten deutlich unter 5-stellig sein, USD. (Und ja, ich weiß, wir sind billig. Wir sind ein Startup mit wenig Geld und BizSpark kümmert sich um alle unsere MS-Lizenzen.)

Edit: Ich sollte hinzufügen, wir haben etwa 10 physische Server, 20 VMs und ein paar Firewalls und Switches. 90% ist Windows.


76
2017-09-05 11:14


Ursprung


Siehe auch diesen SO Post: stackoverflow.com/questions/183977/... - warren
Was deckt BizSpark ab? Die System Center-Serie scheint wie die normale Windows-Überwachungsroute zu sein, insbesondere Operations Manager ... - Oskar Duveborn
Was ist Splunk Preise sowieso? Ich habe es auf ihrer Website nicht gesehen ...? - Peter Mounce
Splunk-Preise sind gefährlich! Um 5gb / Tag an Daten zu indexieren, sind über $ 30K für eine unbefristete Lizenz erforderlich. (Vorsicht vor jedem Unternehmen, das keine Preise auf seiner Website veröffentlicht!) - samsmith


Antworten:


Hinweis: Dies betrifft Linux und gratis Software, wie das ist, was ich meistens verwende, aber Sie sollten in Ordnung mit einem Syslog-Client unter Windows sein, um die Protokolle an einen Linux-Syslog-Server zu senden.

Auf einem SQL-Server protokollieren: Mit nur ~ 30 Rechnern sollten Sie mit so ziemlich jedem zentralisierten Syslog-Alike und einem SQL-Backend auskommen. ich benutze Syslog-ng und MySQL unter Linux für genau diese Sache.

Hübsche Frontends Für Graphiken ist das Hauptproblem - Es scheint, dass es viele gehackte Front-Ends gibt, die Gegenstände aus den Logs holen und zeigen, wie viele Treffer, Alarme usw., aber ich habe nichts Integriertes und Sauberes gefunden. Zugegeben, das ist die Hauptsache, nach der Sie suchen ... (Wenn ich etwas Gutes finde, werde ich diesen Abschnitt aktualisieren!)

Alarmierung: Ich benutze SEK auf einem Linux-Server, um schlechte Dinge in den Logs zu finden und mich über verschiedene Methoden zu alarmieren. Es ist unglaublich flexibel und nicht so klick wie Splunk. Da ist ein schönes Tutorial hier welches durch viele der möglichen Funktionen führt.

Ich benutze auch Nagios für Graphen verschiedener Statistiken und einige Warnungen, die ich nicht aus den Logs bekomme (zB wenn die Dienste heruntergefahren sind usw.). Dies kann leicht angepasst werden, um Grafiken von allem, was Sie möchten, hinzuzufügen. Ich habe Diagramme von Elementen wie die Anzahl der Treffer hinzugefügt, die an einen HTTP-Server vorgenommen wurden, indem der Agent den Befehl verwendet check_logdateien Plugin, um die Anzahl der Treffer in den Logs zu zählen (es speichert die Position, die es für jede Checkperiode erreicht).

Insgesamt, Es hängt davon ab, wie viel Zeit Sie dafür aufwenden müssenEs gibt viele Optionen, die Sie verwenden können, aber sie sind nicht so integriert wie Splunk und benötigen wahrscheinlich mehr Aufwand, um das zu tun, was Sie wollen. Die Nagios-Graphen sind einfach einzurichten, geben aber keine historischen Daten von vor dem Hinzufügen des Graphen, während Sie mit Splunk (und vermutlich anderen Frontends) auf die vergangenen Logs zurückblicken und Dinge grafisch darstellen können, die Sie gerade noch haben dachte daran, von ihnen zu sehen.

Beachten Sie auch, dass das SQL-Datenbankformat und die Indizierung a enorm Auswirkungen auf die Geschwindigkeit von Abfragen, so dass Ihre Idee der Volltextindizierung wird eine enorme Steigerung der Geschwindigkeit der Suche. Ich bin mir nicht sicher, ob MySQL oder PostgreSQL etwas Ähnliches tun werden.

Bearbeiten : MySQL wird Volltextindizierung durchführen, aber  nur auf MyISAM-Tabellen vor MySQL 5.6. In 5.6 wurde Support für InnoDB hinzugefügt.

Bearbeiten: Postgresql kann natürlich Volltextsuche durchführen: http://www.postgresql.org/docs/9.0/static/textsearch.html


30
2017-09-08 11:01





Mehr auf * nix als Windows ausgerichtet, aber Oktopussy unterstützt Windows und scheint auf die gleiche Art wie Splunk zu zielen.


7
2017-09-08 11:25



Die Verbindung ist unterbrochen. Könnten Sie es bitte reparieren? - Martijn Heemels
Link scheint hier zu arbeiten. - 3dinfluence
Ich habe es bearbeitet. Obwohl es nicht gerade schwierig war, den richtigen Link zu finden. - Cian
Ja ... Ich besuche keine Website mit 8pussy im Domain-Namen bei der Arbeit - Mark Henderson♦


Ich bin gerade dabei, eine Reihe von Überwachungslösungen auszuprobieren - aber ich möchte hauptsächlich Fenster überwachen. Die meisten Systeme sind auf SNMP-Überwachung ausgerichtet, die eine bemerkenswerte Menge an Informationen ohne Agenten abrufen können.

Dies sind einige der Systeme, die ich bisher ausprobiert habe:

Nagios - Open Source. Ein Schwein zu konfigurieren, aber hoch bewertet und scheint sehr flexibel. Es scheint im Wesentlichen ein Zähler-Recorder zu sein und erlaubt keine Remote-Skript-Ausführung und kann daher nicht dazu verwendet werden, Konfigurationsprobleme aufzugreifen, beispielsweise MS System Center oder Kaseya. Agentenlos, ist aber im Wesentlichen nutzlos, ohne dass das NSclient-Tool auf jedem Client installiert ist.

Kakteen - Hübsches und unkompliziertes Graphikwerkzeug, basierend auf dem Ziehen von snmp stats. Agentless.

OpsView - Basierend auf Nagios, aber einfacher zu konfigurieren und hat ein besseres Frontend.

HypericHQ - Einfach unter Windows aufzusetzen. Die Basisversion ist kostenlos und macht viel aus. Es gibt ein kommerzielles HypericHQ-Unternehmen. Der Agent muss auf jedem Client installiert sein.

Zabbix - Ein weiteres nettes Überwachungswerkzeug. Es ist einfacher zu benutzen als Nagios. Hat einen Agenten, den Sie auf Windows- und Client-Computern installieren können. Ich habe das bisher nur ein bisschen erforscht.

Zenoss - Open Source. Ich war sehr beeindruckt von der Professionalität von Zenoss. Es ist ein SNMP-basierter Monitor und hat viele Erweiterungen, um die Überwachung von HP Proliants, Windows-Diensten, MS SQL Server, MySQL zu ermöglichen. Die Erweiterungen funktionieren alle über SNMP, sodass auf den Client-Rechnern nichts installiert werden muss. Ich habe noch nicht alles erforscht und es scheint viel Funktionalität zu geben, die ich noch ausnutzen muss. Es basiert auf Zope, es sei denn, Sie sind bei der Installation von Zope auf dem neuesten Stand. Ich würde empfehlen, die vorbereitete VM herunterzuladen - es funktioniert wie ein Traum direkt aus der Box.

Auf der kommerziellen Seite können Sie sich einige Tools ansehen:

Kaseya - kostet ungefähr 6k pro Jahr für 250 Knoten, wenn ich mich richtig erinnere, aber ist ein hervorragendes Werkzeug und hat eine sehr aktive Benutzergemeinschaft. Es zielt auf den MSP-Markt ab und ermöglicht die Überwachung mehrerer Unternehmenssysteme. Es kann intern ohne Probleme verwendet werden.

GFI Hounddog - einfacher als Kaseya, aber im Moment sehr günstig. Auf jeden Fall einen Blick wert.

Es gibt eine Reihe von Lösungen, die als MSP-Systeme verkauft werden, aber die im Wesentlichen Monitore + Remote-Admin kombiniert sind.

Ian


6
2017-09-30 09:40





Für zentralisiertes Syslogging mit vielen tollen Funktionen kann ich nicht anders, als zu empfehlen rsyslog genug. Es ist ein Open-Source-Syslog-Server, der glücklich als Drop-In-Ersatz für den regulären syslogd, den Sie kennen und lieben, arbeiten kann. Es ist jetzt der Syslog-Daemon der Wahl für Ubuntu und ich denke, dass Red Hat & Fedora auch diesen Weg gehen wird. Ich habe festgestellt, dass es viel einfacher ist, zu starten und zu tun, was Sie wollen, dass syslog-ng ist.

Derzeit haben wir zwei zentrale rsyslog-Server (einer an jedem Standort), die Protokolle für Hunderte von Servern erhalten. Ich habe automatische E-Mail-Benachrichtigungen, wenn etwas in Syslog Alarm auslöst oder höher (mit einigen Optimierungen natürlich sind einige Apps ein bisschen alarmierend). Ich könnte wahrscheinlich noch mehr Schlauheiten machen, wie zum Beispiel Sachen an Nagios zu schicken, aber es deckt uns jetzt genug für unsere Bedürfnisse ab.

Dies alles geht auch in eine mysql-Datenbank (es gibt auch Unterstützung für Oracle oder postgresql, wenn Sie so rollen).

Es gibt auch ein Webfrontend und ein Windows-Agent zum Senden von Ereignisprotokollprotokollen an den rsyslog-Server. Das Web-Frontend ist offensichtlich nicht so glatt wie Splunk, aber es macht den Job für $ 0 erledigt.


6
2018-05-27 14:44





Sieh dir das an http://www.codeplex.com/polymon

Seine Open Source, verwendet SQL Server im Backend und hat eine raffinierte Benutzeroberfläche


2
2017-09-08 10:23



Das scheint mehr wie eine Überwachungslösung zu sein, wie Nagios? - MichaelGG


Ich stimme zu, dass Splunk großartig ist. Für kleine, dominante Linux-Umgebungen möchten Sie vielleicht etwas Ähnliches sehen Epilog.

Wir haben es an einem der Orte benutzt, an denen ich gearbeitet habe, und es war großartig für das, was wir wollten.

Ich bin mir nicht sicher, wie gut Windows-Syslog-Nachrichten behandelt werden, die an einen Linux-Syslog-Collector gesendet werden, aber es kann sich sehen lassen.


2
2017-09-08 10:18





Verknüpfen Sie einfach mit meiner Antwort wo sonst:

Splunk ist phantastisch teuer: Was sind die Alternativen?

Bearbeiten (neue Projekte):

Das LogSta und Graylog2 Projekte sehen sehr interessant aus

Hier sind ein paar Videos: ein  zwei.


2
2018-03-03 03:09



besser, deine Antwort von der anderen Frage hier zu stellen, weil das eine offensichtliche Duplikat von diesem ist und sollte zusammengeführt werden / geschlossen werden :) - warren


So etwas wie GFI-Ereignismanager könnte den Trick für ungefähr $ 4k tun.

  • Analyse von Ereignisprotokollen einschließlich SNMP-Traps, Windows-Ereignisprotokollen, W3C-Protokollen und Syslog
  • Echtzeitalarme, SNMPv2 Traps Alarmierung enthalten
  • Zeigen Sie Berichte zu wichtigen Sicherheitsinformationen an, die jetzt ausgeführt werden
  • Zentralisierte Ereignisprotokollierung
  • Entfernen Sie "Lärm" oder triviale Ereignisse, die ein großes Verhältnis aller Sicherheit ausmachen Veranstaltungen
  • Echtzeit 24 x 7 x 365 Tage Überwachung und Alarmierung
  • Überwachen Sie den Status von GFI EventsManager und Ihres Netzwerks grafisch durch den eingebauten Statusmonitor
  • Unterstützung für virtuelle Umgebungen

1
2017-09-08 10:49





Wenn Sie nach einem SysLog-Ersatz suchen, sollten Sie auch einen kommerziellen syslog / rsyslog-Ersatz wie LogLogic in Erwägung ziehen, http://loglogic.com. Wir (dort, wo ich arbeite) verfügen über ein voll funktionsfähiges Logging-, Speicher- und Reporting-Appliance-Set. Im Wesentlichen ist es die Fähigkeit, 100.000s Nachrichten pro Sekunde zu sammeln, wund und indexieren sie, so dass Suchen durchgeführt werden können.


1
2017-07-08 21:15



Ich habe kürzlich eine LogLogic-Demo gesehen. Sehr beeindruckendes Zeug. - Tom O'Connor
Sie sollten eine Demo von LogLogic 5 anfordern, die noch besser ist. - BillRoth


Sie könnten Logscape von LiquidLabs ausprobieren - sehr ähnlich zu Splunk, aber hat auch ein paar verschiedene Funktionen .... http://www.liquidlabs-cloud.com/products/logscape.html


0
2017-09-17 20:40