Frage Splunk ist phantastisch teuer: Was sind die Alternativen? [Duplikat]


Mögliche Duplikate:
Alternativen zu Splunk? 

Dies wurde diskutiert, aber es hat mehrere Monate gedauert, also ist es vielleicht an der Zeit, es noch einmal zu überdenken:

Frühere Diskussion RE Splunk Alternativen

Zur Erinnerung, Splunk rockt. Aber die Preisgestaltung ist einfach jenseits dessen, was wir in Betracht ziehen können (Als ich heute mit Splunk gesprochen habe, betragen die Kosten für ein System zum Indexieren von 5 GB / Tag an Daten mehr als 30.000 USD.)

Das ist mehr als wir für SQL Server ausgeben (um ein großes Vielfaches), mehr als wir für ein Rack von Servern ausgeben (um ein Vielfaches), usw.

Das Splunk-Sales-Team ist korrekt (dass wir für $ 30K mehr Wert und Funktionalität haben, als wenn wir das selbe Gebäude für unser eigenes System verwenden), aber das spielt keine Rolle. Die Kosten für den Splunk sind einfach zu hoch (um ein Vielfaches).

Soooooo, wir schauen uns um!

Gibt es jemanden, der ein Splunk-ähnliches System baut?

Unser Grundbedürfnis:

  • Kann Syslog-Nachrichten auf mehreren UDP-Ports abhören
  • In der Lage, die eingehenden Daten asynchron zu indizieren
  • Eine Art Suchmaschine
  • Eine Art von UI
  • Eine API für die Suchmaschine (zum Einbetten in unsere Konsole)

Wir müssen derzeit 3-5gb / Tag indexieren, müssen aber in der Lage sein, auf 10gb / Tag oder mehr zu skalieren. Wir brauchen nicht viel Geschichte (30 Tage sind in Ordnung).

Wir verwenden Windows 2008 und 2003 Server.

Danke für deine Gedanken!

AKTUALISIEREN: Wir haben zwei Wochen lang kommerzielle und Open-Source-Optionen erforscht. Unser Fazit: Schreiben Sie unser eigenes (Wir sind ein Softwareunternehmen ... wir wissen, wie man Dinge schreibt). Wir haben ein großartiges System auf Basis von mongodb und .NET entwickelt, das uns die Funktionen, die wir von MongoDB benötigten, in etwa einer Engineering-Woche zur Verfügung stellt. Wir haben jetzt unsere Implementierung abgeschlossen. Wir verwenden zwei Mongodb-Server (Master und Slave) und sind in der Lage, eine beliebige Anzahl von Protokolldaten (5 GB / Tag, 15 GB / Tag usw.) zu protokollieren und zu indizieren, die nur durch den Speicherplatz begrenzt ist.

UPDATE ZUM UPDATE (Dezember 2012): Wir verwenden weiterhin unsere mongodb-Lösung, und es funktioniert großartig! Wenn wir es heute bauen würden, würden wir es in Betracht ziehen, es auf elasticsearch aufzubauen.

Bemerkungen: Dieser Raum benötigt eine feste Lösung, die $ 1000-3000 Flatrate ist. Die Lizenzierungsmodelle, die von den kommerziellen Firmen verwendet werden, basieren auf Modellen von "Milk the Datacenter Ops Guys". Das ist ihr Recht (natürlich!), Aber es lässt einen RIESIGEN Raum offen für jemanden, der unter sie kommt. Ich vermute, dass es in ein oder zwei weiteren Jahren eine gute Open-Source-Lösung geben wird, die wirklich nutzbar sein wird.

Vielen Dank für Ihre Anregungen (auch wenn es sich um Eigenwerbung handelte).


49
2018-02-23 20:28


Ursprung


Es tut mir leid, aber Sie generieren wirklich 5 gb / Tag von 4-8 Servern (was Sie für 30k je nach Spezifikation erhalten können)? Ich würde vorschlagen, zurückzugehen und wirklich zu schauen, was Sie indexieren, egal welche Lösung Sie gehen. - Zypher
Diese Daten stammen von einer App (unserem Code), nicht von einem Betriebssystem .... - samsmith
Ich denke eigentlich, dass Splunk sehr billig ist für das, was es ist, egal wie es ist, ein Duplikat, zumindest TRY, um das nächste Mal eine Suche zu machen. Schließen. - Chopper3
Hey, dieser Thread ist ehrlich! Es verbindet sich mit dem anderen Thread, es diskutiert mehr Alternativen als der andere Thread, und es ist der einzige Thread, der die harten Kosten der Alternativen diskutiert. Mich dünkt, du bist übereilt. - samsmith
Das ist alles gut und gut, vorausgesetzt, Ihre Bedürfnisse sind extrem konzentriert und werden sich nicht ändern. Je mehr ich jedoch über Splunk lerne, desto mehr sehe ich seinen Wert. Kann Ihr System Daten aus einer Datei importieren? Syslog? Ein TCP-Stream? Ein Absturzbericht? Ein REST-Webservice? Eine Datenbank? Kann es dann alles miteinander korrelieren und Visualisierungen bereitstellen? Kann es Warnungen erstellen? Kann es exportieren? Wie viel kostet es Sie, für all das maßgeschneiderte Software zu entwickeln? Haftungsausschluss: Ich habe keine Verbindung zu Splunk - Wade Williams


Antworten:


Logstash ist ein Tool zum Verwalten von Ereignissen und Protokollen. Sie können damit Protokolle sammeln, analysieren und für die spätere Verwendung speichern (zum Beispiel für die Suche). Apropos Suchen: Logstash verfügt über eine Weboberfläche zum Durchsuchen und Durchsuchen aller Ihrer Protokolle.

https://www.elastic.co/products/logstash

Es ist noch ziemlich früh in der Entwicklung, aber klingt vielversprechend und bewegt sich schnell.


25
2018-02-23 22:42



Logstash sieht interessant aus, aber es sieht nach einer Menge Arbeit aus. Außerdem gibt es im Download-Bereich keine aktuellen Downloads? - samsmith
Logstash wird als Rubygem verteilt. Du kannst also einfach sagen gem install logstash. Sehen rubygems.org/gems/logstash und code.google.com/p/logstash/wiki/GettingStartedCentralized - Holger Just
Sie können auch andere Suchtools für die von Logstash gesammelten Daten verwenden, z. B. Graylog2, das über eine Schnittstelle verfügt, die manche Benutzer bevorzugen. - Martijn Heemels
Ich empfehle Logstash mit Kibana ( kibana.org ), eine hochskalierbare Schnittstelle für Logstash. Ja, es ist auch Open Source :) - Paulo Coghi
@Paulocoghi Da das erste Commit zu Kibana ungefähr drei Monate nach dem letzten Kommentar stattgefunden hat, können Sie mich sicher entschuldigen, dass ich es hier nicht aufgenommen habe. Das heißt, Kibana ist in der Tat ziemlich beeindruckend, besonders. die neue Ruby-Version. - Holger Just


Ich habe für meinen Fall keine Vergleichsmatrix, besonders wenn es um den Vergleich mit Splunk geht:

Dies sind einige voll funktionsfähige Werkzeuge:

Oktopussy http://www.octopussy.pm

Logbericht http://www.logreport.org/

Schlinge: http://www.intersectalliance.com/projects/index.html

Log-Surfer: http://www.crypt.gen.nz/logsurfer/

Protokollanalysator: http://loganalyzer.adiscon.com/

Log 2-Timeline: http://log2timeline.net/#download  (Dies ist eher ein "Timeline" -Analyse-Tool)

Schließlich, wenn Sie selbst etwas codieren möchten, aber möglicherweise eine besser skalierbare Lösung haben: (Die folgenden Tools sind zum Sammeln von Protokolldaten erforderlich. Sie verfügen nicht über alle erforderlichen Funktionen zum Durchsuchen der Daten.)

Honu https://github.com/jboulon/Honu

Chukwa http://wiki.apache.org/hadoop/Chukwa

Flume http://archive.cloudera.com/cdh/3/blume/

Bearbeiten: Dieser Vergleichslink wurde hinzugefügt: http://csgrad.blogspot.com/2010/07/guided-tour-of-hadoop-zoo-getting-data.html

Bearbeiten: Hinzugefügt Graylog2: Hinzugefügt Logstasch. Logstash ist wahrscheinlich am besten positioniert, um der "Open Source Splunk Replacement" zu werden.


9
2018-03-03 03:02



Wir haben alle diese Tools überprüft. Sie sind entweder $$$ oder sie sind Feature-schwach / in der Entwicklung, etc. - samsmith
Hast du Spark erforscht? Ich weiß, dass dies ein paar Jahre später ist, und Sie haben vielleicht, aber wir sind mit ähnlichen Entscheidungen konfrontiert, so würde gerne wissen, was Sie mit ging. - PKHunter