Frage Im Serverraum brennt etwas; Wie kann ich schnell erkennen, was es ist?


Neulich bemerken wir einen schrecklichen brennenden Geruch, der aus dem Serverraum kommt. Lange Rede, kurzer Sinn, schließlich war es eines der Batteriemodule, die in der USV-Einheit brannten, aber es dauerte einige Stunden, bis wir es herausfinden konnten. Der Hauptgrund, warum wir es herausgefunden haben, ist, dass das UPS-Display schließlich zeigte, dass das Modul ersetzt werden musste.

Hier war das Problem: Der ganze Raum war mit dem Geruch gefüllt. Einen Schnuppertest zu machen war sehr schwierig, weil der Geruch alles infiltriert hatte (ganz zu schweigen davon, dass es uns leicht machte). Wir haben fast fälschlicherweise unseren Datenbankserver für die Produktion genommen, weil dort der Geruch am stärksten war. Die Vitalwerte schienen in Ordnung zu sein (CPU-Temperaturen zeigten 60 Grad C und Lüftergeschwindigkeiten waren in Ordnung), aber wir waren uns nicht sicher. Es kam einfach vor, dass das aufgebrauchte Batteriemodul ungefähr die gleiche Höhe hatte wie der Server im Rack und nur 3 Fuß entfernt war. Wäre das ein echter Notfall gewesen, wären wir kläglich gescheitert.

Realistisch betrachtet, ist die Wahrscheinlichkeit, dass die tatsächliche Serverhardware in Flammen aufgeht, ziemlich selten und die meiste Zeit werden wir die UPS als den Schuldigen betrachten. Aber mit mehreren Regalen mit mehreren Ausrüstungsgegenständen kann es schnell zu einem Ratespiel werden. Wie ermittelt man schnell und genau, welches Gerät tatsächlich verbrennt? Mir ist klar, dass diese Frage in hohem Maße von den Umgebungsvariablen wie Raumgröße, Belüftung, Standort usw. abhängt, aber jede Eingabe wäre wünschenswert.


448
2018-04-04 14:22


Ursprung


@DeerHunter Naja, Gott sei Dank, es war das Ende des Tages und es gab sehr wenige Leute im Gebäude. Vielen Dank für Ihre konstruktive Kritik, und ich werde sicher sein, dass meine Vorgesetzten wissen, welche Leben sie riskiert hat, als sie beschlossen hat, das System aufrecht zu erhalten. - Chad Harrison
@hydroparadise - jemand muss den Mut haben zu sagen "HALT Wir machen diese Sache nicht richtig. "Wenn Ihr Vorgesetzter die Sicherheitsregeln nicht versteht, kann nicht viel getan werden, außer dass er ein bisschen Rückgrat entwickelt und sich nicht dem Drang beugt, Ecken zu schneiden. - Deer Hunter
@DeerHunter: Was wäre die richtige Antwort wenn du etwas brennendes riechst? Es gibt keinen sichtbaren Rauch, nur einen verbrannten Geruch. Schalten Sie das gesamte Rechenzentrum aus, lassen Sie es für einige Stunden aus und schalten Sie dann die Server nacheinander ein, bis der Geruch zurückkehrt. Ein kleines 25-Rack-Datacenter könnte 1.000 Server zur Überprüfung haben, das ist eine Menge Ausfallzeit für einen "Geruch" - das OP hat keinen sichtbaren Rauch oder Brand gemeldet. - Johnny
@Johnny - Zitieren der OP: "Der ganze Raum war mit dem Geruch gefüllt. Einen Schnuppertest zu machen war sehr schwierig, weil der Geruch alles unterwandert hatte (ganz zu schweigen davon, dass es uns leicht machte)" Beantworten Sie Ihre Frage - ja, Sie müssen Lüften Sie den Raum und beheben Sie die Probleme systematisch. Alles andere ist unverantwortlich. - Deer Hunter
Sind also diejenigen, die den Umgang mit dem Geruch kritisch beurteilen, dass es keinen Unterschied in der Dringlichkeit gibt zwischen einem Geruch und einem Feuer / Rauch? Wenn du etwas riechst, das in deinem Haus brennt, aber keinen Rauch siehst und keinen Alarm hörst, hetzst du dich und deine Familie aus dem Haus und rufst 911 an? - trpt4him


Antworten:


Der allgemeine Konsens scheint zu sein, dass die Antwort auf Ihre Frage aus zwei Teilen besteht:

Wie finden wir die Quelle des lustigen brennenden Geruchs?

Sie haben das "Wie" ziemlich gut genagelt:

  • Der "Sniff-Test"
  • Suchen Sie nach sichtbarem Rauch / Nebel
  • Gehe mit einer Wärmebildkamera durch den Raum, um Hotspots zu finden
  • Überprüfen Sie die Überwachung und Gerätepanels auf Warnungen

Sie können Ihre Chancen, das Problem schnell zu finden, auf verschiedene Arten verbessern - eine verbesserte Überwachung ist oft die einfachste. Einige Fragen zu stellen:

  • Erhalten Sie Temperatur- und andere Gesundheitswarnungen von Ihrer Ausrüstung?
  • Teilen Ihre USV-Systeme Fehler in Ihrem Überwachungssystem mit?
  • Erhalten Sie Stromauslösungsalarme von Ihren Stromverteilungsgeräten?
  • Sind die Raumrauchmelder an das Überwachungssystem gemeldet? (und können Sie?)

Wann sollten wir Fehler beheben, anstatt den Big Red Switch zu treffen?

Das ist eine interessantere Frage.
Den großen roten Schalter zu schlagen kann Ihr Unternehmen eine riesige Menge Geld in Eile kosten: Clean Agent Releases können in die Zehntausende von Dollars fallen, und die Ausfall- / Wiederherstellungskosten nach einer Notabschaltung (EPO, "den Raum fallen lassen") ) kann verheerend sein.
Sie wollen kein Rechenzentrum fallen lassen, weil ein Kondensator in einem Netzteil platzte und den Raum zum Geruch machte.

Umgekehrt kann ein Brand in einem Serverraum Ihre Daten / Ausrüstung und vor allem das Leben Ihrer Mitarbeiter kosten.
Fehlersuche "dieser lustige brennende Geruch" sollte nie Vorrang vor Sicherheit habenDaher ist es wichtig, einige klare Regeln zur Behebung von "Pre-Fire" -Bedingungen zu haben.

Die folgenden Richtlinien sind meine persönlichen Beschränkungen die ich in Abwesenheit von (oder zusätzlich zu) anderen klar definierten Verfahren / Regeln anwende - sie haben mir gut gedient und sie können dir helfen, aber sie könnten mich genauso leicht morgen töten oder entlassen, also wende sie bei dir an eigenes Risiko.

  1. Wenn Sie Rauch oder Feuer sehen, lassen Sie den Raum fallen
    Dies sollte selbstverständlich sein, aber sagen wir es trotzdem: Wenn es ein aktives Feuer gibt (oder Rauch, der anzeigt, dass es bald geschehen wird), evakuieren Sie den Raum, unterbrechen Sie die Stromversorgung und entladen Sie das Feuerlöschsystem.
    Ausnahmen können existieren (üben Sie etwas gesunden Menschenverstand), aber das ist fast immer die richtige Handlung.

  2. Wenn Sie mit der Fehlersuche fortfahren, müssen Sie immer mindestens eine weitere Person involviert haben
    Dies ist aus zwei Gründen. Erstens, du willst nicht in einem Rechenzentrum herumwandern und plötzlich in der Reihe, in der du gehst, ein Rack hochgehen und niemand weiß, dass du da bist. Zweitens ist die andere Person Ihre Vernunftprüfung bei der Fehlersuche im Gegensatz zum Fallenlassen des Raumes, und sollten Sie den Big Red Switch anrufen, haben Sie den Vorteil, dass eine zweite Person der Entscheidung zustimmt (hilft dabei, die Karriere begrenzenden Aspekte zu vermeiden) einer solchen Entscheidung, wenn jemand es später in Frage stellt).

  3. Üben Sie bei der Fehlersuche umsichtigere Sicherheitsmaßnahmen
    Stellen Sie sicher, dass Sie immer einen Fluchtweg haben (ein offenes Ende einer Reihe und einen freien Weg zu einem Ausgang).
    Halten Sie jemanden bei der EPA / Brandbekämpfungsauslösung stationiert.
    Tragen Sie einen Feuerlöscher mit (Halon oder anderes Reinigungsmittel, bitte).
    Merken Sie sich Regel 1 oben.
    Im Zweifel, verlasse den Raum. Achten Sie auf Ihre Atmung: Verwenden Sie ein Atemschutzgerät oder eine Sauerstoffmaske. Dies könnte Ihre Gesundheit im Falle eines chemischen Feuers retten.

  4. Setzen Sie ein Limit und bleiben Sie dabei
    Genauer gesagt, eingestellt zwei Grenzen:

    • Bedingung ("Wie viel schlimmer werde ich das lassen?"), Und
    • Zeit ("Wie lange werde ich versuchen, das Problem zu finden, bevor es zu riskant ist?").

    Die von Ihnen festgelegten Grenzwerte können auch verwendet werden, um Ihrem Team eine ordnungsgemäße Abschaltung des betroffenen Bereichs zu ermöglichen TUN Ziehen Sie Energie, Sie stürzen nicht eine Reihe von aktiven Maschinen, und Ihre Wiederherstellungszeit wird viel kürzer sein, aber bedenken Sie, dass wenn das ordnungsgemäße Herunterfahren zu lange dauert, Sie einige Systeme im Namen der Sicherheit abstürzen lassen müssen.

  5. Vertraue auf dein Bauchgefühl
    Wenn Sie sich zu irgendeinem Zeitpunkt Gedanken über die Sicherheit machen, rufen Sie die Fehlersuche ab und leeren Sie den Raum.
    Sie können den Raum aufgrund eines Bauchgefühls fallen lassen oder nicht, aber das Umgruppieren außerhalb des Zimmers in (relativer) Sicherheit ist sinnvoll.

Wenn keine unmittelbare Gefahr droht, können Sie sich an die örtliche Feuerwehr wenden, bevor Sie drastische Maßnahmen ergreifen, wie z. B. eine EPO- oder Reini- gungsmittelfreigabe. (Sie können es Ihnen trotzdem sagen: Ihr Auftrag ist es, die Menschen zu schützen, dann das Eigentum, aber sie sind offensichtlich die Experten im Umgang mit Bränden, also sollten Sie tun, was sie sagen!)

Wir haben das in Kommentaren angesprochen, aber es könnte auch in einer Antwort zusammengefasst werden - @DeerHunter, @Chris, @Sirex und viele andere haben zu der Diskussion beigetragen


380
2018-04-04 14:29



Universität Ich habe ein neues Rechenzentrum installiert. Sie implementierten ein hochentwickeltes EPO / Fire-Suppression-System. Die Ausrüstung, die es beschützte, lag bei Millionen von Dollar, und es wurde auch für Millionen von Dollar für Forschung für den medizinischen Teil der Schule verwendet. Natürlich, wenn es nötig wäre, würde der rote Knopf gedrückt werden, aber wenn der rote Knopf gedrückt wird war Hit, nur zurücksetzen, es war in der Nähe von $ 200.000 US-Dollar. Steuerzahler Dollar Sie können sicher wetten, dass wenn der Schalter gedrückt wurde, wenn er nicht gebraucht wurde, der Typ, der ihn traf, keinen Job mehr hatte. - Ryan
+1 für das Buddy-System. Ich denke, es ist ein bisschen verrückt, dass es DCs gibt, die das EPA benutzen, um auch die Feuerunterdrückung auszugeben. Es gibt viele Situationen, in denen du EPO spielen möchtest, ohne Halotron überallhin mit Elektroschocks ausladen zu müssen. Ein EPA ist eine ernsthafte Sache, aber es ist kein "alles im DC-Deal zerstören" oder zumindest nicht sein sollte. Die Jungs im DC sollten hoffentlich den großen roten Knopf und das Feuerlöschsystem gut genug verstehen, um den Effekt des Schlagens des Knopfes abzuwägen. Ein EPA kann tatsächlich halt ein Feuer und speichern Sie den DC zum Beispiel. - chris
Eine wichtige Anmerkung, die ich nicht erwähnt habe, ist, dass die meiste Zeit, wenn etwas scheitert, um einen brennenden Geruch abzugeben, was auch immer brennen wird löschen Sie sich selbst, bevor der Geruch erkannt wird und ohne etwas außerhalb der gescheiterten Ausrüstung zu verbrennen. Manchmal schwelt ein Gerät solange, wie es Strom hat, aber wenn man Rauch sieht, sollte es möglich sein, das Gerät zu identifizieren, die Stromversorgung zu unterbrechen und zu sehen, ob der Rauch bald verschwindet oder sich ständig verschlechtert. - supercat
@ryan: Wenn das Drücken der großen roten Taste so viele Steuerzahler-Dollar kostet, hat die verantwortliche Person hoffentlich einen Plan ausgearbeitet, um kleinere Vorfälle mit der örtlichen Feuerwehr zu lösen, die keine Gefährdung von Mitarbeitern beinhaltet. - Christoph
@ryan Das erinnert mich an einen Fernsehbericht über CERN, den ich kürzlich gesehen habe: Das Kamerateam und der Reporter wurden wirklich in die Eingeweide des Systems gebracht und und einen Moment einer der Kameraleute fast rammte einen roten Notaus-Knopf mit seinem Rucksack - gab dem Personal-Typ, der über die Neustartkosten nachdachte, beinahe Herzinfarkte ... - Hagen von Eitzen


Eine Wärmebildkamera könnte die Arbeit machen und Sie identifizieren, wo die Überhitzung ist. Mit einem solchen Gerät können Sie auch den Ursprung eines Feuers oder eines Brandes in einem mit Rauch gefüllten Raum identifizieren.


182
2018-04-05 04:59



Wärmebildkameras sind heute unter einem großen Stand, und wenn Sie einen großen Serverraum betreiben, sind sie ein wertvolles Werkzeug. - rackandboneman
Ein T.I.C. ist nicht so teuer und ist sehr nützlich in einem Rechenzentrum oder großen Serverraum. Nicht nur bei Problemen wie überhitzten Kabeln oder Geräten, sondern auch als präventive oder frühzeitige Erkennung von Problemen, Kühloptimierung, Luftströmung usw. - ddalcero
Eine Laser-Temperatur-Pistole, wie diesesist eine günstige Alternative - MichaelHouse
@mfinni Elektriker haben oft auch Wärmebildkameras. (Jedes Mal, wenn ich in einem Hosting-Unternehmen arbeitete, war ein Wärmebild-Test unserer Stromverteiler-Panels üblich oder nach größeren Verkabelungsarbeiten üblich). - voretaq7
Eine Wärmebildkamera hat sehr große Einschränkungen: 1. Das Sichtfeld kann die Verwendung verhindern 2. Ihre Umgebung ist möglicherweise sehr dicht. [Große Brände werden entdeckt, aber keine kleinen] 3. Die Mittelung der Temperaturen wird benötigt, um einen Schwellenwert zu bestimmen - monksy


Du machst keines dieser Dinge das wurde gesagt. Sie verlassen die gefährliche Umgebung, weil alles, was durch den ganzen Raum gepumpt wird, für Ihre Gesundheit gefährlich ist und Ihre Lungen wirklich durcheinander bringen kann. Wenn es einen beißenden Geruch von etwas gibt, das in dem Raum brennt, den Sie nicht finden können, rufen Sie an (911 | 112 | 999 | welche Notrufnummer passt zu Ihrer Gerichtsbarkeit) und lassen Sie das Feuer (Firma | Abteilung | Brigade) aussortieren sind auf Flaschenluft.

Computer-Teile enthalten alle Arten von interessanten Chemikalien einschließlich Quecksilber, Cadmium, führenund viele Kunststoffe in Gehäusen. Beachten Sie, dass alle Links, die ich gemacht habe, erklären, wie niedrige Expositionen dauerhaften Schaden oder sogar einen schnellen Tod verursachen können. Dies ist eine Umgebung, die sein kann unmittelbar gefährlich für Leben und Gesundheit.

... also, wenn etwas brennt, verbringe nicht Stunden damit, an den Abgasen zu schnüffeln. Wenn Sie es nicht identifizieren können und sofort handeln, um es einzudämmen, gehen Sie raus.


137
2018-04-04 14:27



Es sollte hinzugefügt werden, dass, wenn dies in einem "echten" Datacenter mit integrierten Rauchmeldern mit der Klimaanlage und einer installierten Löschanlage geschehen wäre, der Feueralarm ausgelöst worden wäre und der Raum automatisch abgedichtet und mit Argon oder CO2 geflutet worden wäre es konnte nicht einmal daran denken, herumzurennen und Ausrüstung zu schnüffeln. - the-wabbit
@ syneticon-dj Das hängt von der ab Art von installierten Detektoren. Ionisationsdetektoren könnten die Brandbekämpfung ausgelöst haben, aber ich habe in Orten mit optischen Rauchmeldern gearbeitet (und derzeit an solchen Geräten) - Diese benötigen sichtbaren Rauch (oder zumindest einen guten Schleier), bevor sie auslösen. - voretaq7
Ich wünschte, ich könnte das noch verbessern. Auf die Gefahr hin, kontrovers zu sein, ist ein "professioneller Feuerwehrmann" der einzige Weg nach vorn. - Iain
Ja, als ehemaliger Feuerwehrmann würde ich nicht ohne meine Ausrüstung dort bleiben. Selbst wenn ein Feuer aus ist, sind wir darauf trainiert, wegen der giftigen Gase eingepackt zu bleiben. Wenn ich die Profis anrufen würde, sollten Sie auch! - Jeff Ferland
@Michael die Designs, die ich gesehen habe, waren nicht auf Deckenrauchmelder angewiesen, sondern hatten im Rückluftstrom photoelektrische Detektoren. Das einzige Mal, dass ich es ausgelöst habe, war während einer Testroutine, bei der das Argonitsystem gelöst wurde und eine Rauchquelle in einem der Schränke platziert wurde. Es hat funktioniert, wie ich es erwarten würde, dass es funktioniert. Zum Glück musste ich mich nie mit echten Bränden herumschlagen. - the-wabbit


Wenn Sie die USV ordnungsgemäß überwacht haben (normalerweise über SNMP), sollte das Gerät selbst die Alarmglocken Ihres Überwachungssystems aktiviert haben. Wenn nicht, sprechen Sie mit Ihrem Verkäufer darüber. Es hat entweder eine Fehlfunktion oder Ihr Überwachungssystem ist nicht richtig konfiguriert.

Wenn etwas Aktives tatsächlich brennt, sollte es sich darüber beklagen oder einfach aus dem Netzwerk aussteigen, was ebenfalls einen Alarm auslösen sollte.

Wenn es so etwas wie eine tatsächliche Stromschiene ist, die durch die Isolation brennt und es sich nicht um eine intelligente PDU handelt, dann kommen wir zurück zu Ihrer ursprünglichen Frage, die lautet: "Wie finde ich ein brennendes Ding?" Und ich denke, die richtige Antwort lautet: "Schlagen Sie das EPA und finden Sie es heraus. Ihre Produktionsserver sind wahrscheinlich nicht wichtig genug, um Leben zu riskieren."


76
2018-04-05 10:49



Was bedeutet EPO? - Midhat
Not-Aus ... der große rote Knopf, der die gesamte Stromversorgung des Raumes unterbricht. Meistens, wenn es brennt. - Grant
Ein emphatisches +1 hätte +1000 gewählt. Drück den Knopf, evakuiere, warte, sortiere die Dinge später. Geschäfte mit Feuer und Rauch zu machen (und zu versuchen, irgendetwas zu beheben) ist einer der schlimmsten Fehler, die ein Ingenieur machen kann. - Deer Hunter
@chris Ich muss "EPO, Leave, Wait" respektvoll ablehnen - Die Aktivierung der EPO- und / oder Clean-Agent-Freigabe für einen Raum voller Produktionsausrüstung kann sehr oft das sein, was wir gerne nennen Karriere begrenzende Bewegung. Wenn es kein aktiv, sichtbar Feuer oder Rauchspuren, die von einer Ausrüstung stammen, die eine erste Untersuchung durchführt, ist normalerweise das Richtige. Natürlich sollten Sie unbedingt bereit sein, aus dem Raum zu schießen, während Sie zu irgendeinem Zeitpunkt Ihrer Untersuchung die entsprechenden roten Knöpfe drücken. - voretaq7
Es ist wahrscheinlich, dass sogar ein perfektes Überwachungssystem dies nicht bemerkt hätte, bis zu dem Zeitpunkt, als das USV-Panel "Replace Module" (Modul ersetzen) sagte - das heißt, dass Sie sicher möchten, dass Ihr Überwachungssystem solche Dinge auf Sie aufmerksam macht. Das nächste Mal kann ein Modul an einem Freitag um 19:30 Uhr ausfallen, wenn niemand in der Nähe ist, und der Überwachungsalarm wird Sie dazu bringen, wieder hereinzukommen und das Problem zu lösen, bevor es sich zu einem vollwertigen Notfall entwickelt. Wenn Sie die Überwachung in Ihre FACP einbinden können, können Ihre Rauch- und / oder Wärmesensoren Sie sogar vor einer Abbrennung von Stromschienen und dergleichen warnen. - voretaq7


Dies ist eine dieser Situationen, in denen

XKCD Die Hard sysadmin

trifft nicht zu, sollten Sie einen Fachmann anrufen

Firefighter in protective gear

Alles andere ist einfach nur dumm.


43
2018-04-05 12:50



Das ist eindeutig die beste Antwort. :) - Citizen
@Navin Nein Sie Tun die Jungs in der Feuerwehr das nicht? - Iain


Als jemand, dessen frühere Karriere als eine elektronische Technologie war, habe ich Erfahrung mit "brennenden Gerüchen", die keine Brände waren. Dies ist nicht ungewöhnlich.

Ich würde ein Rechenzentrum nicht wegen eines Geruchs stilllegen. Rauch ist eine andere Sache, etwas brennt wirklich (normalerweise, aber ein erbsengroßer Tantalkondensator kann einen Raum mit Rauch auch füllen). Es ist erstaunlich, wie viel Geruch eine frittierte Komponente in einem Netzteil riechen kann.

Ein TIC- oder IR-Thermometer (ein nützliches Werkzeug und viel billiger als ein TIC) würde dies nicht unbedingt anzeigen, da das Bauteil überhaupt nicht viel Wärme erzeugt und sich in einem Gehäuse befindet. Aber überprüfen Sie, ob die Geräte nicht funktionieren, verwenden Sie Überwachungs-Tools. Bei einem solchen Geruch wird es in 95% der Fälle ein Netzteil sein, das die Leistung des gesamten Geräts beeinträchtigt.


40



+1, durchgebrannte Netzteile sind üblich. In den meisten Datencentern mit hohen Luftstromraten wird der Rauch schnell weggeblasen und es ist schwierig, die Quelle des Geruchs zu lokalisieren. In einem kleinen Raum jedoch kann der Geruch ziemlich schlecht sein und kann sich schnell im ganzen Raum ausbreiten. - Stefan Lasiewski


Ich mag die IR-Bild- oder Thermometer-Antworten, aber vielleicht hilft auch ein echter "Geruchsdetektor". Nach allem, was deine Vorsicht ausgelöst hat, war der Geruch. Rauch, Hitze, IR usw. sind allesamt Surrogate.

So etwas wie dieses: from Shinyei . Ich habe sie nie selbst benutzt oder sie in einem Rechenzentrum benutzt. Aber zumindest theoretisch sollte es ein ordentliches Werkzeug sein. Wenn Sie das Geld für dieses Gizmo haben, das ist.

http://www.sca-shinyei.com/odormeter oder http://www.intopsys.com/products/cyranose.html?gclid=CNXXzOrLs7YCFUws6wodViYApQ

Es gibt Ihnen eine Geruchsstärke sowie Klassifizierung. Es sollte also möglich sein, sich auf den Geruch einzulassen. Der Teufel steckt natürlich im Detail. Wie empfindlich ist es, störenden Hintergrundgeruch etc. auszublenden

Ein Vorteil gegenüber rein temperaturbasierten Messungen besteht darin, dass Geruch häufig an einem viel früheren Punkt oder Schwellenwert auftritt. Oder wenn die überhitzte Komponente durch einen Körper / verborgene Verdrahtung usw. verdeckt wird, ist es leichter, Moleküle zu entdecken, die entweichen als ein Sichtlinien-Hot-Spot.

Eine andere Situation ist ein nicht wärmebedingter Geruch. Wir hatten vorher einen Kühlkreisleck und die Kühlmittelgerüche waren auch seltsam. Ich werde nicht einmal in den jetzt uralten Fall eines Nagetiers gehen, das tot in den Kanälen ist. :)

Ich war überrascht, wie empfindlich diese Sensoren sind. Offensichtlich sind H2S / Mercaptane usw. (übliche Täter) in ppm-Mengen nachweisbar.

enter image description here


19