Frage Bester Systemadministrator WTF?


Du wirst es mit deinen eigenen Augen gesehen haben (oder werden) früher oder später: das schreckliche Projekt / System / Situation, in dem etwas passiert ist SO vermasselt kannst du einfach nicht glauben, dass es tatsächlich so gelaufen ist.

Misswirtschaft? Missgeschick? Missverständnis? Nur alberne, schlichte Ignoranz? Nenne deine Ursache, es ist sicher passiert (und passiert viel, leider; siehe Hier).

Beschreibe es hier, um es amüsieren zu können (wenn auch etwas zynisch) und (hoffentlich) zu lernen.

Einige Regeln:

  • Das ist nicht der Platz für zufällige (wenn auch äußerst verheerende) Admin-Fehler, also bitte vermeiden "argh habe mich vertippt, dass rm -r" oder "OMG ICH KORRUPTIERTE DATENBANK ÜBER MEIN LETZTER GUTES BACKUP KOPIERT" (war da, habe das getan); diese Dinge sind besser Hier. Hier geht es um "Welche Art von Drogen stand genau unter dem Einfluss dessen, wer dieses System entworfen / implementiert hat?".
  • Ein WTF pro Post, damit sie richtig kommentiert werden können.
  • Bitte posten Sie etwas, das Sie tatsächlich gesehen haben :-)
  • Wenn du es warst, der es getan hat, qualifiziert es sich immer noch :-)

Ich werde bald etwas Material hinzufügen, fühlen Sie sich frei, Ihr eigenes hinzuzufügen; und mach es bitte :-)


20


Ursprung


Dies muss ein Community-Wiki sein - squillman
Um ehrlich zu sein, denke ich, dass es zu viel Diskussion erfordert, um eine gültige SF-Frage zu sein. Vielleicht sollte www.thedailywtf.com in den LoJ gebracht werden? - EBGreen
Was genau ist ein Community-Wiki? Ich habe einige Fragen gesehen, die als solche gekennzeichnet sind. Wie funktioniert das? - Massimo
Lustiger Umzug von einer Seite mit vollen Moderatorrechten zu einer ohne Privilegien. Lolz. - BinaryMisfit
Also habe ich diese Website erstellt und sysmaimiert, um technische Fragen zu stellen und eine Community von Benutzern zu beantworten. Dann schrieb jemand eine Frage, die in den Antworten total anekdotisch war. Verstöße gegen die Regeln! Und das @ #% # #, das die Seite benutzt, hat es sogar gewählt, obwohl einige es abgelehnt haben! Mein innerer Pedant starb jeden Tag ein bisschen mehr, diese Frage blieb in den Fragen ... WTF ?! :-) - Bart Silverstrim


Antworten:


E-Mail-Antwort von einem Microsoft Support-Techniker zu einem gemeldeten Problem:

"Was meine Meinung über Ihr Problem angeht, ich habe ein Wort: WEIRD. "

Gold!


10



Wenigstens hast du eine Antwort bekommen. Nicht jeder tut es. - John Gardeniers
"Die Realität ist nie komisch. Wenn man die Realität als "komisch" bezeichnet, bleibt man in einem Blickwinkel, der sich bereits als falsch erwiesen hat. Die Wahrscheinlichkeitstheorie sagt uns, dass Überraschung das Maß einer schlechten Hypothese ist; Ein gutes Modell lässt die Realität normal aussehen, nicht komisch; [...] Aber es wird dich auch daran hindern weiter zu denken Wie seltsam! Wenn Sie emotionale Energie auf Ungläubigkeit verwenden, verschwenden Sie Zeit, die Sie zum Aktualisieren verwenden könnten. Es wirft dich immer wieder in den Rahmen der alten, falschen Sichtweise. Es speist deinen Sinn der gerechten Entrüstung in die Realität, die es wagt, dir zu widersprechen."- lesswrong.com/lw/hs/think_like_reality - TessellatingHeckler


Ich wurde von einer Firma angerufen, von der ich noch nie gehört hatte, die mit der Implementierung eines Exchange 2003-Mail-Servers für einen Kunden betraut war und keinerlei Ahnung hatte, wie das geht. nichts zu merkwürdig, oder? Ich arbeite als freiberuflicher Berater, also bin ich vollkommen in Ordnung, wenn ich Jobs mache, die man nicht für sich tun kann (und dafür Geld bekommt).

Also ging ich zur Kundenseite und entdeckte etwas ganz Seltsames: Jeder einzelne Server im Netzwerk war ein Domänencontroller; alle 15 oder so von ihnen.

Dann entdeckte ich etwas noch Fremderes: keiner von ihnen replizierte richtig mit irgendeinem anderen, das gesamte Active Directory-Verhalten konnte nur als "unberechenbar" beschrieben werden, die Benutzer hatten jedes Netzwerkproblem, das man sich vorstellen kann und Exchange weigerte sich einfach mit unbekanntem zu installieren. zu Menschheitsfehlern.

Also habe ich mir die Netzwerkkonfiguration auf dem Server angeschaut, und ich sah ... es benutzte die öffentlichen DNS-Server des ISP. Dann schaue ich mir einen anderen Server an ... und es war genauso. Dann schaue ich auf ein DC ... das gleiche. Dann fragte ich ... und es wurde offiziell bestätigt: Jeder Computer im Netzwerk (etwa 1500) verwendete das DNS des ISP anstelle eines rechtmäßigen Domänencontrollers.

Ich fuhr fort, DNS zu erklären ist ziemlich wichtig für die ordnungsgemäße Active Directory-Operation und konnte die Hintergrundgeschichte rekonstruieren:

  • Jemand hat die AD-Domäne ursprünglich ordnungsgemäß eingerichtet, wobei ein DC als DNS-Server für jeden Computer verwendet wurde.
  • Er / sie / wusste nichts über Forwarder und / oder Firewall-Konfiguration, so dass Computer öffentliche Internetnamen nicht auflösen konnten.
  • So kam die Idee, die DNS-Server des ISP auf den Computern zu verwenden; Sie haben es konfiguriert jeder von ihnen.
  • Sie fingen an, viel "kann einen Domänencontroller nicht finden" Fehler (wer hätte das gedacht?).
  • Sie dachten, dass das Problem dadurch verursacht wurde, dass sie nicht genug DCs hatten, also fuhren sie fort zu promoten jeder einzelne Server zu dieser Rolle.
  • Unnötig zu sagen, dass sich dies nur verschlimmerte, da auch diese neuen Domänencontroller die falschen DNS verwendeten, sodass sie auch nicht replizieren konnten.
  • Dies ging für MonateSie haben sich einfach daran gewöhnt, dass das Netzwerk völlig unzuverlässig ist.
  • Darüber hinaus versuchen sie, Exchange-Setup zu starten, das kläglich abgestürzt ist; nur dann entschieden sie sich, einen externen Berater anzurufen, und bis zu diesem Zeitpunkt hatten sie absolut keine Ahnung, dass etwas absolut, definitiv falsch in ihrem Netzwerkaufbau war.

24



Ich liebe dieses Zeug. "Wir konnten uns nicht mehr einloggen, weil der Server unzuverlässig ist, also hat jeder jetzt lokale Konten". uhhuh. - SirStan
Dies ist ein Paradebeispiel für die Tragödie des Temporären Fixes. - Ernie


Es war einmal ein Kunde, der ein kleines Unternehmen (10 Personen) mit einer elektronischen Gesundheitsakte war. (Kein Arzt). Ich habe eines Tages festgestellt, dass die Sicherungen fehlgeschlagen sind. Beim Testen funktionierte das Bandlaufwerk überhaupt nicht. Ich erwähnte das dem Besitzer, der sagte, er sei sich bewusst, dass die Fahrt schlecht war, aber zu teuer war, um sie zu ersetzen.

Sicher - das ist nicht sehr WTF.

Der WTF hat seine Mitarbeiter dazu gebracht, das Band täglich zu rotieren und es in einen Safe zu bringen, und all diesen Jazz für die 6-9 Monate seit dem Tod.

"Sagen Sie dem Personal nicht, es könnte sie beunruhigen"


23



Oh. Meine. Güte. - Wesley
thedailywtf.com/Kontakt.aspx - LRE
tust du nicht jede Zeit, um das Band zu wechseln und es zu verschwenden, um mehr Geld zu verschwenden, als das verdammte Laufwerk zu reparieren? - Robert
@Robert: Ich schätze diese WTF kommt eigentlich von;) - Olivier Pons


Ich arbeitete als Systemadministrator für eine große Regierungsbehörde (eines der wichtigsten Organe der italienischen Regierung) und leitete ihr Datenzentrum für einige Monate. Eines Abends klingelt mein Telefon und mein Chef sagt mir etwas sehr Schlechtes passiert: totaler Stromausfall.

Ok, wir haben UPS, oder?

Ja, aber sie werden nicht lange dauern, also gehen Sie besser hin und schließen Sie alles, bis die Energie zurückkehrt.

Ich gehe hin, gehe durch die dunklen Korridore, erreiche den Serverraum ... und werde von etwas begrüßt, was man nur als "..." bezeichnen kann reine Hölle. Buchstäblich. Das Zimmer war so heiß, dass man Kuchen darin hätte backen können. UPS-Strom war in Ordnung, aber die Hälfte der Server war bereits vor Überhitzung abgeschaltet und die anderen schrien vor Qual.

Der Grund?

Server waren auf UPS Power ... Klimaanlage war nicht.


17



Es fühlt sich gar nicht so an, als würde man in einen 100-Grad-Raum mit bernsteinfarbenen und rot blinkenden Lichtern gehen, mit vielen piependen Alarmsignalen und Server-Fans, die zu 100% kreischen. - kmarsh
Leider habe ich bemerkt, dass viele große Unternehmen so aufgebaut sind. Einige Male, wenn Rackspace zu Generator Power ging, stieg die von den Servern berichtete Temperatur von 70 auf 100+ in Minuten. - mrdenny
Wahrlich, wir haben jetzt einen vernünftigen Weg, die Hölle auf der Erde zu simulieren ... heiß, heulend, dunkel, und du willst so schnell wie möglich gehen, aber nicht. - Avery Payne


HP ProLiant ML370 G3 Lüfterausfall ... Die Lüftersensoren auf dem Motherboard dieses Modells neigten dazu, nach 5 Jahren schlecht zu werden. Der Server kann nicht starten, wenn die falsche Kombination von Lüftern nicht erkannt wird. Ich musste den Kunden durch den Start der Maschine mit einem Shop-Vac führen (um die Fans beim Hochfahren zu drehen) und so hielten sie den Server am Laufen, bis ich mit einem neuen System ankommen konnte.

enter image description here enter image description here


9





Ich war früher Buchhaltungssoftware-Berater für Dac-Easy Accounting. Einmal wurde ich in das Hauptbüro eines lokalen Unternehmens gerufen, und mir wurde vom Buchhalter gesagt, dass, wenn ich nicht jedes Wochenende herausfinden könnte, warum das Programm voller Buchungsfehler war, sie einen anderen Antrag und Berater finden müssten. Als ich die administrativen Protokolldateien durchging, entdeckte ich, dass alle Einträge normalerweise am Freitag oder Samstag gemacht wurden. Ich fand dann heraus, dass die Frau des Besitzers sich von zu Hause aus mit PC Anywhere am Computer des Abrechnungssystems anmeldete und nach mehreren Gläsern Wein versuchte, die Konten mit ihrem Scheckheft auszugleichen. Sobald die Zahlen gut aussahen, würde sie sich abmelden.


8



Ich kann garantieren, dass das deine Schuld war, verdammt. - LRE
Wie viele Gläser Wein, bis die Zahlen gut aussehen? Ich wette, es gibt eine Menge Leute, die es wissen wollen. - kmarsh


Ich hob einen Computer aus dem Büro unserer Muttergesellschaft, als ich hörte, wie drinnen etwas rasselte. Als ich den Koffer öffnete, fand ich ihn 1/2 mit Frosted Mini-Wheats. Ich vermute, dass eine Maus darin lebte oder einen Essensspeicher benutzte. Wahrscheinlicher Eintrittspunkt war die Lücke zwischen dem Gehäuse und der DIN-Tastaturbuchse.

Nicht genau das, wonach du gefragt hast, aber ein bestimmter WTF.


7



Ich habe vor Jahren für eine Samenfirma gearbeitet. Ein kleiner Junge hatte Maschinen im Samenlabor, die die seltsamsten Dinge machten. Von den 4 Boxen da draußen hatten 2 Mäuse im Gehäuse Nester. Mauspisse ist schlecht für Motherboards. Wir haben alle viel besser daran getan, die Kartenschlitzabdeckungen danach wieder anzubringen. - Laura Thomas
Und hier dachte ich, Kartenabdeckungen wären nur für den Luftstrom da ... - Ernie


Ein anderer Kunde, eine andere Horrorgeschichte.

Im Hauptbeitrag habe ich darüber gesprochen, eine gute Sicherung fälschlicherweise mit der beschädigten Datenbank überschrieben zu haben, die sie ersetzen sollte; es passiert :-(

Daher wurde eine Wiederherstellung von der Sicherung benötigt. Zum Glück, tatsächlich WAR ein Backup dort: Es wurde täglich auf einem zentralen Backup-Server mit einer Really Big Tape Library erstellt; Dieser Server verwaltete Backups für das gesamte Unternehmen, es war wirklich teuer und es wurde eine Real Backup Software installiert.

So weit, ist es gut. Wir suchen den Backup-Job, laden das richtige Band, starten den Restore-Vorgang, das Band wird geladen, die Wiederherstellung beginnt ... und es passiert einfach nichts.

Wir versuchen es wieder, irgendeine Sache.

Wir entladen, laden neu, starten neu, versuchen vorherige Backups wiederherzustellen ... nichts ändert sich.

Wir nehmen einige an lange Die Operation lief weiter und ließ die ganze Nacht durch ... am nächsten Tag ändert sich noch nichts.

Ok, es ist an der Zeit, den Support der Real Backup Software anzurufen ... aber es ist nicht möglich, wir sind am Sonntag. Wir versuchen, die Supportseite des Anbieters nachzuschlagen, aber ein spezieller Zugangscode ist erforderlich, und nur ein Manager hat es ... derselbe Manager, der wirklich enttäuscht sein wird, wenn er das System entdeckt, ist immer noch am Montag, wenn er zur Arbeit kommt.

Ein weiterer Tag des Schmerzes, und ich entdecke, dass der Fehler bekannt ist, und es wurde durch einen Anbieter-Patch behoben, bei dem (offensichtlich) niemand sich darum kümmert. Also gehe ich um es anzuwenden ... aber es kann nicht gemacht werden: Das Management will nichts riskieren, es sei denn, der Verkäufer bestätigt, dass der Patch sicher angewendet werden kann; die Tatsache, dass Der Backup-Server konnte nichts wiederherstellen anscheinend sah ihnen nicht genug "gebrochen" zu.

Nach nur vier Tagen, verschiedenen Supportanrufen und dem Versand eines Support-Technikers durch den Hersteller vor Ort konnten wir endlich den Patch anwenden und das Backup wiederherstellen. der Backup-Server nicht JE war in der Lage, Wiederherstellungen durchzuführen, aber niemand hat es jemals getestet, also hat es niemand bemerkt.


7



Nun, wie sie sagen, Backup ist einfach, es ist die Wiederherstellung, die schwierig sein kann ... - sleske
"Niemand kümmert sich um Backups. Sie kümmern sich nur um Wiederherstellungen." - Stefan Lasiewski
@StefanLasiewski Eigentlich und leider in unserer Welt gilt das Gegenteil: | - Shadok


Terminalemulation für Spaß und Profit

Ich arbeite mit einem älteren System - im Wesentlichen eine Reihe von Text-Terminals, die mit einer Unix-Box verbinden, mit ein paar Windows-Computern, nur um die Dinge zu komplizieren.

Ein paar wesentliche Hintergrundinformationen

  • Primäre Softwareanwendung verwendet Es ist eine eigene erweiterte Termcap-Datei. Systemweit sind Termcap und Terminfo ignoriert.
  • Primäre Softwareanwendung ermöglicht verschiedene Tastaturbelegungen zu sein ausgewählt nach der Umgebung Variablen.
  • Alle Textterminals sind programmierbar Tastaturen.
  • Windows PC verbinden mit proprietäre Client-Software mit Nein eingebaute Unterstützung durch primäre Software Anwendung.
  • Proprietärer Kunde Software ermöglicht verschiedene Tastaturen Zuordnungen, die beim Laden ausgewählt werden.
  • Nur die Hälfte der Mitarbeiter verwendet Standard QWERTY Layout.
  • Mindestens einer, möglicherweise mehr, der Systemadministratoren, die an diesem System gearbeitet hat, fehlte ein richtiges Verständnis von Terminal Emulation.

Ich denke, du kannst sehen, wohin ich damit gehe.

Es gab halbherzige Versuche, den terminfo-und termcap-Dateien die richtige terminal-Unterstützung zu geben, aber diese sind nur teilweise funktionsfähig. Die proprietäre termcap-Datei, die von der primären Systemanwendung verwendet wird, funktioniert, ist aber meistens irrelevant, da $ TERM sowieso nie richtig eingestellt ist.

Beim Anmelden muss jeder Benutzer grundsätzlich auswählen, wo er sich anmeldet und welches Tastaturlayout er verwenden möchte - es gibt keine automatische Erkennung. Dies setzt $ TERM auf ANSI, ungeachtet davon, welches Terminal auf der Client-Seite verwendet wird, und eine Umgebungsvariable, die so eingestellt wird, dass die primäre Softwareanwendung einige der Schlüssel entsprechend neu abruft.

Im Fall von Personen, die das eingebettete Tastaturlayout an den Textterminals verwenden, wird dann ein Skript zum Neuprogrammieren ausgeführt etwas der Tasten zum eingebetteten Layout (wie physisch auf der Tastatur selbst gedruckt), aber nicht alle von ihnen. Auf den Windows-PCs wird eine Client-Keymap geladen, um die meisten Funktionstasten ANSI zuzuordnen. Kann nicht alle neu zuordnen, sonst funktionieren einige der anderen Tasten nicht mehr.

Das Einloggen in irgendeinen anderen Bereich von einem der Terminals ist eine Fehlschlagübung und kann nur vernünftig direkt auf dem Server selbst durchgeführt werden. Da alles funktioniert, ist es schwierig, die Zeit und den Aufwand dafür zu rechtfertigen. Aber etwas, das neuer ist als die 20 Jahre alten Textterminals, mit denen wir jetzt fertig sind, würde im Wesentlichen eine Neuschreibung des gesamten Systems erfordern.

Ich weine jedes Mal, wenn ich es sehe.


6



Du brauchst ein Schild an der Tür zum Serverraum mit der Aufschrift "Jenseits dieses Punktes liegt Wahnsinn". - Ernie


Ich kannte jemanden, der beschloss, die Dateien auf seinem Computer neu zu organisieren, indem er alle .exe-Dateien in einen Ordner legte.


6



Ah, ja, dieser! Ganz ähnlich wie "Ich habe all das Zeug in C: \ Windows gelöscht, das völlig nutzlos war und so viel Platz einnahm" ... - Massimo
Ich mache das auf Windows-Systemen mit Deep Freeze für ein Gefühl der Katharsis. - Bart Silverstrim