USB serial multiplexer - #USB2SerialMux

Wieder ein neues Thema - ist bei der Verwendung meines ChinaClusters aufgekommen. Es passiert das die Node2 und Node4 nicht bei Einschaltvorgang starten. Warum ist mir momentan noch unbekannt, dem muss ich noch nachgehen. Wie stellt man das nun aber richtig an?

Jedes der OrangePi PC- und OrangePi One-Systemen besitzen jeweils über einen 3-Pin-Header an dem ein UART-Anschluss (3,3V LVTTL) mit jeweils einer Rx-/Tx und GND-Leitung ausgeführt ist. An diesem Port kann mit einer adäquaten Gegenstelle der Bootprozess des Linuxsystems, sowie den zuvor ausgegebenen Meldungen des Bootloaders etc. empfangen werden. Sollte also an einer Stelle - innerhalb der ersten Sekunden - des Bootvorgangs ein Problem auftreten kann dies dort, zumindest Theoretisch oder auch mit Glück, abgelesen werden.

Nun ist der Aufbau des Clusters aber nicht unbedingt so gestaltet dass man ohne Probleme die Hand hinein stecken kann um ein Kabel auf einen 3-Pin-Header aufstecken zu können.

Es wird also ein Kabel benötigt das dort dauerhaft angebracht bleiben kann. Nun man könnte jeweils umstecken, sollte ein Problem auftreten sein.

Da aber die Probleme nicht wiederholt sondern jeweils nur einmal ausgegeben werden, müsste man nun bei jedem Start je ein Gerät und auch nacheinander und über einen Adapter, vor dem Einschalten der Node anschließen und die BootUp-Meldungen einzeln beobachten.

Da mir persönlich aber solche wiederkehrenden und immer gleichen Aktivitäten furchtbar großen Spaß machen, kam mir die passende Idee.

Ich benötige nicht nur eine Möglichkeit mit der die UART-Verbindungen der Embedded-Systemen einzeln aus dem Cluster-Gehäuse heraus verfügbar zu machen, sondern auch gleich intern automatisch mitloggt und für einen späteren Zeitpunkt zur verfügbar stellt.

Nun soll dabei das zuverlässigste Teil im Cluster der Master sein, welcher im idealen Fall nicht beobachten muss. Das definiere ich mal so, unabhängig davon ob der Cubietruck tatsächlich das stabilste System ist in dem Rechner-Verbund.

Da dieser aber nicht über die benötigten sechs U(S)ART-Eingänge verfügt, muss auch hier noch eine Lösung gefunden werden.

Man könnte nun sechs USB zu UART-Wandler kaufen und diese mittels einem USB-Hub an den Master anschließen was aber leider nur zu noch mehr Kabel im Gehäuse führt und ich absolut vermeiden möchte (man denke an den Platzmangel).

Die nächste Alternative, welche mir sehr schnell in den Sinn gekommen ist, ist eine Art Multiplexer für UART zu benutzen. Also ein Gerät dass in der Lage ist zwischen mehreren U(S)ART-Leitungen umzuschalten oder parallel puffern zu können.

Die Letztere Variante bedeutet jedoch deutlich mehr Aufwand bei der Umsetzung und beide Varianten sind am Markt schlicht nicht verfügbar.

Der nächste Schritt ist es nun also gewesen eine Elektronik zu entwerfen die in der Lage ist den eben genannten ersten Fall umzusetzen. Ein Gerät das in der Lage ist zwischen mehreren U(S)ART-Schnittstellen umzuschalten und am besten gleich noch mit integrierter USB-Schnittstelle, über die das System auch steuerbar ist.

Dabei herausgekommen ist meine USB2SerialMux - Schaltung. Auf diesem befindet sich ein AVR ATMega32U4 Mikrocontroller von ATmel, ein Spannungsregler, diverse Kondensatoren, LEDs und zwei HCT7451 8-Kanal Multiplexer.

Die Multiplexer sind jeweils mit acht Pins einer Pinheader-Reihe verbunden, eine weitere Reihe von 8 Pins ist für den GND-Anschluss vorhanden.

Einer der Muxe ist mit der USART-RX-Leitung des Mikrocontrollers verbunden und der andere Mux mit der TX-Leitung des AVR.

Weiter sind die beiden Multiplexer jeweils parallel mit insgesamt drei Steuerleitung des AVR verbunden. Damit sind die 8 Steuerleitungen der Muxe einzeln auswählbar.

Auf der ersten Version der Platine ergaben sich trotz der einfachen Schaltung ein paar grobe Fehler welche vermieden hätten werden können. So hatte ich schlichtweg den ISP-Header nicht eingeplant, die Ground-Leitungen des AVR gar-nicht erst verbunden und an dern Multiplexern einen weiteren Spannungs-definierenden Eingang mit VCC statt GND verbunden.

Diese Fehler waren jedoch schnell korrigiert, das Ergebnis kann sich trotzdem sehen lassen.

Auf dem neuen Layout der Platine sind diese Fehler natürlich allesamt behoben. Weiter habe ich diverse optionale Widerstände verschiedene Leitungen eingeführt um die Multiplexer ggfls. etwas schützen zu können.

Die Software des Mikrocontrollers besteht im wesentlichen aus einem LUFA Dual VirtualSerial Demo-Programm, welches ich so angepasst habe dass man auf dem einen virtuellen seriellen Port die empfangenen Daten meiner Nodes sehen kann, und auf einem zweiten seriellen Port mittels Steuerkommandos den Multiplexer-Kanal auswählen und die benötigte Baudrate festlegen kann.

Da die Bedienung per Terminal-Programm und der Verwendung eines binären Kommunikationsprotokolls - welches ich dazu implementiert habe - jedoch nicht ganz komfortabel ist, habe ich zudem ein Python-Script geschrieben mit dem die Einstellungen problemlos per Kommandozeile vorgenommen werden können.

Der findige Windows-Anwender kann sich die entsprechenden Script-Aufrufe natürlich auch in verschiedenen Batch-Files per Klick verfügbar machen. Hier die Ausgabe der verfügbaren Parameter:

Wie im vorhergegangenen Screenshot zu sehen ist kann mittels diesem Script die Baudrate der Verbindung zu den angeschlossenen Systemen verändert werden, sowie die aktuell zu verbindende Multiplexer-"Leitung" gesetzt und jeweils ausgelesen werden. Damit sind auch unterschiedliche Baudraten möglich, indem man vor dem umschalten bereits die Baudrate auf die benötigte umstellt.

Für den Cluster bedeutet dies nun das lediglich die sechs 3-Pin-Header mit der USB2SerialMux - Platine verbunden werden müssen und diese dann mit dem Cluster-Master. Und dieser kann dann mit Hilfe von verschiedenen Tools - zeit-gesteuert ab dem Zeitpunkt des Einschaltens der ersten Node - durch die einzelnen Kanäle des Multiplexers schalten und die empfangenen Daten entsprechend für die spätere Verwendung loggen. Auch hierzu existiert bereits ein kleines Shellscript welches ebenfalls im Tools-Ordner im Repository liegt. 

Das Projekt ist wie gewohnt auf git.okoyono.de verfügbar. Ebenfalls ist die aktuelle Version des benötigten des Bootloaders verfügbar und diverse Screenshots wie die Fuses des AVR über den ISP-Header gesetzt werden müssen, NACHDEM der neue Bootloader per ISP auf den AVR übertragen worden ist.

Die Platinen können direkt von OSHPark bestellt werden. Eine Liste der benötigten Bauteile kann dem Schaltplan (KiCAD) entnommen werden.

Hier noch ein Bild der fertigen Platine in der ersten Version, mit den oben genannten Korrekturen...

Und hier noch eine 3D-Darstellung der aktuellen Version v0.2, welche bei OSHPark bestellt werden kann.

Eine fertig aufgebaute Version inklusive aller Bauteile und deren Aufbau und Test kann ich aus zeitlichen Gründen leider nicht anbieten.

#ChinaCluster impressions

Die neue Frontplatte im schlichten Aluminium-Lochblech, mit dem 2.2" TFT, drei Tastern und zwei USB- und einem HDMI-Anschluss. Das lila Leuchte ist eine Kombination der roten Power-LEDs und der ultra-hellen blauen LED des eingebauten USB-Hubs.

Hier nochmal deutlich heller aufgenommen.

In der Rückwand sind zwei Ethernet-Anschlüsse eingebettet. Einer führt auf den Cubietruck und der zweite direkt auf den internen Netzwerk-Switch.

In meinem vorherigen Post habe ich  über die Strommessung geschrieben. Der neu montierte OrangePi One (mit der rot leuchtenden LED) fungiert als Datenbank-Server.

Hier eine Übersicht über alle Messdaten die per Grafana dargestellt werden, damit entgeht einem keine Auffälligkeit.

Im dunkeln entfaltet sich dann ein ganz andere Atmosphäre.

Da Aaron mit ja ein schickes Gehäuse für den Cluster baut, benötige ich einige Adapterplatinen. Unter anderem habe ich einen um den HDMI-Anschluss des Cubietrucks nach außen an der Gehäuse zu führen. Leider ergaben sich dabei kleinere Störungen die ich aber mit ein klein wenig Aluminiumfolie beheben konnte.

ChinaCluster - Strom messen

Aus reinem Interesse habe ich von einer weile beschlossen den Stromverbrauch zu messen. Und da ich vor einigen Jahren, während meines Studiums, bereits solche Messungen an E-Bikes mittels eigens entwickelter Hardware durchgeführt habe, konnte ich mir die Suche nach einer brauchbaren Lösung ersparen.

Meine Umsetzung basiert dabei auf der Verwendung eines Messwiderstandes in Verbindung mit einem 'Current Shunt Monitor' und einem Mikrocontroller. 

Und da ich noch ein paar Arduino Nano hier herumliegen habe wird es einer von diesen werden. Das folgende Bild zeigt den aktuellen Aufbau.

Arduino Nano und Shunt Monitor

Das Prinzip hinter meiner umgesetzten Strommessung ist folgendes:

Ein Messwiderstand wird in die Zuleitung zwischen dem Netzteil des ChinaCluster und den restlichen Komponenten gebaut. In die 'plus'-Leitung. Wer im Physik-Unterricht aufgepasst hat weiß nun das an diesem eine Spannung anliegt, die in Abhängigkeit zum Widerstand und Strom steht. Also U=R*I, was dem Ohmschen Gesetzt entspricht. Mann kann also die Spannung einfach messen und über das Ohmsche Gesetz den aktuell fließenden Strom berechnen, sofern man den Widerstandswert weiß.

Skizze mit Shunt, Stromquelle und Verbraucher

Ein wichtiger Punkt, bei dieser Art der Messung, ist dabei jedoch folgender: Je höher der Wert des Messwiderstandes ist, desto höher ist auch die an diesem anliegende Spannung. Und genau die an diesem anliegende Spannung fehlt dann an den restlichen Komponenten des Clusters.

Vorstellen kann man sich das wie eine einfache Reihenschaltung, einen Spannungsteiler. Am Messwiderstand liegt die Spannung Us=Rs*I an. Der Strom I ist in der Reihenschaltung immer gleich. Und die Spannung an den Verbrauchern ist dann Uverb=5V-Us. Das Verhältnis der Aufteilung hängt letztlich vom Verhältnis des Messwiderstandes zum Widerstand der restlichen Verbraucher ab.

Und da die restlichen Verbraucher aber - beim ChinaCluster allesamt eine recht stabile und genaue 5V Spannung benötigen ist da eigentlich kein Spielraum für den Messwiderstand, oder?

Doch der ist da, jedoch nicht im Volt-Bereich, sondern eher im Millivolt- oder Mikrovolt-Bereich. Das bedeutet also das man sinnvollerweise einen Widerstand wählt der deutlich unter einem Ohm liegt.

Das Ohmsche Gesetzt kann einem helfen da einen Überblick zu bekommen wie Groß denn der Widerstand sein darf, damit die benötigten 5V an den Verbrauchern möglichst wenig verringert wird.

Beispiel:

Rs = 0.001185 Ohm

I = 2 Ampere

Us = 0.001185 Ohm *2 Ampere = 0,00237 Volt

Damit würden bei diesem Widerstand lediglich 0,00237 Volt von den benötigten 5V am den Verbrauchern fehlen, was etwa den Wert 4,99V ergibt. Also eine minimale Veränderung mit der man leben kann.

Leider besteht an dieser Stelle jedoch ein weiteres Problem. Der Mikrocontroller muss über seinen eingebauten ADC (Analog Digital Comparator) diese Spannung messen.

Und ein zweites Problem haben wir uns damit auch noch auferlegt, ohne es bis jetzt zu merken. Woher bekommt man einen Widerstand von beispielsweise  0.001185 Ohm? Bei diversen Online-Händlern kann man verschiedene kaufen, um die 1Ohm und kleiner. Diese sind jedoch meist sehr teuer und nicht immer in vielen verschiedenen Größen verfügbar.

Das gute ist jedoch das man so einen Messwiderstand ganz einfach selbst machen kann. Je nachdem wie hoch die Spannung ist, welche das Netzteil liefert und wie hoch der maximale Strom ist der durch den Widerstand Fliesen soll ist, kann man auch einfach ein kurzes und dickes Stück Draht nehmen. In meinem Fall des ChinaCluster ist es ein Stück 1,5qmm isolierte Flexleitung, die für 230V Wechselspannung ausgelegt ist. Die Länge beträgt etwa 6,5cm, was über Umwege gemessen einen Widerstand von etwa 0.001185 Ohm ergibt.

Der Shunt - Das blaue Kabel

An diesem Punkt muss ich jedoch zugeben das meine Messung fehlerhaft sein kann. Gegebenenfalls werde ich an dieser Stelle den Widerstandswert noch korrigieren und beschreiben wie man den Wert genau ermitteln kann. Im Moment reicht mir persönlich diese Annäherung an den korrekten Widerstand jedoch aus.

Meine Bessung basiert darauf mit einem Multimeter und einem Oszilloskop den Wert indirekt zu ermitteln. Das Oszilloskop hat dabei die Spannung am den Messwiderstand gemessen und das Multimeter den aktuell fließenden Strom. Der Widerstandswert kann so relativ genau ermittelt werden indem man das Ohmsche Gesetzt anwendet.

Damit hätten wir nun das zweite Problem gelöst und stehen noch vor dem ersten, dass der Mikrocontroller per ADC die Spannung am Shunt - wie man den Messwiderstand auch oft nennt - messen soll.

Hierzu muss man jedoch zunächst grob verstehen was der ADC eigentlich tut. Er wandelt einen Spannungswert einer Quelle in einen Zahlenwert um. Der Zahlenwert ist dabei jedoch nicht identisch mit dem der anliegenden Spannung. Der ADC wird also nicht den Wert 4,5 liefern wenn die angelegte Spannung 4,5V entspricht.
Die Werte welche ausgegeben werden bewegen sich in einem definierten Wertebereich. Im Fall von meinem Mikrocontroller im Bereich von 0 bis 1023, man spricht hierbei auch von einer 10Bit Auflösung (2^10 -1).

Zudem gibt es oft die Möglichkeit eine Referenzspannung festzulegen. In meinem Fall habe ich eine externe Spannung von 3,3V gewählt. Hierbei gibt es einige Regeln wie hoch diese maximal sein kann, woher diese kommt usw. aber das soll hier nicht das Thema sein. Wichtig an dieser Stelle ist für uns nur das eine Spannung von 3,3 V dem Zahlenwert 1023 entspricht und 0V dem Zahlenwert 0.

Rechnen wir uns nun aus welche Spannung maximal an unserem 0.001185 Ohm Shunt anliegt:

U = Rs * Imax = 0.001185 Ohm * 12 A = 0,01422 V

Jetzt sind 0,01422 Volt drastisch viel kleiner als 3,3V. Und die 3,3V Referenzspannung dividiert durch die Auflösung des ADC, von 10 Bit, ergibt einen Spanungshub von 0,00322265625V pro Count. Man kann also sagen dass jedes Mal wenn die gemessene Spannung am Shunt um etwa 0,0032...V erhöht wird der ADC den Ausgabewert um den Zahlenwert (Count) von 1 erhöhen.
Im Fall von den oben berechneten 0,01422 V wird dieser also einen Count von maximal 4-5 ausgeben.
 Und das wenn der maximale Strom von 12 Ampere fließt. Wenn der ChinaCluster also im Leerlauf ist und gerade mal zwei Ampere benötigt wird der ADC eine Null ausgeben, da für diesen die Spannung einfach zu klein ist.

Oben habe ich bereits beschrieben das ich einen Current Shunt Monitor zur Messung verwende. Im Grunde kann man sich das als einen Verstärker oder Multiplikatoren vorstellen.
Dieser bekommt eine Eingangsspannung angelegt und liefert an dessen Ausgang eine um einen Faktor erhöhte Spannung. Der Faktor ist bei meinem Bauteil fest vorgegeben, es handelt sich dabei um den Faktor 50, da ich einen INA194 von Texas Instruments verwende.

Mit diesem kleinen Trick bringen wir den Spannungsbereich von 0,01422 V maximal auf das fünfzigfache davon, also etwa 0,7 V. Das ist zwar immer noch nicht hoch, aber besser als zuvor. Damit würden die 12 Ampere die das Netzteil maximal liefern kann als Zahlenwert vom ADC etwa der Zahl 217 entsprechen. Im Vergleich zu dem Wert 4-5 ist das eine deutliche Verbesserung.

An dieser Stelle möchte ich nochmals darauf hinweisen das sich hierbei an einigen Stellen der Berechnungen und Messungen Fehler in der Genauigkeit einschleichen. Für mich sind diese akzeptabel, da ich lediglich einen Groben Wert in eine Datenbank logge und mir daraus nur einen Grafen anzeigen lasse. In diesem Grafen ist nicht genau ersichtlich wie der exakte Wert ist, wichtig ist mir dabei nur das sich die Auslastung meines Netzteils in definierten Bereich bewegt.

Grafana Strom-Kurve

Um mehr Detailschärfe bei der Strommessung zu erhalten kann man zum einen eine kleinere Referenzspannung verwenden, die deutlich näher an der maximal zu messenden liegt. Sofern der Mikrocontroller dies zulässt. Oder man verwendet einen anderen Current Shunt Monitor mit einem höheren Multiplikator. Alternativ kann man sich auch mit einem OPAMP einen Spannungsfolger basteln und diesen auf einen exakt berechneten Faktor einstellen. Dies hat dann einige Vor- und Nachteile auf die ich jedoch hier nicht eingehen möchte.

Schlussendlich bleibt zuletzt, nachdem nun alle Probleme gelöst sind, nur noch die Werte des ADC wieder in den fließenden Strom umzurechnen.

I = Ushunt / Rshunt wobei Ushunt = Uadc / 50

Dieses Bild zeigt eine Liste von Messwerten des Mikrocontrolles, als Hex und Dezimalzahl, deren Umrechnung in die anliegende Spannung und der Umrechnung in den fließenden Strom.
Das Python-Script welches über eine Serielle-Verbindung (USB zu Seriell) die Daten von einem Arduino empfängt ist hier verfügbar. Die Firmware für den Arduino kann hier heruntergeladen werden.

Cubietruck GPIO with python und SWIG

Um für meinen ChinaCluster diverse externe Hardware steuern und auslösen zu können benötigte ich vor einiger Zeit eine Möglichkeit auf das GPIO-Subsystem des Cubitrucks zugreifen zu können. Dieser ist das Master-System im Cluster.

Für die Implementierung von Software in C/C++ sind die beiden folgenden Quellen die grundlegenden Informationen zum Ziel. Das allgemeine Cubietruck Tutorial und das Cubieboard GPIO tutorial. Ich jedoch würde gerne per Python - und das ohne möglichst alles neu implementieren zu müssen - auf das GPIO-System zugreifen.

Theoretisch gibt es bereits ein WiringCB-Projekt, welches theoretisch ein GPIO-Interface für Cubieboards bereitstellen sollte, in meinem Fall funktionierte dies jedenfalls in keinem meiner Tests.

Was tun also wenn es keine adäquate Lösung gibt? Selbst umsetzen. Daher habe ich hier bereits ein Repository eingerichtet mit dem per Python auf das GPIO-Subsystem - zumindeste meines Cubitrucks - zugegriffen werden kann.

Letztendlich basiert diese Lösung darauf das ich um die C-Implementierung von Stefan Mavrodiev einen Python-Wrapper gelegt habe. Der gängige Weg ist dabei wohl diesen mittels SWIG, unter Zuhilfename eines .i-Files in dem alle zu exportieren Elemente aus der ursprünglichen Library aufgelistet bzw. definiert werden, den Wrapper automatisch generieren und kompilieren zu lassen. Wichtig ist hierbei ein Setup-File manuell erzeugt zu haben in dem die Eigenschaften der neuen GPIO-Library definiert sind. Das Repository beinhaltet eine sehr übersichtliche Umsetzung und kann so ggfls. theoretisch als Beispiel dienen.

Spezielle Software-Pakete habe ich auf dem Armbian des Cubitrucks nicht installiert. Lediglich Python, pypy swig und make und der gcc sollten installiert sein.

Meine Software kann simpel mittels make durchgeführt werden. Achtung, es wird jeweils die Python und pypy-Version der Library kompiliert. Benötigt man beispielsweise die Python-Version kann man diese Zeile einfach im Makefile auskommentieren. Hat man make als normaler User ausgeführt und bereits ausreichend Rechte auf das GPIO-Subsystem wird zudem der automatisch ausgeführte Library-Test ohne Fehlermeldungen ausgeführt. Ansonsten bleibt einem nur der Weg über den User root.

Genetische Algorithmen und OpenMPI

Dinge die passieren - einen aber ärgerlich stimmen - wie zum Beispiel das ich diesen Artikel bereits geschrieben hatte und ich ihn nun komplett schreiben muss, da die Datei in der er stand leider bei einem unerwarteten Zwangs-Reset meines Rechners verloren ging.

In dem verlorenen Artikel hatte ich darüber geschrieben das es etwas wie genetische Algorithmen gibt, welche dazu herangezogen werden könne Probleme zu lösen für die man z.B. keinen Lösungsansatz besitzt aber das Ziel kennt. Außerdem habe ich über Affen geschrieben die auf Schreibmaschinen tippen und per Evolution in der Lage wären einen Text wie Shakespeares Sommernachtstraum zu schreiben. Bei diesem so genannten Infinite-Monkey-Theorem kann mathematisch, auch ohne Evolution, bereits bewiesen werden das dies möglich ist. Die Evolution soll dabei nur den Fortschritt unterstützen. Diese Aufgabe ist in Etwa gleichzustellen wie ein erstes "Hello World" bei der Verwendung einer neuen Programmiersprache. Aber vielleicht auch ein klein wenig aufwändiger umzusetzen.

Schlussendlich, mal von den ganzen Affen abgesehen, wollte ich nur darüber berichten das ich nun endlich für meinen Cluster eine Software geschrieben habe die alle Elemente des Systems einmal gründlich ausnutzt. Also das Netzwerk, die 20 Prozessor-Cores der OrangePis und auch den RAM gut ausgelastet.

Die Programmiersprache meiner Wahl bei der Umsetzung ist in diesem Fall python - bzw. pypy - in Verbindung mit MPI4PY und OpenMPI. Die Laufzeit ist durch die Verwendung von pypy deutlich reduziert und durch die Möglichkeit der verteilten Berechnungen und Aktivitäten, welche per OpenMPI ermöglicht werden, kann diese weiter reduziert werden. Leider musste ich bei meinen Tests feststellen das mein Notebook mit dem Intel i7 Quadcore - Prozessor der 16GB RAM zur Verfügung hat immer noch schneller ist als der Cluster - aber schnelle und Moderne Hardware kaufen kann ja jeder.

Mein Script ist unterteilt in zwei Bestandteile, einen generischen Teil der für die Ausführung des genetischen Algorithmus zuständig ist und einem ausführenden Hauptteil der unter anderem für MPI zuständig ist. Weiter gibt es seit kurzem einen weiteren generischen Teil welcher den Aufwand der MPI-Kommunikation (welche per SSH realisiert ist) dadurch reduziert indem ein Node-lokales Multiprozessing verwendet wird.

Der Grundlegende Ablauf bei einem solchen genetischen Algorithmus ist immer gleich. Zunächst wird eine initiale Population von DNA-Elementen erzeugt, auf diese einzelnen DNA-Stränge dann eine Fitness-Funktion angewandt, daraufhin aus den besten n-Stück und durch Rekombination eine neue Population (Generation) erzeugt und schlussendlich Mutationen in dieser neuen Population erzeugt. Danach wird der Vorgang beim ausführen der Fitness-Funktion neu begonnen und fortgefahren bis entweder im Idealfall eine Lösung ermittelt worden ist, oder eben eine maximale Anzahl von Versuchen den Vorgang beendet.

Da es genug Tutorials, Beispiele und Quellen zu finden gibt verzichte ich hier auf weitere Details zu meiner Implementierung. Es war eben auch nur ein Test um die Funktionalität des Clusters zu verifizieren. Die Performance kann in dieser Software an einigen Stellen optimiert werden.

So ist die Verwendung der Sprache Python und des pypy-Interpreters sicher nicht performanter als wenn man eine Hochsprache wie C oder C++ verwenden würde. Weiterhin ist ein häufiges austauschen von Daten zwischen den Nodes und des Masters per SSH, unter Berücksichtigung das es sich bei meiner Hardware um Embeddedsystems handelt, vielleicht auch eher ein Flaschenhals. Ebenso wie das 100MBit Netzwerk, aber um die Hardware geht es hier nicht. Weiterhin wird in meiner generalisierten Implementierung des Multiprocessings für jede anstehende Berechnung einer oder mehrere Prozesse neu gestartet und diese daraufhin wieder beendet, was weiteren Overhead auf der CPU erzeugt den man durch geschickte Verwendung eines anderen Prozessschemas verringern könnte.

Auch die Implementierung der Datenstrukturen in Python-spezifischen Datentypen wie Listen und Dictionaries anstatt der Verwendung von numpy wirkt sich vermutlich nicht positiv auf die Performance aus.

Hierbei muss man sich in jedem Fall vermutlich selbst für sich überlegen ob es einen Sinn ergibt seine Software im Nachhinein zu optimieren oder gleich von Anfang an die Beste der Besten der Besten Verfahren, Datenstrukturen und Soft- und Hardwarekomponenten verwendet. In meinem Fall würde ich noch hinzufügen - Hauptsache es macht Spaß und es gibt neues zu entdecken.

Insgesamt bin ich dennoch zufrieden, da der Cluster bewiesen hatte das er zuverlässig, auch unter Volllast mit einem System-Load von 8 (bei 4 CPU-Cores) und mehr trotzdem weiterhin korrekt Arbeitet.

Fazit zum ChinaCluster und OpenMPI

ChinaCluster-Fazit

Meine Erfahrungen der letzten Wochen beim Aufbau der Konfiguration und dem Ärgern über meinen ChinaCluster möchte ich hier niemandem vorenthalten.

Ich war ehrlich gesagt zunächst etwas skeptisch was die Qualität der Produkte aus China angeht. Die Kosten derer waren sehr viel geringer - um nicht zu sagen sogar drastisch. Die Verarbeitung wirkte an der einen oder anderen Stelle - im Vergleich zu teureren Produkten die aus dem europäischen Markt verfügbar sind - etwas weniger robust und hochwertig. Was meine Erfahrung mit den Teilen angeht habe ich jedoch noch keine wirklichen Nachteile gefunden, außer einem: Die 2,50€ Micro SD-Karten sind sehr empfindlich. Trennt man von einem der Embedded Systems die Spannung während gerade ein Zugriff auf eine der Karten erfolgte kann es durchaus sein das weite Teile der Speicherbereiche irreparabel beschädigt werden. Also nicht so dass ein Einfaches zurückspielen des Journals Abhilfe   schaffen würde, nein der Speicher ist komplett defekt. Ich werde an dieser Stelle noch ein paar Tests machen ob ich das Problem zuverlässig reproduzieren kann.

Für die Zukunft werde ich vorsichtshalber jedoch auf Markenprodukte (zumindest bei SD-Karten)  setzten - und auch mal hier prüfen ob sich diese ähnlich leicht in meinen Cluster-Nodes zerstören lassen.

Bei den Netzwerkkabeln hatte ich damals bewusst die kürzesten und billigsten bestellt gehabt - diese sind blau. Und ich vermute mal dass diese - aufgrund der fehlenden Schirmung - nicht für professionelle Zwecke genutzt werden sollten. In meinem Fall habe ich die 50 cm langen Kabel noch weiter gekürzt, so dass diese nun insgesamt nicht mehr als Länge von jeweils 15-20 cm haben. Damit sollten sich die Probleme welche durch die fehlende Schirmung entstehen weiter minimieren. Bei meinem Performance-Test des Netzwerks sind mir jedenfalls keine Probleme oder  Geschwindigkeits-Einbußen aufgefallen. Die 100MBit - Verbindung ist stabil. Auch der 13€ 10/100 MBit Netzwerk-Switch arbeitet problemlos.

Was das 2,2" TFT Display angeht ist mir aufgefallen das sich nach einiger Zeit der Klebstoff löst welcher die Frontscheibe am Gehäuse festhält. Damit steht diese Scheibe etwas ab was dazu führt das viel Licht der Hintergrundbeleuchtung an den Seiten heraus leuchtet. Nichts was man jedoch nicht mit einem Tropfen Klebstoff oder einem Klebestreifen reparieren kann. Zudem ist dieses Problem mit der Verarbeitung obsolete sobald das Display in ein Gehäuse eingebaut wird.

Auch die OrangePi PCs sind durchaus zuverlässig. Deren Leistung mit den 4 CPU-Cores welche permanent auf 1,5 GHz laufen ist ordentlich. Das RAM mit einem Gigabyte ist jedoch etwas knapp bemessen, im Vergleich dazu hat mein Cluster-Master - ein Cubietruck - bereits 2 GB RAM. Was definitiv zu bemängeln ist das der Support und die Community für diese Plattform nicht sonderlich groß ist. So das Kernel-Updates quasi nicht stattfinden, und viele Features welche man sich wünschen würde für die Hardwareunterstützung nicht umgesetzt sind. Die letzten offiziellen Updates der Installations-Images fand beispielsweise Mitte 2015 statt, was zum Zeitpunkt zu dem ich diesen Artikel schreibe etwa 10 Monate her ist. Nichtsdestotrotz ist, vom Kernel und dessen Features abgesehen, die restliche Software welche aus den Debian/Ubuntu Paket-Quellen kommt aktuell und zuverlässig. Was dazu führt das die OrangePi PCs dennoch brauchbar sind, sie können recht performant Probleme abarbeiten.

OpenMPI

Schon interessanter war es eine aktuelle Version von OpenMPI.org zu installieren bzw. zu  kompilieren und auch verwenden zu können. Die Tutorials im WorldWideWeb beschreiben nur den Standard-Fall - wenn man zuvor Unmengen an Libraries installiert hat und die Software direkt in das Root-Filesystem hinein installiert. Klar dann muss man keine PATH-Variable oder den LD_LIBRARY_PATH anpassen und auch sonst nichts im System verbiegen. Die Alternative welche  die Debian-Paketen bieten sind - wie auch anders zu erwarten leider veraltet - wodurch diese ausscheiden.

Meine Lösung ist das ich OpenMPI direkt unter /opt installiere, die System-Variablen anpasse und damit auch bei einem Versions-Wechsel simpel einfach alle Inhalte überschreiben kann. Auf der Master- und den Slave-Nodes wird jeweils das identische Software-Paket verwendet, so dass hier keine Inkompatibilitäten entstehen. Konfiguriert wird OpenMPI mit der Option „--prefix=/opt“. Wobei ich bereits DistCC zum kompilieren verwende, was jedoch auch dazu führt das zukünftig auch alle per mpicc kompilierten Projekte per DistCC verteilt kompiliert werden - ein netter Seiteneffekt. Das Konfigurieren per configure-Script und das kompilieren/installieren gestaltet sich simpel - nämlich durch warten das es fertig ist.

Spannend wird es erst bei der Konfiguration der Cluster-Nodes und des Masters. Das Problem ist das die PATH-Variable angepasst werden muss um auch direkt Programme aus /opt/ bin ausführen zu können, ohne den kompletten Dateipfad angeben zu müssen. Wer per „ssh user@host“ jedoch eine Software ausführen möchte stellt recht schnell fest das Kommandos einfach nicht gefunden werden.
Das liegt daran das SSH nur eine „abgespeckte“ Variante der Umgebungsvariablen in diesem Fall zur Verfügung stellt.

Erst im Fall eines direkten User-Logins wird beispielsweise die bash das Environment anhand der bashrc usw. einrichten. Damit jedoch das Problem behoben wird kann man - simpel - eine Konfigurationsdatei von SSH verwenden, die /etc/environment. In diese trägt man einfach die benötigten Variablen ein die man gerne gesetzt haben möchte. Das ganze wird zeilenweise untereinander geschrieben, wie im folgenden Beispiel:

PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/opt/bin:/opt/hadoop/bin:/opt/hadoop/sbin:/mnt/cluster/bin"

Hier können auch andere Variablen hinein, wie z.B. JAVA_HOME, HADOOP_INSTALL, usw.

Für den Master sind noch die folgenden Einstellungen für die bashrc notwendig:

export C_INCLUDE_PATH=/opt/include
export CPATH=/opt/include
export CPLUS_INCLUDE_PATH=/opt/include

In der /etc/ld.so.conf.d/openmpi.conf ist dann noch der Pfad zu den Shared-Libraries einzutragen, sonst wird das Linken der Software nicht funktionieren:

/opt/lib

Mit diesen Einstellungen ist dann auch das fehlerfreie kompilieren von C/C++ Software möglich die OpenMPI verwenden.

Wie in den umherkursierenden Tutorials ersichtlich ist greifen die Tools für die Verwendung von OpenMPI per SSH auf die anderen Nodes zu. Damit ist es notwendig dass ein Login per SSH ohne Passwort - also per authorized_key - möglich ist. Verwendet man dazu mpirun oder mpiexec kann man per -H - Option einfach user@host angeben. Gleiches ist jedoch auch in der mpihosts möglich. Hier können nicht nur Hosts und deren verfügbaren Slots angegeben werden - sondern auch der User mit dem in das System eingeloggt werden soll. Also wie folgt:

mpi@Node01 slots=4
mpi@Node02 slots=4
mpi@Node03 slots=4
mpi@Node04 slots=4
mpi@Node05 slots=4

Damit ist die Installation und Konfiguration von MPI bereits abgeschlossen, so dass dieses direkt verwendet werden kann. Jedenfalls aus C/C++ - Code heraus. Möchte man beispielsweise - wie ich - Python verwenden muss man noch die Hürde nehmen und sich MPI4PY - am besten in der neuesten Version (aktuell 2.0.0) installieren. Dies geschieht indem man lediglich „python setup.py build; python setup.py install“ eingibt. Über die Examples und Demos kann man daraufhin prüfen ob die Installation, wie auch bei OpenMPI, funktioniert. Wenn jemand ein Python-Derivat wie pypy verwenden möchte ersetzt man lediglich beim Aufruf des setup.py - Scripts den Interpreter.

An dieser Stelle möchte ich noch deutlicher darauf hinweisen das dieser Post nicht dazu da ist eine detaillierte Installationsanleitung für OpenMPI abzubilden, diese gibt es wie Sand am Meer im Internet zu finden. Ich möchte hier nur auch die speziellen Details hinweisen welche mir persönlich die Installation der Software erschwert hatte.