Artikelserie: Closed Loop

In dieser Serie von Artikel, möchte ich erklären, was ein Closed Loop System überhaupt ist, was man sich darunter vorstellen kann, was es braucht, was es kann, was es nicht kann und was für Variablen man ermitteln muss.

Es handelt sich hierbei um ein Do It Yourself (DIY) ClosedLoop, von daher ist jeder selbst für die Konfiguration, Einstellungen, Fehler usw. verantwortlich.

nightscout ansicht

Ich übernehme keine Haftung für falsche Handhabung! Falls du dir nicht sicher bist, frage in den jeweiligen Chats, Gruppen, Foren nach oder schau in der/das Doku/Wiki rein!

 

 

Wenn man nicht die benötigten Faktoren ermitteln möchten (wie ein Basalraten Test, mehrere…), dann bitte nicht weiter lesen und hier abbrechen!

Wenn man sich damit beschäftigen möchte und bereit ist, praktisch 3 Wochen lang jeden Tag ein Basalraten Test zu machen und weiß was ein cgm/fgm ist, wo der Unterschied zwischen dem GZ und BZ ist, dann herzlich willkommen 🙂

 

Inhaltsverzeichnis:

  1. Was ist ein Closed Loop, was versteht man darunter und was macht es?

  2. Was braucht man (Hardware/Software/Faktoren)?

  3. Wie ermittle ich die benötigten Faktoren?

  4. Installation/Nutzung von Nightscout

  5. AAPS konfigurieren

  6. APS und Safety Parameter

  7. Lernvorgang starten und verifizieren der Parameter

  8. Optimierungsmöglichkeiten (Autotune)

 

Sobald die einzelnen Punkte fertig geschrieben sind, werden diese hier dann verlinkt.

Ein Zeitplan dafür gibt es nicht. Also einfach auf Twitter, FB usw. mal schauen, ob es was neues gibt 🙂

 

Und auch alle externen Quellen:

Linkliste:

kommt bald

Uptime und Traffic von ns.10be.de (managed nightscout service)

Uptime von ns.10be.de

In den letzten Tagen/Wochen, lief ns.10be.de sehr stabil.

Der Service von uptimerobot, welcher alle Server, die hinter ns.10be.de stehen überwacht, ob diese laufen und auch, ob auf den einzelnen Cluster eine Monitoring-Instanz, sowie die MongoDB-Dienste schnell genug antworten, hat für die letzten 90 Tage eine Uptime von:

99.974%

errechnet. Dabei sind die Probleme mit den Medtronic-Servern auch mit drin (seit dem 15.02.21 aber erst).
Vor ein paar Tagen, war z.B. der MongoDB-Server 2 down. Dank der Automatisierung, wurde diese aber automatisch vom System dann neu gestartet.
Eine Analyse hat ergeben, das dieser das swappen angefangen hat, da nach den Anpassungen der Config, ich vergessen hatte auf diesem die MongoDB-Datenbank-Server neu zu starten und somit die Anpassung noch nicht gegriffen hat.
Ebenso sind darin auch z.B. das Up-/Downgraden von Cluster/Proxy-Server enthalten. So lange mindestens noch ein Proxy-Server verfügbar ist, sind die Nightscout-Server erreichbar.

Detailtieres Monitoring:

Was noch fehlt, ist die Ermittlung, warum zwei Cluster manchmal eine stark erhöhte Load von > 100 haben für einige Minuten.
Ich denke, da wird evtl. jemand autotune oder ein export machen oder viele komplexe Queries senden. Zum Glück, konnte ich dies bisher nur bei zwei Clustern sehen.
Die Überwachung der Server erfolgt detaillierter über Munin:
Die Analyse, führen wir mit atop durch, welches alle 5 Minuten die Daten wie Ram-Auslastung, Prozesse mit der meisten CPU- oder RAM-Nutzung, speichert. So kann man dann feststellen, ob ein Systemprozess oder Dienst von 10be dafür verantwortlich ist, oder eine/mehrere Nightscout-Instanzen.

Requests, die bei 10be eingehen

Pro Sekunden gehen bei ns.10be.de ca. 120 Requests, verteilt auf drei Proxy-Server ein.

Durchschnittlich sind auf allen Proxy-Server zusammen 700.000 Verbindungen offen, welche z.B. durch xdrip, spike, androidaps, diabox usw. gemacht werden.

Das gute bei den JiffyBox-Servern von df.eu ist, das man sie sehr schnell vergrößern/verkleinern kann. Aktuell sind beim proxy2 z.B. viel mehr Requests eingegangen, als üblich und dadurch kam dieser an seine Grenzen.

Daher wird dieser nun in einen größeren Tarif gerade gewechselt und ist in paar Minuten wieder online mit mehr Ram und CPU-Power.

Aktuell stehen hinter ns.10be.de 43 Server und es soll bald noch ein Proxy-Server im asiatischen und amerikanischen Raum dazu kommen, um von dort den Verbindungsaufbau und die Geschwindigkeit dort zu erhöhen.

Traffic von ns.10be.de

Im Monat 04/2021, hatten die Server bei Provider 1 ein Traffic von:

23.768,920 GB

Bei Provider 2 kamen im April:

53.260,035 GB

 

Zusammen also grob:

77TB

Dies konnte reduziert werden, da bei einigen Punkten, wie z.B. MySQL-Queries, welche von den Cluster-Servern (Dienste von 10be), die prüfen ob sich Daten einer Instanz geändert haben (Server erstellt, editiert oder z.B. auf redeploy geklickt wurde), komprimiert gesendet werden.

Ebenso wurde durch die Stabilität, die Anzahl der Neuverbindungen und Abbrüche reduziert, was auch etwas Traffic spart.

Und im April haben praktisch keine Umzüge stattgefunden, wo von Server 1 auf Server 2, Daten kopiert werden, was auch wieder pro Umzug einige bis hunderte MB einspart.

 

 

Lyumjev VS. Fiasp und warum ich zu Fiasp zurück bin

Ich hatte nun 11 Tage das neue Insulin Lyumjev von Lilly drin.

Nach allerdings 11 Tagen, bin ich nun wieder zu Fiasp zurück, da mein Insulin Verbrauch von ca. 50ie pro Tag auf 70ie pro Tag gestiegen ist und es beim spritzen und die ganze Zeit „dumpf“ brennt.

Beim Fiasp, hatte ich ja das erste halbe Jahr bis ganze Jahr beim spritzen auch immer einen stechenden Schmerz/Brennen, aber das war nur kurz, tat zwar mehr weh als beim Lyumjev, aber war nur kurz.

Beim Lyumjev war es nicht so schmerzhaft, aber dafür dauerhaft und die Spritzstellen waren gehärtet (so einen kleinen Finger breit). Dazu tat es beim drauf kommen deutlich weh.

Ebenso musste ich die Faktoren anpassen und verbrauchte so mehr Insulin, aber blieb viel länger hoch.

 

Hier einmal der Vergleich:

 

 

 

 

 

 

 

Was ansonsten auffällt, ist das es nachts länger „flach“ ist als beim Fiasp (kann evtl. auch an mehr fpe von der vorherigen Woche liegen?):

 

 

 

 

 

 

Also mit Fiasp bin ich an sich, niedriger, aber Nachts, ist die „gleich-bleibe“-Phase kürzer.

 

Schneller, bzw. weniger kurze Peaks nach dem Essen, hat es mit dem Lyumjev  schon:

Ebenso sieht man, das wenn z.B. 2h Basal aus ist, der BZ dann schneller/stärker ansteigt.

Wenn der höhere Verbrauch, das lange hoch bleiben und brennen nicht wäre, würde es sich für mich die Optimierung/Anpassung der BR und Faktoren lohnen.

Aber alleine wegen dem dauerhaften brennen/schmerzen, die unangenehmer als bei Fiasp (waren) sind, bin ich wieder zurück.

 

Wie ist ns.10be.de aufgebaut. Struktur, Skripte, Abläufe…

Also, wie sieht es denn so hinter ns.10be.de aus?

Eigentlich ist 10be nur ein Web-Frontend, welches die Bedienung von der Nightscout-Erstellung erleichtert und im Hintergrund das macht, was Heroku & co auch machen.

Die Einstellungen, welcher der User auf der Seite macht, werden in einer Datenbank gespeichert und zur Nightscout-Instanz weitergeleitet und dort in die Config eingetragen.

Nightscout selbst, händelt dann die ganzen Daten bz, treatments, profile etc und speichert dies in der MongoDB-Datenbank, welche bei 10be für den User beim erstellen vom Server gemacht wurden.

 

 

Aus User/Anwender Sicht: Ganz grob so:

 

  1. Also der Client (Browser, App etc), stellt eine Anfrage wie z.B. gib mir die Seite xxxxxxx.ns.10be.de und diese geht beim Proxy1 oder Proxy2 ein (Round Robin).
  2. Wenn es im nginx eine Config für den Hostnamen oder Port gibt, wird die Anfrage im Hintergrund an den Cluster zu der Nightscout-Instanz weitergeleitet.
  3. Nightscout selbst, holt sich die Daten aus der MongoDB, die auf dedizierten Server laufen (Ram wäre sonst auf den Clustern zu wenig und ist weniger flexible um eine einzelne Instanz auf einen anderen Cluster zu ziehen).
    1. Dann wird das Ergebnis an den Client zurück gegeben und die Webseite wird angezeigt.

 

 

Und was machen die anderen Sachen da?

  1. Da werden die Daten auf den zweiten Proxy gesynct, das falls der Hauptserver mal länger ausfällt, man diesen mit etwas Handarbeit als Ersatz nutzten kann.Das es auch ohne eingreifen geht, wäre möglich, aber habe ich noch nicht hinbekommen, da es viel Aufwand ist.
  1. und 6. Beim share-Server, liegen die Nightscout-Dateien, sowie die DB-Backups und die Autotune-Auswertung.
    Die Proxy-Server dürfen lesen auf die DB-Backups zugreifen, ansonsten pusht dieser nur die Daten/Files.Sprich dort werden die neuen Dateien/updates zuerst geladen, dann getestet und dann nach und nach auf den Cluster geladen.

 

 

Allgemeine Prüfung der Erreichbarkeit und der Instanzen

Dazu laufen alle paar Minuten Prüfungen ob servername.ns.10be.de:xxx/api/v1/status ein „OK“ zurück gibt und das innerhalb von 3 Sekunden.

Wenn dies in 15 Minuten mehr als 3 Mal fehlgeschlagen ist, wird die Instanz neu deployed.

Dazu laufen auf dem Cluster Daemons, welche prüfen, das die Instanzen laufen und auf dem Port reagieren. Läuft ein Prozess nicht oder antwortet dieser nicht, wird die Instanz neu gestartet.

 

 

Prüfung der VPS-Server

Die Server werden alle paar Minuten geprüft, ob diese erreichbar sind und wie der Status vom Server selbst in der api ist.

Wenn ein Server mehrmals nach 30 Sekunden Timeout nicht reagiert, aber gestartet ist, so wird dieser neu gestartet.

Wenn nach einer Stunde immer noch keine Antwort erfolgt, gibt es vom Slack-Bot eine Nachricht und ein reboot wird erneut probiert.

Ebenso wird eine Meldung auf Twitter und hier https://ns.10be.de/de/status.html gepostet.

Dies funktioniert meist gut, aber leider auch nicht immer korrekt, dann muss man immer mal wieder (selten), von Hand eingreifen.

 

 

 

Probleme letzer Woche

Die Hauptprobleme sind mittlerweile der nginx auf Proxy1 und Proxy2.

Die Requesttime liegt meist bei:

req_time=0.002

bis

req_time=0.295

im Normallfall (und aktuell auch wieder).

Bei dem Probleme letzter Woche, gab es aber Werte mit 5 Sekunden und höher, sowie loops, das der Proxy2 erst zum Proxy1 und von dort dann zum Cluster die Verbindung geleitet hat.

Dies kamm zum Teil von dem folgenden Fehler auf dem Proxy1:

could not allocate node in cache keys zone "STATIC"

Und durch die falsche DNS-Auflösung beim proxy2.

Den Fehler von Proxy1 konnte ich leider auch nach vielen Versuchen und Tipps nicht lösen, wodurch der Cache für statische Files, nun komplett deaktiviert ist.

 

 

Warum gibt es dann immer noch immer mal wieder Connection Timeouts?

Der Nginx-Dienst muss seit dem die 1.000 Instanzen überschritten wurde, leider mit einem restart neu gestartet werden, da ein reload nicht nur ewig lange dauert, sondern auch danach dieser die neuen Instanzen einfach nicht kennt und daher nicht eingelesen hat.

Beim einem restart werden allerdings die offenen Verbindungen beendet, was zu dem Timeout und ähnlich führen kann. Da dies aber auf dem Proxy1 und 2 mit zwei Minuten Verzögerung passiert, ist immer ein Proxy online.

Man könnte es alles in eine Config-Datei schreiben, dann würde der reload vermutlich gehen, dafür ist aber viel Arbeit zum umbauen der Skripte nötig…….

Allerdings habe ich heute eine andere Änderung gemacht, die es besser machen sollte.

 

 

 

Bitte beachte weiterhin, es ist immer noch ein Gefallen, der hier gemacht wird!

Es gibt keine Garantien oder ähnliches!

Es steckt verdammt viel Arbeit drin und ich versuche mein bestes, aber auch die Freizeit und das Wissen in allen Bereichen ist begrenzt (wächst, aber trotzdem begrenzt).

 

Von daher, kann es immer wieder zu solchen Probleme kommen und wie beim letzten Fall, wo man denkt, es ist gelöst, tritt dann aber wieder auf und wieder und wieder, kann sich die Lösung hinziehen.

Wer z.B. immer noch Probleme in aaps hat (was bei mir in der DEV nicht auftritt und auch nie aufgetreten ist), kann ich leider nur hier her verweisen:

https://github.com/MilosKozak/AndroidAPS/issues/2481#issuecomment-595903148

 

[UPDATE 27.05.2020]

Seit den letzten Anpassungen vom März, läuft alles wieder reibungslos.

Das letzte Problem Anfang/Mitte April, das timezone-Paket von npm nun eine Anpassung braucht, die in nightscout noch nicht drin ist, wurde lokal gefixt.

Abgesehen von Hardware-Probleme, die bei einem technischen Defekt auch etwas länger andauern können, gab es keine Verzögerungen, Ausfälle oder ähnliches.

 

#DBW2019 Sonntag: Hast Du das jetzt wirklich gesagt ?

#DBW2019 Sonntag: Hast Du das jetzt wirklich gesagt ?

Hast Du das jetzt wirklich gesagt ?

Menschen reden und sagen oftmals unbedacht Dinge, die uns aufregen.

Was sind die schlimmsten verbalen Entgleisungen die du dir von Ärzten, Diabetesberatern oder Freunden und Angehörigen jemals anhören musstest und was hat das in dir ausgelöst?

 

Da gibt es eigentlich nicht viel, außer das ich den Diabetes hasse (damals) und kein Bock drauf habe und damals oft genug gesagt habe.

Es gibt noch eine Situation, die ich aber öffentlich nicht beschreiben werde, da mir diese mittlerweile zum Nachteil ausgelegt werden könnte.

 

Daher muss ich hier leider passen und kann nur sagen, es dauert sehr, sehr, sehr lange bis ich etwas „wütendender“ oder „aggressiver“ werde.

Außer natürlich wie jeder in der Hypo, wenn er nichts zuckerhaltiges bekommen kann und man merkt, das es sehr knapp ist, aber da sage ich eigentlich nur „zucker, zucker, zucker“.

 

 

 

#DBW2019 Samstag: Blogger oder Industrie Events – Was ist hilfreich und was nicht.

#DBW2019 Samstag: Blogger oder Industrie Events – Was ist hilfreich und was nicht.

Deine Meinung über den Sinn oder auch den Unsinn solcher Events.
Reine Werbeveranstaltung oder nützlich für die Comunity?

 

An sich, finde ich solche Veranstaltungen schon in Ordnung, wenn es NEUIGKEITEN gibt.

Meist werden dann aber nur Sachen vorgestellt, welche man sowieso schon weiß und auf die eigenen Fragen, wissen sehr viele der Referenten/Vertreter keine Antwort oder dürfen nichts sagen 🙁

Für Leute ohne Internet oder die nicht ganz so tief drin sind, mag das gut und ausreichend sein. Für die Internet-Jugend, ist es halt Lachhaft, wenn man den Vertreter/Referenten korrigieren muss, weil das was gesagt wurde, so nicht stimmt.

Wenn ich aber auf Diabetes Veranstaltungen gehe, wo es dann nur das gleiche zu hören gibt wie vor einem Jahr oder wie toll Produkt x ist, ist es einfach die Anreise und die Zeit nicht mehr wert.

 

 

Veranstaltungen wie den T1Day, Barcamp usw. finde ich super, da man viele Leute wieder trifft, die man sonst nur online „sieht“.

Zum Networken, sind diese echt super (und für mich zum angeben) 😉

In dem letzten Jahr, ist es für mich aber auch „langweiliger“ geworden, da halt nichts mehr neues oder interessantes dabei war.

 

Das viele Firmen endlich auch mehr Interesse an den „Kunden“ haben und z.B. Community-Vertreter auf Events schicken, finde ich ebenso super.

Allerdings bin ich immer noch der Meinung, das die Hersteller mehr offene und einheitliche Standards brauchen und lieber ein normalen und ein Profi-Modus einbauen sollten.

Man meldet seine Seriennummer oder Account, bekommt einen Key, womit man die Profi-Settings (am besten ALLES) individuell einstellen kann.

Falls was passieren sollte, kann der Hersteller darauf verweisen, das der Kunde die Profi-Funktionen freigeschaltet hat und somit die Verantwortung übernimmt.

 

 

Zurück zum Thema 🙂

Ich glaube auf reinen Blogger- oder Industrie-Events, war ich so noch gar nicht. Entweder nicht eingeladen worden, keine Zeit oder nur für Fachpersonal 🙁

Ich glaube ich mach jetzt nebenbei noch ne Ausbildung zum Diätassistent und dann Weiterbildung zum Diabetesberater 😉 Dann sieht man sich in 5 Jahren wieder 🙂

Interviews bei Firmen, Studien usw. hab ich schon an ein paar teilgenommen 🙂