Wissenswertes

OS-Internals #2: Ext2 und Dateien in Linux

Hauke Stieler 19. März 2017 0 Kommentare

In Linux ist alles eine Datei, selbst Ordner und Geräte.

In Linux gibt es bezüglich Dingen wie Dateien, Ordnern, Geräten, Schnittstellen und Verknüpfungen eine schöne Regel: „On a UNIX system, everything is a file; if something is not a file, it is a process.“. Bei Linux ist also alles eine Datei (ja, auch Ordner sind Dateien), darum sollten wir mal einen genaueren Blick darauf werfen.

Dateisystem: ext2 und inodes

Da man Dateien nicht einfach hintereinander weg speichern kann (da sich z.B. die Größe ändern kann), greifen UNIX-Systeme meist auf das Konzept der inode (index node) zurück. Um zu verstehen, was eine inode ist, sollte man sich aber anschauen, wie z.B. das ext2 Dateisystem (welches inodes benutzt und auf dem viele weitere Dateisysteme basieren) funktioniert.

Zunächst zur Hardware: Ein Block ist eine Menge von Sektoren einer Festplatte, wobei ein Sektor die kleinste zu adressierende Einheit einer Festplatte ist. Ein Block ist normalerweise 1, 2, 4 oder 8 KiB groß (also ggf. ein Zusammenschluss von Sektoren), was bei der Formatierung der Festplatte angegeben wird. Fasst man mehrere Blöcke zusammen ist es eine block group.

Kommen wir jetzt zur inode, was im Prinzip nichts weiter als eine block group ist. Sie ist 128 bytes groß und enthält Metadaten und Referenzen auf weitere Blöcke.
Jede Datei ist eine Referenz auf genau eine inode, wobei die eigentlichen Daten eben in anderen inodes liegen und referenziert werden. Es gibt 12 direkte Referenzen und 3 weitere Referenzen, die jeweils auf cluster zeigen. Ein cluster enthält 256 Referenzen auf weitere cluster oder inodes. Dadurch kann eine Datei bis zu 2 TiB groß werden. (mehr …)

knowledge_db, Wissenswertes

kernel, Linux, Open-Source

Seminar-Arbeit über peer-to-peer Netzwerke

Hauke Stieler 12. Dezember 2016 0 Kommentare

Da ich mit etwas Verspätung endlich meine Note für meine Seminararbeit über peer-to-peer Netzwerke bekommen habe, stelle ich nun auch die Arbeit hier zur Verfügung.

Es geht dabei um P2P (peer-to-peer) Netzwerke und ihr Einsatz in der verteilten Software Entwicklung, wobei der Fokus eher auf technische Details liegt. Wer also einen groben Einblick in BitTorrent und ein darauf basierendes Protokoll (apt-p2p) bekommen möchte, kann sich die Arbeit gerne durchlesen.

BitTorrent als peer-to-peer Protokoll steht in der Arbeit stark im Fokus.

In der ersten Hälfte der Arbeit geht es hauptsächlich im die technischen Details rund um BitTorrent. Das Protokoll apt-p2p implementiert eine leicht veränderte Variante von BitTorrent mit interessanten Ideen zur Performance Optimierung. Für viele sehr kleine Dateien (eben Pakete vom apt-Paketmanager) ist BitTorrent nämlich richtig schlecht. Auch gibt es ein verteiltes Versionierungssystem, welches an BitTorrent angelehnt ist.

Hier sind die Dateien

PDF
der Arbeit, wie sie bei der Abgabe war.

ZIP
der Quelldateien (inklusive Vortrag, BibTeX und Bilddateien)

Alle anderen Paper befinden sich natürlich weiterhin unter Wissenswertes → Paper.

In eigener Sache, knowledge_db

Informatik, p2p, peer-to-peer

OS-Internals #1: /dev/null in Linux UND Windows

Hauke Stieler 10. November 2016 1 Kommentar

Wie ein Müllcontainer fungiert /dev/null unter UNIX als schwarzes Loch für Daten.
(by-nc-sa 2.0)

Dies ist der erste Beitrag der OS-Internals Reihe. Ich versuche unter diesem Begriff sehr technische Aspekte von Linux zu beleuchten und verständlich zu erklären.

Die meisten, die Linux benutzen, sollten das Gerät /dev/null kennen, welches auch Null-Gerät genannt wird. Hierbei handelt es sich um ein spezielles Gerät, das alle Eingehenden Daten sofort löscht und gar nicht erst persistiert. Es wird daher auch oft scherzhaft als schwarzes Loch oder Nirvana bezeichnet.

Technisch ist /dev/null – genau wie alles andere bei Linux – eine Datei, jedoch eine spezielle, die output streams bereit stellt und input streams entgegen nehmen kann (doch zu Dateien in Linux in einem späteren Teil mehr). Wenn man schauen möchte was es ist, kann man auch einfach folgendes machen und sich die Ausgabe anschauen:

Eigenschaften

$ ls -alh /dev/null
crw-rw-rw- 1 root root 1, 3 Nov 10 19:06 /dev/null

Es ist also eine spezielle Datei (das c bedeutet char device), jeder hat Zugriff darauf, es gehört root und es werden weitere, für uns momentan nicht wichtige, Informationen angezeigt.

Nutzen von `/dev/null`

Man kann es einsetzen um z.B. einen gewissen output-Stream (z.B. stderr) aus der Ausgabe von einem Programm zu entfernen. Hierfür benutzt man einfach den Umleitungs-Operator (redirection operator, also das > Zeichen) kombiniert mit der file descriptor number für stderr (sprich 2):

Ausgaben weg schmeißen

$ find /etc/ -iname apt 2> /dev/null

Wir suchen hier nach allen Dateien und Ordnern unter /etc/ in deren Namen der string apt vorkommt. Alle Ausgaben auf den stream stderr werden ins Nirvana geschickt.

Gefahren von /dev/null

(mehr …)

knowledge_db, Wissenswertes

Informatik, Linux, UNIX, Windows

Microsoft entwickelt GNU/NT Kernel

Hauke Stieler 1. April 2016 0 Kommentare

Der GNU/NT Kernel soll NT- und Linux-Anwendungen ausführen.

Microsoft hat auf der Build 2016 den GNU/NT Kernel vorgestellt. Ein Kernel, der NT- und Linux-Anwendungen ausführen soll.

Als wäre die Bekanntmachung der Bash on Windows nicht schon genug Aufregung für einen Tag gewesen, so hat Microsoft auf der Build 2016 heute auch noch den GNU/NT Kernel vorgestellt. Dabei handelt es sich um eine Umgestaltung des bisherigen NT-Kernels, die vom Team der Bash on Windows stammt. Der Kernel soll dabei in der Lage sein NT (also Windows) und Linux Anwendungen auszuführen.

Wie Wasser und Öl

Obwohl es seltsam klingt, so gibt es schon länger das Projekt Bash on Windows. Dabei soll die bekannte und (anscheinend auch bei Windows Nutzern beliebte) Linux Bash für Windows nativ eingebunden werden. Dabei gibt es keine virtuelle Maschine, sondern ein neues Kernel-Modul, welches die syscalls (also systemnahsten Befehle) von Linux-Calls in NT-Calls umwandelt. Diese können dann normal vom Windows Kernel ausgeführt werden.

Die Bash on Windows bietet die normalen Ubuntu-Anwendungen, eine funktionierende apt-Paketverwaltung und vieles mehr. Das Projekt verfolgt jedoch nicht das Ziel Anwendungen mit grafischer Benutzeroberfläche zu unterstützen. Nun soll es aber ein zweites Projekt geben, welches eben genau das kann: Grafische Benutzeroberflächen von Linux-Binaries auf dem Windows Kernel ausführen. Dadurch wurde GNU/NT geboren.

Kompromisse bei GNU/NT ermöglichen Mix

(mehr …)

Allgemein, Nice to know

Linux, Microsoft, Open-Source, Windows

DirectX11 Spiele unter Linux

Hauke Stieler 23. Dezember 2015 0 Kommentare

Damit auch mal andere Spiele unter Linux spielen kann als SuperTux, wird es Ende des Jahres DirectX11 für Linux geben.

Damit auch mal andere Spiele unter Linux spielen kann als SuperTux, wurden erste Funktionalitäten für DirectX11 unter Linux implementiert.

Wie bereits berichtet gab es einige Pläne für die Implementation von DirectX11 in der Emulationssoftware Wine. Bisher wurde lediglich DirectX9 unterstützt, was auch in den meisten Fällen sehr gut funktioniert.

Da der Release von DirectX9 jedoch schon 13 Jahre her ist wurde es Zeit die Schnittstelle zu aktualisieren. Um direkt aktuelle Spiele zum laufen zu bekommen wurde nicht nur bei DirectX10 (dessen Release auch schon 9 Jahre her ist), sondern auch bei DirectX11 (Release vor 6 Jahren) begonnen. Ob und wann DirectX12 kommt ist noch unklar, doch wichtiger ist derzeit 10 und 11, da verhältnismäßig wenig Spiele auf DirectX12 basieren.

Bisher sind nur die Grundlegenden Funktionen implementiert und der Entwicklungsstand von DIrectX11 ist in etwa auf dem selben Niveau wie der von DirectX10. Nach Angaben der Release-Notes laufen einige einfache Anwendungen, doch bis die meisten Spiele laufen gib es noch einige unimplementierte Löcher zu stopfen.

Mehr Informationen zum Release gibt es in den Release-Notes von Wine.