Archiv für den Monat: August 2013

#PrismBreak – Eigene Sourcecode Repositories hosten

Als Entwickler benötige ich für meine Projekte Repositories, in denen der Sourcecode verwaltet wird. Aktuell bin ich noch bei Repositoryhosting. Da ich meine Daten aber gerade zu mir zurückführe und selbst hoste, werden auch meine Sourcecode Repositories auf meiner PrismBreakBox gehostet werden. Ich habe bisher Subversion, Git und Mercurial eingesetzt. Aufgrund der bisherigen Erfahrungen habe ich mich für Mercurial entschieden.

Mercurial installieren

Als root User anmelden:

su -

Nun folgenden Befehl zur Installation ausführen:

apt-get install mercurial mercurial-server

Mercurial ist nun installiert. Der Zugriff auf Mercurial erfolgt über Apache per SSL. Wir hängen uns dazu an die Owncloud SSL Konfiguration an. Zuerst richten wir aber die passende Umgebung für die Repositories ein. Bei mir war durch die Installation von Mercurial bereits ein passender User eingerichtet (hg). Allerdings hatte er noch kein Homeverzeichnis:

su - hg
bash
mkdir -p /home/hg/cgi
mkdir /home/hg/repos

Testweise legen wir ein Repository an:

cd /home/hg/repos
mkdir testproject
cd testproject
hg init

Damit ist ein Repository testproject angelegt.

Webzugriff einrichten

Nun richtet man den Zugriff per Apache2 ein. Hier kopiert man aus der Dokumentation das passende CGI-Skript, welches die Kommunikation mit den Clients übernehmen wird.

cd /home/hg/cgi
cp /usr/share/doc/mercurial-common/examples/hgweb.cgi .

Dann legt man noch eine Konfgurationsdatei an:

joe hgweb.config

Dort trägt man folgendes ein. Damit werden alle Repositories über Apache2 remote verfügbar gemacht:

[paths]
/ = /home/hg/repos/*

Datei speichern und Editor verlassen.

Die Repositories machen wir nun für den www-data User, unter dem der Apache2 läuft, beschreibbar:

cd ..
chmod -R www-data:www-data repos

In /etc/mercurial/hgrc muss noch das Pushen erlaubt werden. Folgende Befehle ausführen, um die Datei zu öffnen:

exit
exit
joe /etc/mercurial/hgrc

In der Datei folgendes einfügen:

[web]
allow_push = username

Bei username bitte den Benutzernamen eintragen, mit dem man auf das oder die Repositories zugreifen will. Mehrere Benutzernamen können per Komma (,) getrennt aufgeführt werden.

Nun konfigurieren wir den Zugriff im Apache2 so, dass der Zugriff auf die Repositories per SSL erfolgt und ein Benutzer sich authentifizieren muss.

SSL und Authentifizierung

Wie schon am Anfang geschrieben, nutzen wir die vorhandene Owncloud-Konfiguration. Dazu passen wir die Konfigurationsdatei /etc/apache2/conf.d/owncloud-ssl.conf an. Die fett hervorgehobenen Einträge sind neu und betreffen die Mercurial-Konfiguration und sind jetzt neu einzufügen:

VirtualHost *:443>
      ServerName calibanatspace.synology.me
      SSLEngine on
      SSLCertificateFile /etc/ssl/crt/apache-cert.pem  
      SSLCertificateKeyFile /etc/ssl/key/apache-key.pem
      DocumentRoot /var/www
      CustomLog /var/log/apache2/ssl-access_log combined
      ErrorLog /var/log/apache2/ssl-error_log

# mercurial   
<Location /hg>
    AuthType Digest
    AuthName "Mercurial repositories"
    AuthDigestProvider file
    AuthUserFile /home/hg/hgusers
    Require valid-user
</Location>

#Where the magic happens
ScriptAlias /hg "/home/hg/cgi/hgweb.cgi"

<Files ~ "^\.hg">   
    Order allow,deny
    Deny from all
    Satisfy all
</Files>
</VirtualHost>

Nun sollte mindestens ein Benutzer in /home/hg/hgusers angelegt werden. Dazu folgenden Befehl ausführen:

su - hg
htdigest -c /home/hg/hgusers "Mercurial repositories" username
exit

Nun noch den Apache2 einmal durchstarten damit die Änderungen greifen:

service apache2 restart

Hinweis für Eclipse-Mercurial Nutzer

Standardmässig scheint bei Eclipse im EclipseMercurial Plugin die Option Verify HTTPS server certificate aktiviert zu sein. Dies führt zu fehlern, wenn man ein selbst erstelltes Zertifkat nutzt. Daher ist dies zu deaktivieren. Zu finden ist die Option über Window -> Preferences -> Team -> Mercurial.

#PrismBreak – Owncloud und Hintergrundjobs

Wer z.B. die Owncloud App News als Newsreader einsetzt, muss Owncloud die Möglichkeit geben, in zeitlichen Intervallen seine Daten automatisch zu aktualisieren. Bei der App News werden entsprechend alle Newsfeeds aktualisiert. Entsprechend der Owncloud Dokumentation gibt es drei Varianten. Ich habe die Cron-Variante gewählt. Entsprechend folgenden Befehl ausführen:

crontab -u www-data -e

Nun öffnet sich ein Editor mit einer Datei. Dort folgende Zeile einfügen:

*/15  *  *  *  * php -f /var/www/owncloud/cron.php

Die Daten speichern und den Editor schliessen. Es werden nun alle 15 Minuten die Daten innerhalb der Owncloud-Instanz aktualisiert.

#PrismBreak – Owncloud aufsetzen

Owncloud dient als Grundlage für weitere Umsetzungen. Unter anderem wird Owncloud die Kontakt- und Kalenderdaten bereitstellen, ausserdem nutze ich die Instanz bereits als Newsreader.

Die Daten in Owncloud werden in einer Datenbank gespeichert. Owncloud kann mit einer mitgelieferten sqlite Instanz betrieben werden oder mit einer externen Datenbank. Ich habe mich für letzteres entschieden, für eine PostgreSQL-Datenbank.

Als Quellen für die Installation haben folgende Webseiten gedient:

PostgreSQL aufsetzen

Auf dem Rechner mittels

su -

als root arbeiten. Dann folgenden Befehl eingeben und damit PostgreSQL und Zubehör installieren:

apt-get install postgresql postgresql-client postgresql-doc phppgadmin

Nun muss ein Benutzer und eine Datenbankinstanz für Owncloud angelegt werden. Dazu sind folgende Befehle notwendig:

psql -Upostgres
CREATE USER username WITH PASSWORD 'password';
CREATE DATABASE owncloud TEMPLATE template0 ENCODING 'UNICODE';
ALTER DATABASE owncloud OWNER TO username;
GRANT ALL PRIVILEGES ON DATABASE owncloud TO username;
\q

Ich habe für username owncloud eingesetzt. Bei password kann man ruhig ein kompliziertes und langes Passwort nehmen. Meines hat 40 Stellen.

Hinweis

Falls die Anmeldung an der Datenbank beim psql-Befehl mit

psql: FATAL:  Ident authentication failed for user "postgres"

misslingt, in der Datei pg_hba.conf in /etc/postgresql/X.Y/main/ folgende Zeile entsprechend dem Kommentar anpassen:

local all all peer     # replace ident or peer with trust

wird bei mir zu

local all all trust     # replace ident or peer with trust

Anschliessend ist die PostgreSQL-Datenbank neu zu starten:

service postgresql reload

Owncloud installieren

Die aktuelle Pakete mit Installationsanleitung finden sich unter http://software.opensuse.org/download/package?project=isv:ownCloud:community&package=owncloud. Dort auf das Debian-Symbol klicken. Folgende Befehle ausführen:

echo 'deb http://download.opensuse.org/repositories/isv:ownCloud:community/Debian_7.0/ /' >> /etc/apt/sources.list.d/owncloud.list 
apt-get update
apt-get install owncloud
wget http://download.opensuse.org/repositories/isv:ownCloud:community/Debian_7.0/Release.key
apt-key add - < Release.key

Damit ist Owncloud installiert, aber noch nicht eingerichtet. Als nächsten Schritt erstellt/editiert man die Datei /etc/php5/conf.d/20-pgsql.ini (z.B. mittels joe). Die Datei sollte folgenden Inhalt haben:

; configuration for php PostgreSQL module
; priority=20
; extension=pdo_pgsql.so
extension=pgsql.so

[PostgresSQL]
pgsql.allow_persistent = On
pgsql.auto_reset_persistent = Off
pgsql.max_persistent = -1
pgsql.max_links = -1
pgsql.ignore_notice = 0
pgsql.log_notice = 0

Nun kann man Owncloud aufrufen und fertig einrichten lassen. Dazu die passende Url aufrufen in der Form http://prismbreakbox.local/owncloud/. Man bekommt folgende Seite angezeigt:

Bildschirmfoto

Der Benutzername für das Administrator-Konto sollte man nicht unbedingt admin oder administrator nennen. Ein ausgefallener Name erschwert Angreifern die Arbeit. Ich habe hier im Beispiel blubber gewählt. Ein langes Passwort ist hier dringend erforderlich, am Besten 40 Stellen.

Bei Datenbank einrichten wählt man den PostgreSQL Reiter und gibt die bei der Anlage der Datenbank festgelegten Daten hier ein. Anschliessend betätigt man Installation abschliessen und die Owncloud-Instanz ist eingerichtet.

Owncloud per SSL ausliefern

Eine fertige Anleitung, an die ich mich gehalten habe, findet sich unter http://ubuntuserverguide.com/2013/04/how-to-setup-owncloud-server-5-with-ssl-connection.html.

#PrismBreak – Google Mail ersetzen mit eigenem IMAP – Mailserver

Für das Speichern der eigenen Mails wird ein IMAP-Server genutzt. Ich habe mich für Dovecot entschieden. Für die Installation meldet man sich als root-User auf der PrismBreakBox an, z.B. per SSH. Befindet man sich auf der Maschine, gibt mal folgende Anweisung ein, um Dovecot zu installieren:

apt-get install dovecot-core dovecot-imapd

Die Software wird installiert und eine einfache Konfiguration eingerichtet. Anschliessend öffnet man seinen Browser und öffnet die Webmin Seite unter https://prismbreakbox.local:10000/. Da das Dovecot-Modul noch nicht aktiviert ist, gibt man bei Search entsprechend dovecot ein und bestätigt die Eingabe. Im ersten Eintrag der angezeigten Liste klickt man den Eintrag unter der Spalte Module, Dovecot IMAP/POP3 Server, an. Leider sind die angeboteten Konfigurationsmöglichkeiten nicht für meine Ansprüche ausreichend. Allerdings kann man die Konfigurationsdatei direkt über die Webmin Oberfläche editieren. Hierzu den Punkt ganz rechts, Edit Config Files, auswählen. Es wird nun die Dovecot-Konfigurationsdatei angezeigt. Den Inhalt mit folgenden Zeilen überschreiben:

listen = *
auth_mechanisms = plain login
log_path = /var/log/dovecot.log
mail_location = maildir:~/Maildir
protocols = imap
service imap-login {
  inet_listener imap {
    port = 0
  }
}
ssl = required
ssl_cert = </etc/dovecot/dovecot.pem
ssl_key = </etc/dovecot/private/dovecot.pem
userdb {
  driver = passwd
}
passdb {
  driver = pam
}
protocol imaps {
  imap_idle_notify_interval = 2 mins
  imap_max_line_length = 64 k
 imap_client_workarounds = tb-extra-mailbox-sep
}
mail_max_userip_connections = 20

Die Änderung mit Save bestätigen und auf der folgenden Seite mit Apply Configuration aktivieren.

Mails einsammeln von verschiedenen Accounts

Mit dem iMAP-Server alleine ist es nicht getan. Dort werden die Mail nur aufbewahrt. Aber wie kommen die Mails von den eigenen Mailaccounts dort hin? Eigentlich wollte ich erst Fetchmail benutzen. Da ich aber schon eine fertige Konfiguration von vorherigen #PrismBreak Experimenten hatte, und die Konfiguration mittels Webmin nicht so einfach aussah, habe ich doch wieder getmail genommen.

Die ganzen folgenden Arbeiten werden mit dem eigenen Benutzer durchgeführt.

Zuerst legt man pro Mail-Account, den man Abrufen möchte, eine Konfigurationsdatei für getmail an. Ich habe dazu in meinem home-Verzeichnis ein Unterverzeichnis .getmail angelegt:

cd ~
mkdir .getmail
cd .getmail

Nun legt man sich für einen Mail-Account die Konfigurationsdatei an. Pro Mailaccount, der abgerufen werden soll, wiederholt sich der Vorgang. Ich benutzte wieder joe als Editor.

joe mein@mailaccount.de.getmail

Die Datei wird neu angelegt, die fett hervorgehobenen Einträge passt man an seinen Account an:

[options]
message_log = /home/benutzername/.getmail/log/mein@mailaccount.de.log
verbose = 2

[retriever]
type = SimplePOP3SSLRetriever
server = pop.meinmailhoster.de
port = 995
username = meinBenutzerAccount
password = MeinGeheimesPasswort
use_apop = false
timeout = 180

[destination]
type = Maildir
path = /home/benutzername/Maildir/
user = benutzername
filemode = 0600

Die Datei mit Ctrl+K und anschliessend X speichern. Den Vorgang für jeden Mailaccount wiederholen, für den man die Mails abholen will und in den IMAP-Server einsortiert haben möchte.

Nun muss noch ein Shell-Skript angelegt werden, welches regelmässig durch Cron aufgerufen wird und getmail für jede Konfiguration aufruft.

joe getmail.sh

In die Datei wird folgendes eingetragen. Die fett hervorgehobenen Eintrag sind entsprechend anzupassen:

#! /bin/sh
/usr/bin/getmail -q -d --rcfile /home/benutzername/.getmail/mein@mailaccount.de.getmail --getmaildir /home/benutzername/.getmail

Die Zeile, welche mit /usr/bin/getmail beginnt, ist für jede Konfigurationsdatei in getmail.sh neu anzuhängen, entsprechend angepasst für die zusätzliche Konfigurationsdatei.

Anschliessend das Skript mit folgendem Befehl ausführbar machen:

chmod a-x getmail.sh

Regelmässiges Mailabrufen einrichten

Die Konfiguration zum Abholen und Einsortieren der Mail in den eigenen IMAP-Account wurde oben beschrieben. Nun geht es darum, dass dieser Prozess regelmässig automatisch aufgerufen wird. Hierzu wird Cron genutzt. Dazu ruft mal crontab auf:

crontab -e

Folgender Eintrag ruft alle fünf Minuten das Shell-Skript auf:

*/5 * * * * /home/benutzername/.getmail/getmail.sh &>/dev/null

 

#PrismBreak – Erste Konfigurationsschritte

Nachfolgend die ersten kleineren Änderungen.

Editor

Ich benutze schon seit einer gefühlten Ewigkeit den Editor Joe. Wenn man mal nicht weiss, wie man ein bestimmte Funktion aufrufen muss, einfach Ctrl+K und danach H drücken, und schon kommt eine Hilfe. Zum Installieren folgende Befehle ausführen:

Falls man noch nicht als root angemeldet ist:

sudo -

Anschliessend

apt-get install joe

ausführen.

SSH Server anpassen

Für Arbeiten an der PrismBreakBox, die nicht per Webmin durchgeführt werden können, benutzt man SSH. Damit hat man verschlüsselten Zugriff auf den Rechner und kann darauf arbeiten. Zum Konfigurieren wird das erste Mal Webmin eingesetzt. Geändert habe ich, dass der SSH Server auf einem anderen Port Verbindungen annimmt und das auch Verbindungen mit Benutzername/Passwort-Eingaben aufgebaut werden können. Später werde ich das Benutzername/Passwort-Verhalten darauf ändern, dass die Verbindung per Public-/Privat-Key aufgebaut werden kann.

  1. Aufrufen von https://prismbreakbox.local:10000/ (oder entsprechend dem Namen des eigenen Servers). Als Username root und das passende Passwort zum root-User eingeben und mit Login anmelden.
    webmin-login
  2. Auf der linken Seite wird ein Menü angezeigt. Dort Servers aufklappen und SSH Server auswählen.
    webmin-sshserver-menu
  3. Auf der rechten Seite werden nun verschiedene Symbole mit Untertiteln angezeigt. Authentication wählen.
    webmin-ssh-authentication-menu
  4. Die Einstellungen entsprechend dem Screenshot unten abgleichen. In der Regel dürfte nur der erste Punkt (Allow authentication by password) angepasst werden. Die Änderungen mit Save übernehmen.
    webmin-authentication-config
  5. Nun Networking auswählen.
    webmin-ssh-networking
  6. Hier kann (muss aber nicht) der Wert für Listen on port angepasst werden. Falls Werte geändert wurden, mit Save übernehmen.
    webmin-networking-config
  7. Nun noch mit Apply Changes die Änderungen übernehmen.

#PrismBreak – Webmin für webbasierte Konfiguration

Um die Konfiguration der PrismBreakBox zu vereinfachen, wird Webmin genutzt. Die Installation speziell für Debian ist hier beschrieben. Der Abschnitt „Using the Webmin APT repository“ beschreibt dabei die Installation mittels APT. Durch diese Variante kann man die Installation von Webmin auch einfach aktuell halten.

#PrismBreak – Debian als Grundlage für den Server

Grundlage für das Hosten eigener Dienste ist bei mir aktuell noch ein Raspberry Pi. Die Resourcen des Raspberry Pi sind stark begrenzt (meiner hat nur 256MB Ram und eine 32GB SD-Karte). Bis jetzt war das noch kein Problem, aktuell hostet der Raspberry aber auch nur einen IMAP-Server. Ich wollte aber noch ein paar Alternativen für Dienste ausprobieren und dachte mir, das ich dann direkt an die Grenzen des kleinen Pi stossen würde. Da ich noch einen Intel Atom basierten MiniPC ungenutzt rumstehen hatte, wurde er als Versuchsobjekt ausgedeutet. Er hat 4GB Ram und eine 500GB Festplatte. Da kann man dann etwas entspannter experimentieren 🙂

Der Raspberry Pi läuft mit Debian, entsprechend sollte der MiniPC auch damit installiert werden. Da der MiniPC kein CD- oder DVD-Laufwerk besitzt, wurde die Installation mit einem USB-Stick durchgeführt.

Ich habe es zuerst mit der regulären Debian-Version versucht. Das, was man in der online verfügbaren Debian-Installationsanleitung erklärt bekommt. ISO-Image herunterladen, auf USB-Stick kopieren, booten, usw. Wie sich herausgestellt hat, war das mit dem MiniPC leider nicht möglich. Es wurde immer wieder darauf hingewiesen, dass bestimmte Module nicht gefunden/geladen werden konnten. Nach kurzer Suche fanden sich verschiedene Debian Live-ISOs zum Herunterladen. Bei mir hat es dann mit einem Amd64 Standard Live-ISO geklappt. Beim Booten wird einem ein Menü angezeigt, welches den Punkt „Install“ anbietet. Damit habe ich dann Debian ohne Probleme auf dem MiniPC installieren können. Der Installer fragt einen noch einige Punkte ab, um dann die Installation durchzuführen. Anschliessend hat man ein „nacktes“ Debian installiert. Das ganze läuft dann übrigens ohne grafische Oberfläche, alles über die Textkonsole.

Installationsanleitung

Nachfolgend die Auflistung der Installationsschritte für meinen MiniPC.

  1. Vom USB-Stick booten.
  2. Im angezeigten Menü den Eintrag „Install“ auswählen und bestätigen.
    20130824_212526
  3. Die Sprache für die Installation auswählen. Bei mir „German“ – „Deutsch“ und bestätigen.
    20130824_212627
  4. Auswahl des Standorts. Bei mir „Deutschland“ und bestätigen.
    20130824_221003
  5. Tastatur konfigurieren. „Deutsch“ und bestätigen.
    20130824_221040
  6. Bei meinem MiniPC wurde bei der Netzwerk-Hardware-Erkennung eine fehlende Firmware-Datei bemängelt. Da ich die entsprechende Datei nicht hatte, habe ich diesen Schritt mit „Nein“ übersprungen.
    20130824_221447
  7. Nach einiger Zeit wird man nach dem Namen des Rechners im Netzwerk gefragt. Ich habe ihn „PrismBreakBox“ genannt. Namen eingeben und bestätigen.
    20130824_221635
  8. Den leeren Domain-Namen bestätigen.
    20130824_221734
  9. Nun das Passwort für den root-User eingeben. Der root-User ist wichtigste Benutzer unter Linux-Systemen. Er darf alles. Daher sollte man ich auch nicht für den normalen Betrieb benutzen.
    20130824_221824
  10. Zur Sicherheit wird das root-Passwort nochmals abgefragt. Erneut eingeben und bestätigen.
    20130824_221843
  11. Nun legt man den ersten Benuter-Account an. Im ersten Schritt wird der normale Name abgefragt. Bei mir Jochen Bachmann und bestätigen.
    20130824_222037
  12. In diesem Schritt wird der Anmeldename für den Benutzer-Account festgelegt. Mit diesem Anmeldename meldet sich der Benutzer am System an. Hier beispielhaft vorname.nachname. Namen eingeben und bestätigen.
    20130824_222114
  13. Für den neuen Benutzer-Account wird ein Passwort vergeben. Neues Passwort eingeben und bestätigen.
    20130824_222337
  14. Das Passwort muss erneut eingeben werden und bestätigt werden.
    20130824_222354
  15. Nun muss die Festplatte vorbereitet werden. Kann die komplette Festplatte für die Installation genutzt werden, dann ist „Geführt – vollständige Festplatte verwenden“ die einfachste Option. Eintrag auswählen und bestätigen.
    20130824_222448
  16. Da neben der Festplatte noch der USB-Stick im System als mögliches Installationsziel vorhanden ist, bekommt man mindestens beide jetzt zur Auswahl angeboten. Die Auswahl hier betrifft das Vorbereiten des Installationsmediums. In der Regel wird der Eintrag mit dem grössten Speicherplatz das gewünschte Installationsmedium sein. In meinem Beispiel der Eintrag mit „500.1 GB“.
    20130824_222620
  17. In der Abfrage habe ich den ersten Eintrag, „Alle Dateien auf eine Partition, für Anfänger empfholen“ ausgewählt und bestätigt.
    20130824_223710
  18. Es werden die anstehenden Änderungen an der Festplatten Partitionierung aufgezählt. In meinem Fall wirt eine root-Partition (/) und eine Swap-Partition angelegt. Entsprechend den Eintrag „Partitionierung beenden und Änderungen übernehmen“ auswählen und bestätigen.
    20130824_223832
  19. Es erfolgt nochmals eine Sicherheitsabfrage. „Ja“ auswählen und bestätigen. Anschliessend wird Debian installiert, was einen Augenblick dauern kann.
    20130824_224022
  20. Ein Netzwerkspiegel sollte verwendet werden. „Ja“ auswählen und bestätigen.
    20130824_225320
  21. „Deutschland“ wählen und bestätigen, um einen nahgelegenen Spiegelserver auszuwählen.
    20130824_225554
  22. Eine Adresse aus der Liste auswählen. Universitäten haben meistens eine gute Anbindung und sind eine gute Wahl. Einen Eintrag auswählen und bestätigen.
    20130824_225754
  23. Wenn mit dem Begriff HTTP-Proxy nichts anfangen kann, dann den Eintrag hier erstmal leer lassen und bestätigen.
    20130824_225819
  24. Nun wird man gefragt, ob ein Bootmanager im Master Boot Record installiert werden soll. Falls die Debian-Installation das einzigste Betriebssystem auf dem Rechner ist, kann „Ja“ ausgewählt werden und bestätigt werden.
    20130824_230130
  25. Die Installation ist abgeschlossen. „Weiter“ auswählen und bestätigen. Den USB-Stick entfernen.
    20130824_230559
  26. Nachdem das System neu gebootet wurde, meldet man sich mit seinem root-Benutzer und Passwort am System an.
  27. Nun gibt mal folgende Befehle ein. Damit werden noch ausstehende Updates geladen und installiert. Jede Zeile wird bestätigt:
    apt-get update
    apt-get upgrade

    Sind Updates vorhanden, wird man bei apt-get upgrade mit „Möchten Sie fortfahren [J/n]?“ aufgefordert, das Upgrade zu bestätigen, was man tun sollte. Anschliessend werden die Updates installiert und das Grundsystem für die #PrismBreakBox ist installiert.