- Es gibt nicht immer Lösungen.
- Wenn es Lösungen gibt, dann müssen die drei gegebenen Winkel \b_1\,\b_2 und \b_3 die Ungleichung cos(\b_1)+cos(\b_2)+cos(\b_3)>=-1 erfüllen.
- In diesem Fall ist der Drehwinkel \a\in [0,\p] der gesuchten Drehung durch die Gleichung cos(\a)=(cos(\b_1)+cos(\b_2)+cos(\b_3)-1)/2 eindeutig bestimmt.
- Die Richtung der Drehachse wird durch einen Vektor der Form
(+-sqrt(cos(\b_1)-cos(\a));+-sqrt(cos(\b_2)-cos(\a));+-sqrt(cos(\b_3)-cos(\a))) geliefert, und es gibt keine Lösungen, wenn hier eine Wurzel aus einer negativen Zahl vorkommt.

\
@Buri: muss unter der Wurzel cos(\beta_i)-cos(\alpha) stehen? Für \beta_1=\beta_2=\beta_3 ist cos(\alpha)=(3*cos(\beta_1)-1)/2 und  cos(\alpha)-cos(\beta_1)=(cos(\beta_1)-1)/2<0.

Es seien +-(a;b;c) die Durchstoßpunkte der gesuchten Drehachse durch die Einheitssphäre und \a der Drehwinkel, der aus der Gleichung 2*cos(\a)+1=cos(\b_1)+cos(\b_2)+cos(\b_3) bestimmt werden kann, sofern die rechte Seite >=-1 ist, dies ist eine notwendige Lösbarkeitsbedingung.
Weiter seien \f_1\,\f_2 und \f_3 die als Bögen auf der Kugeloberfläche gemessenen Abstände von (a;b;c) zu den Einheitsvektoren (1;0;0), (0;1;0) und (0;0;1).
Die euklidischen Abstände sind dann 2*sin(\f_k/2) mit k=1,2,3.
Die Abstände dieser Einheitsvektoren von der Drehachse sind dann sin(\f_1), sin(\f_2) und sin(\f_3), und bei dem Drehvorgang beschreiben die drei Punkte Kreisbögen auf der Kugeloberfläche mit diesen Radien.
Der euklidische Abstand vom Anfangspunkt (1;0;0), (0;1;0) bzw. (0;0;1) zum jeweiligen Endpunkt nach der Drehung beträgt dann 2*sin(\a/2)*sin(\f_k) mit k=1,2,3.
Die Endpunkte sind die Einheitsvektoren in Richtung der neuen x'\-, y'\- bzw. z'\-Achse, und daraus ergeben sich die Gleichungen
2*sin(\a/2)*sin(\f_k)=2*sin(\b_k/2) mit k=1,2,3.
Nun kann man ein Gleichungssystem aufstellen und lösen:
2-2a\blue\ =\black\ (a-1)^2+b^2+c^2=4*sin^2(\f_1/2)=2-2*cos(\f_1)
\blue\ (das erste Gleichheitszeichen gilt, weil a^2+b^2+c^2=1 ist)
=2-+2*sqrt(1-sin^2(\f_1))=2-+2*sqrt(1-sin^2(\b_1/2)/sin^2(\a/2))
=2-+2*sqrt(1-(1-cos(\b_1))/(1-cos(\a)))=2-+2*sqrt((1+cos(\b_1)-cos(\b_2)-cos(\b_3))/(3-cos(\b_1)-cos(\b_2)-cos(\b_3))),
daraus folgt a=sqrt((1+cos(\b_1)-cos(\b_2)-cos(\b_3))/(3-cos(\b_1)-cos(\b_2)-cos(\b_3))) und mit derselben Rechnung
b=sqrt((1-cos(\b_1)+cos(\b_2)-cos(\b_3))/(3-cos(\b_1)-cos(\b_2)-cos(\b_3))) und
c=sqrt((1-cos(\b_1)-cos(\b_2)+cos(\b_3))/(3-cos(\b_1)-cos(\b_2)-cos(\b_3))).
Die Richtung der Drehachse (a;b;c) ist also durch den Vektor
(+-sqrt(1+cos(\b_1)-cos(\b_2)-cos(\b_3));+-sqrt(1-cos(\b_1)+cos(\b_2)-cos(\b_3));+-sqrt(1-cos(\b_1)-cos(\b_2)+cos(\b_3))) gegeben,
und das kann man noch (mit Weglassung eines gemeinsamen Faktors 2 unter der Wurzel) umformen zu
(+-sqrt(cos(\b_1)-cos(\a));+-sqrt(cos(\b_2)-cos(\a));+-sqrt(cos(\b_3)-cos(\a))).

danke schonmal, mein erstes Problem ist aber schon die Gleichung:
2*cos(\a)+1=cos(\b_1)+cos(\b_2)+cos(\b_3)

sollen die \b_i die gegebenen Winkel zwischen den Achsen der beiden Koordinatenysteme sein?
Ich verstehe dann nicht wie du auf diese Formel gekommen bist?
Ich vermute du nutzt hier aus, dass die Spur gleich bleibt und das die linke Seite die Spur der gesuchten Drehmatrix ist, ist mir auch klar nur die rechte Seite nicht.

2-2a= (a-1)^2+b^2+c^2=4*sin^2(\f_1/2)=2-2*cos(\f_1)

Das erste Gleichheitszeichen ist klar ja, aber das zweite nicht. Davon abgesehen sieht es hier für mich so aus als hättest du die Umformung die hinter dem ersten Gleichheitszeichen steht nur gemacht um den Teil nach dem zweiten Gleichheitszeichen zu erhalten (woraus du dann den Teil hinter dem dritten Gleichheitszeichen formst).
Aber:
1. ist mir nicht klar wieso gilt: 
(a-1)^2+b^2+c^2=4*sin^2(\f_1/2)
2. ist doch von vornherein klar das gilt a=cos(\f_1)
damit könnte man sich doch die zwischenschritte sparen, oder übersehe ich hier etwas?