La raison des pleurs, c'est probablement parce que python n'est pas vraiment le langage à choisir (après théoriquement on peut tout faire avec tout) pour développer ce genre de soft.
Pourquoi (Arrêtez moi si je dis une connerie) ? Parce que python est un langage "haut niveau", c'est a dire qu'il se rapproche le plus possible du langage parlé par nous les humains. Plus on descend dans les langages "bas niveau" plus on se rapproche du langage machine (L'assembleur par exemple est très bas niveau).
L'avantage de travailler avec ces langages bas niveau c'est d'avoir plus de contrôle sur ce que l'on fait, notamment au niveau de la mémoire pour optimiser son programme (très important dans un moteur graphique), avec des éléments comme les pointeurs dont tu as peut être entendu parlé en C/C++ qui permettent de travailler directement avec les adresses mémoire.
Tout ça pour dire que ça ne s'invente pas, le python c'est bien mais ce n'est qu'un langage parmi tant d'autres et qui figure parmi les plus "simplifiés". Attention, je ne cherche pas à rabaisser le python ni ce que tu sais faire hein, mais avant de coder ton moteur graphique, apprend a utiliser d'autres langages et des bibliothèques graphiques sur des langage comme le C/C++ avec OpenGL ou SDL. Ca te permettra de passer au niveau supérieur de la programmation et de la 3D/2D mais sans te lancer un défi "impossible". Ensuite, une fois que tu auras dompté ces outils, tu auras déjà une bonne idée de ce qui est nécessaire pour faire une bibliothèque graphique.
Prends ton temps et ne te lance pas tout de suite dans un projet qui risque de te dégoutter de la programmation
PS: Après si tout ce que tu veux c'est faire tourner tes jeux sur le plus de plateforme possible, regarde du coté de JAVA ou des techno Microsoft qui mise pas mal sur ça aujourd'hui.