Desconozco tu nacionalidad, ¿podrías aportarla?
La patria potestad se retira (al menos en España) mediante un procedimiento judicial. Lo que no me queda demasiado claro es si lo que quieres es quitarle realmente la patria potestad (algo que sucede en contadísimas ocasiones, y que necesita de hechos realmente graves, como drogadicciones, malos tratos, etc.) o sólo solicitar la guarda y custodia para tí. Para eso es necesario también acudir a un proceso judicial, en este caso de modificación de medidas. En España, a la hora de separarse o divorciarse, los cónyuges redactan un "convenio regulador" en el que pactan temas tan importantes como la guarda y custodia, régimen de visitas, pensiones de alimentos, etc. Si eres español o la legislación civil de tu país lo establece así, es la mejor vía.
Además, puedes alegar algo que en la psicología forense está empezando a ser muy frecuente: el S.A.P. (síndrome de alienación parental) que pueda estar sufriendo tu hija.
Te recomiendo que te asesores legalmente. Puedes hacerme todas las preguntas que quieras al respecto. He ejercido la profesión varios años.