Problemas con olivo en el tropico

Hola, hace un tiempo me regalaron un olivo, estaba bien y sano pero hace un tiempo me cambié de ciudad y desde entonces comenzó a presentar hojas amarillas que se cain con facilidad. Haciendo una primera revisión encontré que podía ser exceso de humedad así que lo cambie a una maceta de barro y le cambie la tierra por un sustrato universal con mejor drenaje (la mezcle con cascarilla de arroz para airear mejor la tierra y que drenara mejor) mejoró por algunas semanas pero nuevamente volvió a tener hojas amarillas que se cayeron en poco tiempo. Ahora lo tengo en interior porque a pesar que no hace frio al exterior (la temperatura promedio en Bogota-colombia es de 16°) ha estado lloviendo fuerte los últimos meses y tengo temor que vuelva a tener exceso de humedad.
Tampoco sé cómo podría hacer para que creciera y de fortaleciera más el árbol pues en un año prácticamente no ha crecido.
Que problema puede estar teniendo? Que nutrientes me podrían recomendar?

Pueden que sean hongos lo de las hojas, por eso de las manchas.
Para que crezca años y mucho abono, sol y agua.

Gracias por tu respuesta. Si es un hongo con que lo puedo tratar?

Contra los hogos "fungicidas"