Antes do sucesso, ele chegou até a disputar a Série A4 (quarta divisão) do Campeonato Paulista ; na época, chamada de Segunda Divisão. André Ramalho começou no São Paulo ao ser aprovado em um teste em 2004. Por lá, chegou a atuar no meio-campo e foi companheiro de jogadores como Casemiro e Oscar , mas sem ter o mesmo sucesso dos colegas. Após dois anos e meio no tricolor, foi dispensado por falta de espaço. Seu novo destino foi o São Bento , onde se descobriu na zaga por necessidade do próprio clube. "Disse no teste que era meia, mas tinha muitos no time e precisavam de zagueiro. Eu fui na defesa (do sub-15) e joguei muito bem", disse à ESPN em 2016.

Em 2008, ingressou no sub-17 do Palmeiras, em que também estavam Patrick Vieira e Victor Luís , mas não chegou a entrar em campo. "Só treinei mesmo, e fui dispensado no fim do ano. Surgiu então uma seletiva para o Red Bull Brasil, um clube novo que ficava perto da minha cidade" - e foi lá que a carreira engrenou. André Ramalho foi aprovado no recém-nascido clube, que disputava a quarta divisão estadual, mas tinha estrutura de topo por fazer parte do projeto da Red Bull no Brasil. Depois de somente quatro meses na base, ele foi promovido aos profissionais pelo técnico Jair Picerni . Lá, foi observado pela "matriz", o Red Bull Salzburg , da Áustria, que o contratou.

Antes de jogar regularmente pelo clube, foi emprestado para o Liefering, à época na terceira divisão do país. Por lá, teve bom desempenho, mas uma lesão atrapalhou sua continuidade e colocou a carreira na Europa em xeque. "Voltei de férias ao profissional, mas com a troca de treinadores acabei cedido ao time B do Red Bull", relembrou.

Quando estava acabando seu contrato, André Ramalho fez um gol nos playoffs de acesso para a segunda divisão, o clube subiu e ele voltou com moral para o Red Bull Salzburg, onde brilhou nas temporadas de 2013/2014 e 2014/2015, com o bicampeonato do Campeonato Austríaco e status de ídolo. Seu bom desempenho chamou a atenção do Bayer Leverkusen , que o contratou para 2015/2016. Ramalho foi titular nos jogos finais do Campeonato Alemão e conseguiu a vaga na Champions League , mas, ainda sem o espaço que queria, pediu para ser emprestado ao Mainz, onde teve passagem discreta. O Red Bull Salzburg o trouxe de volta para a temporada de 2017/2018, e mais uma vez, com sucesso. Ele não só conquistou o tricampeonato do Campeonato Austríaco como fez parte da campanha histórica do clube até as semifinais da Europa League , caindo para o Olympique de Marselha . Sua passagem de destaque no Red Bull Salzburg chamou a atenção do PSV , da Holanda, que o contratou em 2021. Lá, apesar de ter atuado em mais de 100 jogos, entre Campeonato Holandês, Europa League e Champions League, alternou entre boas e criticadas atuações, o que resultou na saída do clube em 2024.