Gotterup fez uma volta de 66 pancadas (quatro abaixo do par) e terminou com um total de 15 abaixo, o que foi suficiente para deixar McIlroy empatado no segundo lugar com o inglês Marco Penge.
O norte-americano tinha apenas uma vitória anterior no PGA Tour e garantiu também um lugar no Open Britânico da próxima semana, que se realiza no Royal Portrush.
"Isto é incrível", disse Gotterup. "Ainda estou a assimilar tudo. É mesmo muito fixe".
"Joguei muito bem esta semana e sabia que hoje ia ser difícil. Aguentei-me como um campeão e fechei com estilo".
McIlroy será recebido como um herói no regresso à sua terra natal, na Irlanda do Norte, na próxima semana, mas perdeu a oportunidade de conquistar o primeiro título desde a sua vitória no Masters, em abril.
Gotterup começou da pior maneira, com um bogey no primeiro buraco, mostrando os nervos de jogar no grupo final ao lado do número dois do mundo.
"Ao bater para dentro do bunker no primeiro buraco, pensei: 'Pronto, cá vamos nós'", acrescentou Gotterup. "Mas consegui manter a calma e depois foi mesmo divertido lá fora".
Rapidamente se recompôs com birdies no 3.º, 7.º, 8.º, 10.º e 12.º buracos.
Um bogey no 15.º reduziu a sua vantagem para apenas uma pancada, mas Gotterup respondeu de imediato com um birdie no par cinco do 16.º, enquanto McIlroy se ficou pelo par.
"Chris fez uma grande volta. Foi muito sólido. Depois de ganhar alguma vantagem, eu simplesmente não consegui recuperar", disse McIlroy.
"Foi uma excelente semana. Só faltou mesmo o troféu. Não há frustração, sinceramente. Estou muito satisfeito com o meu jogo. Sinto que tirei desta semana exatamente tudo o que queria".
Nicolai Hojgaard também se qualificou para o Open Britânico graças ao quarto lugar que partilhou com Matt Fitzpatrick, ambos com 12 abaixo do par.
O número um do mundo, Scottie Scheffler, e o campeão em título do Open Britânico, Xander Schauffele, terminaram empatados no oitavo lugar, com nove abaixo, afinando o jogo para as condições costeiras típicas do último major da temporada.