Bien que la grille en soit encore à ses débuts, il existe un consensus remarquable entre les nombreux réalisateurs contribuant à l'élaboration de la technologie de la grille, quant à la façon dont il convient de la structurer.

À l'instar des ingénieurs en génie civil construisant un pont, leurs collègues du génie logiciel doivent spécifier une définition d'ensemble de la structure à construire, avant de commencer à y travailler. Dans le cas présent, cette définition est l'architecture de la grille, qui définit ses composants fondamentaux et précise la façon il convient qu'ils interagissent.

La grille repose sur le matériel sous-jacent, des ordinateurs et des réseaux de transmission qui se trouve à la base celle-ci, au logiciel requis pour effectuer toutes sortes de calculs complexes qui sont nécessaires à son fonctionnement. Parmi tous ces composants, cependant, l'essence de la grille - ce qui rend réellement possible toute cette structure - c'est le logiciel qui permet à l'utilisateur d'accéder aux ordinateurs répartis sur le réseau. Ce logiciel est appelé " intergiciel " (en anglais middleware) parce qu'il est distinct du logiciel des systèmes d'exploitation (des programmes tels que Linux) qui fait fonctionner les ordinateurs, ainsi que du logiciel d'application qui permet de résoudre un problème particulier pour un utilisateur (par exemple, un programme de prévision météorologique). Conceptuellement, l'intergiciel se situe entre ces deux types de logiciel - d'où son nom.

L'objectif de l'intergiciel est de faire en sorte que chacune des applications soit exécutée sur l'ordinateur approprié, où qu'il se trouve sur la grille, de manière efficace et fiable. D'une façon plus générale, la tâche de l'intergiciel est d'organiser et d'intégrer les ressources disparates de calcul, de la grille, en un tout cohérent.

La réalisation d'intergiciel est l'objectif principal de beaucoup des projets d'étude et de recherche concernant la grille en cours dans le monde. L'intergiciel de grille permet déjà de faire fonctionner des prototypes de grille - souvent appelés bancs d'essai, parce qu'ils sont principalement utilisés aux fins de démonstration plutôt que comme une ressource fiable.