Les procureurs de la Couronne fédérale étaient historiquement exclus de la négociation collective en vertu de la Loi.  Tout au long des années 1990, les avocats de la Couronne fédérale, comme les autres fonctionnaires, ont été soumis à une série de gels des salaires, de réduction d’opportunités promotionnelles et de départs de personnel croissants.  Dans ce contexte, le soutien a grandi en faveur de la création d’un organisme indépendant qui défendrait les intérêts des avocats de la Couronne fédérale qui ne font pas partie du groupe de gestion.  L'AJJ a été formée en juillet 2001, suite à un référendum national des avocats, où près de 90 % des votes exprimés étaient en faveur de sa création.

La Loi sur les relations de travail dans la fonction publique est entrée en vigueur le 1er avril 2005.  Pour la première fois, la loi permettait aux avocats de la Couronne fédérale de se syndiquer. Le jour même de l'entrée en vigueur de la nouvelle loi, l'AJJ a fait application pour devenir l'agent négociateur accrédité de tous les avocats de la Couronne fédérale admissibles.

L'AJJ a été certifiée le 28 avril 2006, comme agent négociateur d'environ 2 600 avocats qui travaillent pour le gouvernement fédéral.   À l’exception d’un petit nombre d'avocats qui avaient auparavant été représentés par un autre syndicat, c'était la première fois que les avocats la Couronne fédérale ont pu négocier collectivement.