El topònim ve de l’àrab: “al-fahs” = “el camp de conreus”. L’existència d’una fortalesa sarraïna i l’abundant ceràmica trobada als voltants denoten l’origen àrab de la població. En el conveni que el 1120 van signar Avifelel i el comte Ramon Berenguer III, figura, entre d’altres fortaleses, el castell d’Afesta, que podria correspondre a Alfés. Però les primeres notícies segures són posteriors a la conquesta cristiana del sector (apareix com a límit de Vinfaro en una escriptura del 1197), i inicialment fou de la senyoria del capítol de la catedral de Lleida. La repoblació fou feta a través de cartes de canonges lleidatans que aviat cediren els seus drets dominicals a senyors laics. Així, el 1251 n’era senyor Arnau de Sanaüja, senyor de les Borges Blanques i constructor del palau que havia d’esdevenir la Paeria de Lleida, i la senyoria continuà en aquesta família fins a la mort (1342) de Pere de Sanaüja, darrer senyor de les Borges.
Joan Borriac àlies Sescomes (parent del difunt bisbe Arnau Sescomes), rebé els llocs d’Alcanó i Alfés (era ja senyor de Saidí). De l’any 1365 al 1370 figura sota el domini de Borriac i, a la mort dels esposos Borriac, retornà al capítol de Lleida (l’arxiu capitular conserva molts registres sobre el poble). Tenia molta anomenada la pedrera d’Alfés i el 1472 el mateix capítol autoritzà a treure’n pedra per a restaurar l’església de Sant Llorenç (molt castigada al setge del 1464). La senyoria continuà essent del capítol de Lleida fins el 1836 (formà part de la vegueria i del corregiment de Lleida) i el 1835 li foren incorporats els termes de Vinfaro, la Manxa i Torrepicona. Pel que fa a Vinfaro, es tracta d’una masia i antic poble del municipi d’Alfés, al N del terme, a la dreta del riu Set. Ha perdurat fins al s XX una interessant creu de terme, gòtica, i les restes de l’antic castell de Vinfaro, del qual depenien els termes de la Manxa i de Torrepicona. Aquest lloc, que havia pertangut als Romeu de Lleida i als Montagut de València, fou adquirit el 1516 per la família Remolins, i el 1628 passà als Riquer, marquesos de Benavent. Al començament del s XVIII ja era despoblat. Pel que fa a l’escut, les claus signifiquen la custòdia dels habitants que vivien al nucli antic del casc urbà, al carrer de la Vileta, situat a la part més alta de la població.