La arquitectura Alpha AXP es una arquitectura RISC con carga/almacenamiento de 64 bits, diseñada con la mira puesta en la velocidad. Todos los registros son de 64 bits de longitud; hay 32 registros enteros y 32 de coma flotante. El registro entero 31 y el coma flotante 31 se utilizan para operaciones nulas: un lectura desde ellos genera un valor cero, y la escritura en los mismos no tiene ningún efecto. Todas las instrucciones son de 32 bits de longitud, y las operaciones con memoria son bien lecturas, bien escrituras. La arquitectura permite diferentes implementaciones, siempre que las mismas sigan las líneas fijadas por la arquitectura.
No existen instrucciones que operan directamente sobre valores almacenados en memoria; toda la manipulación de datos se hace sobre los registros. Así que si Ud. desea incrementar un contador en memoria, primero lo debe leer en un registro, luego lo modifica y lo escribe en la memoria. Las instrucciones sólo interactúan entre ellas si una instrucción escribe en un registro o una posición de memoria, y otra instrucción lee el mismo registro o posición de memoria. Una característica interesante del Alpha AXP es que hay instrucciones que generan indicadores ("<flags">) -por ejemplo al controlar si dos registros son iguales-pero en lugar de almacenar el resultado de la comparación en el registro de estado del procesador, lo almacenan en un tercer registro. Esto puede sonar extraño a primera vista, pero al quitar esta dependencia del registro de estado del procesador, es más fácil construir CPUs que puedan lanzar varias instrucciones en cada ciclo. Las instrucciones que se realizan sobre registros distintos no tienen que esperarse unas a otras, como sería el caso si dependieran del registro de estado del procesador. La ausencia de operaciones directas sobre memoria, y la gran cantidad de registros también ayudan al lanzamiento de múltiples instrucciones simultáneas.
La arquitectura Alpha AXP utiliza un conjunto de subrutinas, denominadas "<Privileged architecture library code"> (Código de biblioteca de arquitectura privilegiada) (PALcode). El PALcode es específico del sistema operativo, la implementación en la CPU de la arquitectura Alpha AXP, y el hardware del sistema. Estas subrutinas proveen primitivas del sistema operativo para el intercambio de contextos, interrupciones, excepciones y administración de memoria. Estas subrutinas pueden ser llamadas por el hardware o mediante las instrucciones CALL_PAL. El PALcode está escrito en ensamblador Alpha AXP estándar con algunas extensiones específicas de la implementación para proveer acceso directo a las funciones de hardware de bajo nivel, por ejemplo a los registros internos del procesador. El PALcode se ejecuta en modo PALmode, que es un modo privilegiado en el cual se impide que sucedan ciertos eventos del sistema, y le proporciona total control del hardware físico del sistema al código PALcode.