Amplío: la novedad es que la RAM ya no se utilizará solo para el pipeline de datos, también almacenará el KV caché.
El nuevo paradigma es la memoria unificada, permitiendo a la GPU tener acceso directo a un volumen mucho mayor. Algo así como el Spark, pero A LO BESTIA.
¡74TB (y varios exaflops)!
add a skeleton here at some point
2 days ago