Defending Norway with Computationally Efficient AI

Kunstig Intelligens (KI) er i ferd med å endre de fleste bransjer og sektorer, og mange ulike KI-metoder er i bruk, for eksempel dype nevralnett, store språkmodeller, etc. Fellesnevneren for disse metodene er at de er svært beregningskrevende, altså at de krever mye av datamaskinene de kjører på. Det derfor viktig at KI-applikasjoner bruker datamaskinen så effektivt som mulig, men dette er vanskelig å få til i praksis fordi det krever avansert analyse av hvordan applikasjonen samhandler med maskinvareressursene i datamaskinen. En spesiell utfordring ved KI-applikasjoner er at de som oftest benytter grafikkprosessorer fordi disse prosessorenes parallelle utføringsmodell passer godt til beregningsstrukturen i KI-applikasjoner. Samtidig er ytelsesanalyse vanskeligere å gjennomføre på grafikkprosessorer enn på mer konvensjonelle datamaskiner. For å vite hvor godt en KI-applikasjon utnytter ressursene i datamaskinen må man svare på to fundamentale spørsmål: Hvilke instruksjoner bruker applikasjonen mest tid på og hvorfor tar disse instruksjonene lang tid? De beste eksisterende verktøyene for ytelsesanalyse av grafikkprosessorer kan ikke svare på disse spørsmålene fordi de mangler tidsproporsjonalitet – og det er dermed svært vanskelig å fastslå om en KI-applikasjon bruker grafikkprosessoren effektivt eller ikke. Målet i dette prosjektet er å løse dette problemet gjennom å realisere tidsproporsjonal ytelsesanalyse i grafikkprosessorer. Vi vil også bruke innsikten vi opparbeider oss i dette arbeidet til å forbedre ressurseffektiviteten på utvalgte KI-applikasjoner i Forsvaret.

The objective of the DECAI project is to provide AI developers with the tools and architectural insights they need to make their AI applications more efficient, and we will attack this challenging objective along two fronts. On the research front, we will bring time-proportional performance analysis to Graphics Processing Units (GPUs) – the defacto standard accelerator for Artificial Intelligence (AI) applications – and thereby provide AI developers with the information they need to ensure that their AI applications are computationally efficient. On the impact front, we will ensure that DECAI yields the effects that the call requires by bringing our expertise, and the insights generated by the research in DECAI, to bear on key AI workloads of the Norwegian Armed Forces – thereby significantly improving their computational efficiency.