본고에서는 인공지능, 특히 초거대 언어모델의 폭발적인 확산이 딥러닝 추론 비용의 급증을 가져오는 상황에서 데이터센터가 AI 반도체를 필요로 한다는 사실에 주목하면서, AI 반도체가 데이터센터에서 널리 사용되려면 해결해야 하는 도전적인 문제들은 무엇인지, 하드웨어와 소프트웨어 측면에서 AI 반도체가 당면한 기술적 과제들은 무엇인지 기술하고자 한다. 또한, 아직 상용화 단계에 이르지 못했지만 중장기적인 연구 및 개발이 필요한 기술들에 대해서도 살펴보고자 한다.