Dalam mengaplikasikan statistika terhadap permasalahan sains, industri, atau sosial, pertama-tama dimulai dari mempelajari populasi. Makna populasi dalam statistika dapat berarti populasi benda hidup, benda mati, ataupun benda abstrak. Populasi juga dapat berupa pengukuran sebuah proses dalam waktu yang berbeda-beda, yakni dikenal dengan istilah deret waktu.

Melakukan pendataan (pengumpulan data) seluruh populasi dinamakan sensus. Sebuah sensus tentu memerlukan waktu dan biaya yang tinggi. Untuk itu, dalam statistika seringkali dilakukan pengambilan sampel (sampling), yakni sebagian kecil dari populasi, yang dapat mewakili seluruh populasi. Analisis data dari sampel nantinya digunakan untuk menggeneralisasikan seluruh populasi.

Jika sampel yang diambil cukup representatif, inferensial (pengambilan keputusan) dan simpulan yang dibuat dari sampel dapat digunakan untuk menggambarkan populasi secara keseluruhan. Metode statistika tentang bagaimana cara mengambil sampel yang tepat dinamakan teknik sampling.

Analisis statistik banyak menggunakan probabilitas sebagai konsep dasarnya. Sedangkan matematika statistika merupakan cabang dari matematika terapan yang menggunakan teori probabilitas dan analisis matematis untuk mendapatkan dasar-dasar teori statistika.

Ada dua macam statistika, yaitu statistika deskriptif dan statistika inferensial. Statistika deskriptif berkenaan dengan deskripsi data, misalnya dari menghitung rata-rata dan varians dari data mentah; mendeksripsikan menggunakan tabel-tabel atau grafik sehingga data mentah lebih mudah “dibaca” dan lebih bermakna. Sedangkan statistika inferensial lebih dari itu, misalnya melakukan pengujian hipotesis, melakukan prediksi observasi masa depan, atau membuat model regresi.
Statistika deskriptif berkenaan dengan bagaimana data dapat digambarkan dideskripsikan) atau disimpulkan, baik secara numerik (misalnya menghitung rata-rata dan deviasi standar) atau secara grafis (dalam bentuk tabel atau grafik), untuk mendapatkan gambaran sekilas mengenai data tersebut, sehingga lebih mudah dibaca dan bermakna.
Statistika inferensial berkenaan dengan permodelan data dan melakukan pengambilan keputusan berdasarkan analisis data, misalnya melakukan pengujian hipotesis, melakukan estimasi pengamatan masa mendatang (estimasi atau prediksi), membuat permodelan hubungan (korelasi, regresi, ANOVA, deret waktu), dan sebagainya.