از هنگامی که رایانه در تحلیل و ذخیره سازی داده ها بکار رفت (1950) پس از حدود 20 سال، حجم داده ها در پایگاه داده ها دو برابر شد. همچنین تعداد پایگاه داده ها با سرعت بیشتری رشد نمود. این در حالی است که تعداد متخصصین تحلیل داده ها و آمارشناسان با این سرعت رشد نکرد.
حال با وجود سیستم های یکپارچه اطلاعاتی، سیستم های یکپارچه بانکی و تجارت الکترونیک، لحظه به لحظه به حجم داده ها در پایگاه داده های مربوط اضافه شده و باعث به وجود آمدن انبارهای ( توده های ) عظیمی از داده ها شده است به طوری که ضرورت کشف و استخراج سریع و دقیق دانش از این پایگاه داده ها را بیش از پیش نمایان کرده است (چنان که در عصر حاضر گفته می شود).
درطول دهه گذشته باپیشرفت روزافزون کاربرد پایگاه داده ها،حجم داده های ثبت شده به طور متوسط هر5سال 2برابرمی شود. دراین میان سازمان هایی موفقند که بتوانند حداقل 7٪داده هایشان راتحلیل کنند. تحقیقات انجام یافته نشان داده است که سازمانها کمترازیک درصد داده هایشان رابرای تحلیل استفاده می کنند.
به عبارت دیگردرحالی که غرق درداده ها هستند تشنه دانش می باشند.
بنابراعلام دانشگاه MIT دانش نوین داده کاوی (Data mining) یکی ازده دانش درحال توسعه ای است که دهه آینده راباانقلاب تکنولوژی مواجه می سازد.این تکنولوژی امروزه دارای کاربرد بسیاروسیعی درحوزه های مختلف است به گونه ای که امروزه حدومرزی برای کاربرد این دانش درنظرنگرفته وزمینه های کاری این دانش راازذرات کف اقیانوس ها تااعماق فضامی دانند.
امروزه بیشترین کاربرد داده کاوی دربانکها، مراکزصنعتی وکارخانجات بزرگ، مراکزدرمانی وبیمارستانها ،مراکز تحقیقاتی ،بازاریابی هوشمند وبسیاری ازموارددیگرمی باشد.
داده کاوی پل ارتباطی میان علم وآمار،علم کامپیوتر، هوش مصنوعی ،الگو شناسی،فراگیری ماشین وبازنمایی بصری داده می باشد.داده کاوی فرآیندی پیچیده جهت شناسایی الگوها ومدل های صحیح، جدید وبه صورت بالقوه مفید، درحجم وسیعی ازداده می باشد، به طریقی که این الگوها ومدلها برای انسانها قابل درک باشد.داده کاوی به صورت یک محصول قابل خریداری نمی باشد،بلکه یک رشته علمی وفرآیندی است که بایستی به صورت یک پروژه پیاده سازی شود.
کاوش داده ها به معنی کنکاش داده های موجود درپایگاه داده وانجام تحلیل های مختلف برروی آن به منظوراستخراج اطلاعات می باشد.
داده کاوی فرآیندی تحلیلی است که برای کاوش داده ها( معمولاً حجم عظیمی ازداده ها) صورت می گیرد ویافته هابا به کارگیری الگوهایی ،احرازاعتبارمی شوند.هدف اصلی داده کاوی پیش بینی است.وبه صورت دقیق ترمی توان گفت:
کاوش داده ها شناسایی الگوهای صحیح ،بدیع، سودمند وقابل درک ازداده های موجود دریک پایگاه داده است که بااستفاده ازپردازش های معمول قابل دستیابی نیستند.