رگرسیون و مدل سازی خطی:
در بسیاری از بررسیهای عملی تغییرات یک متغیر به طور وسیعی به سبب متغیرهای وابسته دیگری است که مقادیر آنها درجریان آزمایش تغییر می‌کنند. کاوش رابطه بین متغیرها مهم است ، بدین معنا که مقدار یک متغیر را می‌توان از روی مشاهدات سایر متغیرها پیش بینی کرد و یا حتی کنترل نمود به وسیله دستکاری عاملهای نافذ بهینه ساخت. تجزیه رگرسیون یک روش آماری برای بررسی و مدلسازی رابطه بین متغیرهاست. ابتدا وجود رابطه بین دو متغیر مورد بررسی قرار می‌گیرد. و سپس مفاهیم و اصول آن به حالت چند متغیره بسط داده می‌شود.
مدل رگرسیونی خط مستقیم:
در بررسی رابطه بین دو متغیر رسم نموار پراکنش قدم مقدماتی مهمی‌است که باید قبل از انجام یک تجزیه و تحلیل آماری رسمی‌انجام شود. نمودار پراکنش، بینشی درباره ماهیت رابطه‌ای که به وسیله داده‌ها نمایش داده می‌شود فراهم می‌کند.
در موقعیتی که رابطه تعینی نباشد معقول است این اصل موضوع را بپذیریم که رابطه زیربنایی خطی به وسیله اختلالهای تصادفی یا خطاهای آزمایشی پنهان مانده است. با چنین دیدگاهی مدل رگرسیون خطی زیر را می‌توان به عنوان یک نمایش آزمایش از چگونگی رابطه بین X,Y فرمولبندی که دو آنگاه به تجزیه و تحلیل آماری مبادرت ورزید.
مدل آماری:
الف ) مجموعه مقادیر متغیر کنترل شده X هستند.
ب ) مولفه های خطای نامعلومی‌هستند که بر رابطه خطی واقعی اعمال نفوذ فوق العاده ای می‌کنند که فرض می‌کنیم مستقل بوده و به طور نرمال با میانگین صفر و واریانس نامعلوم توزیع شده‌اند.
ج ) پارامترهای که بر ترتیب عرض از مبداء و شیب خط مستقیم را مشخص می‌کنند و نامعلوم هستند.
اصل کوچکترین توانهای دوم:
اصل کوچکترین توانهای دوم عبارت از تعیین مقادیر برای پارامترهای نامعلوم است . به طوری که اختلاف کل، برای تمام نقاطی کمینه گردد. اختلاف کل D به صورت زیر تعریف می‌شود:
( پاسخ پیش بینی شده – پاسخ مشاهده شده )
مقادیر به گونه ای تعیین می‌شود که مقدار D کمینه شود. پارامترهای که به وسیله این اصل تعیین می‌شوند به ترتیب با نشان می‌دهند و آنها را برآوردهای کوچکترین توانهای دوم ، یعنی پارامترهای رگرسیون می‌نامند.
نمادهای پایداری:
خط رگرسیون کوچکترین توانهای دوم:
برآورد کوچکترین توانهای دوم برای
برآورد کوچکترین توانهای دوم برای
خط رگرسیون توانهای دوم
دقت برآورد رگرسیون:
از آنجا که پارامترهای مدل، متغیر تصادفی هستند و یا به عبارت دیگر در صورت تکرار آزمایش مقادیر دیگری برای آنها حاصل می‌شود این سوال مطرح می‌شود که میزان دقت در برآورد پارامترهای خط رگرسیون چقدر است.
مقادیر انحراف از رگرسیون بامانده‌ها تفاوت بین دو کمیت می‌باشند.
1 انحراف yi مشاهده شده از میانگین کل یا
2 انحراف yi برازش شده از میانگین کل یا
مجموع مربعات انحراف ازرگرسیون + مجموع مربعات ناشی ازرگرسیون = مجموع
مربعات حول میانگین