เมื่อนัยสำคัญทางสถิติไม่เท่ากับนัยสำคัญในชีวิตจริง

เป้าหมายของนักวิจัยทุกคนล้วนหวังให้การทดสอบทางสถิติของงานวิจัยตนเองพบผลนัยสำคัญทางสถิติ ถ้าหากการวิจัยใช้วิธีการทดสอบความแตกต่างระหว่างกลุ่มย่อมต้องการให้เกิดความแตกต่างอย่างมีนัยสำคัญ ส่วนการทดสอบความสัมพันธ์ระหว่างตัวแปรย่อมต้องการให้เกิดความสัมพันธ์อย่างมีนัยสำคัญ อย่างไรก็ตามการทดสอบนัยสำคัญทางสถิติเป็นเรื่องสำคัญ แต่เรื่องที่สำคัญไม่แพ้กันคือสิ่งที่เกิดขึ้นในโลกความเป็นจริงซึ่งสามารถเข้าใจได้ผ่าน ขนาดอิทธิพล ของความแตกต่างหรือความสัมพันธ์

การทดสอบทางสถิติจะรายงานผลโดยระบุว่าความแตกต่างระหว่างกลุ่มหรือความสัมพันธ์ ถึงระดับนัยสำคัญ หรือ ไม่ถึงระดับนัยสำคัญ คำว่า นัยสำคัญ มีที่มาจากการที่นักวิจัยเก็บข้อมูลได้จากกลุ่มตัวอย่างเท่านั้น เช่น การเก็บข้อมูลจากพนักงานในบริษัทแห่งหนึ่งจำนวน 20 คน และพบว่ากลุ่มผู้ที่มีอายุงานมากกว่ามีผลการปฏิบัติงานที่ดีกว่ากลุ่มผู้ที่มีอายุงานนน้อยกว่า

หากนักวิจัยพบผลความแตกต่างในกลุ่มตัวอย่างนี้แล้วต้องการที่จะแผ่ขยายผลที่เกิดขึ้นไปยังกลุ่มคนที่ใหญ่ขึ้นจากกลุ่มเดิม เช่น กลุ่มประชากรคือพนักงานทุกคนที่ยังคงทำงานอยู่ในทุก ๆ บริษัท เป็นต้น นักวิจัยจึงเลือกใช้หลักการทางสถิติที่จะทดสอบว่าความสัมพันธ์ระหว่างอายุงานและผลการปฏิบัติงานจะมีความสัมพันธ์ในประชากรจริงหรือไม่ ถ้าความสัมพันธ์ถึงระดับนัยสำคัญ แสดงว่ามีความสัมพันธ์ในประชากรจริง แต่ถ้าไม่ถึงระดับนัยสำคัญ หมายความว่าในประชากร อาจไม่พบ ความสัมพันธ์ก็ได้

ถึงแม้ว่าการวิจัยจะพบว่าความสัมพันธ์ถึงระดับนัยสำคัญทางสถิติ แต่ระดับความสัมพันธ์อาจต่ำมาก คนที่อายุงานมากกว่าแม้ว่าจะเก่งกว่าคนที่อายุงานน้อยจริงในประชากร อาจพบว่าเก่งกว่าจริงแต่ไม่มากจนเด่นชัด กล่าวคือ พบความแตกต่างจริง พบความสัมพันธ์จริง แต่ความสัมพันธ์นั้นไม่ได้สูงในระดับที่ต้องให้ความสำคัญ ซึ่งขนาดของความแตกต่างหรือขนาดของความสัมพันธ์ในทางสถิติเรียกว่าขนาดอิทธิพล (Effect Size)

ในการวิเคราะห์ข้อมูล นักวิจัยนอกจากจะต้องวิเคราะห์ทดสอบนัยสำคัญแล้ว ยังต้องคำนวณหาขนาดอิทธิพลด้วย ถ้าข้อมูลถึงระดับนัยสำคัญแต่ขนาดอิทธิพลน้อย หมายความว่า พบความสัมพันธ์จริง แต่ขนาดของความสัมพันธ์ไม่ได้เยอะจนต้องใส่ใจว่าเป็นเรื่องที่สำคัญ แต่หากเจอขนาดอิทธิพลสูงแต่ไม่ถึงระดับนัยสำคัญ หมายความว่าขนาดอิทธิพลสูงที่พบเจอนั้น อาจไม่มีจริงในประชากรก็เป็นได้ หรือในอีกกรณ๊ยังอาจกลับทิศของความสัมพันธ์ไปอีกฝั่งเลยในประชากรก็อาจเป็นไปได้ ดังนั้นนักวิเคราะห์จึงควรมุ่งเน้นการค้นพบความแตกต่างหรือความสัมพันธ์ที่ถึงระดับนัยสำคัญพร้อมไปกับขนาดอิทธิพลสูงในระดับที่สามารถอธิบายได้ในกลุ่มประชากร