So sánh: hồi quy tuyến tính & hồi quy phi tuyến

Hồi quy tuyến tính & hồi quy phi tuyến, đây là 2 mô hình hồi quy thông dụng, được ứng dụng rộng rãi, chúng ta cùng nhau tìm hiểu về 2 loại này.

So sánh 2 hồi quy

Hồi quy tuyến tính là gì?

Hồi quy tuyến tính (Linear Regression) là một phương pháp trong thống kê và học máy dùng để mô hình hóa mối quan hệ giữa một biến phụ thuộc (còn gọi là biến mục tiêu) và một hoặc nhiều biến độc lập (còn gọi là biến dự báo).

Trong trường hợp hồi quy tuyến tính đơn (Simple Linear Regression), mối quan hệ này được biểu diễn bằng một đường thẳng, có phương trình tổng quát:

y = ax + b + e

Sao cho:

Có thể bạn cũng thích

Thu thập dữ liệu sơ cấp trong nghiên cứu quan sát luận văn thạc sĩ

21/03/2023

Lý thuyết nhận thức rủi ro (TPR – Theory of Perceived Risk)

23/02/2023

4 Dạng lý thuyết trong nghiên cứu khoa học

15/09/2022

Thang đo Likert 5 bậc vs khảo sát 7 bậc; Ai tốt hơn ?

12/09/2022

• y là  biến phục thuộc
• x là biến độc lập
• a: hệ số hồi quy (slope)
• b hệ số chặn
• e: sai số ước lượng của mô hình

Trong mô hình hồi quy tuyến tính đa biến, được mở rộng thành

y = a₁x₁ + a₂x₂ + …+ a_nx_n + b + e
​

Mục tiêu là tìm các giá trị a₁, a₂, a_n;  sao cho đường hồi quy phù hợp nhất với dữ liệu, thường thông qua việc giảm thiểu tổng bình phương sai số (mean squared error – MSE) giữa giá trị thực và giá trị dự đoán.

Hồi quy tuyến tính được ứng dụng rộng rãi trong các lĩnh vực như dự báo tài chính, phân tích xu hướng, và tối ưu hóa quy trình.

Ví dụ hồi quy tuyến tính

Đồ thị trên biểu diễn mô hình hồi quy tuyến tính với phương trình:

ThuNhap = 5 +2 ×Tuoi

Phân tích chi tiết:
Phương trình hồi quy:

Intercept (hệ số chặn): Ở đây, 0=5
β0=5, nghĩa là khi Tuoi=0, thu nhập khởi điểm là 5 đơn vị (đơn vị chưa được định rõ, có thể là triệu đồng, nghìn đô, hoặc một đơn vị khác).

Slope (hệ số góc): 1=2

β1 =2, nghĩa là mỗi khi tuổi tăng thêm 1 đơn vị, thu nhập tăng thêm 2 đơn vị.

Ý nghĩa của mô hình:

Mô hình này giả định rằng có mối quan hệ tuyến tính giữa tuổi và thu nhập. Cụ thể, khi tuổi tăng, thu nhập cũng tăng với tốc độ ổn định là 2 đơn vị thu nhập cho mỗi đơn vị tuổi.
Ví dụ, nếu một người 30 tuổi, theo mô hình, thu nhập dự đoán của người đó sẽ là:

ThuNhap=5+2×30=65
Trên đồ thị, điểm này được minh họa bằng chấm đỏ.

Xu hướng tuyến tính:

Đường thẳng đi lên cho thấy sự tăng trưởng thu nhập ổn định theo tuổi. Điều này phù hợp với giả định rằng khi một người lớn lên, kinh nghiệm và kỹ năng cũng tăng theo, làm cho thu nhập của họ tăng trưởng.
Hạn chế của mô hình:

Mô hình hồi quy tuyến tính này rất đơn giản và không xét đến các yếu tố khác có thể ảnh hưởng đến thu nhập, chẳng hạn như ngành nghề, trình độ học vấn, hoặc nền kinh tế. Trong thực tế, quan hệ giữa tuổi và thu nhập thường phức tạp hơn nhiều và có thể không tuyến tính hoàn toàn.

Phạm vi sử dụng:

Mô hình này chỉ có ý nghĩa trong phạm vi tuổi nhất định. Ở tuổi cao hơn (ví dụ, sau khi về hưu), mối quan hệ giữa tuổi và thu nhập có thể không còn đúng.
Phân tích trên dựa trên giả định một mối quan hệ đơn giản giữa hai biến số, nhưng trong các ứng dụng thực tế, cần tính đến nhiều yếu tố hơn để có một mô hình chính xác

Ứng dụng hồi quy tuyến tính

Hồi quy tuyến tính có nhiều ứng dụng thực tế trong các lĩnh vực khác nhau. Dưới đây là một số ứng dụng phổ biến của hồi quy tuyến tính:

1. Dự báo tài chính và kinh tế
Dự đoán giá cổ phiếu: Hồi quy tuyến tính được sử dụng để dự báo giá cổ phiếu dựa trên các yếu tố như lãi suất, tình hình kinh tế, hoặc dữ liệu lịch sử.
Phân tích doanh thu và lợi nhuận: Doanh nghiệp có thể sử dụng hồi quy tuyến tính để dự đoán doanh thu hoặc lợi nhuận dựa trên các yếu tố như chi phí quảng cáo, doanh số bán hàng, hoặc số lượng sản phẩm bán ra.

Dự báo nhu cầu thị trường: Các mô hình hồi quy tuyến tính giúp doanh nghiệp dự báo nhu cầu sản phẩm hoặc dịch vụ dựa trên các biến như giá cả, thời gian hoặc các chiến dịch quảng cáo.

2. Nghiên cứu xã hội và nhân khẩu học
Phân tích mối quan hệ giữa giáo dục và thu nhập: Hồi quy tuyến tính thường được sử dụng để xác định mối quan hệ giữa số năm học tập và mức thu nhập của một cá nhân.

Phân tích tác động của tuổi tác và thu nhập: Mô hình hồi quy giúp hiểu cách tuổi tác ảnh hưởng đến mức thu nhập hoặc chi tiêu của người dân.
Nghiên cứu hành vi người tiêu dùng: Trong marketing, hồi quy tuyến tính được dùng để phân tích sự ảnh hưởng của giá cả, khuyến mãi hoặc các chiến dịch quảng cáo đến quyết định mua hàng.

3. Kỹ thuật và sản xuất
Dự báo chất lượng sản phẩm: Các yếu tố như nhiệt độ, áp suất, và tốc độ sản xuất có thể được sử dụng trong mô hình hồi quy để dự báo chất lượng sản phẩm.

Phân tích bảo trì thiết bị: Hồi quy tuyến tính có thể dự đoán tuổi thọ hoặc thời gian cần bảo trì cho máy móc dựa trên tần suất sử dụng và môi trường hoạt động.

4. Y học và chăm sóc sức khỏe
Dự đoán tiến triển bệnh: Hồi quy tuyến tính có thể được sử dụng để dự đoán sự tiến triển của bệnh tật dựa trên các yếu tố như tuổi, tiền sử bệnh lý, hoặc các kết quả xét nghiệm.

Phân tích tác động của các yếu tố sức khỏe: Các nhà nghiên cứu sử dụng hồi quy tuyến tính để phân tích mối quan hệ giữa các yếu tố như huyết áp, cholesterol, cân nặng và nguy cơ mắc bệnh tim mạch.

5. Bất động sản
Dự đoán giá nhà: Mô hình hồi quy tuyến tính có thể dự đoán giá trị của một ngôi nhà dựa trên các yếu tố như diện tích, vị trí, số phòng, và năm xây dựng.
Phân tích thị trường bất động sản: Hồi quy được sử dụng để phân tích mối quan hệ giữa các yếu tố kinh tế (như lãi suất, thu nhập hộ gia đình) và giá bất động sản.

6. Quản lý chuỗi cung ứng
Dự báo nhu cầu: Hồi quy tuyến tính giúp dự đoán số lượng hàng hóa cần nhập kho dựa trên các biến số như xu hướng tiêu thụ, các sự kiện đặc biệt, hoặc thời tiết.
Phân tích chi phí vận chuyển: Doanh nghiệp sử dụng hồi quy để dự đoán chi phí vận chuyển dựa trên khoảng cách, trọng lượng hàng hóa, hoặc các yếu tố khác.

7. Khoa học dữ liệu và trí tuệ nhân tạo
Dự đoán và phân loại dữ liệu: Hồi quy tuyến tính là một trong những thuật toán cơ bản trong học máy (machine learning) và được sử dụng để dự đoán đầu ra liên tục, chẳng hạn như dự báo doanh thu, tỷ lệ bỏ học hoặc các xu hướng trong dữ liệu.

Tối ưu hóa quảng cáo: Mô hình hồi quy tuyến tính giúp các nền tảng quảng cáo tối ưu hóa chiến dịch bằng cách phân tích các yếu tố tác động đến hiệu suất quảng cáo, như ngân sách, đối tượng khách hàng, thời gian chạy quảng cáo.

8. Khí tượng học
Dự báo thời tiết: Các nhà khí tượng học sử dụng hồi quy tuyến tính để dự báo nhiệt độ, lượng mưa, hoặc các yếu tố thời tiết khác dựa trên dữ liệu lịch sử và các biến thiên môi trường.

9. Giáo dục
Dự đoán điểm thi: Các trường học và nhà nghiên cứu sử dụng hồi quy tuyến tính để dự đoán điểm số của học sinh dựa trên thời gian học tập, số buổi tham gia học, hoặc các yếu tố khác.

10. Vận tải và logistics
Dự đoán thời gian vận chuyển: Hồi quy tuyến tính được sử dụng để dự đoán thời gian giao hàng dựa trên khoảng cách, phương tiện vận chuyển, và thời gian trong ngày.

Tối ưu hóa lộ trình: Các công ty vận tải sử dụng mô hình hồi quy để phân tích lộ trình vận chuyển tối ưu dựa trên các yếu tố như lưu lượng giao thông và điều kiện đường xá.

Nhìn chung, hồi quy tuyến tính là công cụ mạnh mẽ để dự đoán và phân tích trong nhiều lĩnh vực. Nó cho phép các tổ chức đưa ra quyết định dựa trên dữ liệu lịch sử và xu hướng hiện tại.

Hồi quy phi tuyến là gì?

Hồi quy phi tuyến tính (Non-linear Regression) là một phương pháp thống kê và học máy được sử dụng để mô hình hóa mối quan hệ giữa một biến phụ thuộc và một hoặc nhiều biến độc lập, trong đó mối quan hệ này không được biểu diễn dưới dạng đường thẳng. Nói cách khác, không có phương trình dạng tuyến tính (bậc nhất) để mô tả sự thay đổi của biến phụ thuộc theo biến độc lập.

Đặc điểm chính của hồi quy phi tuyến tính:
Mối quan hệ không tuyến tính: Trong hồi quy phi tuyến tính, các biến độc lập có thể ảnh hưởng đến biến phụ thuộc theo cách không tuân theo quy tắc tuyến tính (không phải là hàm bậc nhất).

Ví dụ, mối quan hệ có thể là:

y = ax + b^x2 + + e

Hoặc có thể là hàm mũ, logarit, đa thức bậc cao, hàm sigmoid, v.v.:

y = ae^bx

Phương trình phi tuyến tính: Hồi quy phi tuyến tính yêu cầu một mô hình phương trình khác biệt, có thể là hàm mũ, hàm đa thức, hoặc các hàm khác mô tả mối quan hệ phức tạp giữa biến độc lập và biến phụ thuộc.

Ví dụ:
Giả sử chúng ta có mối quan hệ giữa mức tiêu thụ năng lượng và thời gian trong ngày. Mô hình này có thể tuân theo một hàm sin hoặc hàm dạng logarit, bởi vì tiêu thụ năng lượng có thể tăng và giảm theo thời gian trong ngày, không theo một đường thẳng.

y=a⋅sin(bx+c)

Các loại hồi quy phi tuyến tính thường gặp:
Hồi quy đa thức: Sử dụng các hàm bậc cao hơn 1 (như x² hay x³)
y=β₀​+β₁​x+β₂​x²+β₃​x³+ϵ

Hồi quy hàm mũ: Mối quan hệ có dạng:
y=β₀​eβ₁​x

Hồi quy hàm logarit:
y=β0​+β1​ln(x)

Hồi quy logistic: Được sử dụng khi biến phụ thuộc là nhị phân, có dạng hàm sigmoid:

y=1+e−(β0​+β1​x)1​

Hồi quy spline: Phân đoạn mô hình thành các đoạn nhỏ để xử lý dữ liệu có xu hướng thay đổi theo từng giai đoạn.

Khi nào sử dụng hồi quy phi tuyến tính?

• Khi mối quan hệ giữa biến độc lập và biến phụ thuộc không tuyến tính.
• Khi mô hình hồi quy tuyến tính không phù hợp với dữ liệu, ví dụ, nếu dữ liệu cho thấy một xu hướng cong, dạng hình chữ U, hoặc có sự thay đổi theo chu kỳ.
• Trong các bài toán như tăng trưởng dân số, đường cong học tập, mô hình kinh tế, hoặc các hiện tượng tự nhiên.

Phân biệt hồi quy tuyến tính và phi tuyến tính:

• Hồi quy tuyến tính: Giả định một đường thẳng mô tả mối quan hệ giữa các biến.
• Hồi quy phi tuyến tính: Cho phép mô hình hóa các dạng quan hệ phức tạp hơn, nơi mà không có đường thẳng nào có thể mô tả chính xác dữ liệu.

Tóm lại, hồi quy phi tuyến tính mở rộng khả năng mô hình hóa để phù hợp với các dữ liệu thực tế phức tạp hơn so với hồi quy tuyến tính đơn giản.

Ví dụ hồi quy phi tuyến

Đồ thị trên biểu diễn phương trình phi tuyến tính:

INC=−0.0007×AGE2+0.0378×AGE+2.2

Phân tích kết quả:
Phương trình phi tuyến tính:

Phương trình này có hệ số bậc hai , cho thấy đồ thị có dạng parabol mở xuống. Điều này có nghĩa là thu nhập ban đầu tăng theo tuổi, đạt cực đại tại một thời điểm và sau đó giảm dần.

Ý nghĩa thực tế:

Thu nhập (INC) sẽ tăng theo tuổi cho đến khi đạt cực đại tại một độ tuổi nhất định (AGE = 27). Sau đó, thu nhập bắt đầu giảm dần.
Giá trị thu nhập cực đại là khoảng 2.71 đơn vị tại độ tuổi 27.

Điểm cực đại:

Điểm cực đại xảy ra tại
AGE=27
AGE=27, với giá trị thu nhập cực đại INC = 2.71

Sau điểm này, thu nhập có xu hướng giảm khi tuổi tăng.

Mô hình này mô tả một mối quan hệ phức tạp hơn giữa tuổi và thu nhập, với thu nhập tăng ban đầu nhưng sau đó giảm khi tuổi vượt quá 27, phù hợp với nhiều tình huống thực tế trong các mô hình kinh tế hoặc phát triển sự nghiệp.

Ứng dụng hồi quy phi tuyến

Hồi quy phi tuyến tính (non-linear regression) có nhiều ứng dụng trong các lĩnh vực khi mối quan hệ giữa các biến không thể được biểu diễn dưới dạng tuyến tính (đường thẳng). Đây là một công cụ mạnh mẽ để mô hình hóa các mối quan hệ phức tạp hơn. Dưới đây là một số ứng dụng thực tế của hồi quy phi tuyến tính:

1. Sinh học và y học

Mô hình hóa tăng trưởng sinh học: Hồi quy phi tuyến được sử dụng để mô hình hóa sự phát triển của sinh vật, chẳng hạn như sự tăng trưởng dân số, kích thước của vi khuẩn theo thời gian, hoặc sự phát triển của cây trồng.
Phân tích dược lý: Trong nghiên cứu dược lý, hồi quy phi tuyến tính được sử dụng để mô hình hóa mối quan hệ giữa liều lượng thuốc và phản ứng sinh học, chẳng hạn như mô hình dược động học hoặc dược lực học.
Dự đoán sự tiến triển của bệnh: Mô hình phi tuyến tính giúp dự đoán sự tiến triển của một số bệnh mãn tính dựa trên các yếu tố như thời gian và các chỉ số y tế.

2. Kỹ thuật

Phân tích đường cong tải: Hồi quy phi tuyến tính được sử dụng trong phân tích sức chịu tải và độ bền của các vật liệu kỹ thuật, khi mà mối quan hệ giữa lực và độ biến dạng không còn tuân theo quy luật tuyến tính.
Điều khiển hệ thống phi tuyến: Trong các hệ thống điều khiển kỹ thuật phức tạp, các mô hình phi tuyến tính như hàm sigmoid, logistic hoặc hyperbolic thường được sử dụng để mô hình hóa hành vi hệ thống, chẳng hạn như điều khiển động cơ hoặc hệ thống robot.

3. Tài chính và kinh tế

Mô hình tăng trưởng kinh tế: Mối quan hệ giữa các yếu tố kinh tế như lãi suất, đầu tư và tăng trưởng kinh tế thường không tuyến tính. Hồi quy phi tuyến được sử dụng để mô hình hóa và dự đoán các yếu tố này trong dài hạn.
Phân tích chu kỳ kinh tế: Nhiều mô hình kinh tế như chu kỳ kinh doanh hay lạm phát thường có mối quan hệ phi tuyến tính. Hồi quy phi tuyến có thể giúp hiểu rõ hơn những dao động và chu kỳ này.
Tối ưu hóa danh mục đầu tư: Trong quản lý danh mục đầu tư, hồi quy phi tuyến tính có thể được sử dụng để phân tích mối quan hệ phi tuyến giữa lợi nhuận và rủi ro, đặc biệt trong các thị trường biến động.

4. Môi trường và khí hậu

Dự báo lượng mưa và nhiệt độ: Các mô hình phi tuyến tính được sử dụng để dự đoán các yếu tố thời tiết, vì nhiều hiện tượng thời tiết có tính chất phi tuyến, chẳng hạn như mối quan hệ giữa độ ẩm và lượng mưa.
Mô hình hóa sự biến đổi khí hậu: Hồi quy phi tuyến tính giúp mô hình hóa các yếu tố ảnh hưởng đến biến đổi khí hậu, như sự gia tăng nhiệt độ toàn cầu, nồng độ CO2, và các yếu tố môi trường khác.

5. Hóa học và vật liệu

Phân tích phản ứng hóa học: Trong hóa học, các mô hình phi tuyến tính thường được sử dụng để mô hình hóa tốc độ phản ứng, các hiện tượng phân rã, và động học của các phản ứng hóa học.
Dự đoán tính chất vật liệu: Mối quan hệ giữa các yếu tố như áp suất, nhiệt độ, và các tính chất vật liệu thường có tính phi tuyến. Hồi quy phi tuyến tính có thể mô hình hóa các thay đổi này.

6. Khoa học dữ liệu và trí tuệ nhân tạo

Mô hình hóa học máy (Machine Learning): Trong học máy, hồi quy phi tuyến tính được sử dụng rộng rãi với các thuật toán như hồi quy logistic để dự đoán kết quả nhị phân hoặc các mô hình hàm sigmoid và hàm hyperbolic tangent trong mạng nơ-ron (neural networks).
Phân tích hành vi người dùng: Các hệ thống gợi ý (recommendation systems) sử dụng hồi quy phi tuyến để dự đoán hành vi người dùng dựa trên lịch sử tương tác và các yếu tố phi tuyến khác.

7. Dân số học và xã hội học

Mô hình hóa tăng trưởng dân số: Trong phân tích dân số, các mô hình phi tuyến như mô hình logistic thường được sử dụng để mô hình hóa sự gia tăng dân số với các giới hạn tự nhiên như tài nguyên hoặc không gian.

Phân tích hành vi xã hội: Hồi quy phi tuyến tính giúp nghiên cứu các yếu tố ảnh hưởng đến hành vi xã hội, ví dụ như mối quan hệ giữa tuổi tác và sự hài lòng với cuộc sống thường có dạng đường cong phi tuyến.

8. Giáo dục

Phân tích quá trình học tập: Các mô hình phi tuyến như đường cong học tập thường được sử dụng để phân tích mối quan hệ giữa thời gian học và hiệu suất. Sự tiến bộ của học sinh có thể tăng dần và sau đó chậm lại theo thời gian, thể hiện rõ ràng tính phi tuyến tính.
Phân tích tác động của yếu tố giáo dục: Mô hình phi tuyến tính có thể được sử dụng để phân tích sự ảnh hưởng của các yếu tố như số giờ học, mức độ tham gia lớp học, hoặc các hoạt động ngoại khóa đối với thành tích học tập của học sinh.

9. Bất động sản

Dự đoán giá trị bất động sản: Hồi quy phi tuyến có thể mô hình hóa mối quan hệ giữa giá trị bất động sản và các yếu tố như vị trí, diện tích, tuổi thọ của công trình, vì mối quan hệ giữa các yếu tố này thường có tính phi tuyến.
Phân tích thị trường nhà đất: Các biến động trên thị trường bất động sản thường tuân theo các chu kỳ không tuyến tính và có thể được mô hình hóa bằng các hàm phi tuyến.

10. Vận tải và logistics

Dự đoán lưu lượng giao thông: Mối quan hệ giữa số lượng xe và tình trạng tắc nghẽn giao thông thường là phi tuyến, và hồi quy phi tuyến tính giúp mô hình hóa và dự đoán tình trạng này dựa trên các yếu tố như thời gian và số lượng phương tiện.
Tối ưu hóa lộ trình vận chuyển: Các yếu tố phi tuyến như thời gian giao hàng, chi phí và khoảng cách có thể được phân tích và tối ưu hóa bằng hồi quy phi tuyến để giảm thiểu chi phí và thời gian giao hàng.

Kết luận

Hồi quy phi tuyến tính rất hữu ích khi mối quan hệ giữa các biến không phải là tuyến tính và đòi hỏi các mô hình phức tạp hơn để giải thích. Nhờ tính linh hoạt, hồi quy phi tuyến tính có thể được ứng dụng trong nhiều lĩnh vực từ khoa học tự nhiên đến kinh tế, xã hội và công nghệ.