Chào mừng đến với BIS Đăng nhập | Đăng ký | Trợ giúp
trong Tìm kiếm

Vấn đề xử lý bất thường (outlier) trong dữ liệu

Bài cuối 06-29-2022 06:40 AM của Tsxyfq. 46 trả lời.
Trang 1 trong số 2 (47 nội dung) 1 2 Tiếp theo >
Sắp xếp bài viết: Trước Tiếp theo
  • 04-25-2016 09:43 AM

    • chucnv
    • 10 thành viên năng nổ nhất
    • Tham gia 12-05-2008
    • Điểm 28,140

    Vấn đề xử lý bất thường (outlier) trong dữ liệu

    Chuc1803@gmail.com

    Trong quá trình thu thập, phân tích dữ liệu, ta thường gặp các quan sát mà giá trị của nó rất khác biệt so với giá trị của các quan sát khác, đây gọi là các bất thường (hay ngoại lai – Outlier).

    Outlier là gì?

    Outlier là các giá trị cực (extreme values) so với các giá trị khác được quan sát trong cùng một điều kiện. Outlier có thể là một giá trị đơn lẻ, nhưng cũng có thể là giá trị từ hai hay nhiều biến số. (Outliers are observations that have extreme values relative to other observations observed under the same conditions. Observations may be outliers because of a single large or small value of one variable or because of an unusual combination of values of two or more variables)

    Vấn đề ở đây là thế nào là “giá trị cực” hay outlier? Đây là câu hỏi khó trả lời và thường phụ thuộc vào yêu cầu phân tích của bài toán đặt ra.


    Phát hiện outlier có rất nhiều ý nghĩa và ứng dụng trong rất nhiều lĩnh vực như phát hiện gian lận trong giao dịch tài chính, viễn thông…; phân tích hành vi khách hàng, người tiêu dùng; phát hiện bệnh tật (các bất thường thường được quan tâm trong y học vì có khả năng bị bệnh cao);…

    Một số cách phát hiện bất thường

    Có rất nhiều cách để phát hiện bất thường trong dữ liệu tùy thuộc vào dữ liệu nguồn, yêu cầu phân tích của bài toán đặt ra hay kinh nghiệm của người phân tích.

    Dựa vào phân phối chuẩn (nếu dữ liệu tuân theo luật phân phối chuẩn):

    Ta biết rằng nếu biến số X tuân theo luật phân phối chuẩn với trung bình m và độ lệch chuẩn s thì 99% các giá trị của X phải nằm trong khoảng m – 3*s đến m + 3*s. Do đó, nếu có xi nào có giá trị nằm ngoài khoảng này thì có thể nghi ngờ là outlier

    Dựa vào đồ thị (histogram, scatter, Plot box…)

    Dựa vào các kỹ thuật phân cụm (clustering technique)

    Dựa vào phương pháp mật độ (Density-based Approaches)

    Khi phát hiện các outlier trong dữ liệu thì  xử lý như thế nào?

    Có rất nhiều cách để xử lý outlier khi phát hiện, mỗi cách có ưu và nhược điểm riêng. Việc chọn cách nào tùy thuộc vào yêu cầu phân tích dữ liệu của bài toán đặt ra.

    Sau đây là một số cách xử lý outliers:

    ·        Delete rows containing outlier: Xóa dòng dữ liệu chứa outlier ra khỏi dữ liệu phân tích. Việc này sẽ làm mất một số thông tin trên các cột khác nếu các cột này cần cho phân tích.

    ·        Change value to mean: Các giá trị outlier sẽ được thay bằng giá trị trung bình

    ·        Change value to null: Xóa giá trị oulier đặt lại là null (empty)

    ·        Change value to specific value: Đổi outlier thành một giá trị cụ thể (do người phân tích, chuyên gia đề xuất)

    Giới thiệu công cụ xử lý outlier

    Phần này giới thiếu công cụ Data mining của Microsoft add-ins trong Excel để phát hiện và xử lý outlier rất nhanh chóng và thuận tiện.

    Sau khi cài Data Mining Add-ins - Excel, vào menu Clean Data => Outliers


    Chọn vùng dữ liệu, và chọn cột cần phát hiện outlier


    Trong ví dụ này chọn cột thu nhập hằng tháng (Yearly Income) cần phân tích


    Chọn cách thức xử lý khi phát hiện outlier. Ở đây chọn là thay thế outlier bằng giá trị trung bình


    Trong ví dụ này tất cả những người có thu nhập hằng tháng trên 150000 được xem là các outliers và được thay thế bằng giá trị trung bình thu nhập của các quan sát khác.

    Chọn thêm cột mới vào dữ liệu nguồn (worksheet đang làm việc), copy dữ liệu đã xử lý outlier ra sheet khác hoặc thay thế trực tiếp lên dữ liệu đang thao tác (không nên chọn vì sẽ mất dữ liệu gốc). Trong ví dụ này chọn thêm cột mới



    Kết quả sau khi xử lý outlier

    Từ khóa đại diện: , ,
    • Điểm chủ đề: 605
  • 06-11-2022 09:47 PM trả lời

    • Miiltu
    • Không xếp hạng
    • Tham gia 06-11-2022
    • Điểm 20

    Zbpxqu Position Sswmot

    Myojkp https://accutanpll.com/ - oral accutane 10mg Ikeeyq https://albuterola.store/ - ventolin inhalator ca
    • Điểm chủ đề: 20
  • 06-12-2022 05:18 AM trả lời

    • Uvsqbe
    • Không xếp hạng
    • Tham gia 06-11-2022
    • Điểm 20

    Fbhklx Install Dqhdji

    Vgaxzk https://predsolone.store/ - purchase prednisolone generic Hcogia https://triamcinol.store/ - aristocort 4mg drug
    • Điểm chủ đề: 20
  • 06-12-2022 12:40 PM trả lời

    • Pwtvzx
    • Không xếp hạng
    • Tham gia 06-12-2022
    • Điểm 20

    Wxdtpd Site Avfkuz

    Naecwq https://pharmpill.store/ - list of approved canadian pharmacies Mhfrid https://provigpill.store/ - provigil 100mg tablet
    • Điểm chủ đề: 20
  • 06-12-2022 10:40 PM trả lời

    • Dzdksc
    • Không xếp hạng
    • Tham gia 06-12-2022
    • Điểm 20

    Yntdqi Position Xkvlmz

    Tunmjg https://xdapoxetine.com/ - order dapoxetine pills Eplyvq https://ivermecptin.com/ - can i buy stromectol online
    • Điểm chủ đề: 20
  • 06-13-2022 06:07 AM trả lời

    • Volavd
    • Không xếp hạng
    • Tham gia 06-12-2022
    • Điểm 20

    Kybpeo Put Epohqm

    Lzqcjb https://amoxill.store/ - buy amoxicillin 500mg generic Qwpotd https://ivermecptin.com/ - ivermectin 6 mg without prescription
    • Điểm chủ đề: 20
  • 06-14-2022 04:36 AM trả lời

    • Lgczym
    • Không xếp hạng
    • Tham gia 06-13-2022
    • Điểm 20

    Ltegeb Plat Zdrvch

    Aficek https://amlodipine.store/ - purchase amlodipine without prescription Gcratc https://plaquepll.com/ - hydroxychloroquine 200mg price
    • Điểm chủ đề: 20
  • 06-14-2022 05:36 AM trả lời

    • Lgdsoy
    • Không xếp hạng
    • Tham gia 06-13-2022
    • Điểm 20

    Goessd Leaning Fajveq

    Rlgnbb https://chloroquins.com/ - aralen sale Wvwmtt https://sildefix.com/ - sildenafil 200 mg
    • Điểm chủ đề: 20
  • 06-14-2022 03:11 PM trả lời

    • Wowhefs
    • Không xếp hạng
    • Tham gia 06-14-2022
    • Điểm 20
    https://vsdelke.ru/
    • Điểm chủ đề: 20
  • 06-14-2022 03:43 PM trả lời

    • Opdvwv
    • Không xếp hạng
    • Tham gia 06-14-2022
    • Điểm 20

    Mcudli Plat Dlgusp

    Ipwjnf https://hydlisinopr.com/ - lisinopril 5mg drug Atbigf https://edtadalsfil.com/ - buy cialis 10mg without prescription
    • Điểm chủ đề: 20
  • 06-15-2022 12:21 PM trả lời

    • Uopnmu
    • Không xếp hạng
    • Tham gia 06-15-2022
    • Điểm 20

    Qepjbm Plat Eqacwp

    • Điểm chủ đề: 20
  • 06-15-2022 01:14 PM trả lời

    • Ccpmlc
    • Không xếp hạng
    • Tham gia 06-15-2022
    • Điểm 20

    Njsgmm Install Fzrxvd

    • Điểm chủ đề: 20
  • 06-16-2022 05:14 AM trả lời

    • Qcrkvo
    • Không xếp hạng
    • Tham gia 06-15-2022
    • Điểm 20

    Nbcigg Plat Fxuztg

    Ipxklu https://sildefix.com/ - sildenafil pills Mnblfy https://sildefix.com/ - sildenafil professional
    • Điểm chủ đề: 20
  • 06-16-2022 03:03 PM trả lời

    • Atybpm
    • Không xếp hạng
    • Tham gia 06-16-2022
    • Điểm 20

    Rugmfs Plat Oqzzky

    Bdmgzl https://fsildenafil.store/ - pfizer viagra 50mg Euqqrr https://methylpred.store/ - medrol 8mg tablet
    • Điểm chủ đề: 20
  • 06-16-2022 07:02 PM trả lời

    • Nxgblo
    • Không xếp hạng
    • Tham gia 06-16-2022
    • Điểm 20

    Ltxekt Install Yzimpd

    Fydvof https://acyclovirzvx.store/ - acyclovir 400mg tablet Cptgte https://xdomperidone.com/ - motilium ca
    • Điểm chủ đề: 20
  • 06-17-2022 06:18 AM trả lời

    • Tqmdcw
    • Không xếp hạng
    • Tham gia 06-16-2022
    • Điểm 20

    Wqgvvd Plat Amgfqd

    Mxemzo https://hydlisinopr.com/ - buy lisinopril 10mg generic Rmmcov https://edsildx.com/ - sildenafil next day delivery
    • Điểm chủ đề: 20
  • 06-17-2022 01:51 PM trả lời

    • Cjmpqg
    • Không xếp hạng
    • Tham gia 06-17-2022
    • Điểm 20

    Bghmfz Spot Nncioe

    Hxebtn https://triamcinol.store/ - buy aristocort 10mg Gbpxin https://acyclovirzvx.store/ - order acyclovir 800mg online
    • Điểm chủ đề: 20
  • 06-17-2022 06:05 PM trả lời

    • Tjilcf
    • Không xếp hạng
    • Tham gia 06-17-2022
    • Điểm 20

    Zeyaul Locality Xebvhx

    Evyshr https://cenforcer.com/ - cenforce 50mg us Xfwvkw https://accutaix.com/ - order accutane cheap
    • Điểm chủ đề: 20
  • 06-17-2022 06:13 PM trả lời

    • Jqzloi
    • Không xếp hạng
    • Tham gia 06-17-2022
    • Điểm 20

    Qaveee Plat Lczusw

    Ljqopo https://omeprazolepx.com/ - omeprazole 10mg generic Dseemi https://xgabapentin.com/ - order gabapentin 600mg for sale
    • Điểm chủ đề: 20
  • 06-18-2022 12:48 AM trả lời

    • Bnujzy
    • Không xếp hạng
    • Tham gia 06-17-2022
    • Điểm 20

    Vyzdmu Locality Jhzygp

    Ksdosv https://acyclovirzvx.store/ - buy acyclovir 800mg generic Gcjcjm https://prednisoneix.com/ - prednisone pill
    • Điểm chủ đề: 20
  • 06-18-2022 06:02 AM trả lời

    • Lolpjf
    • Không xếp hạng
    • Tham gia 06-17-2022
    • Điểm 20

    Ettwfs Site Amyeij

    • Điểm chủ đề: 20
  • 06-18-2022 11:18 AM trả lời

    • Skhjpq
    • Không xếp hạng
    • Tham gia 06-18-2022
    • Điểm 20

    Rucwst Site Ejlbfj

    Tigave https://clomiphene.store/ - clomid cost Ebqsqw https://metoprololpx.com/ - metoprolol 50mg cheap
    • Điểm chủ đề: 20
  • 06-18-2022 11:15 PM trả lời

    • Vwcghi
    • Không xếp hạng
    • Tham gia 06-18-2022
    • Điểm 20

    Rvbgxp Site Zuwggm

    Yjilcg https://xdomperidone.com/ - buy motilium 10mg for sale Umqriw https://acyclovirzvx.store/ - order acyclovir 400mg sale
    • Điểm chủ đề: 20
  • 06-19-2022 12:50 AM trả lời

    • Uacbqj
    • Không xếp hạng
    • Tham gia 06-18-2022
    • Điểm 20

    Tithjd Plat Wcsjgq

    Iweinc https://methylpred.store/ - medrol tablets Eyipva https://rtadalafil.store/ - cheap cialis without prescription
    • Điểm chủ đề: 20
  • 06-19-2022 03:30 AM trả lời

    • Hcmomr
    • Không xếp hạng
    • Tham gia 06-18-2022
    • Điểm 20

    Zhrhhu Locality Wnriup

    Pqozmv https://prednisoneix.com/ - buy prednisone online canada without prescription Ofgccz https://accutaix.com/ - isotretinoin buy
    • Điểm chủ đề: 20
Trang 1 trong số 2 (47 nội dung) 1 2 Tiếp theo >
Powered by Community Server (Commercial Edition), by Telligent Systems