Khai phá luật kết hợp với Weka

(Association Rule Mining with WEKA )

Nguyễn Văn Chức – chuc1803@gmail.com

Trong lĩnh vực Data Mining, mục đích của luật kết hợp (Association Rule - AR) là tìm ra các mối kết hợp (Association) hay tương quan (Correlation)  giữa các đối tượng trong khối lượng lớn dữ liệu. Ứng dụng của luật kết hợp rất phổ biến trong nhiều lĩnh vực, nhất là trong kinh doanh như Market Basket Analysis (Cross selling, Product placement, Affinity promotion, Customer behavior Analysis). Xem bài  ứng dụng luật kết hợp trong Market Basket Analysis tại http://bis.net.vn/forums/t/382.aspx  

Bài viết này minh họa việc sử dụng thuật toán Apriori để phát hiện các luật kết hợp trên phần mềm Weka. (Xem chi tiết về thuật toán Apriori tại đây)

Dữ liệu được dùng trong ví dụ này là dữ liệu về khách hàng ngân hàng (bank.arff) gồm 11 thuộc tính và 600 khách hàng (samples, instances, patterns). Cấu trúc file bank.arff như sau: (Download file dữ liệu bank.arff tại đây)

Dữ liệu về một số khách hàng trong file bank.arff như sau

 

Nạp dữ liệu (nạp file bank.arff)

 

Chọn tab Association và chọn thuật toán Apriori

 

Thiết lập các tham số (numRules, Support, Confidence,…)

 

Giải thích một số tham số chính của thuật toán Apriori sinh luật kết hợp

lowerBoundMinSupport: Cận dưới của minimum support.

metricType: Có 4 loại metricType là Confidence, Lift , Leverage và Conviction. 

Minimum metric score: Chỉ quan quan đến các luật có metric score cao hơn giá trị này.

numRules: Số luật muốn tìm (các luật sẽ được sắp xếp theo thứ tự giảm dần của metric score.

significanceLevel: Mức ý nghĩa (chỉ dùng khi metricType là confidence).

upperBoundMinSupport: Cận trên của minimum support (bắt đầu lặp lại việc giảm minimum support từ upperBoundMinSupport đến lowerBoundMinSupport).

Các luật kết hợp thu được

 

10 luật tốt nhất được sinh ra bởi thuật toán Apriori trên dữ liệu bank.arff như sau (sắp xếp giảm dần theo confidence):

 

1. income=43759_max 80 ==> save_act=YES 80    conf:(1)

2. age=52_max income=43759_max 76 ==> save_act=YES 76    conf:(1)

3. income=43759_max current_act=YES 63 ==> save_act=YES 63    conf:(1)

4. age=52_max income=43759_max current_act=YES 61 ==> save_act=YES 61    conf:(1)

5. children=0 save_act=YES mortgage=NO pep=NO 74 ==> married=YES 73    conf:(0.99)

6. sex=FEMALE children=0 mortgage=NO pep=NO 64 ==> married=YES 63    conf:(0.98)

7. children=0 current_act=YES mortgage=NO pep=NO 82 ==> married=YES 80    conf:(0.98)

8. children=0 mortgage=NO pep=NO 107 ==> married=YES 104    conf:(0.97)

9. income=43759_max current_act=YES 63 ==> age=52_max 61    conf:(0.97)

10. income=43759_max save_act=YES current_act=YES 63 ==> age=52_max 61    conf:(0.97)

 

Luât kết hợp số 1 cho biết rằng nếu thu nhập (income) lớn hơn hoặc bằng 43759 thì khách hàng có tài khoản tiết kiệm (save_act =YES) với độ tin cậy là 1.

 PS. All comments please send to chucnv@ud.edu.vn. Thank you and Welcome!

 

Anh Chức ah,

Weka nó không hỗ trợ sinh luật kết hợp âm anh nhỉ. Em tìm mãi mà ko có :(

Anh có thể nói rõ hơn về giá trị Metric được không ạ,em chỉ biết appiori  chỉ quan tâm giá trị Minsupp.Mong anh hồi đáp sớm!

Tham số metricType: là các thang đo dùng để đánh giá các mô hình (thuật toán) phát hiện luật kết hợp. Có 4 thang đo thường được sử dụng là Confidence, Lift , Leverage và Conviction. Trong đó thang đo Leverage ít được sử dụng và có thể dùng lift để phản ánh ý nghĩa của thang đo Leverage.

Để tiện cho việc giải thích, giả sử ta có Transaction Database gồm 5 giao dịch và 4 items như sau :

confidence  của luật kết hợp X=>Y được định nghĩa như sau: 

Với cơ sở dữ liệu giao dịch trên ta có confidence của luật kết hợp {milk, bread} => {butter}  là 0.2/0.4=0.5 . Điều này có nghĩa là 50% giao dịch mua milk và bread thì mua butter.

lift của luật kết hợp X=>Y là tỷ số giữa giao dịch hỗ trợ X và Y với tích của các giao dịch hỗ trợ X và các giao dịch hỗ trợ Y.

Với cơ sở dữ liệu về giao dịch đã cho, ta có lift của luật kết hợp {milk, bread} => {butter}  là  0.2/(0.4 x 0.4) =1.25

conviction của luật kết hợp X=>Y được định nghĩa như sau:

.

 

Với cơ sở dữ liệu giao dịch trên ta có conviction của luật kết hợp {milk, bread} => {butter} là (1-0.4)/(1-0.5)= 1.2

Conviction của luật kết hợp X=>Y cho biết tần suất mong muốn X xảy ra mà không cần Y (cũng có thể xem Conviction cho biết tần suất của luật sinh ra các dự đoán không chính xác). Chẳn hạn, Conviction của luật kết hợp {milk, bread} => {butter} là 1.2 có nghĩa rằng luật này có thể sinh ra các dự đoán không chính xác khoảng 20%.

 

 

Vâng,cảm ơn anh rất nhiều ạ.

Anh có thể cho em biết sau khi dùng Apriori để có được luật rồi. Mình sẽ làm sao để phân loại một dữ liệu đưa vào.

Vâng. Em cảm ơn Anh nhiều nhé. Em sẽ nghiên cứu và chắc là em sẽ nghiên cứu sâu về AR và sẽ làm đề tài liên quan đến nó. A giúp em với nhé. Em cảm ơn!

Các luật kết hợp thu được:

10 luật tốt nhất được sinh ra bởi thuật toán Apriori trên dữ liệu bank.arff như sau (sắp xếp giảm dần theo confidence):

1. income=43759_max 80 ==> save_act=YES 80    conf:(1)

2. age=52_max income=43759_max 76 ==> save_act=YES 76    conf:(1)

3. income=43759_max current_act=YES 63 ==> save_act=YES 63    conf:(1)

4. age=52_max income=43759_max current_act=YES 61 ==> save_act=YES 61    conf:(1)

5. children=0 save_act=YES mortgage=NO pep=NO 74 ==> married=YES 73    conf:(0.99)

6. sex=FEMALE children=0 mortgage=NO pep=NO 64 ==> married=YES 63    conf:(0.98)

7. children=0 current_act=YES mortgage=NO pep=NO 82 ==> married=YES 80    conf:(0.98)

8. children=0 mortgage=NO pep=NO 107 ==> married=YES 104    conf:(0.97)

9. income=43759_max current_act=YES 63 ==> age=52_max 61    conf:(0.97)

10. income=43759_max save_act=YES current_act=YES 63 ==> age=52_max 61    conf:(0.97)

Luât kết hợp số 1 cho biết rằng nếu thu nhập (income) lớn hơn hoặc bằng 43759 thì khách hàng có tài khoản tiết kiệm (save_act =YES) với độ tin cậy là 1.

The level is therefore not so much to estimate the time until death, however to look at the progress of the indicators described above and to conclude that the affected person is dying. This refers back to the system of teaching and nurturing that prepares children to realize competence, self-management, self-course, and caring for others (5). The significance of healthcare and other preventive well being services is usually not nicely conveyed due to Homelessness, Pregnancy, Healthcare, Mobile units, Telehealth, Community limitations similar to mental illness, substance use disorder, and outreach, Social providers a general ignorance antibiotics safe during pregnancy discount azitromicina 500 mg with amex. For youngsters youthful with the setting and the clinic staf and may ask questions than 4 years, comprehension of demise is restricted. The group was decided to work together to develop regional options to workforce challenges that affected the 13 counties of the larger Houston space. Gray et al (1994) reported a excessive incidence of hyperglycaemia in aged hyperlipidaemic sufferers who had been handled with excessive doses of nicotinic acid (common dose 1 blood pressure 400 buy generic coumadin 1mg line. Antitumor antibiotics are additionally cell-cycle specific and act throughout multiple phases of the cell cycle. However, whether or not this data presents a was found to be proof against antibiotics. Diagnosis is confrmed by charac- Any part of the nervous system may be accountable antibiotics to treat lyme disease purchase ceftin in india.

Other species corresponding to Engelmann ern range burned, which affected winter survival of spruce, subalpine fir, and Douglas-fir have also grazing animals when coupled with summer drought emerged. Koike H, et al: Alcoholic neuropathy is clinicopathologically distinct from thiamine-deficiency neuropathy. Symptoms and indicators of hypothyroidism based mostly on particular pathophysiology 54 A New Look at Hypothyroidism Some sufferers are initially euthyroid and are susceptible to growing hypothyroidism because the illness progresses antibiotics japanese discount 500 mg azitrocin mastercard. For extra info, see Technical Notes in Deaths: Preliminary data for 2011, available from. The histology of the mass showed revealed the deposition of C3 in small vessels of the dermis. Ultrasound may even assist in the analysis of intra or extrauterine being pregnant, in addition to multiple or hetero Clinical and biochemical monitoring trophic pregnancy antibiotic impregnated cement azithral 100 mg with amex. Siblings appear to have a optimistic position within the relationship and also concerning long-time period support. Durant reported the most effective well being and attendance in the entire college system, an attendance fee above 98% (Bailey 1998). Surgery is extra strongly indicated in perimenopausal and especially in postmenopausal girls to keep away from delaying a possible analysis of malignancy antibiotic resistant bacteria evolution buy discount triamid 250mg on line.

Gtxxjx https://accutanpll.com/ - generic accutane 20mg Xklwjw https://plaquepll.com/ - hydroxychloroquine pills

It is still not clear if we must always use some database to drag out a hospitals profile. F rF reeee flfluiuidd iiss prpreesseennttwwiitthihinn tthehe aabdbdoom em enn aanndd pepellvviiss. They will study to convey that means to their database was developed and disseminated, sustaining a listing professional and private lives via considerate and revolutionary of faculty keen to mentor resident analysis, and their areas modifications within the conduct of their activities medicine x 2016 order 100 mg thorazine with amex. Clinical apply guidelines for the administration of cryptococcal illness: 2010 update by the Infectious Diseases Society of America. When a surgeon will not be conversant in an operation that theoretically seems to be the best option, outcomes are not clear and must be evaluated from reviews in the hterature. The brainstem connects the cere bral hemispheres with the spinal twine, carrying info that has been processed by the brain to the remainder of the physique anxiety symptoms 3-4 purchase effexor xr american express. Attention Deficit Hyperactivity Disorder: Cultural implications of present therapeutic practices for New Zealand Mäori. The following circumstances must be reported to doctor:- a) Head nonetheless high after 6-8 hrs of good contraction b) Rupture of membrane earlier than full dilation. Further investigation Ferritin and folate ranges ought to be checked to substantiate the iron-deficiency status asthma mayo clinic cheap fluticasone 500 mcg with mastercard.

Pyyuze https://edtadxs.com/ - cialis 20mg cost Naforl https://furosemideg.com/ - order furosemide 100mg sale

If their advisor is not capable of participate and/or they have a conflict with their assigned date, they need to schedule time with the research committee chairs and their advisor to discuss options for different dates/occasions. Poliovirus infections amongst immunized laboratory staff are uncommon however stay undetermined within the absence of laboratory affirmation. Many simple surgical procedures that neither contain the body cavities nor require muscle leisure can be performed beneath native infiltration anesthesia treatment 3 cm ovarian cyst buy dilantin 100 mg cheap. The potential danger-to-benefit ratio must be fastidiously evaluated earlier than considering vaccination in such circumstances. Individual/household degree (case-finding) Public well being nurses routinely inquire about flu-like signs with the individuals, households, and teams, and colleagues with whom they work. Peripheral facial paralysis may end in following complications: Incomplete recovery: It may end up in facial asymmetry, the widespread sites of injuries are following: epiphora (because of inability to close eye), drooling of saliva a hiv infection rates female to male purchase generic zovirax on-line. In a cell harboring amplifcation of the roughly 1 Mb amplifed section within the 20q13. The entire pill should be taken, and you/your • Headache child mustn't take anything less than one chewable ta blet pe r • Irrita bility day. We have a rigorous process for reporting, handling and investigating opposed incidents and near misses treatment for dogs conjunctivitis best 0.5 mg goutichine.

Clmrah https://edssilen.com/ - oral sildenafil 150mg Amzyiz https://chloroquins.com/ - chloroquine 250mg sale

Yqgatu https://xdapoxetine.com/ - purchase priligy for sale Mwgqty https://ivermecptin.com/ - buy ivermectin 3mg for humans