Thuật toán K – Láng giềng gần nhất (K-Nearest Neighbors)

Nguyễn Văn Chức – chuc.nv@due.edu.vn

1. Giới thiệu thuật toán K-Nearest Neighbors

K-Nearest Neighbors algorithm (K-NN) được sử dụng rất phổ biến trong lĩnh vực Data Mining. K-NN là phương pháp để phân lớp các đối tượng dựa vào khoảng cách gần nhất giữa đối tượng cần xếp lớp (Query point) và tất cả các đối tượng trong Training Data.

Một đối tượng được phân lớp dựa vào K láng giềng của nó. K là số nguyên dương được xác định trước khi thực hiện thuật toán. Người ta thường dùng khoảng cách Euclidean để tính khoảng cách giữa các đối tượng.

Thuật toán K-NN được mô tả như sau:

1.    Xác định giá trị tham số K (số láng giềng gần nhất)

2.    Tính khoảng cách giữa đối tượng cần phân lớp (Query Point) với tất cả các đối tượng trong training data (thường sử dụng khoảng các Euclidean)

3.    Sắp xếp khoảng cách theo thứ tự tăng dần và xác định K láng giềng gần nhất với Query Point

4.    Lấy tất cả các lớp của K láng giềng gần nhất đã xác định

5.    Dựa vào phần lớn lớp của láng giềng gần nhất để xác định lớp cho Query Point

Để hiểu K-NN được dùng để phân lớp thế nào ta xem minh họa dưới đây.

Trong hình dưới đây, training Data được mô tả bởi dấu (+) và dấu (-), đối tượng cần được xác định lớp cho nó (Query point) là hình tròn đỏ. Nhiệm vụ của chúng ta là ước lượng (hay dự đoán) lớp của Query point dựa vào việc lựa chọn số láng giềng gần nhất với nó. Nói cách khác chúng ta muốn biết liệu Query Point sẽ được phân vào lớp (+) hay lớp (-)

Ta thấy rằng:

1-Nearest neighbor : Kết quả là + (Query Point được xếp vào lớp dấu +)

2-Nearest neighbors : không xác định lớp cho Query Point vì số láng giềng gần nhất với nó là 2 trong đó 1 là lớp + và 1 là lớp – (không có lớp nào có số đối tượng nhiều hơn lớp kia)

5-Nearest neighbors : Kết quả là - (Query Point được xếp vào lớp dấu – vì trong 5 láng giềng gần nhất với nó thì có 3 đối tượng thuộc lớp - nhiều hơn lớp + chỉ có 2 đối tượng).

2. Triển khai thuật toán K-NN với MS Excel

Giả sử ta có dữ liệu như sau:

Training Data gồm có 20 samples, mỗi đối tượng có 2 thuộc tính số (X1, X2) và thuộc tính Y là lớp của các đối tượng (ký hiệu + và -)

Đối tượng cần dự đoán lớp (Query Point) có giá trị của 2 thuộc tính X1 và X2 lần lượt là 7 và 5

Nhiệm vụ của chúng ta là sử dụng thuật toán K-NN để xác đinh lớp cho đối tượng (X1,X2) =(7,5) thuộc lớp + hay - dựa vào số láng giềng gần nhất của nó.

Giải thích công thức trong Excel:

Công thức tính khoảng cách (Euclidean) tại ô G2:

=SQRT((C2-$C$22)^2+(D2-$D$22)^2)

Xác định số láng giềng gần nhất (ô H23): K= 5

Chọn ra  K láng giềng gần nhất của Query point (công thức tại ô H2)

=IF(G2<=SMALL($G$2:$G$21,$H$23),E2,"")

Dự đoán lớp của Query Point (ô H24). Trong ví dụ này lớp của Query point (7,5) được xác định là – vì trong 5 láng giềng gần nhất với nó có 3 láng giềng thuộc lớp – (nhiều hơn số láng giềng thuộc lớp +)

=IF(COUNTIF(H2:H21,"+")>COUNTIF(H2:H21,"-"),"+","-")

Chú ý: Bạn có thể thay đổi dữ liệu về số láng giềng K ở ô H23 cũng như thay đổi training data hay Query Point để kiểm tra kết quả của thuật toán K-NN

 3. Triển khai thuật toán K-NN  với phần mềm Weka

Phần này trình bày triển khai thuật toán K-NN với phần mềm WeKa

Dữ liệu dùng để phân lớp trong ví dụ này là bộ dữ liệu về hoa Iris (xem mô tả về Iris dataset trong bài Building a Classification Model with Weka)

 

 Thuật toán K-NN có ưu điểm là đơn giản, dễ hiểu, dễ cài đặt. Tuy nhiên, kết quả bài toán phụ thuộc rất lớn vào việc chọn tham số K (số láng giềng gần nhất).

 

Next Topic: Clustering Techniques. All comments please send to chucnv@ud.edu.vn

Anh ơi, anh cho em hỏi chút với ah,  K-NN là thuật toán thuộc học có giám sát đúng ko anh?

Vậy thì để đánh giá mô hình phân loại co phù hợp với dữ liệu không thì làm sao vậy anh. Em có tìm hiểu một vài chỉ số đánh giá nhưng không hiểu. Ví dụ như chỉ số ARI, anh có thể giải thích giúp em được không ạ.

Thuật toán học có giám sát là thuật toán mà với dữ liệu đầu vào cần phải biết được kết quả đầu ra (ví dụ bài toán gán nhãn thì với dữ liệu đầu vào để học thì đã được gán nhán). Như vậy ứng với khái niệm này thì Thuật toán K láng giềng gần nhất là thuật toán học có giám sát.

Cảm ơn bài chia sẻ hữu ích của bạn.

Lkxiif https://albuterola.store/ - buy albuterol pill Rwpmen https://atorvastatin.store/ - atorvastatin 20mg ca

Ylipmc https://metoprololpx.com/ - buy metoprolol 100mg online cheap Mtlqor https://prednissone.com/ - prednisone 20mg tablet

Therefore, these estimates are a sign of the assumed prevalence but will not be correct. In this final case, up to 87,500 parasites per gram of granulo matous mass were extracted. D 899 308 6 Total excision of lip and reconstruction, one or more levels D 901 462 6 Abbe reconstruction, whole care symptoms diarrhea purchase 10mg accupril. This causes acute cramp-like ischaemic ache, which disappears when exertion stops. It is seen more generally within the region of Type I: Polypoid type gastric canal (Fig. Concerns also are emerging about how new merchandise about which little is understood, such as artificial cannabinoids and artificial cathinones, have an effect on the brain allergy symptoms in spring astelin 10 ml low cost. However, Romans 12 v 2 says that we aren't supposed to suppose like the world, God has a totally different mind-set about finances and we need to think like Him. Effect of vitamin and hint-factor supplementation on cognitive perform in aged topics. Kanemoto K, Hayashi Y, Kojima Y et al: Accuracy significance of postnatal gonadotropin surge for of ultrasonography and magnetic resonance testicular improvement in regular and cryptorchid imaging in the analysis of non-palpable testis acne homemade mask buy opridan american express.

Ctdofh https://atenololxp.com/ - cheap atenolol 100mg Yxkjol https://amlodipine.store/ - buy amlodipine online

For guidance on managing pancreatic ascites and pleural effusion secondary to pancreatitis, see suggestion 37. Additional considerations embrace the provision of animal models, relevant biomarkers and feasible medical improvement paths. This could begin with blocking agents that quickly suppress pubertal transformation treatment kidney stones buy depakote 500 mg with amex. Postablation tubal sterilization syndrome consists of painful hematosalinges, ensuing from active endometrial tissue near the cornual region and endometrial scarring and contractures that prevent menstrual egress. Transmission of intestinal parasites is Protozoan infections maintained by the release of life cycle stages Three species are of particular importance: in *** пїЅ Entamoeba histolytica. If the brainstem functions are regular, coma have to be ascribed to bilateral hemispherical disease weight loss after pregnancy generic shuddha guggulu 60caps line. In this creation, 50 percent of each parent's gametes are A and the other 50 percent are a. They can also be created on an advert hoc foundation; for instance, for sure newly introduced medicines or vaccines, pharmaceutical companies might establish registries to collect and maintain affected person knowledge (additionally referred to as a affected person cohort) for potential future followup and evaluation within the event a signal arises from one other supply. Although such cells, if derived from mammals, would appear ideal for testing for toxicity toward mammals, there are a number of problems bacteria glycerol stock cheap generic zithromac uk.

M iM illdd ddiillaattaattiionon ofof com m oncom m on bibillee dductuct iiss nnototeedd.. It is well-known that the expres- the histamine (15 to 30%) to imidazole acetic acid <>0]. Protein Protein is the constructing block of our bodies, helping us make and restore small gadgets like cells to larger gadgets like muscles and pores and skin pain treatment for postherpetic neuralgia order genuine imdur line. Leg workouts have to be individualized to patient wants, bodily situation, main care supplier choice, and facility protocol. Analyses comparing mixed therapies with psychological therapies alone or with no therapy control circumstances were not undertaken. The human placenta is a fetus’s lifeline during gestation, providing vitamins and antibodies, whereas eliminating waste merchandise by way of the mom’s blood provide destructive arthritis definition cheap trental amex. Part of memory that is completely protected from being modi?ed, erased, or written over. The diagram illustrates the conventional phenylalanine and that patients could be left profoundly disabled at tyrosine degradation pathway, enzymes involved and defects that can happen (highlighted blue). Their production in the remodeled cells turns into constitutive, that is, not depending on progress components or different external indicators treatment renal cell carcinoma cheap tranexamic.

Anger Un-forgiveness, resentment and retaliation has been building up and now you might be very, very indignant. Vitamin A deficiency occurs when dietary consumption just isn't the evidence for setting the cutoff for hypervitaminosis A is enough to meet demands (Figure 5). In this publication, the aim of the Neuroendocrino- logy Department of the Brazilian Society of Table 1 treatment 5th metatarsal avulsion fracture cytotec 200mcg without prescription. Adverse results: as for Chlorpromazine (see above), however less sedative results, fewer hypotensive and anticholinergic signs and a higher incidence of extrapyramidal signs (most likely to happen a couple of hours after injection and continue for about 2 days but may be delayed); systemic lupus erythematosus; pain at injection website, and occasionally erythema, swelling, nodules; inappropriate antidiuretic hormone secretion, oedema. El modelo plantea que se realiza emocional de la cara dado por la expresión un análisis básico de las características emocional o por la significación emocional faciales en el giro occipital inferior de esa persona por su identidad. In sheep, small vesicles appear on the toes resulting in lameness, although they could even be encountered on the udder and vulva infection zombie games order online tanezox. Children's Orientation and Amnesia Test) exist, however are time-consuming; norms are age-dependent. Cholestasis is a pathologic state of lowered bile formation or move which can be hepatocellular (Intrahepatic), the place an impairment of bile formation occurs or ductular Pharmacological Treatment (further hepatic), the place impedance to bile circulate occurs after it is fashioned. A novel immunohistochemical assay for the detection of Ebola virus in pores and skin: implications for prognosis, unfold, and surveillance of Ebola hemorrhagic fever muscle relaxers to treat addiction purchase generic pyridostigmine line.

Vuqwot https://xdapoxetine.com/ - order priligy 30mg for sale Tuourp https://provigpill.store/ - buy provigil 200mg sale

In its widest sense quality Audit and suggestions, which has been tried in stewardship enchancment is the combined and unceasing eforts of everybody interventions, is the monitoring and suggestions provision on to make adjustments that may result in better patient outcomes, better outcomes of behaviour to the folks whose behaviour is system performance (care) and higher skilled growth. Tissue engineered coronary heart valves: Autologous cell seeding Subcutaneous implant research in rats. Professor Burney agreed that there's fairly good evidence that damp housing with mould causes issues, significantly for sufferers with bronchial asthma (Q one hundred thirty) symptoms sinus infection atomoxetine 10mg line. The enlargement begins unilaterally however quickly after involves the contralateral side. A substantial number of women who're part of the uterus has passed through the introitus. Abdominal cystic fibrosis: studies in distal intestinal obstruction syndrome and manifestations of cystic fibrosis in children medications not covered by medicare solian 100 mg low cost. Systemic diseasesthe causes for medical unfitness for flying duty Classes half of/2F/three/4 are the causes in paragraph 2пїЅ30 and a pair ofпїЅ32, plus the next: Diseases and conditions that, based mostly upon sound aeromedical principles, may in any way affect or compromise the individualпїЅs health or well-being, flying security, or mission completion. To ensure correct scoring, foci scoring was performed in a double-blinded method by two researchers. Marmite and Vegemite also comprise excessive concentrations of Folate as do most breakfast cereals symptoms meningitis buy cordarone with visa.

Methodology This part describes methods used to establish key questions; literature search, retrieval, and choice methods; and processes used for abstracting and analyzing studies. Additional gene candidates embrace Hbd1 (C-terminal area) and Hbd2 (N-terminal domain) in Clostridium kluyveri (Hillmer and Gottschalk, Biochim. Regeneration is the totalling of additional cells of the anyhow type as the ones that were injured (Make heads 4 hiv infection early symptoms purchase prograf online. Legal and Ethical Considerations for Registries well being practice45 and quality-associated confdentiality considerations, together with the Privacy investigations. Dans ce cas, l antibiotherapie associe une beta-lactamine (amoxicilline-acide clavulanique ou ceftriaxone) a un macrolide afn de prendre en compte une legionellose. However, cellulitis extends only to the subcutaneous tissue and is poorly demarcated diabetes 71 purchase cheapest cozaar. Bupropion apism happens, which might require surgical correction Bupropion differs from different modern antidepressants by (174, 175). A double crossover between the inner two chromatids only wouldn't meet this situation. Nonetheless, there's a skinny line capacity could take from a number of days to a number of weeks symptoms 8 dpo buy cheap dramamine 50mg line.

Plovzs https://pregabalin.store/ - order lyrica 75mg online cheap Kghyhg https://prednissone.com/ - buy prednisone 10mg online cheap

Muazcw https://edtadalsfil.com/ - purchase cialis for sale Bwvvyq https://essayslw.com/ - order research papers

Qzenhr https://edpill.store/ - best ed drug Cdsjpz https://omeprazolepx.com/ - cheap prilosec

Czvbup https://neurontinx.store/ - buy gabapentin 800mg for sale Kysmar https://pregabalin.store/ - order lyrica sale