はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena

Transcript

1. ͸ͯͳʹ͓͚Δ
   -JOVYωοτϫʔΫελοΫ
   ύϑΥʔϚϯεվળ JEZ@VVLJ ͸ͯͳɾϖύϘٕज़େձ
   ʙΠϯϑϥٕज़ج൫ʙ!ژ౎

2. !Z@VVL JEZ@VVLJ ΢ΣϒΦϖϨʔγϣϯΤϯδχΞ
   !͸ͯͳ
   ೖࣾ೥໨

3. ৽ଔ೥໨ͷ࢓ࣄ
   Λ঺հ

4. 1 ΢ΣϒγεςϜͷ
   ύϑΥʔϚϯε

5. ΢ΣϒγεςϜͷయܕߏ੒ LB Proxy Application Database

6. ϘτϧωοΫ͸
   Ͳ͔͜ʹ͋Δ

7. LB Proxy Web App Database ϘτϧωοΫʢϩʔϧʣ

8. LB Proxy Web App Database ϘτϧωοΫʢϦιʔεʣ $16 .FN %JTL /8

   $16 .FN %JTL $16 .FN %JTL /8 /8 $16 .FN %JTL /8

9. ϘτϧωοΫʢϦιʔεৄࡉʣ $16 .FN %JTL /8 )PTU VTFS TZT JPXBJU ʜ

   VTFE DBDIFE CVGGFS ʜ XSJUF
   *014 SFBE
   *014 SFBE
   MBUFODZ ʜ UY
   
   CQT SY
   CQT UY
   QQT ʜ

10. $16
    
    
    
    VTS
    
    
    OJDF
    
    
    
    TZT
    JPXBJU
    
    
    
    JSR
    
    
    TPGU
    
    TUFBM
    
    HVFTU
    
    
    JEMF
    
    
    BMM
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
     ιϑτׂΓࠐΈʢύέοτड৴ʣ ෛՙ͕ߴ͍

11. CPU %irq %softirq

12. େྔύέοτ ͱͷઓ͍

13. 2 ωοτϫʔΫ
    ελοΫ

14. ωοτϫʔΫελοΫ w ωοτϫʔΫ*0Λ࣮ݱ͢ΔͨΊʹඞཁ ͳཁૉ܈
    w /*$ɺΧʔωϧͷ/*$υϥΠόɺΧʔ ωϧͷ5$1*1ελοΫɺιέοτͳͲ
    w ύέοτૹड৴ɺύέοτόοϑΝ؅ཧɺ ϓϩτίϧॲཧͳͲΛؚΉ
    

    w ड৴ଆͷෛՙ͕ߴ͍͜ͱ͕ଟ͍

15. ωοτϫʔΫ*0ߴ଎Խ w (C&ͳͲʹΑΔωοτϫʔΫଳҬ෯޲্ʹ ΑΓɺҰఆ࣌ؒʹॲཧ͢Δύέοτ਺͕૿େ
    w (CQT
    
    .QQT
    #ZUFTQBDLFU
    w ωοτϫʔΫελοΫॲཧͷ$16ෛՙ͕ߴ͘

    ͳΔ
    w $16ΫϩοΫ͸্͕ΒͣϚϧνίΞ࣌୅ʹ ಥೖ
    w ͞·͟·ͳߴ଎Խख๏͕࣮૷͞Ε͍ͯΔ

16. NIC Kernel Process ύέοτड৴ϑϩʔ ؆қ

17. NIC Kernel Process ύέοτड৴ ύέοτసૹ ϓϩτίϧॲཧ σʔλίϐʔ SFBE 
    SFDW

     ύέοτड৴ϑϩʔ ؆қ 5$1*1ͷύέοτϔομղੳɺνΣοΫαϜܭࢉͳͲ ΞϓϦέʔγϣϯϓϩηε͸γεςϜίʔϧͰ଴ͪड͚

18. NIC Process ύέοτड৴ϑϩʔ ৄղ ύέοτ ड৴ ϓϩτίϧ ॲཧ σʔλड৴ ॲཧ

    ,FSOFM 3JOH
    #VGGFS 4PDLFU
    #VGGFS ΧʔωϧͷॲཧΛ෼ղ

19. NIC Process ύέοτड৴ϑϩʔ ৄղ ύέοτ ड৴ ϓϩτίϧ ॲཧ σʔλड৴ ॲཧ

    ,FSOFM 3JOH
    #VGGFS 4PDLFU
    #VGGFS ϋʔυ
    ׂΓࠐΈ ιϑτ
    ׂΓࠐΈ ࢒Γͷॲཧ͸ιϑτׂΓࠐΈͰඇಉظॲཧ ஗Ԇॲཧ ϋʔυׂΓࠐΈͰ͸ϦϯάόοϑΝʹύέοτΛੵΉ·Ͱ

20. ͳͥछྨͷׂΓࠐΈʁ w ड৴ύέοτ૿
    
    ׂΓࠐΈ૿
    
    ίϯςΩ ετεΠον૿
    ߴ$16ෛՙ
    w ϋʔυׂΓࠐΈ͚ͩͩͱύέοτड৴ͷͨͼ ʹϓϩτίϧॲཧ·Ͱଈ࣮ߦ͞ΕΔ
    w ϋʔυׂΓࠐΈͰ͸ύέοτΛόοϑΝʹੵ Ή͚ͩʹͯ͠ɺճͷׂΓࠐΈॲཧͷ$16ෛ

    ՙΛԼ͛Δ
    w ιϑτׂΓࠐΈʹΑΓɺϝΠϯͷϓϩτίϧ ॲཧΛඇಉظॲཧ

21. /"1*
    /FX
    "1* w ޙճ͠ʹͯ͠΋ड৴ύέοτ͕૿͑Ε͹ιϑτׂΓࠐΈ ͷ਺͸૿͑Δ
    w ෳ਺ͷύέοτΛ·ͱΊͯͭͷιϑτׂΓࠐΈͰॲཧ ͍ͨ͠
    w ϋʔυׂΓࠐΈΛҰ୴ͱΊͯɺϙʔϦϯάʹΑΓϦϯά

    όοϑΝ͔Βಉ࣌ʹύέοτΛऔΓग़͢
    w ͨͩ͠ύέοτ਺͕গͳ͍৔߹ʹಛʹϨΠςϯγ͕େ͖ ͘ͳͬͯ͠·͏ͷͰɺड৴ύέοτ͕ଟ͍ͱ͖ͷΈ༗ޮ

22. NIC Process /"1* ύέοτ ड৴ ϓϩτίϧ ॲཧ σʔλड৴ ॲཧ ,FSOFM

    3JOH
    #VGGFS 4PDLFU
    #VGGFS ϋʔυׂΓࠐΈΛͱΊͯɺϙʔϦϯά QPMMJOH

23. ͜͜·Ͱ͸
    -JOVYωοτϫʔΫ ελοΫͷجຊతͳ࿩

24. 3 ͸ͯͳͰͷࣄྫ

25. )"1SPYZͷ୆਺૿໰୊ w )"1SPYZΛ&$Ͱͷϩʔυόϥϯαͱͯ͠࢖༻
    w ιϑτׂΓࠐΈෛՙʹΑΓίΞͰ཯଎
    w $16ίΞ͸༨͍ͬͯΔͷʹɺ)"1SPYZͷεέʔϧ Ξ΢τ͕ඞཁ
    w %/4ϥ΢ϯυϩϏϯʹΑΓɺෳ਺ͷ)"1SPYZ΁

    ࢀরΛৼΓ෼͚
    w ϩʔυόϥϯαΛϩʔυόϥϯε͠ͳ͍ͱ͍͚ͳ ͍ࣄଶ

26. )"1SPYZ ʜʜ EC ʜʜ BQQ ʜʜ    TVHPJIBQSPYZQSJWBUF

27. ʜʜ EC ʜʜ BQQ ʜʜ   )"1SPYZ

28. ׂΓࠐΈ͕ଟ͍ͳΒ
    ׂΓࠐΈࣗମΛݮΒ͢

29. NIC Process *OUFSSVQU
    $PBMFTDJOH ύέοτ ड৴ ϓϩτίϧ ॲཧ σʔλड৴ ॲཧ ,FSOFM

    3JOH
    #VGGFS 4PDLFU
    #VGGFS /*$͕ͭͷϋʔυׂΓࠐΈͰෳ਺ͷύέοτΛ·ͱΊͯసૹ ϋʔυ
    ׂΓࠐΈ ෳ਺ύέοτἧ͏·Ͱ౸ணΛ଴ͭͨΊϨΠςϯγ͸্͕Δ

30. /*$υϥΠόͷύϥϝʔλݕূ w ࢖༻/*$͸*OUFMͷJYHCF
    *OUFSSVQU5ISPUUMF3BUFΦ ϓγϣϯ
    w DYMBSHF
    ୆͔Β
    DYMBSHF
    ୆ʹ5$1઀ଓ
    w σϑΥϧτͰ͸΢ΣϒαʔϏεͷΑ͏ͳγϣʔτύ έοτ͕ࢧ഑తͳঢ়گͰ͸ɺׂΓࠐΈ਺͕ߴ͘ͳΔ
    w

    ΢ΣϒαʔϏεͰ͸ͦ͜·ͰϨΠςϯγʹγϏΞͰ ͸ͳ͍
    w ݕূͷ݁ՌɺιϑτׂΓࠐΈͷ$16ར༻཰ TPGU ͕࠷େ
    
    
    
    ·Ͱվળ l&$Ͱ43*07Λ࢖͏ͱ͖ͷ/*$υϥΠόύϥϝʔλݕূz
    IUUQCMPHZVVLJPFOUSZ

31. ׂΓࠐΈॲཧΛෳ਺ͷ ίΞʹ෼ࢄͤ͞Δ

32. NIC Process ύέοτ ड৴ ϓϩτίϧ ॲཧ σʔλड৴ ॲཧ ͳͥෳ਺ͷίΞΛ࢖͑ͳ͍ͷ͔ $16

    ϋʔυׂΓࠐΈ͕͔͔ͬͨ$16ίΞͱಉ͡$16ίΞ͕
    ιϑτׂΓࠐΈΛ࣮ߦ͢ΔͨΊ ϋʔυ
    ׂΓࠐΈ ιϑτ
    ׂΓࠐΈ

33. NIC Process ύέοτ ड৴ ϓϩτίϧ ॲཧ σʔλड৴ ॲཧ $16 314
    

    3FDFJWF
    1BDLFU
    4UFFSJOH NIC Process ύέοτ ड৴ ϓϩτίϧ ॲཧ σʔλड৴ ॲཧ $16 NIC Process ύέοτ ड৴ ϓϩτίϧ ॲཧ σʔλड৴ ॲཧ $16 ίΞׂؒΓࠐΈ

34. 314
    3FDFJWF
    1BDLFU
    4UFFSJOH w ௨ৗ͸ϋʔυׂΓࠐΈ͕͔ͬͨ$16ͱಉ͡$16Ͱ ιϑτׂΓࠐΈΛ࣮ߦ
    w 314͸ɺଞͷ$16ʹίΞׂؒΓࠐΈͯ͠ɺϓϩτ ίϧॲཧΛଞͷ$16ʹ೚ͤΔ
    w 5$1ϔομͷ

    TBEES
    TQPSU
    EBEES
    EQPSU ͷ૊ʹ ର͠$POTJTUFOU
    )BTIJOHʹΑΔ෼ࢄ
    w ݪଇಉ͡5$1ϑϩʔͳΒ͹ಉ͡$16ʹ෼ࢄ͞Ε ΔΑ͏ʹ
    w $16Ωϟογϡώοτ཰ΛߴΊͨ3'4
    3FDFJWF
    'MPX
    4UFFSJOH
    ͱ͍͏ͷ΋͋Δ l-JOVYͰϩʔυόϥϯα΍ΩϟογϡαʔόΛϚϧνίΞεέʔϧͤ͞ΔͨΊͷΧʔωϧνϡʔχϯάz
    IUUQ CMPHZVVLJPFOUSZMJOVYOFUXPSLTUBDLUVOJOHSGT

35. ࣾ಺ͷ࠷ۙͷ
    ωοτϫʔΫαʔόʹ
    ޿͘ద༻ࡁ

36. 314Ͱ3FEJTνϡʔχϯά w 3FEJT͸εϨουಈ࡞͢ΔͨΊɺϚϧν ίΞεέʔϧ͠ͳ͍
    w ΧʔωϧͷωοτϫʔΫ*0ॲཧ͢ΔεϨο υͱɺ3FEJTεϨουͷ෼ࢄ͸Ͱ͖Δ
    w 314͸෼ࢄઌ$16൪߸ΛࢦఆͰ͖Δ
    w

    $16
    ʹ෼ࢄͤ͞Δ
    w UBTLTFUͰ$16ΞϑΟχςΟΛઃఆ͠ɺ 3FEJTεϨουΛ$16 Ҏ֎ʹݻఆ IUUQSFEJTJPUPQJDTCFODINBSLT

37. $16ˋ
    ݮ

38. ଞʹ΋਺ଟ͘ͷ
    ߴ଎Խख๏͕͋Δ νΣοΫαϜΦϑϩʔυ
    540 5$1
    4FHNFOUBUJPO
    0⒐PBE
    -30 -BSHF
    3FDFJWF
    0⒐PBE
    50&

    5$1
    0⒐PBE
    &OHJOF
    344 3FDFJWF
    4JEF
    4DBMJOH
    "DDFMFSBUFE
    3'4
    914
    1$*
    QBTTUISPVHI
    43*07
    *OUFM
    %BUB
    %JSFDU
    *0

39. 4 ωοτϫʔΫελο Ϋͷઌ୺ٕज़

40. ͦ΋ͦ΋Χʔωϧʹ
    ॲཧͤ͞ͳ͍ protocol process NIC process hardirq packet receive consistent

    hashing forward

41. Ϣʔβϥϯυ΁θϩίϐʔ w ύέοτΛ/*$͔ΒϢʔβϥϯυ΁όΠύε
    w ࣮૷
    w OFUNBQ
    w *OUFM
    %1%,
    w

    ϢʔβϥϯυͰ5$1*1࣮૷
    w ஌ΔݶΓͰ͸࣮༻ஈ֊ͷωοτϫʔΫαʔό͸ ·ͩͳ͍

42. ιέοτ"1*ͷݶք w େ఍ͷωοτϫʔΫαʔόͷ࣮૷͸104*9ͷι έοτ"1*ϕʔε
    w ιέοτ"1*Ͱ͸θϩίϐʔʹͰ͖ͳ͍
    w ΧʔωϧͷιέοτόοϑΝʹੵΉඞཁ͕͋Δ
    w طଘͷωοτϫʔΫαʔόͷιέοτ"1*Λஔ͖

    ׵͑Δͷ͸େม
    w Χʔωϧ͕ϋʔυͷਐԽʹ௥͍͔ͭͳ͘ͳΕ͹ɺ ීٴ͢Δ͔΋͠Εͳ͍

43. 5 ·ͱΊ

44. ·ͱΊ w ΢ΣϒγεςϜʹ͓͚ΔωοτϫʔΫ*0ෛՙͷҐஔ͚ͮ
    w -JOVYͷωοτϫʔΫελοΫͷ࢓૊ΈΛ঺հ
    w ͸ͯͳͰ࣮ફͨ͠ωοτϫʔΫελοΫͷߴ଎Խख๏
    w ׂΓࠐΈΛ·ͱΊΔ*OUFSSVQU
    $PBMFTDJOH
    w

    ϓϩτίϧॲཧΛϚϧνίΞεέʔϧͤ͞ΔͨΊͷ 3143'4
    w )"1SPYZɺ3FEJTͷྫ
    w ઌ୺ٕज़ͱͯ͠ɺ/*$͔ΒϢʔβϥϯυ΁όΠύε͢Δ ٕज़͕͋Δ

45. 04͸
    ΞΠσΞͷๅݿ

46. 04಺෦ͷٕज़ͷ֎ग़͠ w ιϑτׂΓࠐΈʹΑΔ஗Ԇॲཧ
    w δϣϒΩϡʔͷΑ͏ͳඇಉظॲཧ
    w ׂΓࠐΈͱϙʔϦϯά
    w ϑϩϯτΤϯυʹ͓͚ΔϩϯάϙʔϦϯά΍ 4FSWFS
    4FOU
    &WFOUT
    

    w ϓϩηεεέδϡʔϥ
    w
    ྲྀߦΓͷ7.΍ίϯςφͷΦʔέετϨʔγϣ ϯ

47. 04ͷٕज़Λ
    ࣗ෼ͷιϑτ΢ΣΞʹ
    ͱΓ͍Ε͍ͨ

48. 04΍γεςϜιϑτ΢ΣΞ
    ͕޷͖ͳਓ΁ IUUQIBUFOBDPSQKQSFDSVJUGSFTIPQFSBUJPOFOHJOFFS