บางตัวอาจเฉพาะทาง แล้วก็ดูงงๆ หน่อย
แต่ใช้รวมกันก็ช่วยให้เรามีข้อมูลในการวิเคราะห์หาสาเหตุข้อขัดข้องต่างๆ ของระบบได้ดีขึ้น
รายการต่อไปนี้เป็นเครื่องมือที่ผมใช้อยู่บ่อยๆ ใครมีอะไรเสริมก็แนะนำเพิ่มได้เลยครับ
อันแรกเลยครับ เครื่องมือหลักประจำเครื่อง
" top "
(capture ช้าไปสองวิ เสียดายจัง)
ไม่ต้องลงเพิ่ม ติดมากับ os อยู่แล้วไม่ว่าจะลงแบบ minimal ขนาดไหน
หรือถ้าทำหายไป มันจะอยู่ใน package "procps" ครับ
มันบอกอะไรบ้าง
ไล่ทีละบรรทัดเลยนะครับ (คิดจากค่าปกติของ centos ซึ่ง os อื่นๆ ก็คล้ายๆ กัน อาจมีแตกต่างบ้างแล้วแต่การปรับตั้งค่า)
บรรทัดบนสุด
top - 09:13:20 up 187 days, 8:40, 1 user, load average: 0.43, 0.66, 0.61
สีแดง: เวลาปัจจุบันของ server
สีเขียว: uptime (ระยะเวลาตั้งแต่ boot OS ขึ้นมา)
สีม่วง: จำนวน user ที่ login เข้าไปใน shell (การ login หน้าเครื่อง + ssh ที่เปิด terminal เท่านั้น)
สีน้ำเงิน: load average : ปริมาณงานที่ "ค้าง" ในระบบเฉลี่ย ในรอบ 1 , 5 และ 15 นาทีตามลำดับ
บรรทัดที่ 2: บรรทัดนี้จะบอกข้อมูลเกี่ยวกับ process ในเครื่องครับ
Tasks: 183 total, 3 running, 180 sleeping, 0 stopped, 0 zombie
สีแดง: จำนวน process ทั้งหมด
สีเขียว: จำนวน process ที่กำลังเรียกใช้ CPU อยู่ "ณ เวลานั้นๆ"
สีม่วง: จำนวน process ที่ไม่มีการทำงาน/ไม่มีการเรียกใช้ CPU อยู่
สีน้ำเงิน: process ที่อยู่ในสถานะ "หยุด" (ไอนี้ไม่แน่ใจครับ คู่มือมันเขียนแบบนั้นแต่ผมไม่เคยเห็นตัวเลขขึ้นซักที)
สีชมพู: process ผีดิบ lol มันคือ process ที่ตาย/จบการทำงานไปแล้ว แต่ยังไม่สามารถ clear ออกจากหน่วยความจำได้ ส่วนมากจะเป็นพวก process ที่รอการตอบสนองจาก hardware ต่างๆ อยู่ครับ (รวมถึงแรมด้วย
บรรทัดที่ 3: การใช้งาน CPU อันนี้มีของเล่นนิดหน่อยครับ สำหรับเครื่องที่ cpu หลาย core หรือหลาย cpu
Cpu(s): 4.0%us, 0.7%sy, 0.0%ni, 94.1%id, 0.9%wa, 0.0%hi, 0.3%si, 0.0%st
สังเกตดีๆ มันจะเขียนหน้าบรรทัดว่า Cpu(s) <-- ตรง (s) หมายความว่าเป็นภาพรวม cpu ทุก core
ให้กดแป้นพิมพ์เลข 1 ตรงแป้นพิมพ์ธรรมดา ที่อยู่ข้างๆ ปุ่มตัวหนอน (` / ~) แล้วมันจะแตกออกมาเป็นแบบนี้ครับ
Cpu0 : 27.6%us, 7.2%sy, 0.2%ni, 53.6%id, 10.9%wa, 0.0%hi, 0.5%si, 0.0%st
Cpu1 : 28.1%us, 7.2%sy, 0.1%ni, 55.3%id, 9.0%wa, 0.0%hi, 0.4%si, 0.0%st
Cpu2 : 27.8%us, 7.0%sy, 0.2%ni, 62.0%id, 2.8%wa, 0.0%hi, 0.2%si, 0.0%st
Cpu3 : 28.1%us, 7.3%sy, 0.2%ni, 58.8%id, 3.4%wa, 0.2%hi, 2.1%si, 0.0%st
แยกกันให้เห็นหมดเลย ว่า CPU ไหนกำลังทำอะไรอยู่
ทีนี้ แต่ละ column ที่มีตัวอักษรย่อสองตัว มีความหมายต่างกันตามนี้ครับ
us => user :: เป็นการเรียกใช้ CPU ตามปกติของโปรแกรม ที่เป็นการประมวลผลภายในโปรแกรมนั้นๆ
sy => system :: การเรียกใช้คำสั่งในระดับ kernel ที่มีการประมวลผลอยู่ภายใน kernel โดยไม่เรียกใช้ hardware
ni => nice :: การจัดลำดับความสำคัญของการประมวลผล (priority) ไว้สลับการทำงานของ process ที่มี priority ต่างๆ กันเวลาเรียกใช้ cpu พร้อมๆ กัน
id => idle :: cpu ที่ว่างงาน
wa => iowait :: เป็นการ ''เสียเวลารอ'' การเรียกใช้ และติดต่อกับ hardware ตั้งแต่ harddisk ram การ์ดจอ การ์ดแลน (แต่ส่วนใหญ่ก็ harddisk แหละ)
hi => ?
si => ? (สามอันนี้ขออภัยด้วยครับ ไม่ทราบจริงๆ ส่วนมากก็ไม่ค่อยขึ้นมาให้เห็นเท่าไหร่ด้วย)
st => ?
บรรทัดที่ 4-5: เกี่ยวกับหน่วยความจำ ขอรวบเป็นหัวข้อเดียวเลยนะครับ เพราะมันเกี่ยวข้องกัน
Mem: 8310380k total, 4970936k used, 3339444k free, 217448k buffers
Swap: 6225904k total, 52816k used, 6173088k free, 3001860k cached
สีแดง: RAM ทั้งหมดที่ติดตั้งไว้ และ OS มองเห็น (หมายถึงหน่วยความจำหลักอย่างเดียวครับ)
สีชมพู: ใช้แรมไปแล้ว "ทั้งหมด" เท่าไหร่
สีเขียว: แรมที่ยังว่างจริงๆ (คือไม่ได้จองให้กับอะไรเลย)
สีส้ม: แรมที่ถูกใช้เป็น buffer ที่พักข้อมูลก่อนที่จะมีการอ่าน/เขียนลง harddisk หรือ CPU
สีม่วง: swap space พื้นที่แรมเสมือนทั้งหมด ที่ใช้พื้นที่จาก harddisk เก็บข้อมูลแทนแรม --- บน windows มันจะมีชื่อว่า pagefile
สีน้ำเงิน: ปริมาณการใช้งาน swap space มากน้อยไม่ใช่ปัญหาเท่าไหร่ (ถึงมันจะไม่ควรใช้ก็ตาม) แต่ถ้าตัวเลขแกว่งไปมา (พร้อมกับ iowait พุ่ง) หมายความว่ามีปัญหาแรมไม่พอจนต้องมาเขียนลง swap space
สีน้ำตาล: พื้นที่ swap space ที่ไม่ได้ใช้งาน
สีดำ: เป็น file system memory cache ครับ คือ linux จะมีการใช้ ram เพื่อเก็บข้อมูลไฟล์ที่มีการเรียกใช้งานบ่อยๆ ไว้ใน ram (เผื่อมีอะไรก็อ่านเอาจากแรมไปเลย เร็วกว่าเยอะ)
วิธีคิดพื้นที่แรมว่าง ให้คิดจาก free + cached ไม่นับพื้นที่ cache เป็นพื้นที่ที่มีการใช้งาน
เพราะมันจะถูกลบออกได้เสมอถ้ามีความต้องการใช้แรมจาก process เยอะๆ
ส่วนพื้นที่ที่เหลือด้านล่าง จะเป็นรายการ process ทั้งหมด (แสดงเท่าที่พื้นที่จอเหลือ)
เรียงลำดับตามปริมาณการใช้งาน CPU ของ process นั้นๆ (เปลี่ยนได้ครับ)
มีหัวข้อตามนี้
PID : หมายเลข process id
USER : user ที่ process ทำงาน
PR : priority ของ process ที่ nice เท่ากัน
NI : รหัส nice เรียงความสำคัญของ process (ยิ่งน้อยยิ่งสำคัญ)
VIRT : ปริมาณการใช้งาน virtual image ทั้งหมด (ตั้งแต่ process ยันเตไปถึงการเรียก library)
RES / SHR : การใช้แรมส่วนของ private (เฉพาะภายใน app) / shared (ram กลางของระบบ)
S : สถานะของ process
%CPU : ปริมาณการใช้งาน CPU (นับต่อ core นะครับ) สมมติ cpu 4 core + process รัน 4 thread แต่ละ thread เรียกใช้ cpu เต็มที่ มันก็ขึ้น 400 ขึ้นมาได้เหมือนกัน
%MEM : ปริมาณการใช้งาน ram เป็น %
TIME+ : "ระยะเวลา" ที่เรียกใช้ CPU ทั้งหมดตั้งแต่รัน process (เพราะ process ไม่ได้ทำงานตลอดเวลา)
COMMAND : คำสั่งที่ใช้รัน process
ลูกเล่นเพิ่มเติมของ top สามารถหาอ่านได้จากคำสั่ง man top นะครับ
มีอีกเพียบ นี่แค่แซมเปิ้ลๆ lol
อันที่สอง ขอสั้นๆ บ้าง (เหนื่อย)
" w "
(สั้นไปมั้ย?)
บรรทัดแรกเหมือนกับการสั่ง top เลยครับ lol
ส่วนด้านล่างแค่แสดงรายการ user ที่กำลัง login อยู่แค่นั้นเอง ไม่มีอะไร สั้นๆ ง่ายๆ
หรือถ้าจะเอาแค่รายละเอียด load average ก็สั่ง
" uptime "
เฉยๆ ก็ได้
(สั้นได้ใจ)
ที่น่าใช้อีกตัว ... ไอ้นี่ได้มาจากใครแล้วก็ไม่รู้
" dstat "
อันนี้ต้องลงเพิ่มครับ อยู่ใน package ชื่อ dstat
สั่ง yum install dstat ได้เลย
สีสันสวยงามน่าใช้
ค่าปกติถ้ารันแบบไม่ระบุ parameter เพิ่ม มันจะแสดงผลตามนี้ครับ
----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system--
usr sys idl wai hiq siq| read writ| recv send| in out | int csw
6 ชุดแรกเป็น CPU usage
2 อันต่อมาเป็น ปริมาณการอ่าน/เขียน harddisk
2 อันต่อมาเป็น ปริมาณการรับ/ส่ง ข้อมูลเน็ต
2 อันต่อมาเป็นการเรียกใช้ paging (swap)
2 อันสุดท้าย เป็น interrupt และ context switch
ช่องที่น่าสนใจคือช่องที่ผมทำตัวแดงๆ ไว้ครับ
ดูประกอบกัน 5 ช่อง wait เยอะ disk read/write เยอะ == harddisk ทำงานหนัก
int/csw ขึ้นกับจำนวน process ส่วนมากถ้าเป็น hosting ไอ้ csw มันก็เยอะล่ะครับ
(คำสั่งนี้ไม่แน่ใจว่าใน vps ใช้ได้รึเปล่านะครับ ยังไม่เคยเทส)
ต่อกันด้วยการ monitor traffic แบบสดๆ ว่าเน็ตวิ่งเท่าไหร่ยังไง
" iptraf "
ต้องลงเพิ่มอีกเหมือนกันครับ ลงแบบปกติไม่มีมาให้
yum install iptraf ได้เลยเหมือนกัน
*** คำเตือน คำสั่งนี้เปลือง cpu เอาการ และไม่ค่อยได้ช่วยอะไรซักเท่าไหร่ ไว้ดูเล่นขำๆ ละกันครับ
หัวข้อที่ใช้งานจริงๆ มีแค่ 3 อันบนแค่นั้นแหละครับ นอกนั้นอันอื่นก็ไม่มีอะไรให้ดู
(อันที่จริงผมดูแค่อันที่ 3 ด้วยซ้ำ)
กดปุ่มตัว d (หรือกดลูกศรเลื่อนลงมาก็ได้) แล้วเลือกการ์ด lan ที่จะจับ traffic
ก็ไม่มีอะไรมากครับ บอกปริมาณ traffic ที่วิ่งอยู่สดๆ แค่นั้นเอง
แยก protocol แยก in out ให้หน่อยนึง
อันนี้เครื่องมือหลักอีกตัว (ไว้ใช้คู่กับ top)
" iostat "
ลงเพิ่มอีกเหมือนกันครับ อยู่ใน package ชื่อ "sysstat"
yum install sysstat เอา
iostat เป็นคำสั่งที่มีวิธีรันให้ดูสดๆ ได้อยู่หลายวิธีครับ ที่ใช้เพื่อดูสถานะการทำงานของ harddisk แต่ละลูก
ตย.
# iostat -ktx 2
Time: 10:24:47 AM
avg-cpu: %user %nice %system %iowait %steal %idle
2.38 0.00 1.38 5.75 0.00 90.50
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 741.50 0.00 28.00 0.00 3074.00 219.57 5.31 156.38 5.62 15.75
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 741.50 0.00 28.00 0.00 3074.00 219.57 5.31 156.38 5.62 15.75
sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdb1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-0 0.00 0.00 0.00 772.50 0.00 3090.00 8.00 89.29 113.97 0.20 15.75
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
เปิดมาตั้งเยอะ แต่ดูแค่ 4 หัวข้อ 5555
คือมันบอกละเอียดจริงๆ น่ะครับ แต่ที่สนใจหลักๆ มีแค่ 4 อันพอตามที่ทำตัวแดงไว้
อธิบาย
rrqm/s => read request / second (จำนวนการร้องขอการอ่านข้อมูล ต่อวินาที)
wrqm/s => write request / second (จำนวนการร้องขอการเขียนข้อมูล ต่อวินาที)
r/s => จำนวนครั้งที่อ่าน (หน่วยเป็น IOP)
w/s => จำนวนครั้งที่เขียน (หน่วยเป็น IOP)
rkB/s => ปริมาณข้อมูลที่อ่านได้ "ต่อวินาที"
wkB/s => ปริมาณข้อมูลที่เขียนได้ "ต่อวินาที
avgrq-sz =>
avgqu-sz => สองอันนี้ไม่รู้ครับ :)
await => ระยะเวลาในการ "รอ" การทำงานของ harddisk (ค่าตรงนี้แปรผันตรงกับ cpu iowait ครับ)
svctm => อันนี้ก็ไม่รู้ :)
%util => utilization (ปริมาณการทำงาน)เป็นเปอร์เซ็นต์ ของ harddisk
ถ้าเป็น SSD ค่า r/s กับ w/s จะมาคู่กับ await ครับ (ssd ที่ดี ต่อให้ r/s กับ w/s เยอะๆ await ก็ไม่ควรเกิน 200 ครับ)
เคยเจออาการ await พุ่งกระจาย หมายความว่า harddisk เสีย หรือมีความพยายามเขียนข้อมูลลงไปในตำแหน่งที่เขียนไม่ได้
(หรือถ้าเป็น ssd คือคิวค้าง lol)
อธิบายคำสั่งนิดหน่อย
# iostat -ktx 2
ตัว k => ระบุหน่วยเป็น KB (เพื่อให้อ่านง่ายขึ้น)
ตัว x => เข้า mode แสดงรายละเอียดเยอะๆ
เลข 2 ด้านหลัง => หน่วงเวลาต่อการ refresh ข้อมูล 1 ครั้ง (แก้ได้ครับ)
และสามารถใส่ตัวเลขเพิ่มได้อีกตัวนึง => จะเป็นการระบุว่า ให้แสดงผลทั้งหมดกี่ครั้ง แล้วจบการทำงาน (ถ้าไม่ใส่ มันจะ refresh ไปเรื่อยๆ)
เครื่องมือหากินอีกตัว ใช้บ่อยพอๆ กับ top ด้วยซ้ำ lol
" mytop "
วิธีลงวุ่นวายหน่อยนึงครับ ยิ่งถ้าใช้ DA นะ :angryfire:
สำหรับ fedora สั่ง yum install mytop เลยครับ
ส่วน centos (ไม่ได้ใช้ DA) ตามนี้ครับ
wget -O /etc/yum.repos.d/thai.repo http://thzhost.com/files/thai.repo yum install mytop
OS อื่นๆ หรือคนที่ใช้ DA อาจติดปัญหาพวก perl module บ้างอะไรบ้าง
(แบบว่าไม่มีเครื่องที่ใช้ DA ในมือเลยซักเครื่อง เลยลองไม่ได้น่ะครับ)
ลงเสร็จแล้วสั่งตามนี้ครับ
vi ~/.mytop
แล้วใส่เนื้อหาไปตามนี้
user=USERNAME prompt=1 database=mysql
แก้คำว่า USERNAME เป็น user ที่มีสิทธิ์ระดับ root ของ mysql ด้วยนะครับ
(plesk ใช้ admin / da ปกติใช้ da_admin / ค่าปกติ mysql ใช้ root)
มันบอกอะไรบ้าง! ทีละบรรทัดเหมือนเดิม
บรรทัดแรก
MySQL on localhost (5.0.83-log) up 6+12:32:21 [10:56:14]
บอกว่า connect ไปที่ server ไหน version อะไร และ mysqld ทำงานมาแล้วกี่วัน
บรรทัดที่ 2
Queries: 84.9M qps: 158 Slow: 0.0 Se/In/Up/De(%): 51/00/00/00
สีแดง ปริมาณ query ทั้งหมดตั้งแต่รัน mysql มา
สีเขียว ปริมาณ query เฉลี่ยต่อวินาที
สีม่วง slow query (query ที่ใช้เวลานานกว่าที่ตั้งไว้)
สีน้ำตาล แยกเป็น select insert update delete ตามลำดับ หน่วยเป็น % ว่าแต่ละประเภทมีปริมาณ query เท่าไหร่
บรรทัดที่ 3 ต่อเนื่องจากอันบนครับ แต่บรรทัดนี้จะเริ่มนับตั้งแต่ mytop refresh ข้อมูลครั้งล่าสุด (คือค่าเฉลี่ยสดๆ)
qps now: 221 Slow qps: 0.0 Threads: 3 ( 1/ 203) 56/00/00/00
สีแดง: ปริมาณ query ต่อวินาที
สีม่วง: slow query
สีน้ำตาล: connection (thread) ที่ค้างอยู่ใน mysql
บรรทัดที่ 4
Key Efficiency: 99.9% Bps in/out: 0.0/ 0.0 Now in/out: 8.4/ 2.3k
สีแดง แต่ละ query เรียกใช้ index / key ต่างๆ ได้ดีแค่ไหน
สีเขียว ปริมาณ bandwidth ที่ mysql ใช้ผ่าน tcp connection
สีน้ำตาล ปริมาณข้อมูลที่วิ่งผ่าน mysql socket (localhost)
ส่วนรายการด้านล่างเป็น process ที่เข้ามาใน mysql ครับ
Id => process id
User => user ของ mysql
Host/IP => ต้นทางการเชื่อมต่อ
DB => ฐานข้อมูลที่กำลังทำงานอยู่
Time => ใช้เวลาทำงานกับคำสั่งปัจจุบันนานเท่าไหร่แล้ว
Cmd => สถานะการทำงานของ process
Query or State => คำสั่ง query ที่เข้ามา (หรือ sleep)
ค่าที่ต้องดูมีแค่สองอันนี้แหละครับ
ดูว่า state ไม่ใช่ sleep
แล้วมาดู time ว่าเยอะผิดปกติรึเปล่า (query ทั่วไปไม่ควรใช้เวลาเกิน 2 วินาที)
query ไหนมีปัญหาก็ลองเข้าไปดูตามฐานข้อมูล กับ user ที่ mytop บอกแล้วตรวจสอบ query หรือตารางดูครับว่ามีปัญหาอะไรยังไงรึเปล่า
สรุปว่าเวลานั่งเฝ้าสถานะ server แล้วควรจะเปิดอะไรบ้าง
1) top
2) iostat
3) mytop
4) apache status
5) mrtg/munin/monit/cacti/..... อะไรพวกนี้แหละ
6) ssh terminal เปล่าๆ อีกจอไว้เผื่อพิมพ์คำสั่ง
เปิด ssh 4 หน้า เปิด browser อีก 2 ต่อ 1 server
อะ ลืมเขียน apache status
สำหรับ centos httpd rpm (ที่มากับ OS) เปิดไฟล์ /etc/httpd/conf/httpd.conf
สำหรับ directadmin apache เปิดไฟล์ /etc/httpd/conf/extra/httpd-info.conf (มั้ง)
แก้
ExtendedStatus On <Location /server-status> SetHandler server-status</Location>
ตรง <Location /server-status> สามารถแก้คำว่า server-status เป็นอย่างอื่นก็ได้ (และควรแก้ด้วยเพื่อความปลอดภัย)
เสร็จแล้ว restart / reload apache ทีนึง
แล้วเวลาจะเข้าไปดูก็เข้า http://IP/server-status (หรือคำอื่นๆ ตามที่เคยแก้ไขไว้)
ถ้าจะให้มัน refresh อัตโนมัติด้วย ก็ใส่ http://IP/server-status?refresh=30
(แก้เลข 30 ได้เลยครับ หน่วยเป็นวินาที)
จุดที่ควรดู... กรอบแดงด้านบน
CPU Usage: u521.73 s176.69 cu1.76 cs0 - .641% CPU load
54.5 requests/sec - 465.4 kB/second - 8.5 kB/request
5 requests currently being processed, 16 idle workers
บอกภาพรวมของ apache ทั้งระบบว่าใช้งานอะไรยังไงอยู่บ้าง
จำนวน process ที่ทำงานอยู่มีเท่าไหร่ process ที่แตกออกมาแล้วอยู่เฉยๆ มีเท่าไหร่
พร้อมกะจุดๆ ขีดๆ แสดง slot ของแต่ละ process ว่ามีอะไร
(คำอธิบายอยู่ด้านล่างครับ)
ลงมาแถวล่างต่อ เป็นรายการ request ที่เข้ามา apache ครับ
จะบอกได้ว่า process ไหนกำลัง(หรือเคย)ทำงานให้กับอะไรอยู่
อธิบายเฉพาะในกรอบแดงนะครับ (อันอื่นมันตรงตัว ไม่ก็เอาไปก็ทำไรไม่ได้)
PID => process id (อันนี้ตรงกับในเครื่องครับ ไปเทียบดูได้)
CPU => ปริมาณการใช้งาน CPU ของ process นั้นๆ (process หนักรึเปล่าดูจากช่องนี้)
SS => ระยะเวลาที่ใช้ process request นั้น (ยิ่งเยอะแสดงว่า process ทำงานนาน อาจมีปัญหา)
VHost => ชื่อ domain ที่ตั้งใน ServerName ของแต่ละ VHost (โดยมากก็ชื่อโดเมน / subdomain นั่นแหละครับ)
Request => บอก URL ว่า request อยู่ที่ URL ไหน
เวลาดูว่าเว็บไหนทำงานหนัก ให้ดูช่อง CPU กับ SS ที่เลขเยอะๆ
แล้วมาดู Request ว่าเข้าไปที่ URL ไหนของโดเมน แล้วไป check การทำงานของไฟล์ script ตาม URL นั้นดูครับ
ทีนี้ถ้าให้โหลดไฟล์ SS ขึ้นเยอะก็ไม่แปลกครับ เพราะเริ่มนับตั้งแต่ client connect เข้ามาเลย
vmstat เป็น virtual memory statistics realtime รายงาน process, memory, paging, block IO and cpu activity
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
r b swpd free buff cache si so bi bo in cs us sy id wa st
0 1 68 503688 149848 2200136 0 0 203 305 57 104 10 2 82 5 0
รายละเอียดการดู ดูได้แค่ว่าใช้เท่าไร ไม่มีค่า max กำกับ
อาศัยดูบ่อยๆ เป็นประจำ ก็พอจะช่วยวิเคราะห์ได้บ้างครับ
credit : http://bit.ly/vFnpMn
ไม่มีความคิดเห็น:
แสดงความคิดเห็น