Bootstrap twitter integrate with Richface4

หลังจากใช้ Richface มานานรู้สึกเบื่อกับ theme มานานละ และไปเจอกับ bootstrap twitter ทำให้นักพัฒนาหยิบไปใช้ เข้าท่าทีเดียวเลยหยิบมารวมกับ Richface 4 ปรับแต่งนิดหน่อยก็ได้อย่างที่เห็น เอิ่มมันก็ไม่ได้ยากนะ แต่เป็นงานที่ต้องใช้ความอดทน แต่คงได้ปรับแก้อีกเยอะกว่าจะสมบูรณ์

[News] Apple update Java Deprecation

Apple ประกาศเกี่ยวกับ Java Deprecation เห็นมีการปรับเนื้อหาเล็กน้อย

ไปเป็น

แต่ความหมายยังคงเดิม

oracle of Oracle

รูปจาก Iron man2
...

Setup Cassandra cluster in 10 minute

จำลองทำ Cassandra cluster โน็ตไว้กันลืมด้วย

my env:

• โหนดแรกเป็นเครื่องหลักผมเองใช้ Mac OSX (Leopard) ติดตั้ง Cassandra .65
• โหนดที่สองจำลองขึ้นมาบน VMWare เป็น Windows XP ติดตั้ง Cassandra .65

กำหนด hostname ให้เรียบร้อยทั้งสองโหนด
โหนดแรกชื่อเครื่อง tofu และ cassvm เป็นของโหนดที่สอง

กำหนด Seed เพื่อให้ Cassandra รู้ว่ามีสมาชิกอยู่ที่ใดกันบ้างและกำหนด ThriftAddress, ListenAddress ทั้งสองโหนด

ถัดมาลองสั่งรันที่โหนดแรกดู (อย่าลืมกำหนด Commitlog และ log4j ก่อนให้เรียบร้อย)

หลังจากนั้นลองรันที่อีกโหนดดูที่เป็น VMWare
จะขึ้นหน้าจอประมาณนี้ และ process hinted handoff ก็เริ่มทำงานไปพร้อมๆ กัน

ok เสร็จเรียบร้อยแล้วครับ ถ้าเข้าใจแนวคิด และทุกอย่างไม่พลาด ไม่น่าเกิน 10 นาทีก็ทดลองอย่างอื่นต่อได้แล้วครับ

CAP theorem

ความสามารถในการขยายตัวของระบบ (Scalable) กับ Service
รูปข้างล่างเป็นจำนวนผู้ใช้บน Facebook

ใน Facebook ตอนนี้มีผู้ใช้กว่า 500 ล้านคน

ประมาณ 50% ของผู้ใช้ทั้งหมดเข้าใช้งานทุกวัน

แต่ละคนใช้งานระบบเฉลี่ยอยู่ที่ 20 นาทีต่อคน

ในแต่ละเดือนมี 30 ล้าน content เช่น status update, comments, likes, photo uploads, video uploads, chat messages, inbox messages, group events, fan pages, friend connects, ... ถูกแชร์บน facebook

ในแต่ละเดือน application ถูกใช้มากกว่าล้านคน

ลองคิดเล่นๆ ว่าเค้าต้องออกแบบระบบยังไงให้ยืดหยุ่นรองรับการขยายตัว เพื่อให้รองรับปริมาณการใช้บริการต่างๆ จะเห็นว่าความสามารถในการขยายตัว จะสัมพันธ์กับสัดส่วนของบริการ และ product ใหม่ๆ ที่จะตามออกมา เหมือนอย่างที่ Google หลังจากค้นคว้าวิจัยเทคโนโลยี GFS, MapReduce, BigTable และถูกนำไปใช้ไม่นานหลังจากนั้นก็มีบริการและ product ใหม่ๆ ออกมา ในสัดส่วนที่เร็วกว่าแต่ก่อนมาก จะเห็นว่าภาพจะเป็นไปในแนวทางนี้ Infrastructure (scalable) -> Services-> Customer need

Distributed system กับ ทฤษฏี CAP
ระบบที่มีความสามารถในการขยายตัวส่วนใหญ่จะเป็นอยู่ใน model ของ distributed system เมื่อเราพูดถึง distributed เราจะต้องเจอกับทฤษฏี CAP ซึ่งมันเป็นแนวคิดที่เรียบง่ายแต่ไว้ใช้อธิบายเรื่องที่ซับซ้้อน ตัวทฤษฏี CAP มีต้นกำเนิดมาจาก Dr. Eric Brewer ในปี 2000 และกลายมาเป็นทฤษฏีที่มีผลกระทบต่อ โลก internet ในเวลาต่อมา

CAP มาจากคำว่า Consistency, Availability, Partition Tolerance ซึ่งมันบอกว่าระบบที่เป็น distributed storage จะสามารถรองรับคุณสมบัติแค่สองคุณสมบัติเท่านั้น นั่นคือเราไม่สามารถเลือกทั้งหมดได้พร้อมๆ กัน ณ เวลาใดเวลาหนึ่ง ซึ่งแต่ละคุณสมบัติมีรายละเอียดดังนี้

Consistency ทุก node จะเห็นข้อมูลกันเดียวกันในเวลาเดียวกันไม่ว่าจะเข้าถึงข้อมูลที่ node ใดใน cluster ก็ตาม ดังนั้นข้อมูลจึงมีแค่สองสถานะคือถูก กับไม่ถูก โดย consistency มีสองประเภทคือ strongly consistent และ weak consistency

ตัวอย่างของ strongly consistent จะเทียบได้กับ database ที่มีคุณสมบัติ ACID (Atomicity, Consistency, Isolation, Durability)

ส่วน weak consistency จะเจอเมื่อเนื้อข้อมูลของเรามีการ replicate กันโดยแต่ละ node ใน cluster ก็จะมีข้อมูลเดียวกันอยู่ แต่อาจไม่ใช่ version ล่าสุด ข้อมูล version ล่าสุดจะถูกเก็บอยู่ใน node ใด node หนึ่งในวง cluster แล้วจะ replicate ข้อมูลล่าสุดออกไป ดังนั้นในตอนสุดท้ายข้อมูลในทุก node ก็จะเป็นข้อมูลชุดเดียวกัน

Availability ถึงแม้ node ใด node หนึ่ง fail แต่ก็จะไม่ขัดขวางการทำงานของระบบ ตัวระบบยังคงสามารถให้บริการต่อได้ เท่ากับว่าระบบจะต้องถูกออกแบบให้มี High-Availability เพื่อให้บริการได้ตลอดเวลาไม่ว่าจะเกิดเหตุการณ์ใดๆ ขึ้น เช่นเมื่อมีบาง node failures ขณะที่ software หรือ hardware กำลัง upgrade แต่ระบบโดยรวมยังคงให้บริการได้ต่อไป

Partition Tolerance ระบบยังคงต้องทำงานต่อไปถึงแม้ว่าเส้นทางการเชื่อมต่อระหว่าง node จะเสียหาย แต่ client ยังเข้าถึงได้อยู่

ถ้าระบบสามารถทนต่อสภาพเช่นนี้ได้ ตัว database ก็จะสามารถทำงานได้ตาม อ่าน, เขียนได้ตามปกติขณะที่ database 2 rack แยกออกจากกัน

ถ้าไม่รองรับคุณสมบัตินี้แล้วเราอาจทำการอ่านข้อมูลได้เพียงอย่างเดียว แต่ไม่สามารถที่จะเขียนข้อมูลลงใน database ได้

สำหรับ RDBMS ได้คุณสมบัติ CA นั่นคือ Consistency และ Availability แต่ no Partition tolerance นั่นคือเมื่อ host หนึ่ง fail ไป RDBMS ก็จะหยุดการทำงานไปด้วย ดังนั้น RDBMS จึงต้องพยายามการันตีว่าจะต้องให้บริการได้ตลอด (High-Availability) เพราะฉะนั้นจึงไม่เกิดกรณี Partition Tolerance แน่ๆ

Cassandra Sorting

Cassandra ไม่มีความสามารถในการ query เหมือน RDBMS ทั่วไป ดังนั้นเราจึงไม่สามารถกำหนดรูปแบบการเรียงลำดับ ขณะที่ดึงข้อมูลออกมา
เมื่อเราต้องการดึงข้อมูลแล้วให้มันเรียงลำดับ สิ่งเหล่านั้นเราต้องกำหนดลงใน ColumnFamily แต่ความจริง Cassandra จะเรียงลำดับข้อมูลตั้งแต่ตอนที่ใส่ข้อมูลลงใน cluster และคงที่ลำดับตัวข้อมูลเหล่านั้นไว้ดังนั้นเมื่อเราดึงข้อมูล ตัวข้อมูลเหล่านั้นจะถูกเรียงลำดับโดยอัตโนมัติ
การเรียงลำดับสามารถกำหนดใน ColumnFamily ด้วย attribute ที่ชื่อ CompareWith ด้วยชนิดข้อมูลดังนี้
ByteType, UTF8Type, LexicalUUIDType, TimeUUIDType, AsciiType, LongType การเรียงลำดับจะเรียงตาม Column.name และขึ้นอยู่กับชนิดข้อข้อมูลที่เรากำหนด
ตัวอย่างการ Config เช่น

ในกรณีของ SuperColumns เราสามารถใช้ attribute ที่ชื่อ CompareSubcolumnsWith เพื่อกำหนดชนิดข้อมูลเพื่อเรียงลำดับใน Column ที่อยู่ใน SuperColumn ได้
ตัวอย่างการ Config เช่น

ตัวอย่าง Column ถ้าเรามีข้อมูลตามนี้

{name: 123, value: "hello there"},
{name: 832416, value: "kjjkbcjkcbbd"},
{name: 3, value: "101010101010"},
{name: 976, value: "kjjkbcjkcbbd"}

แล้วกำหนด CompareWith เป็นชนิดข้อมูล LongType ข้อมูลใน ColumnFamily จะถูกเรียงดังนี้

{name: 3, value: "101010101010"},
{name: 123, value: "hello there"},
{name: 976, value: "kjjkbcjkcbbd"},
{name: 832416, value: "kjjkbcjkcbbd"}

แต่ถ้ากำหนด CompareWith เป็นชนิดข้อมูล UTF8Type ข้อมูลใน ColumnFamily จะถูกเรียงดังนี้

{name: 123, value: "hello there"},
{name: 3, value: "101010101010"},
{name: 832416, value: "kjjkbcjkcbbd"},
{name: 976, value: "kjjkbcjkcbbd"}

ตัวอย่าง SuperColumn ถ้าเรามีข้อมูลดังนี้

{
 name: "workAddress",  value: {   street: {name: "street", value: "1234 x street"},   city: {name: "city", value: "san francisco"},   zip: {name: "zip", value: "94107"}         } ,  {
name: "homeAddress",
 value: {   street: {name: "street", value: "1234 x street"},   city: {name: "city", value: "san francisco"},   zip: {name: "zip", value: "94107"}  } }

แล้วกำหนด CompareSubcolumnsWith & CompareWith เป็น UTF8Type จะได้ผลลัพธ์ดังนี้

{
 name: "homeAddress",  value: {   city: {name: "city", value: "san francisco"},  
street: {name: "street", value: "1234 x street"},
 zip: {name: "zip", value: "94107"}
}
,  {
name: "workAddress",
 value: {   city: {name: "city", value: "san francisco"},  
street: {name: "street", value: "1234 x street"},
 zip: {name: "zip", value: "94107"} }
}

Cassandra Data Model #2

ถัดจากตอนแรก Cassandra Data Model #1 มาว่ากันต่อเรื่อง Data model

ColumnFamilies
เราสามารถจัดกลุ่มของ Column ได้ผ่าน ColumnFamily เพื่อให้มองภาพง่ายขึ้นตัวโดยโครงสร้างข้อมูลของ ColumnFamily จะเหมือนกับ table (ใช่แล้วผมหมายถึง table ใน RDBMS หนะแหละครับ) ซึ่งแต่ละ table ก็จะประกอบด้วยกี่ Row ก็ได้ และแต่ละ Row ก็จะเก็บ Column เท่าไหร่ก็ได้
ความยืดหยุ่นในโครงสร้างมันอยู่ตรงนี้ ให้สังเกตุว่าแต่ละ Row เราจะเก็บกี่ Column ก็ได้เท่ากับว่าเราไม่ต้องมีการกำหนดตายตัวว่าแต่ละ Row จะมีได้แค่เท่านั้นเท่านี้ Column จุดนี้เองจึงทำให้ Cassandra ได้คุณสมบัติ Schemaless
การเก็บข้อมูลของ Cassandra ตอนเก็บจะมีการเรียงลำดับข้อมูลทุกครั้งก่อนเก็บ ซึ่งการเรียงลำดับจะเรียงตาม key ของแต่ละ row
การสร้าง ColumnFamily เรากำหนดได้ในไฟล์ storage-conf.xml แต่ในกรณีที่เราต้องการเปลี่ยนแปลง (เพิ่ม, แก้ไข, ลบ) ColumnFamily จำเป็นที่จะต้อง Restart Cassandra process ก่อนนะครับ ถึงจะเห็นผล
ตัวอย่างการสร้าง ColumnFamily

<keyspaces>
<keyspace Name="Posts">  
<columnfamily CompareWith="UTF8Type" Name="Tags"></ColumnFamily>  
<columnfamily CompareWith="BytesType" Name="Authors"></ColumnFamily> 
</Keyspace>
</Keyspaces>

เราสร้าง ColumnFamily ชื่อ Tags, Authors และกำหนดชนิดข้อมูลที่ใช้เป็น UTF8Type, ByteType ตามลำดับ

ตัวอย่างโครงสร้างข้อมูลถ้ามองภาพในโลก Java

public class ColumnFamily{
 Byte[] name;
 Map value;
}
ColumnFamily cf = new ColumnFamily();
cf.name = "AddressBook";
Map row = new HashMap();
row.put("firstname", new Column("firstname", "Maomao"));
row.put("familyname", new Column("familyname", "Mathies"));
row.put("city", new Column("city", "Leiden"));
cf.put("person1", row);

Map row = new HashMap();
row.put("firstname", new Column("firstname", "Maomao"));
row.put("familyname", new Column("familyname", "Chen"));
row.put("city", new Column("city", "Leiden"));
cf.put("person2", row);

ตัวอย่างถ้ามองภาพในโลก JSON

UserProfile = {
 name: “phamonyut”, 
 value: {
  username: {name: “username”, value: “tofu”, timestamp: 123456789},
  blog: {name: “blog”, value: “http://phamonyut.blogspot.com”, timestamp: 123456789},
  gender: {name: “gender ”, value: “male”, timestamp: 123456789}
 },
 name: “plaumkamon”,
 value: {
  username: {name: “username”, value: “plaumkamon”, timestamp: 123456789},
  blog: {name: “blog”, value: “http://plaumkamon.blogspot.com”, timestamp: 123456789},
  gender: {name: “gender ”, value: “undecided”, timestamp: 123456789},
  age: {name: “age”, value: “25”, timestamp: 123456789},
  email: {name: “email”, value: “plaumkamon@example.com”, timestamp: 123456789}
 }
}

ด้วยความที่มัน Schemaless ค่าที่เก็บในแต่ละ row จึงแตกต่างกันได้ สังเกตุว่า row ที่สองจะมีเพิ่ม Column age และ name

Keyspace
ข้ามมาพูดถึง Keyspace ก่อนเข้าไปที่ SuperColumnFamily ตัว Keyspace เพื่อให้มองภาพง่ายขึ้นเปรียบได้กับ Database ใน RDBMS ซึ่งเป็น “มิติ” แรกของ Cassandra hash ที่เราใช้เวลาดึงข้อมูล (คำว่ามิติแรก ก็จะเทียบได้กับ syntax get[keyspace][columnFamily][...]) โดยภายในจะประกอบด้วย ColumnFamily (ซึ่งเปรียบได้กับ Table ใน RDBMS) ก็เท่ากับเรามีทั้ง Database และ table ที่ใช้เก็บข้อมูลแล้ว ซึ่งแต่ละ application ก็จะมีแค่หนึ่ง keyspace
แต่อย่างลืมว่า ColumnFamily ไม่ใช่ table จริงๆ และมันไม่มี Join จึงอย่าคาดหวังว่า key ของ row นึงจะต้องมีอยู่ในอีก ColumnFamily นึงด้วย
เราจะ config Keyspace ในไฟล์ storage-conf.xml

<keyspaces>
<keyspace name="Blogs"> 
... 
</Keyspace>
</Keyspaces>

SuperColumnFamily
โครงสร้างจะเหมือนกับ ColumnFamily แตกต่างตรงที่ ในแต่ละ row จะเก็บ SuperColumn ตัว map คือ key ที่เป็น name ของแต่ละ SuperColumn และ value คือตัว SuperColumn มัีนเอง
ตัวอย่างในมุมมองของ JSON

Posts= {
 name: "Cassandra-data-model", 
 value: {
 name: "Post"
 value: {
  "title": {name: "title", value: "Cassandra data model", timestamp: 123456789},
  "body": {name: "body", value: "Blah Blah ...", timestamp: 123456789},
  "author": {name: "author", value: "Phamonyut", timestamp: 123456789},
 }, 
 name: "Tag"
 value {
  "0": {name: "0", value: "cassandra", timestamp: 123456789},
  "1": {name: "1", value: "nosql", timestamp: 123456789},
 }
 }, 
 name: "Android-programming",
 value: {
 name: "Post"
 value: {
  "title": {name: "title", value: "Android Programming", timestamp: 123456789},
  "body": {name: "body", value: "Blah Blah ...", timestamp: 123456789},
  "author": {name: "author", value: "Plaumkamon", timestamp: 123456789},
  "createdate": {name: "createdate", value: "07/07/2007", timestamp: 123456789}
 }, 
 name: "Tag"
 value {
  "0": {name: "0", value: "Android", timestamp: 123456789},
  "1": {name: "1", value: "Tutorial", timestamp: 123456789},
 }
 }
}

Cassandra Data Model #1

[Column | SuperColumn] >- [ColumnFamily | SuperColumnFamily] >- Keyspace/Application >- Cluster

โครงสร้างข้อมูลของ Cassandra แบ่งออกเป็นสองประเภทหลักๆ ได้แก่ Column และ SuperColumn ซึ่งสองชนิดนี้สามารถจัดกลุ่มรวมกันได้โดยใช้อีกสองประเภทคือ ColumnFamily และ SuperColumnFamily

Schema
Cassandra จะเป็นลักษณะของไม่มี schema (schema-less) จะเห็นภาพชัดขึ้นเมื่อพูดถึง Column Family

Cluster
หนึ่ง Clusters สามารถเก็บได้หลาย keyspace

Columns
โครงสร้างข้อมูลจะประกอบด้วยสามส่วนได้แก่ name, value และ timestamp

public class Column {
 Byte[] name;
 Byte[] value;
 Long timestamp;
}

ถ้ามองเป็นโครงสร้างแบบ JSON จะได้รูปแบบดังนี้

{
 "name": "emailAddress"
 "value": "foo@bar.com"
 "timestamp": 123456789
}

ค่า name และ value จะเก็บเป็น binary ถึงแม้ว่า application จะใ้ช้ UTF8 ก็ตาม และสังเกตุว่ามีการเก็บค่า timestamp ด้วย ซึ่งมันถูกใช้เพื่อแก้ปัญหาความขัดแย้งกันของข้อมูล โดยจะเกิดเมื่อเรามีข้อมูลเดียวกันสองชุด ค่านี้จะบอกเราว่าข้อมูลชุดใดเป็นเวอร์ชั่นใหม่สุด และข้อมูลเก่าจะถูกแทนที่ด้วยข้อมูลที่ใหม่กว่า
บางครั้งเวลาเราพูดถึง column มักจะตัด timestamp และมองภาพแค่การจับคู่กันของ name กับ value
ดังนั้นในเอกสารนี้ส่วนของ timestamp จะถูกตัดออกเพื่อให้อ่านง่ายขึ้น

SuperColumns
โครงสร้างข้อมูลของ SuperColumn จะเก็บ name และ value โดย value จะเก็บ map ของ key/Column โดย key จะมีค่าเหมือนกับชื่อของ column ที่มันเก็บอยู่ (มองง่ายๆ SuperColumn จะเก็บ Column อีกที ซึ่งมีมากกว่าหนึ่งก็ได้)
สิ่งที่แตกต่างระหว่าง Column และ SuperColumn คือ Column.value เก็บชนิดข้อมูลเป็น String แต่ SuperColumn.value เก็บชนิดข้อมูลเป็น map ของ column และ SuperColumn ไม่เก็บ timestamp ซึ่งค่านี้จะเก็บอยู่ใน Column เท่านั้น
ถ้ามองในมุม Java เราจะเขียนโครงสร้างได้หน้าตาดังนี้ ซึ่งดูแล้วง่ายกว่ามองจากรูปมาก

public class SuperColumn {
 Byte[] name;
 Map value;
}
SuperColumn sc = new SuperColumn();
sc.name = “person1”;
sc.value.put(“firstname”, new Column(“firstname”, “Ronald”));
sc.value.put(“lastname”, new Column(“familyname”, “Mathies”));

ถ้ามองเป็นโครงสร้าง JSON จะได้ดังรูปนี้

{
 name: “Post”
 value: {
  “title”: {name: “title”, value: “Cassandra data model”, timestamp: 123456789},
  “body”: {name: “body”, value: “Blah Blah ...”, timestamp: 123456789},
  “author”: {name: “author”, value: “Phamonyut”, timestamp: 123456789},
 }, 
 name: “Tag”
 value {
  “0”: {name: “0”, value: “cassandra”, timestamp: 123456789},
  “1”: {name: “1”, value: “nosql”, timestamp: 123456789},
 }
}

10 rules when you need to testing software

ช่วงนี้ต้องทดสอบอย่างหนัก เพื่อให้มั่นใจว่าเราจะทดสอบอย่างถูกต้อง จึงต้องยึดมั่นกับแนวคิดการทดสอบสิบข้อนี้

1. การออกแบบตัว test case เราต้องรู้ว่าจะใส่ input อะไร และผลลัพธ์ที่ออกมาควรจะเป็นอย่าไร
2. นักพัฒนาโปรแกรมไม่ควรจะทำการทดสอบโค้ดที่ตัวเองเป็นคนเขียน (การทดสอบโปรแกรมนี้ ไม่ใช่การ debug ซึ่งถ้าเป็นการ debug นักพัฒนาโปรแกรมจะต้องเป็นคนทำเอง) เพื่อหลีกเลี่ยงเข้าข้างโค้ดตัวเอง
3. อย่าให้บริษัทที่พัฒนาโปรแกรมมาทดสอบโปรแกรมเอง
4. ทุกครั้งที่ทำการทดสอบ ผลลัพธ์ที่ออกมาจะต้องตรวจสอบอย่างละเอียดรอบคอบ
5. Test case ต้องเขียนให้ครอบคลุมทั้งกรณีที่ถูกต้อง และกรณีที่ผิด โดยจำลองได้จากการนำข้อมูลที่ผิดใส่ลงไปใน Test case แล้วดูผลลัพธ์ว่ามันผิดอย่างที่เราตั้งไว้หรือไม่
6. พยายามนึกความหมายของ bugs ในทุกครั้งที่ทำการทดสอบ
7. พยายามเขียน Test case เผื่อให้อนาคตสามารถนำกลับมาใช้ใหม่ได้
8. ต้องวางแผนทดสอบภายใต้การหาข้อผิดพลาด โดยคิดที่อยากจะหาข้อผิดพลาดอยู่เสมอ เพราะเราไม่ได้ทดสอบโปรแกรมที่ทำงานถูกต้อง
9. การทดสอบเป็นงานที่ต้องอาศัยความคิดสร้างสรรค์ และใช้ความคิดอย่ามาก
10. ความน่าจะเป็นของการเกิดข้อผิดพลาด มักจะแปลผันตรงกับจำนวนข้อผิดพลาดที่พบก่อนหน้านั้นแล้ว คือเมื่อมีการเจอข้อผิดพลาด ณ จุดใดมักจะเพิ่มขึ้นมาเรื่อยๆ ณ จุดนั้น

Security-driven design #2 - SQL Injection

ผมเขียนตอนแรก ไว้ที่ เป็นเรื่องเกี่ยวกับการโจมตีจุดอ่อน XSS
บทความในตอนนี้เป็นตอนต่อเนื่องที่พูดเกี่ยวกับจุดอ่อนที่เรามักพบกันได้บ่อย นั่นคือ SQL Injection โดยเป็นการโจมตีโดยการฉีค SQL query ผ่านช่องทางต่างๆ ที่ให้เราส่ง input จาก client ไปหาตัวระบบได้ เมื่อทำสำเร็จแล้วผู้โจมตีจะสามารถเข้าถึงข้อมูลเพื่อทำ CRUD ที่อยู่ในฐานข้อมูลได้ โดยไม่ต้องผ่านการตรวจสอบสิทธิของ application นั้นๆ
ผลกระทบของ SQL Injection ขึ้นอยู่กับปัจจัยเหล่านี้

• จุดที่ฉีคเข้ามา query
• สิทธิของ user ที่ execute query นั้น
• database platform และ version
• database configuration

ยกตัวอย่าง SQL Injection ที่เกิดขึ้นเมื่อนักพัฒนาสร้าง dynamic query โดยนำมารวมกับ input ที่ผู้ใข้ส่งเข้ามาโดยไม่ผ่านวิธีการที่เหมาะสม

String query = “Select * from Users Where username = ‘“ + request.getParameter(”username”) + “‘ and password = ‘“ + request.getParameter(”password”) + “‘“;
  try {
    Statement statement = connection.createStatement( … );
    ResultSet results = statement.executeQuery( query );
  }

แล้วถ้าใช้ url ลักษณะนี้
http://www.yoursite.com/login?username=tofu’%20or%20‘1’%20=%20’1&password=1’%20or%20’1’%20=%20’1
เท่ากับเราจะได้ query ที่ค่าจะออกมาเป็น true และ query ผลลัพธ์ออกมาได้

Select * from Users Where username = ‘tofu’ or ‘1’=’1’ and password=’1’ or ‘1’=’1’ 

นอกจากนี้ยังมี query อีกสารพัดแบบที่ถูกฉีคเข้ามาทดสอบความอ่อนแอของ application เราหาได้ใน google

แนวทางป้องกันหลัก

• Parameterized query
• ใช้ Prepared Statement / HQL / ...
• ใช้ Stored Procedures
• Character escaping
• User-input Handling ได้กล่าวไปในบท ก่อนหน้านี้ และดูเพิ่มเติมได้จาก นี้
• ซ่อน error message ที่มาจาก database server เนื่องจากการทำ SQL injection จะเกิด error message ที่ return ออกมาจาก
• database server ได้ซึ่ง message ดังกล่าวมันช่วยให้ผู้ไม่ประสงค์ดีนำไปวิเคราะห์ และนำกลับมาโจมตีเราใหม่
• ใช้ user ที่มีสิทธิ์เท่าที่จำเป็นต่อการ execute query นั้นเท่านั้น ไม่ควรใช้ sa, dba หรือ admin

ตัวอย่างการใช้ Prepared Statement เพื่อส่งผ่าน parameter

String query = “Select * from Users Where username = ? and password = ?”;
  try {
    PrepareStatement pstmt = conn.prepareStatement(query);
    pstmt.setString(1, username);
    pstmt.setString(2, password);
    ResultSet results = pstmt.executeQuery(query);
  }

ใน query language ของ framework ต่างๆ ก็มี parameter statment ให้ใช้ เช่น Hibernate Query Language (HQL)

Query query = session.createQuery(”from Users where username =:username and password =:password”;
  query.setParameter(”username”, username);
  query.setParameter(”password”, password);

ตัวอย่างการใช้ Stored Procedure เพื่อส่งผ่าน parameterized query

String username = request.getParameter(”username”);
  String password = request.getParameter(”password”);
  try {
   CallableStatement cs = conn.prepareCall(”{call getUsers(?, ?)}”);
   cs.setString(1, username);
   cs.setString(2, password);
   ResultSet results = cs.executeQuery();
  } 

เทคนิค Escape อีกทางเลือกหนึ่งกรณีที่เราไม่ใช้ Parameterized query และส่งผลต่อ ประสิทธิภาพ ถ้าใช้งานอย่างไม่เหมาะสม เพื่อสร้าง dynamic query ลองเลือกเทคนิค Escape (เช่นเดียวกับ Java ที่มี character escaping) แต่อย่างไรก็ตามเทคนิคนี้ค่อนข้างเปราะบางกว่าเมื่อเทียบกับ parameterized query อ่านรายละเอียด character escaping ของ DBMS แต่ละเจ้าได้ดังนี้

• Oracle
• MySql
• SQL Server

ศึกษาตัวอย่าง escape ได้จากโค้ด OracleCodec class ของ owasp-esapi

//encode ' to '' 
  public String encodeCharacter( char[] immune, Character c ) { 
    if ( c.charValue() == '\'' ) 
      return "\'\'";
    return ""+c; 
  } 

Note: การเลือกใช้ PreparedStatement หรือ Statement และการเพิ่มประสิทธิภาพการทำงาน เพิ่มเติม: Review Code for SQL Injection Test for SQL Injection Reference: SQL injection

Improve performance in JDBC

เลือก Driver ให้เหมาะกับงานที่กำลังทำอยู่
JDBC สร้าง driver ออกมาสี่ประเภทขึ้นอยู่กับความต้องการที่เราจะต้องเลือกไปใช้

• JDBC-ODBC ใช้เมื่อไม่มี driver ที่สร้างสำหรับภาษา Java แต่มีรองรับ ODBC แต่การเชื่อมต่อด้วยแบบนี้จะช้ากว่าประเภทอื่นๆ เพราะต้องเรียกผ่าน ODBC อีกทีหนึ่ง
• Native API ใช้เมื่อมี driver ที่สร้างสำหรับ Java เพื่อไม่ต้องผ่าน ODBC เหมือนกับแบบ JDBC-ODBC ดังนั้นประสิทธิภาพจึงดีกว่าประเภทที่ 1 แต่ประสิทธิภาพจะปานกลาง เมื่อเทียบกับแบบที่ JDBC-Net
• JDBC - Net ใช้เมื่อติดต่อผ่าน proxy server เช่นพวก application server ทั้งหลาย (websphere, weblogic, ...) ประเภทนี้ง่ายต่อการ optimization เช่น connection pooling, caching, loga balancing และอื่นๆ

เลือกที่จะควบคุม transaction เอง
java.sql.Connection interface เตรียม method เพื่อจัดการกับ transaction ดังนี้

• boolean getAutoCommit();
• void setAutoCommit(boolean autocommit);
• void commit();
• void rollback();

ด้วย default JDBC transaction จะ commit ให้เองเมื่อแต่ละ statement ถูก execute นั่นคือ AutoCommit mode เป็น true โดยเราไม่จำเป็นต้องเรียก commit() method เอง มันง่ายต่อนักพัฒนา ถ้าเราต้องการ execute แค่หนึ่ง statement แต่จะให้ประสิทธิภาพที่ไม่ค่อยดีเมื่อมีหลาย statement ที่ต้อง execute เพราะว่ามันจะ commit หลังจากที่ statement แรกทำงานจบโดย default จึงควรตั้ง AutoCommit mode เป็น false และเรียก commit() method หลังจากเรียกกลุ่มของ statement execute เอง และใช้ rollback() method ใน catch block เมื่อไหร่ก็ตามที่เกิด exception ขึ้นในโปรแกรม

ตัวอย่าง 

try{
    connection.setAutoCommit(false);
    PreparedStatement ps = connection.preareStatement( "UPDATE employee SET Address=? WHERE name=?");
    ps.setString(1,"Austin");
    ps.setString(2,"RR");
    ps.executeUpdate();
    PreparedStatement ps1 = connection.prepareStatement( "UPDATE account SET salary=? WHERE name=?");
    ps1.setDouble(1, 5000.00);
    ps1.setString(2,"RR");
    ps1.executeUpdate();
    connection.commit();
    connection.setAutoCommit(true);
    }catch(SQLException e){ connection.rollback();}
    finally{
             if(ps != null){ ps.close();}
             if(ps1 != null){ps1.close();}
   if(connection != null){connection.close();}
}

Statement vs PreparedStatement
เรามักเข้าใจผิดว่า PreparedStatement จะให้ประสิทธิภาพที่ดีกว่าเมื่อหยิบมาใช้งาน ความจริงแล้วใช่ว่าจะเป็นเช่นนั้น เมื่อเราใช้ PreparedStatement object เพื่อ execute SQL Statement มันจะถูก compile และเก็บไว้ใน cache และเมื่อเราเรียกใช้อีกมันจะไม่ถูก compile เป็นครั้งที่สอง เพราะมันจะถูกพบใน cache และนำกลับมาใช้ใหม่ ซึ่งเป็นการเพิ่มประสิทธิภาพการทำงานเพราะลดเวลา compileแต่เมื่อเราใช้ Statement ทุกครั้งที่เราจะ execute SQL Statement มันจะถูก compile ใหม่ทุกครั้งถ้าดูตามเหตุผลด้านบนนี้ PreparedStatement เหมาะสมกับการถูกนำมาใช้อย่างยิ่ง แต่ ความจริง ไม่ได้เป็นอย่างนั้น
เมื่อเราเห็นผลการทดสอบดังกล่าว จะสรุปได้ว่าสำหรับ enterprise application ที่มีผู้ใช้จำนวนมากที่จะ execute SQL statement เดียวกันบ่อยๆ การลดเวลา compile ได้สามารถช่วยเพิ่ม performance ให้กับ database ได้ แต่สำหรับ client-side การใช้ PreparedStatement ใช้เวลานานกว่า Statement
แต่ถึงอย่างไรถ้าเรากังวลกับเรื่องของ SQL injection PreparedStatement ก็จะเป็นตัวเลือกที่สมควรหยิบไปใช้

นอกจากนี้ยังมีอีกหลายประเด็นทีน่าสนใจเช่นเรื่องของ batch, pre-fetch value ที่ผมยังไม่มีเวลาสรุป ลองศึกษาเพิ่มเติมได้ครับ

Referenece:
http://oreilly.com/catalog/jorajdbc/chapter/ch19.html

HTTPOnly cookie flag

HTTPOnly เป็นวิธีหนึ่งที่ใช้ป้องกัน client side script เข้าถึง cookie โดยที่เราไม่อนุญาตเพื่อป้องกันจุดอ่อนของ web application ที่ลดความเสี่ยงเรื่องของ XSS

เริ่มต้นจาก blog ของนาย Jordan Wiens, "No cookie for you!" (ตอนนี้ไปเป็น CTO ของ white hat security) แล้วถูกนำไป implement ครั้งแรกในปี 2002 ใน browser ของ microsoft internet explorer
ถ้าพูดตามหลักแล้ว HttpOnly เป็นเพียงการเพิ่ม flag ลงใน Set-Cookie HTTP response header แต่ browser จะต้องรองรับ flag นี้ด้วยถึงจะเข้าใจความหมาย

ถ้า HttpOnly flag เพิ่มลงใน Http response header, cookie จะไม่สามารถเข้าถึงได้ผ่าน client side script ผลก็คือถ้าเกิด cross-site scripting (XSS) คือผู้ใช้เผลอกด link ที่ไปเข้าหน้าที่เกิด XSS ตัว browser จะกัน client side script ไม่ให้เข้าถึง cookie ได้ แล้วจะ return เป็น empty string กลับคืนมาให้
ถ้า browser ไม่รองรับ HttpOnly และ website ได้มีการกำหนดค่า HttpOnly ตัว client side script ก็จะสามารถเข้าถึง cookie ได้

ตอนนี้มี browser ที่รองรับได้แก่

• Internet Explorer 6 sp1+ http://www.petefreitag.com/item/644.cfm
• Firefox 2.0.0.5+ http://www.petefreitag.com/item/644.cfm
• Opera since 9.5+ (Prevents Read) http://manicode.blogspot.com/2008/06/opera-95-httponly-read-prevention.html
• Netscape 9.0b3+

ตัวอย่างการใช้งาน

String sessionId= request.getSession().getId();response.setHeader("SET-COOKIE", "JSESSIONID=" + sessionId + "; HttpOnly");

ใน tomcat 6 เราสามารถกำหนด useHttpOnly=true ใน context.xml ได้

สำหรับ servlet 3.0 รองรับ HTTPOnly เช่นกันผ่าน method

void setHttpOnly(boolean isHttpOnly)boolean isHttpOnly()

Reference:
http://msdn.microsoft.com/en-us/library/ms533046.aspx

Servlet 3.0: Introduction

วันนี้อยู่ว่างๆ อยากลองความสามารถใหม่ของ servlet v.3 แต่ตอนนี้พบว่ายังไม่มี application server ตัวไหนรองรับ นอกจาก GlassFish v.3 เข้าใจว่าตอนนี้ application server ค่ายต่างๆ คงกำลังเร่งพัฒนาความสามารถของตัวเองอย่างเต็มที่เพื่อแย่งชิงส่วนแบ่งการใช้งานตรงจุดนี้
ไม่รอช้าครับ ผมโหลดมาติดตั้งเรียบร้อย

เปิด IDE คู่ใจขึ้นมาลองเลยครับ ถ้าใช้ Eclipse Galileo แล้วเกิดปัญหาไม่สามารถเพิ่ม application server adapter ใหม่ที่เป็น GlassFish v.3 เข้าไปได้ ให้ แก้ตามนี้ ส่วน Netbean ไม่ต้องลีลาเยอะสามารถใช้งานได้เลย

ในเวอร์ชั่นนี้ค่อนข้างให้ความสำคัญกับเรื่องของ annotation ที่จะนำมาเป็นทางเลือกหนึ่งในการ configuration web application ได้ค่อนข้างลงตัวทีเดียว ซึ่งในบทความนี้ผมจะละ deployment description (web.xml) ออกไปแล้วหันมาใช้ annotation แทน

เริ่มกันที่ตัวแรก @WebServlet ใช้เพื่อลงทะเบียน Servlet เพื่อบอกกับ servlet container ว่า class นี้เป็น Servlet class เพื่อให้ servlet container จัดการกับ class ตาม servlet lifecycle ข้างในมี attribute ดังนี้

• name
• description
• value
• urlPatterns
• initParams
• loadOnStartup
• asyncSupported
• smalIcon
• largeIcon

ซึ่งความหมายทุกตัวค่อนข้างชัดเจนอยู่แล้ว ถ้าใครเคยเขียน Servlet v.2 มาก่อนมั่นใจว่าเข้าใจได้โดยไม่ต้องอธิบาย ยกเว้นจะมีแต่ asyncSupported ที่เพิ่งเพิ่มเข้ามาใน Servlet v.3 ในตัวอย่างใช้ urlPatterns เพื่อ mapping กับ url โดยมันเก็บค่าที่เป็น array จึงสามารถ mapping url ได้มากกว่า 1

@WebServlet(urlPatterns="/hello")
public class HelloServlet extends HttpServlet { 
 public void doGet(HttpServletRequest req, HttpServletResponse res) throws IOException, ServletException {
  res.setContentType("text/html");
  res.getOutputStream().print("
context path: " + req.getContextPath() + "
");
  res.getOutputStream().print("
hello world!
");
 }
}

ถ้าต้องการส่ง init parameter ให้กับ servlet หรือ filter ใช้ @WebInitParam ซึ่งมี attribute

• name
• value
• description

ตัวอย่างการใช้งาน

@WebServlet (name="SimpleServlet", 
  urlPatterns={"/simple"},
  initParams={
   @WebInitParam(name="name", value="Phamonyut"),
   @WebInitParam(name="penname", value="tofu")})
public class SimpleServlet extends HttpServlet {
 public void doGet(HttpServletRequest req, HttpServletResponse res) throws IOException, ServletException {
  PrintWriter out = res.getWriter();
  out.println("name parameter: " + getInitParameter("name"));
  out.println("penname parameter: " + getInitParameter("penname"));
 }
}

@WebListener ใช้เพื่อลงทะเบียน listener ตามประเภทของ listener ดังนี้

• Context Listener (javax.servlet.ServletContextListener)
• Context Attribute Listener (javax.servlet.ServletContextAttributeListener)
• Servlet Request Listener (javax.servlet.ServletRequestListener)
• Servlet Request Attribute Listener (javax.servlet.ServletRequestAttributeListener)
• Http Session Listener (javax.servlet.http.HttpSessionListener)
• Http Session Attribute Listener (javax.servlet.http.HttpSessionAttributeListener)

ใน @WebListener มี attribute ดังนี้

• filterName
• description
• displayName
• initParams
• servletNames
• value
• urlPatterns
• dispatcherTypes
• asyncSupported

การใช้งาน WebListener (ถ้าไม่ implement listener interface มาจะเกิดข้อผิดพลาดได้)

@WebListener
public class FooApplication implements ServletContextListener {
 public void contextInitialized(ServletContextEvent event) {
  System.out.println("inti context");
 }
 public void contextDestroyed(ServletContextEvent event) {
  System.out.println("destory context");
 }
}

@WebFilter ไว้ลงทะเบียน filter ซึ่งมี attribute ดังนี้

• filterName
• description
• displayName
• initParams
• servletNames
• value
• urlPatterns
• dispatcherTypes
• asyncSupported

@WebFilter(value="/hello",
  initParams={
   @WebInitParam(name="message", value="Servlet says:")
  })
public class TestFilter implements Filter {
 private FilterConfig filterConfig;
 public void init(FilterConfig filterConfig) throws ServletException {
  this.filterConfig = filterConfig;
 }
 public void doFilter(ServletRequest req, ServletResponse res, FilterChain chain) throws ServletException, IOException {
  PrintWriter out = res.getWriter();
  out.print(filterConfig.getInitParameter("message"));
  System.out.println("call request -> filter");
  chain.doFilter(req, res);
  System.out.println("call filter <- response");
 }
 public void destroy() {}
}

@WebServlet(value="/hello")
public class HelloServlet extends HttpServlet {
 public void doGet(HttpServletRequest req, HttpServletResponse res) throws IOException, ServletException {
  System.out.println("call hello servlet");
  PrintWriter out = res.getWriter();
  out.println("Hello world!");  
 }
}

Java Captcha

เพื่อนติดปัญหาช่วยแก้เกี่ยวกับ captcha ลองหาดูพบว่า jcaptcha ใช้งานได้ค่อนข้างดี และ implement ไม่ยากนำไปผูกกับ framework ได้อย่างลงตัว

เริ่มแรกไปโหลด library jCaptcha และ library ที่เกี่ยวข้องมาให้เรียบร้อย

• commons-collections-3.2
• commons-logging-1.0.4
• filters-2.0.235
• jcaptcha-2.0-alpha-1-SNAPSHOT
• jcaptcha-api-1.0
• jcaptcha-integration-simple-servlet-2.0-alpha-1-SNAPSHOT

web.xml ระบุว่า jcaptcha ที่จะทำหน้าที่เป็นตัวสร้างภาพ captcha ตัว class ใด และจะเรียกใช้ผ่าน url อย่างไร

        jcaptcha
        com.octo.captcha.servlet.image.SimpleImageCaptchaServlet


        jcaptcha
        /jcaptcha.jpg

ตัวอย่างการเรียกใช้งาน

ฝั่ง server รับไปประมวลผล

PrintWriter pw = response.getWriter();
String userCaptchaResponse = request.getParameter("jcaptcha");
boolean captchaPassed = SimpleImageCaptchaServlet.validateResponse(request, userCaptchaResponse);
if(captchaPassed){
    pw.println("good job");
}else{
    pw.println("fail");
}

เสร็จเรียบร้อย run ได้เลย

Manage IBM Tivoli Directory Log

การจัดการ log ของ Tivoli Directory ปกติแ้ล้วสามารถจัดการได้โดยปกติผ่านเครื่องมือของ Tivoli แต่ถ้าเรานำ Tivoli ไปลงบน OS ที่ไม่รองรับมันจะไม่ทำงาน
อย่างในกรณีของผมเองตอนนี้ใช้ Tivoli Directory v.6.2 แต่มีความจำเป็นต้องนำไปติดตั้งบน windows server 2008 แน่นอนว่ามันไม่รองรับกับ OS ดังกล่าว จึงต้องเขียนโปรแกรมขึ้นมาเพื่อจัดการเอง
ความต้องการขั้นต่ำคือ

• เก็บ log ทั้งหมดลงใน zip ไฟล์เพื่อลดเนื้อที่ โดยชื่อไฟล์จะมีวันที่ต่อท้ายด้วย
• ตัวโปรแกรมต้องบอกได้ว่าทำงานสำเร็จหรือไม่สำเร็จ และเพราะคำสั่งไหน เพราะอะไร เก็บลง log file แยกตะหาก
• จัดการ log ที่เก็บได้ว่าต้องการให้อยู่กี่วัน (ตามนโยบายคือเก็บ log ไว้ 90 วัน)

ผมเขียน batch ครับแล้วตั้งเป็น job เอาไว้ให้ทำงานทุกเสาร์ตอนตีสาม (เพราะมี job อีกหลายตัวทำงานก่อน และถ้ามีปัญหาเรายังมีเวลาเข้าไปแก้ก่อนถึงเช้าวันจันทร์) ผมไม่ได้จะมา demo ทั้งหมดให้ดูหรอกครับ แต่จะหยิบคำสั่ง ldap บางอย่างที่จำเป็นต้องใช้ เพื่อนำไปพัฒนาต่อได้มาแปะไว้ (ส่วนโปรแกรมจริงไม่ขอเอามาแสดงครับเพราะจะยาวไป)

ดึงวันที่และเวลาปัจจุบันออกมา
@echo off
:: set datetime variable
SETLOCAL
For /f "tokens=1-3 delims=1234567890 " %%a in ("%time%") Do set "delims=%%a%%b%%c"
For /f "tokens=1-4 delims=%delims%" %%G in ("%time%") Do (
Set _hh=%%G
Set _min=%%H
Set _ss=%%I
Set _ms=%%J
)
:: Strip any leading spaces
Set _hh=%_hh: =%

:: Ensure the hours have a leading zero
if 1%_hh% LSS 20 Set _hh=0%_hh%

ENDLOCAL&Set _time=%_hh%%_min%%_ss%

@echo off&SETLOCAL
:: This will return date into environment vars
:: Works on any NT/2K/XP machine independent of regional date settings
:: 20 March 2002
FOR /f "tokens=1-4 delims=/-. " %%G IN ('date /t') DO (call :s_fixdate %%G %%H %%I %%J)
goto :s_print_the_date

:s_fixdate
if "%1:~0,1%" GTR "9" shift
FOR /f "skip=1 tokens=2-4 delims=(-)" %%G IN ('echo.^|date') DO (
set %%G=%1&set %%H=%2&set %%I=%3)
goto :eof

:s_print_the_date
ENDLOCAL&SET _date=%yy%%mm%%dd%

เปลี่ยนชื่อ ldap log ผมเขียนเป็น function ไว้เพื่อเรียกง่ายๆ
call :changefileconfigldap ibmslapd ibmslapd
call :changefileconfigldap ibmdiradm Admin
call :changefileconfigldap adminaudit Admin Audit
call :changefileconfigldap audit Audit
call :changefileconfigldap bulkload Bulkload
call :changefileconfigldap idstools Tools
call :changefileconfigldap db2cli db2cli
call :changefileconfigldap lostandfound Replication
:changefileconfigldap (
cd "%_path_tivoli%"
echo dn: cn=%2 %3,cn=Log Management,cn=Configuration > %_filename_ldapConfig%
echo changetype: modify >> %_filename_ldapConfig%
echo replace: ibm-slapdlog >> %_filename_ldapConfig%
echo ibm-slapdlog: %_path_logldap%\%1-%_date%%_time%%_extension% >> %_filename_ldapConfig%
call idsldapmodify -D cn=root -w %_password% -k -i "%_path_tivoli%\%_filename_ldapConfig%"
echo change cn: %2 %3 complete >> "%_path_logerr%\%_filename_logerr%"
goto :eof
)

แต่้ถ้าเราไม่รู้ว่าตอนนี้มี log file ชื่ออะไรบ้างที่ใช้อยู่ให้ใช้ ldapsearch ตัวอย่างเช่น
ldapsearch -D %username% -w %password% -p %port%
-b cn=Configuration -s sub cn=ibmslapd ibm-slapdLog

Create self-signed certificate

การสร้าง self-signed certificate โดยใช้เครื่องมือ iKeyman ที่ติดมาพร้อมกับ product ตระกูล IBM มีขั้นตอนดังนี้

• รันเครื่องมือ iKeyman ในตัวอย่างผมติดตั้ง IBM WebSphere ดังนั้นจะอยู่ที่ WAS_HOME\bin
• สร้าง key database file แล้วตั้งชื่อ และใส่ password ให้เรียบร้อย
• สร้าง self-signed certificate แล้วใส่ข้อมูลที่จำเป็นดังนี้
  • Key Label
  • Key Size
  • Common Name
  • Organization Name
  • Organization Unit (optional)
  • Locality (optional)
  • State / Province (optional)
  • Zipcode (optional)
  • Country
  • Validity Period

จากนั้นก็ export นำออกไปใช้ ได้แ้ล้วครับ

How to create new profile on WebSphere 6.x

ผมสะดวกมากกว่าที่จะใช้ command line

ก่อนอื่นเข้าไปที่ WebSphere home แล้วเรียกใช้เครื่องมือ wasprofile โดยตัวมันเองมี options ดังนี้

wasprofile.bat -create
-profileName profile_name
-profilePath fully_qualified_profile_path
-templatePath template_path
-nodeName node_name
[-cellName cell_name]
-hostName host_name
[-isDefault]
[-startingPort starting_port | -portsFile file_path]
[-winserviceCheck true | false]
[-winserviceAccountType specified_user | localsystem]
[-winserviceUserName your_user_name]
[-winservicePassword your_password]
[-winserviceStartupType manual | automatic | disabled]
[-debug]

ตัวอย่างเช่น
C:\Program Files\IBM\WebSphere\AppServer\bin>wasprofile -create -profileName AppSrv01 -profilePath "c:\Program Files\IBM\WebSphere\AppServer\profiles\AppSrv01" -templatePath "c:\Program Files\IBM\WebSphere\AppServer\profileTemplates\default" -nodeName test -cellName Node01Cell -hostName localhost

dotNet send and receive SMS via PC Connectivity API

ค้างไว้เมื่อตอนก่อนหน้านี้ ครั้งนี้จะมาเขียนรับ/ส่ง sms โดยใช้ Nokia PC Connectivity API โค้ดนี้ไม่ได้เขียนเองทั้งหมดบางส่วนหยิบมาจาก forumn ของ nokia แต่ผมนำมาเขียนส่วนของการรับ sms เพิ่มเข้าไป

โค้ดบางส่วน

Imports System.Runtime.InteropServices

Public Class SMS

    Public Shared Sub ReadSMS(ByVal strSerialNumber As String)
        Dim intSMSHandle As Integer = 0
        Dim intOperationHandle As Integer = 0
        Dim intStatusCode As Integer = CAAPI_Initialize(30, 0)

        intSMSHandle = OpenSMSConnection(strSerialNumber)

        Dim folderInfo As CA_FOLDER_INFO
        folderInfo = New CA_FOLDER_INFO
        folderInfo.iSize = Marshal.SizeOf(folderInfo)
        folderInfo.iFolderId = CA_MESSAGE_FOLDER_INBOX
        Dim bufFolderInfo As IntPtr = Marshal.AllocHGlobal(Marshal.SizeOf(GetType(CA_FOLDER_INFO)))
        Marshal.StructureToPtr(folderInfo, bufFolderInfo, True)
        intStatusCode = CAGetFolderInfo(intSMSHandle, bufFolderInfo)

        intStatusCode = CABeginOperation(intSMSHandle, 0, intOperationHandle)
        If intStatusCode <> CONA_OK Then
            Throw New Exception("Error in CABeginOperation-function: " & CONAError2String(intStatusCode) & " (" & intStatusCode.ToString & ")")
        End If

        Dim caIDList As CA_ID_LIST
        caIDList.iSize = Marshal.SizeOf(caIDList)
        Dim bufList As IntPtr = Marshal.AllocHGlobal(Marshal.SizeOf(caIDList))
        Marshal.StructureToPtr(caIDList, bufList, True)
        intStatusCode = CAGetIDList(intSMSHandle, folderInfo.iFolderId, 0, bufList)
        caIDList = Marshal.PtrToStructure(bufList, GetType(CA_ID_LIST))

        Dim i As Integer = 0
        For i = 1 To caIDList.iUIDCount
            Dim itemId As CA_ITEM_ID
            itemId.iSize = Marshal.SizeOf(itemId)
            itemId.iFolderId = CA_MESSAGE_STATUS_READ
            itemId.iStatus = 0
            itemId.iTemporaryID = i
            itemId.iUidLen = 0
            itemId.pbUid = IntPtr.Zero
            Dim bufItemId As IntPtr = Marshal.AllocHGlobal(Marshal.SizeOf(GetType(CA_ITEM_ID)))
            Marshal.StructureToPtr(itemId, bufItemId, True)

            Dim dataSMS As CA_DATA_MSG
            dataSMS.iSize = Marshal.SizeOf(dataSMS)
            dataSMS.bAddressCount = 0
            dataSMS.iDataLength = 0
            dataSMS.iInfoField = 0
            dataSMS.pAddress = IntPtr.Zero
            dataSMS.pbData = IntPtr.Zero
            Dim bufDataSMS As IntPtr = Marshal.AllocHGlobal(dataSMS.iSize)
            Marshal.StructureToPtr(dataSMS, bufDataSMS, True)

            intStatusCode = CAReadItem(intOperationHandle, bufItemId, CA_OPTION_USE_CACHE, CA_DATA_FORMAT_STRUCT, bufDataSMS)
            If intStatusCode = CONA_OK Then
                dataSMS = Marshal.PtrToStructure(bufDataSMS, GetType(CA_DATA_MSG))
                Dim message As String = Marshal.PtrToStringUni(dataSMS.pbData, dataSMS.iDataLength / 2)
                ' something ...
            Else
                Throw New Exception("Error in CAReadItem-function: " & CONAError2String(intStatusCode) & " (" & intStatusCode.ToString & ")")
            End If
        Next

        intStatusCode = CAEndOperation(intOperationHandle)
        If intStatusCode <> CONA_OK Then
            Throw New Exception("Error in CAEndOperation-function: " & CONAError2String(intStatusCode) & " (" & intStatusCode.ToString & ")")
        End If
        CloseSMSConnection(intSMSHandle)

    End Sub

    Public Shared Sub SendSMS(ByVal strSerialNumber As String, ByVal strPhoneNo As String, _
        ByVal strMessage As String, ByVal boolDontDelete As Boolean)

        Dim intSMSHandle As Integer = 0

        Dim intStatusCode As Integer = CAAPI_Initialize(30, 0)

        Try
            intSMSHandle = OpenSMSConnection(strSerialNumber)

            Try
                Dim folderInfo As CA_FOLDER_INFO
                folderInfo = New CA_FOLDER_INFO
                folderInfo.iSize = Marshal.SizeOf(folderInfo)
                Dim bufItem As IntPtr = Marshal.AllocHGlobal(Marshal.SizeOf(GetType(CA_FOLDER_INFO)))
                Marshal.StructureToPtr(folderInfo, bufItem, True)
                intStatusCode = CAGetFolderInfo(intSMSHandle, bufItem)

                Dim intOperationHandle As Integer = 0
                intStatusCode = CABeginOperation(intSMSHandle, 0, intOperationHandle)
                If intStatusCode <> CONA_OK Then
                    Throw New Exception("Error in CABeginOperation-function: " & CONAError2String(intStatusCode) & " (" & intStatusCode.ToString & ")")
                End If

                Dim itemUid As CA_ITEM_ID
                itemUid.iSize = Marshal.SizeOf(itemUid)
                itemUid.iFolderId = CA_MESSAGE_STATUS_SENT
                itemUid.iStatus = 0
                itemUid.iTemporaryID = 0
                itemUid.iUidLen = 0
                itemUid.pbUid = IntPtr.Zero
                Dim buf As IntPtr = Marshal.AllocHGlobal(Marshal.SizeOf(GetType(CA_ITEM_ID)))
                Marshal.StructureToPtr(itemUid, buf, True)

                Dim objSMSMessage As CA_DATA_MSG
                objSMSMessage.iSize = Marshal.SizeOf(objSMSMessage)
                CA_SET_DATA_FORMAT(objSMSMessage.iInfoField, CA_DATA_FORMAT_UNICODE)
                CA_SET_DATA_CODING(objSMSMessage.iInfoField, CA_DATA_CODING_UNICODE)
                CA_SET_MESSAGE_STATUS(objSMSMessage.iInfoField, CA_MESSAGE_STATUS_DRAFT)
                CA_SET_MESSAGE_TYPE(objSMSMessage.iInfoField, CA_SMS_SUBMIT)

                objSMSMessage.bAddressCount = 1
                objSMSMessage.pAddress = CreateSMSPhoneNoReference(strPhoneNo)

                objSMSMessage.iDataLength = strMessage.Length * 2
                objSMSMessage.pbData = Marshal.StringToCoTaskMemUni(strMessage)

                CreateTimestamp(objSMSMessage.messageDate)

                Dim buf2 As IntPtr = Marshal.AllocHGlobal(Marshal.SizeOf(GetType(CA_DATA_MSG)))
                Marshal.StructureToPtr(objSMSMessage, buf2, True)

                intStatusCode = CAWriteItem(intOperationHandle, buf, 0, CA_DATA_FORMAT_STRUCT, buf2)

                If intStatusCode <> CONA_OK Then
                    Throw New Exception("Error in CAWriteItem-function: " & CONAError2String(intStatusCode) & " (" & intStatusCode.ToString & ")")
                End If

                Marshal.FreeHGlobal(buf2)
                Marshal.FreeHGlobal(buf)
                Marshal.FreeCoTaskMem(objSMSMessage.pbData)
                Marshal.FreeCoTaskMem(objSMSMessage.pAddress)

  Dim lstIDs As CA_ID_LIST
                lstIDs.iSize = Marshal.SizeOf(GetType(CA_ID_LIST))
                Dim lstbuf As IntPtr = Marshal.AllocHGlobal(Marshal.SizeOf(GetType(CA_ID_LIST)))
                Marshal.StructureToPtr(lstIDs, lstbuf, True)

                intStatusCode = CACommitOperations(intOperationHandle, lstbuf)

                If intStatusCode <> CONA_OK Then
                    Throw New Exception("Error in CACommitOperations-function: " & CONAError2String(intStatusCode) & " (" & intStatusCode.ToString & ")")
                End If

                If Not boolDontDelete Then
                    ' Picking the first (and only) message from list and deleting it
                    lstIDs = Marshal.PtrToStructure(lstbuf, GetType(CA_ID_LIST))
                    Dim objViestiUID As CA_ITEM_ID = GetUidFromBuffer(0, lstIDs.pUIDs)

                    DeleteMessage(intOperationHandle, objViestiUID)

                    intStatusCode = CACommitOperations(intOperationHandle, IntPtr.Zero)

                    If intStatusCode <> CONA_OK Then
                        Throw New Exception("Error in CACommitOperations-function: " & CONAError2String(intStatusCode) & " (" & intStatusCode.ToString & ")")
                    End If
                End If

                intStatusCode = CAEndOperation(intOperationHandle)

                If intStatusCode <> CONA_OK Then
                    Throw New Exception("Error in CAEndOperation-function: " & CONAError2String(intStatusCode) & " (" & intStatusCode.ToString & ")")
                End If
            Catch ex As Exception
                Throw ex
            Finally
                CloseSMSConnection(intSMSHandle)
            End Try
        Catch ex As Exception
            Throw ex
        Finally
            CAAPI_Terminate(0)
        End Try
    End Sub

    Private Shared Sub DeleteMessage(ByVal intOperationHandle As Integer, ByVal objItem As CA_ITEM_ID)
        Dim bufViesti As IntPtr = Marshal.AllocHGlobal(Marshal.SizeOf(objItem))
        Marshal.StructureToPtr(objItem, bufViesti, True)
        Dim intStatusCode As Integer = CADeleteItem(intOperationHandle, bufViesti, 0)

        If intStatusCode <> CONA_OK Then
            Throw New Exception("Error in CADeleteItem-function: " & CONAError2String(intStatusCode) & " (" & intStatusCode.ToString & ")")
        End If
    End Sub

    Private Shared Function GetUidFromBuffer(ByVal iIndex As Integer, ByVal pUIds As IntPtr) As CA_ITEM_ID
        ' Calculate beginning of item 'iIndex'
        Dim iPtr As Int64 = pUIds.ToInt64 + (iIndex * Marshal.SizeOf(GetType(CA_ITEM_ID)))
        ' Convert integer to pointer
        Dim ptr As IntPtr = IntPtr.op_Explicit(iPtr)
        ' Copy data from buffer
        GetUidFromBuffer = Marshal.PtrToStructure(ptr, GetType(CA_ITEM_ID))
    End Function

    Private Shared Function OpenSMSConnection(ByVal strSerialNumber As String) As Integer
        Dim pstrSerialNumber As IntPtr = Marshal.StringToCoTaskMemUni(strSerialNumber)
        Dim iMedia As Integer = API_MEDIA_ALL
        Dim iTarget As Integer = CA_TARGET_SMS_MESSAGES
        Dim intSMSHandle As Integer = 0
        Dim intStatusCode As Integer = DAOpenCA(pstrSerialNumber, iMedia, iTarget, intSMSHandle)

        If intStatusCode <> CONA_OK Then
            Throw New Exception("Error in DAOpenCA-function: " & CONAError2String(intStatusCode) & " (" & intStatusCode.ToString & ")")
        End If

        Marshal.FreeCoTaskMem(pstrSerialNumber)

        Return intSMSHandle
    End Function

    Private Shared Sub CloseSMSConnection(ByVal intSMSHandle As Integer)
        ' Close PIM connection
        Dim intStatusCode As Integer = DACloseCA(intSMSHandle)
        If intStatusCode <> CONA_OK Then
            Throw New Exception("Error in DACloseCA-function: " & CONAError2String(intStatusCode) & " (" & intStatusCode.ToString & ")")
        End If
    End Sub

    Private Shared Function CreateSMSPhoneNoReference(ByVal strNumber As String) As IntPtr
        Dim dataAddress As CA_DATA_ADDRESS
        dataAddress = New CA_DATA_ADDRESS
        dataAddress.iSize = Marshal.SizeOf(dataAddress)
        dataAddress.iAddressInfo = CA_MSG_ADDRESS_TYPE_NUMBER
        dataAddress.pstrAddress = strNumber
        ' Allocate memory for buffer
        Dim bufDataAddress As IntPtr = Marshal.AllocHGlobal(Marshal.SizeOf(dataAddress))
        Marshal.StructureToPtr(dataAddress, bufDataAddress, True)
        Return bufDataAddress
    End Function

    Private Shared Sub CreateTimestamp(ByRef pimDate As CA_DATA_DATE)
        Dim dateCurrent As Date = Date.Now
        pimDate.iSize = Marshal.SizeOf(pimDate)
        pimDate.wYear = System.Convert.ToUInt16(dateCurrent.Year)
        pimDate.bMonth = dateCurrent.Month
        pimDate.bDay = dateCurrent.Day
        pimDate.bHour = dateCurrent.Hour
        pimDate.bMinute = dateCurrent.Minute
        pimDate.bSecond = dateCurrent.Second
    End Sub
End Class

Java send SMS via AT Command

เราใช้ AT Command ในการคุยกับอุปกรณ์เคลื่อนที่้ ในโทรศัพท์มือถือทุกวันนี้ก็ได้ implement at command ลงไปเพียงแต่ว่า แต่ละรุ่นก็ใส่ function ลงไปไม่เหมือนกัน ดังนั้นก่อนใช้งานต้องตรวจสอบก่อนว่าโทรศัพท์มือถือที่เราจะติดต่อนั้นรองรับ function ใดบ้าง

การส่ง AT Command ไปให้โทรศัพท์มือถือทำได้ไม่ยาก โดยใช้ Java I/O และจากนั้นส่งคำสั่งผ่าน stream

ตัวอย่างด้านล่างผมเขียนเป็น class util ง่ายๆ ไว้ใช้งานโดยมันสามารถสั่งให้อุปกรณ์มือถือเราส่ง SMS ดังนั้นมันจะเหมือนกับการส่ง SMS ผ่านมือถือปกติแต่จะแตกต่างเพียงแค่ว่าเราสั่งจาก PC ซึ่งมันยืดหยุ่นกว่าในกรณีที่เราจะเขียนโปรแกรมต่อยอดไปอีก

import java.io.*;
import java.util.*;
import javax.comm.*;
import com.sun.comm.*;


class Mobile {

 //com.sun.comm.Win32SerialPort
 //timeout second / 10
 private static final int RESPONSE_TIMEOUT = 50;
 //timeout second / 1000
 private static final int DEVICE_TIMEOUT = 1000;
 private static final String NEWLINE = "\n";
 private static final String ENTER = "\r";
 private static final String CTRL_Z = "\u001A";
 private static final String CONNECTION = "connect";

 private InputStream in;
 private OutputStream out;

 private SerialPort port;
 private CommPortIdentifier portID;
  
 public Mobile(String appName, CommPortIdentifier portID) throws IOException, PortInUseException, UnsupportedCommOperationException {
  this.portID = portID;
  //this.portID.addPortOwnershipListener(new MyCommPortOwnershipListener());
  port = (SerialPort) portID.open(appName, DEVICE_TIMEOUT); 
  port.setSerialPortParams(9600, SerialPort.DATABITS_8, SerialPort.STOPBITS_1, SerialPort.PARITY_NONE);
  port.setFlowControlMode(port.FLOWCONTROL_NONE);
  in = port.getInputStream();
  out = port.getOutputStream();
 }

 public void close() throws IOException {
  in.close();
  out.close();
  port.close();
 }

 public static Map<String, CommPortIdentifier> listPort() throws IOException {
  Map<String, CommPortIdentifier> listPort = new Hashtable<String, CommPortIdentifier>();
  Enumeration portList = CommPortIdentifier.getPortIdentifiers();
  while (portList.hasMoreElements()) {
   CommPortIdentifier portID = (CommPortIdentifier) portList.nextElement();
   listPort.put(portID.getName(), portID);
  }
  return listPort;
 }

 public String sendSMS(String tel, String msg) throws IOException, InterruptedException {
  String result = null;
  sendCommand("AT+CMGF=1");
  writeRequest("AT+CMGS=\"" + tel + "\"");
  result = sendCommand(msg + CTRL_Z);
  return result;
 }

 public String sendCommand(String cmd) throws IOException, InterruptedException {
  writeRequest(cmd);
  return readResponse();
 }

 private void writeRequest(String req) throws IOException {
  out.write(new String(req + ENTER).getBytes());
  out.flush();
 }

 private String readResponse() throws IOException, InterruptedException {
  String strIn = "";
  for (int i=0; i<RESPONSE_TIMEOUT; i++){
   int numChars = in.available();
   if (numChars > 0){
    byte[] bb = new byte[numChars];
    in.read(bb, 0, numChars);
    strIn += new String(bb);
   }
   if (strIn.indexOf(">" + ENTER + NEWLINE) != -1) { 
    break; 
   }
   if (strIn.indexOf("OK" + ENTER + NEWLINE) != -1) {
    break;
   }
   if (strIn.indexOf("ERROR") != -1 &&
    strIn.indexOf(ENTER + NEWLINE, strIn.indexOf("ERROR") + 1) != -1) { 
    break;
   }
   Thread.sleep(100);
  }
  return strIn;
 }

}

ส่วนตอนเรียกใช้งานก็ง่ายๆ

import java.util.*;
import javax.comm.*;

public class Client {

 public static void main(String[] args) throws Exception {
  //choose port
  Map<String, CommPortIdentifier> listPort = Mobile.listPort();
  System.out.println(listPort);
  Mobile mobile = new Mobile("SMS/GSM Nokia N73", listPort.get("COM12"));
  System.out.println(mobile.sendSMS("+66123456789", "Hello World"));
  System.out.println("---");
 }

}

แน่นอนครับนอกจากส่ง SMS ได้แล้วยังสามารถทำอย่างอื่นได้อีกเช่น รับ SMS, สั่งโทรออก เป็นต้นแต่เราต้องแน่ใจก่อนว่าโทรศัพท์มือถือรองรับ function ดังกล่าว

แล้วเราจะรู้ได้อย่างไรว่าโทรศัพท์มือถือที่เราจะสื่อสารด้วยนี้รองรับ AT Command อะไรบ้าง?
วิธีตรวจสอบง่ายๆ คือการส่งคำสั่ง AT Command ที่เราจะใช้แล้วตามด้วย =? ถ้าตอบกลับมาเป็น ERROR นั่นหมายความว่าไม่อุปกรณ์ที่เราจะติดต่อนั้นไม่รองรับคำสั่งดังกล่าว

นอกจาก AT Command ยังมีวิธีอื่นๆ อีกครับที่สามารถใช้ติดต่อกับโทรศัพท์มือถือได้แต่นั่นก็ขึ้นอยู่กับผู้ผลิตมือถือแต่ละเจ้าด้วย อย่างที่ผมทดสอบผมใช้ Nokia N73 ซึ่งมันไม่รองรับ AT Command (AT+CGMR) ที่จะให้อ่าน SMS เลยต้องไปใช้ Nokia PC Connectivity API แทนครับ

DB2 in Editplus

หลังจากลองเล่น DB2 มาได้ซักระยะหนึ่ง รู้สึกขัดใจ (ช้า, หน้าตาไม่น่าใช้, เปลี่ยน font ที่ต้องการไม่ได้) เมื่อใช้ tool DB2 Control Center ที่มาพร้อมกับ DB2
จะใช้ Toad for DB2 ก็นะ ผมชอบพิมพ์ command มากกว่า
เลยหันมา run SQL บน command line แทนแต่รู้สึกมันถึกไปหน่อย
จากนั้นเลยหาวิธีให้มาทำงาน editplus

Command: db2cmd.exe
Argument: -c -w -i db2 -tvf $(FileName)
Initial directory: $(DirWin)


ขอให้สนุกกับการเขียน SQL