广义而言，江湖社会由游离于正常社会政治经济生活之外的人群构成，他们不一定有统一的组织形式、固定的法律规范，但它有形形色色的人物、五花八门的团体和行业、相对稳定的规矩和道义、神秘莫测的隐语暗号，它们共同构成了江湖这一充满神秘色彩的地下社会。一般来说，江湖中人都是以四海为家，浪迹天涯，食无定处，居无定所，主要活动于都市码头和乡村庙会集市。狭义而言，江湖有“风”、“马”、“燕”、“雀”四大门，“金”“皮”“彩”“挂”“平”“团”“调”“柳”八小门：金门（又叫巾门，指星相、测字、风水），皮门（行医卖药），彩门（戏法魔术），挂门（耍枪弄棒、打把式卖艺），平门（评书、大鼓、相声、说唱），团门（走街卖唱、行乞），调门（扎彩、鼓吹、杠房），聊门（又称柳门，指梨园戏班）。实际上，江湖行当比这四大门、八小门多得多，包括江湖术士、江湖郎中、江湖艺人、江湖骗子、巫婆神汉、窃贼、强盗、侠客、乞丐、清客、扶乩、马戏、戏班、娼妓、游方僧道等各色人。
江湖是个被主流社会所打压的隐性社会。江湖人作为社会上的特殊人群，尤其是他们结成的江湖组织，容易形成相当势力，与社会生活、政治变革发生密切关系。在江湖上挣扎谋生的游民不能遵守主流社会的规范，必然受到主流社会的排挤和打击。从江湖中人来说，他们见多识广，多有一技之长，喜欢弄枪使棒，好勇斗狠，讲义气，结团体，往往成为社会变动或动~乱的一股重要力量。尽管江湖中人以水陆码头为生活舞台，但传统乡村社会中也常常能看到他们的身影。历史上众多农民叛乱，其领导人和骨干分子，很多都有江湖背景。