本黑帮分子身上刻有各种各样的刺青。日本的黑帮众多、来历不一，各帮派自己描述的起源也与历史记载大相径庭。按他们自己的说法，黑帮的开山鼻祖都是些劫富济贫的侠士，专门保护家园不受外来强盗所扰。有些帮派甚至宣称自己继承了日本浪人的衣钵。还有人称日本黑帮实际上脱胎于过去特立独行的“倾奇者”，他们衣着怪异、举止怪诞，常常身配长刀，恐吓村民，甚至滥杀无辜。其实，关于日本黑社会的起源，可以说是上述几个故事的混合。在武士阶层被废除之后，许多武士失去了生活重心，逐渐转向暴力犯罪。也有些武士开始经商或从事见不得光的行业(如开设赌场和妓院) 。这些暴徒、浪人以及进入日本市场体系的其他新生力量都有个共同点：他们不被社会接受。

　　在日文中，やくざ一词就反应了黑道成员卑下的地位。这个词源自日本的牌戏“おいちょかぶ(Oicho-Kabu)”。“おいちょかぶ”类似于21点，游戏的输赢由每手牌点数之和的尾数大小决定，最小点数为0。如果摸到8、9、3三张牌(三张牌之和为20)，那么这一手牌的点数就是0，持牌者输。日语中 8、9、3的发音分别是“や”、“く”、“ざ”，因此这三个发音组合起来就成了“やくざ”，也就是“无用的、没有价值”的意思。“やくざ”原指黑帮分子，但是现在这个词也泛指日本的有组织犯罪。暴力団(Boryokudan)与やくざ同义，它是一个贬义词，指那些没有传统荣誉感的暴徒。日本警方在提到黑帮分子时，常用“暴力団”一词。

　　日本黑帮直接起源于18世纪一些准合法的商人，他们在大城市的街道上开设赌场或兜售商品，被人们称为“博徒(bakuto)”和“的屋(tekiya)”，也就是指巡回的赌档和商贩。后来这些人逐渐结成团伙，并发展成等级清晰、规矩森严的黑道家族或帮派。至今，日本的黑社会团伙中仍有被称为“博徒”和“的屋”的两派。到了19世纪晚期，日本黑帮与“民族主义”、“军国主义”和政治联系到了一起。许多黑帮开始与政客勾结政客利用他们暗杀对手，武装贸易集团，甚至参与了与周遭国家的战争。二战后，日本黑帮借助混乱的局势进一步加强了在日本的政治经济地位。

　　日本的黑道家族表面上和黑手党家族的结构一样，由组长(kumicho，相当于黑手党的教父)来统管整个家族，在他之下还有若干舍弟、干部、若头，形成一个金字塔结构。此外，各地区还有各地区的头目、副手、顾问以及众多的普通会众，这让日本黑帮的结构更加复杂。有的黑帮家族的结构有所不同，是由小帮派结成的联盟。

　　黑帮组织中的核心架构是一种类似父子的关系，这一关系把所有的组织成员牢牢地绑在了一起。在黑帮家族中，“父亲”会借助其影响力来保护“儿子”，同时给予 “儿子”忠告和指导，以此换取“儿子”完全的忠诚和无条件的服从。日本社会对荣誉和传统的重视也进一步加强了这种关系。但如果“儿子”没有完成“父亲”交待的任务时，这种父子关系并不能保护他免受惩罚，例如逐出帮派甚至断指。家族中的每一个人都可能既是“父亲”又是“儿子”面对上级时扮演“儿子”的角色，面对下属时则扮演“父亲”的角色。

　　不论是加入黑帮家族还是在黑帮家族中结为父子关系都需要举行一种特殊的仪式。在仪式中，主持者先为新加入的成员和他的老大各倒一杯酒，让二人各喝一点，随后交换酒杯再喝一点。老大要将杯中的酒喝完，而新人只能小口啜饮。

　　尽管许多日本黑道家族有明显的民族主义烙印，但有的帮派也会吸收韩国成员。日本人常常瞧不起韩国人，这加剧了日本黑道的卑下地位。而日韩之间高回报的走私交易也加强了韩国对日本黑帮的影响。

　　在黑道家族中，女性通常被边缘化。甚至连黑帮成员的妻女也只能得到比下人稍高一点的待遇，有时她们还会成为黑帮成员淫乐的工具。妇女很少在黑帮中掌权，不过也有特例。

　　日本黑社会组织就是犯罪团伙，他们像所有犯罪团伙一样参与各种可以牟取暴利的活动。非法赌博和卖淫是日本黑道的主要行当，走私毒品、军火和色情出版物等违禁商品也是有利可图的产业。而征收保护费的做法更是日本黑帮赚钱的常用招数。比较有势力的黑帮组织常在日本股市里做文章，有时甚至是通过合法手段。他们可能会搜集或者伪造某公司的罪证，以此来勒索公司的董事会，以获得该公司的股分。在获得该公司股分之后，他们会将其成员派驻董事会，并以向外公布罪证为由来要挟公司的管理人员。黑帮通常可以利用这种方式获得公司业务的主要控制权或一大笔封口费。

　　许多黑帮的敲诈和勒索都经过了精心策划，以维护日本式的传统礼节。黑帮组织可能会邀请某公司参加高尔夫比赛，组织假的慈善募捐或者以极高价格购买某些商品。这些公司的领导人虽然没有受到直接胁迫，但却非常清楚“请求”背后的威胁，因此他们都会乖乖与黑帮合作。