代碼：

val tbname = "TABLENAME" val df = spark.read.format("jdbc").option("driver", "oracle.jdbc.driver.OracleDriver").option("url", "jdbc:oracle:thin:@10.18.2.3:1521:dbname").option("user", "***").option("password", "***").option("dbtable", s"(select t.*, ROWNUM rownum__rn from ${tbname} t) b").option("fetchsize", 100000).option("partitionColumn", "rownum__rn").option("lowerBound", 1).option("upperBound", 4000000).option("numPartitions", 2).load().drop("rownum__rn")

偽代碼，僅幫助理解：

# 情況一： if partitionColumn || lowerBound || upperBound || numPartitions 有任意選項未指定，報錯 # 情況二： if numPartitions == 1 忽略這些選項，直接讀取，返回一個分區(qū) # 情況三： if numPartitions > 1 && lowerBound > upperBound 報錯 # 情況四： numPartitions = min(upperBound - lowerBound, numPartitions) if numPartitions == 1 同情況二 else 返回numPartitions個分區(qū) delta = (upperBound - lowerBound) / numPartitions 分區(qū)1數(shù)據(jù)條件：partitionColumn <= lowerBound + delta || partitionColumn is null 分區(qū)2數(shù)據(jù)條件：partitionColumn > lowerBound + delta && partitionColumn <= lowerBound + 2 * delta ... 最后分區(qū)數(shù)據(jù)條件：partitionColumn > lowerBound + n*delta

轉(zhuǎn)載于:https://www.cnblogs.com/xuejianbest/p/10284989.html

總結(jié)

以上是生活随笔為你收集整理的Spark：使用partitionColumn选项读取数据库原理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。