Databricks：有用的代碼集錦

本文總結了在工作中用過的腳本

1，列出folder中的所有檔案

%python
display(dbutils.fs.ls("dbfs:/mnt/folder/"))      

2，改變表的列

由于Azure Databricks不支援修改列，是以可以通過把資料表重命名，然後建立一個同名的表來實作列的改變

%sql

alter table capsbi.table_data
rename to capsbi.table_data_old;

create table capsbi.table_data
using delta
as 
select column_1, ...
from capsbi.table__data_old;      

3，檢查表的schema

%python

sql_query="select * from CAPSBI.vw_table_data limit 1"
df = spark.sql(sql_query)
print(df.dtypes)      

4，徹底删除表

有時表已經被删除了，但是無法建立同名的表，這可能是因為中繼資料沒有徹底删除，需要用到以下指令來徹底删除。

dbutils.fs.rm("dbfs:/user/hive/warehouse/db_name/table_name", True)      

參考文檔：

作者

：悅光陰

出處

：http://www.cnblogs.com/ljhdo/

本文版權歸作者和部落格園所有，歡迎轉載，但未經作者同意，必須保留此段聲明，且在文章頁面醒目位置顯示原文連接配接，否則保留追究法律責任的權利。